WO2024106169A1 - 光検出素子及び電子機器 - Google Patents

光検出素子及び電子機器 Download PDF

Info

Publication number
WO2024106169A1
WO2024106169A1 PCT/JP2023/038768 JP2023038768W WO2024106169A1 WO 2024106169 A1 WO2024106169 A1 WO 2024106169A1 JP 2023038768 W JP2023038768 W JP 2023038768W WO 2024106169 A1 WO2024106169 A1 WO 2024106169A1
Authority
WO
WIPO (PCT)
Prior art keywords
switching element
pixel
signal
unit
end connected
Prior art date
Application number
PCT/JP2023/038768
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024106169A1 publication Critical patent/WO2024106169A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This disclosure relates to a photodetector element and an electronic device.
  • Synchronous grayscale pixels that capture image data (frames) in sync with sync signals such as vertical sync signals are used in light detection elements, etc.
  • asynchronous event-based vision sensors EVS
  • EVS asynchronous event-based vision sensors
  • methods are being considered for utilizing the results of detecting the occurrence of an event by an asynchronous EVS for imaging.
  • This disclosure provides a photodetector and electronic device that can suppress the effects of voltage fluctuations in signal lines.
  • a pixel array unit in which a first pixel and a second pixel different from the first pixel are arranged along a same light receiving surface;
  • a conversion unit that converts an output signal output from the first pixel through a signal line into a digital signal;
  • a signal holding unit capable of holding an output signal of the second pixel and suppressing fluctuations in the output signal in accordance with a period of the analog-to-digital conversion;
  • a first circuit that outputs a detection signal indicating an occurrence of an event when the output signal of the second pixel exceeds a predetermined threshold;
  • a light detecting element is provided, comprising:
  • the second pixel is a photoelectric conversion element that outputs a signal according to the amount of received light; a voltage conversion unit that converts the signal into a voltage signal,
  • the signal holding section may hold the voltage signal of the voltage conversion section and suppress fluctuations in the voltage signal.
  • the pixel array unit includes: A plurality of the first pixels arranged two-dimensionally along the light receiving surface; a plurality of the second pixels arranged two-dimensionally along the light receiving surface; a plurality of the signal holding units corresponding to the plurality of second pixels, During a period in which analog-to-digital conversion of the output signal via the signal line is being performed, the signal holding portion of the second pixel located within a predetermined range from the signal line may suppress fluctuations in the corresponding output signal.
  • a control unit that controls a supply potential of the voltage conversion unit may be capable of suppressing driving of the voltage conversion unit of the second pixel located within a predetermined range from the signal line during a period in which analog-to-digital conversion of the output signal via the signal line is being performed.
  • the signal holding unit is a capacitance for holding an output signal of the second pixel; a first switching element that turns a signal line connecting the capacitance and the second pixel into a conductive state or a non-conductive state; may have the following structure:
  • the signal holding unit a buffer capable of outputting a potential corresponding to the charge of the electrostatic capacitance to the first circuit; It may further include.
  • the signal holding unit is A second switching element that turns a signal line connecting the second pixel and the first circuit into a conductive state or a non-conductive state, It may further include.
  • the first switching element has one end connected to a signal line connecting the second pixel and the first circuit, and the other end connected to an input terminal of the buffer; a second switching element having one end connected to the output terminal of the buffer and the other end connected to the second pixel; It may further include.
  • the first switching element has one end connected to the second pixel and the other end connected to the first circuit; an input terminal of the buffer is connected to the first circuit; a second switching element having one end connected to the output terminal of the buffer and the other end connected to the second pixel; It may be further.
  • the signal holding unit is an operational amplifier, a twelfth switching element, a twenty-first switching element, and a twenty-second switching element;
  • the first switching element has one end connected to a signal line connecting the second pixel and the first circuit, and the other end connected to one end of the capacitance;
  • the other end of the capacitance is connected to the inverting input terminal of the operational amplifier,
  • the non-inverting input terminal of the operational amplifier is connected to a predetermined low potential
  • the 21st switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the second pixel;
  • the twelfth switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the other end of the capacitance;
  • the twenty-second switching element may have one end connected to the output terminal of the operational amplifier and the other end connected to the one end of the capacitance.
  • the signal holding unit is an operational amplifier, a twelfth switching element, a twenty-first switching element, and a twenty-second switching element;
  • the first switching element has one end connected to the second pixel and the other end connected to the first circuit; one end of the capacitance is connected to the first circuit, and the other end of the capacitance is connected to an inverting input terminal of the operational amplifier;
  • the non-inverting input terminal of the operational amplifier is connected to a predetermined low potential,
  • the 21st switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the second pixel;
  • the twelfth switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the other end of the capacitance;
  • the twenty-second switching element may have one end connected to the output terminal of the operational amplifier and the other end connected to the one end of the capacitance.
  • the first switching element may be made non-conductive and the second switching element may be made conductive depending on the period of the analog-to-digital conversion.
  • the first switching element may be in a conductive state and the second switching element may be in a non-conductive state.
  • the first switching element may be brought into a non-conductive state and the second switching element into a conductive state depending on the period of the analog-to-digital conversion.
  • the first switching element may be brought into a non-conductive state and the second switching element into a conductive state depending on the period of the analog-to-digital conversion.
  • the first switching element and the 12th switching element may be brought into a non-conductive state, and the 21st switching element and the 22nd switching element may be brought into a conductive state.
  • the first switching element and the 12th switching element may be in a conductive state, and the 21st switching element and the 22nd switching element may be in a non-conductive state.
  • the first switching element and the 12th switching element may be brought into a non-conductive state, and the 21st switching element and the 22nd switching element may be brought into a conductive state.
  • the pixel array portion is configured in a first element
  • the conversion section, the signal holding section, and the first circuit may be configured in a second element different from the first element.
  • a photodetector element comprising:
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging device according to an embodiment of the present technology
  • 1 is a diagram showing an example of a layered structure of a light detection element according to an embodiment of the present technology
  • FIG. 2 is a diagram illustrating EVS pixels and gradation pixels arranged in a matrix.
  • FIG. 2 is a block diagram showing a configuration example of an AD converter.
  • FIG. 1 is a circuit diagram showing an example of the configuration of an EVS pixel.
  • FIG. 4 is a diagram showing an example of a circuit of a gradation pixel.
  • 13 is a diagram showing a parasitic capacitance between an EVS pixel and a vertical signal line of a gradation pixel.
  • FIG. 2 is a diagram showing an example of the configuration of an event detection unit of an AFE array unit for EVS.
  • FIG. 4 is a circuit diagram showing an example of the configuration of a subtractor and a quantizer.
  • FIG. 4 is a circuit diagram showing a configuration example of a pixel voltage holding unit.
  • FIG. 4 is a diagram showing a pixel voltage holding unit during a sampling operation.
  • FIG. 4 is a diagram showing a pixel voltage holding unit during a holding operation.
  • 6 is a diagram showing an example of control of a pixel voltage holding unit by a row control unit;
  • 11A and 11B are diagrams illustrating a case where a sampling operation is continued and a case where a holding operation is performed.
  • FIG. 13 is a diagram showing an example of the configuration of a pixel voltage holding unit according to Modification 1 of the first embodiment.
  • FIG. 11 is a diagram showing an example of the configuration of a pixel voltage holding unit according to Modification 2 of the first embodiment.
  • FIG. 11 is a diagram showing an example of the configuration of a pixel voltage holding unit according to Modification 3 of the first embodiment.
  • FIG. 13 is a diagram showing an example of the configuration of a pixel voltage holding unit according to Modification 4 of the first embodiment.
  • 18 is a diagram showing an example of a process in which the process shown in FIG. 17 is performed for three cycles.
  • FIG. 13 is a diagram showing a configuration example of a second embodiment.
  • FIG. 2 is a diagram showing an example of the configuration of a logic unit;
  • FIG. 1 is a diagram showing an example of the configuration of a pixel voltage holding unit according to Modification 2 of the first embodiment.
  • FIG. 11 is a diagram showing an example of the configuration of a pixel voltage
  • FIG. 1 shows an example of a three-layer structure.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 7 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • FIG. 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit.
  • First Embodiment is a block diagram showing an example of a configuration of an imaging device 100 according to an embodiment of the present technology.
  • the imaging device 100 includes an imaging lens 110, a light detection element 200, a recording unit 120, and a control unit 130.
  • the imaging device 100 is assumed to be an electronic device such as a camera mounted on a wearable device or an in-vehicle camera.
  • the imaging lens 110 according to this embodiment corresponds to an optical system
  • the imaging device 100 corresponds to an electronic device.
  • the imaging lens 110 collects incident light and guides it to the photodetection element 200.
  • the photodetection element 200 has EVS pixels and gradation pixels. That is, the EVS pixels and gradation pixels are arranged on the light receiving surface of the photodetection element 200, and an optical image is detected through the imaging lens 110. That is, the detection target range of the EVS pixels and the imaging target range of the gradation pixels match without the need for calibration.
  • the photodetector element 200 can detect, as an address event, that the absolute value of the amount of change in luminance in an EVS pixel has exceeded a threshold.
  • This address event includes, for example, an on-event indicating that the amount of increase in luminance has exceeded an upper threshold, and an off-event indicating that the amount of decrease in luminance has fallen below a lower threshold that is less than the upper threshold.
  • the photodetector element 200 then generates a detection signal indicating the detection result of the address event for each EVS pixel.
  • Each detection signal includes an on-event detection signal indicating the presence or absence of an on-event, and an off-event detection signal indicating the presence or absence of an off-event. Note that while the photodetector element 200 detects the presence or absence of both an on-event and an off-event, it can also detect only one of them.
  • the gradation pixels output gradation luminance signals.
  • a gradation image is constructed based on the gradation luminance signals output by the gradation pixels.
  • the photodetector element 200 executes a predetermined signal processing, such as image recognition processing, on the gradation image, and outputs the processed data to the recording unit 120 via a signal line 209.
  • the recording unit 120 records data from the light detection element 200.
  • the control unit 130 controls the light detection element 200 to capture image data.
  • FIG. 2 is a diagram showing an example of a layered structure of a photodetector element 200 according to an embodiment of the present technology.
  • the photodetector element 200 includes a first layer element (top part) 201 and a second layer element (bottom part) 202. These substrates are electrically connected by Cu-Cu bonding. They may also be connected by vias or bumps.
  • the photodetector element 200 is a device capable of asynchronous imaging using EVS pixels and synchronous imaging for gradation images independently. That is, the first layer element (Top part) 201 is configured with a pixel array section 10, and the second layer element 202 (Bottom part) has an AFE (Analog Front End) array section 20 for EVS pixels, a row control circuit 211, an AD converter 212, an EVS signal processor 213, an image signal processor 214, and an input/output interface 215.
  • the row control circuit 211 has an EVS control section (arbiter) 211a and a gradation control section 211b.
  • the EVS signal processor 213 has a memory 213a, an image processing section 213b, and a clock signal generating section 213c.
  • FIG. 3 is a diagram that shows a schematic of EVS pixels 30a and gradation pixels 30b arranged in a matrix in the pixel array section 10.
  • a plurality of gradation pixels 30b and a plurality of EVS pixels 30a are two-dimensionally arranged in a matrix (array) in the pixel array section 10.
  • R, G, and B are examples of color filters arranged in the gradation pixels 30b. That is, R indicates a red filter, G indicates a green filter, and B indicates a blue filter.
  • the photodetector element 200 according to this embodiment is a so-called mixed-mount type.
  • the EVS pixel 30a outputs an analog signal of a voltage corresponding to the photocurrent to the EVS AFE array unit 20. Details of the EVS pixel 30a will be described later.
  • each gradation pixel 30b generates an analog signal of a voltage corresponding to the photocurrent as a gradation luminance signal, and outputs it to the AD converter 212 (see FIG. 2).
  • a vertical signal line VSL is wired for each pixel column of the gradation pixels 30b. The details of the gradation pixels 30b will be described later.
  • the EVS AFE array unit 20 detects the presence or absence of an event based on whether the amount of change in photocurrent in the EVS pixel 30a exceeds a predetermined threshold.
  • This EVS AFE array unit 20 has multiple event detection units 20a (see FIG. 7 described below) corresponding to each of the EVS pixels 30a.
  • the EVS AFE array unit 20 detects an event, it outputs a request to the EVS control unit (arbiter) 211a to request the output of event data indicating the occurrence of the event.
  • the EVS AFE array unit 20 receives a response from the EVS control unit (arbiter) 211a indicating permission to output the event data, it outputs the event data to the memory 213a.
  • the EVS control unit 211a arbitrates requests from the event detection unit 20a constituting the EVS AFE array unit 20, and returns a response indicating permission or denial of event data output to the EVS AFE array unit 20. After outputting a response indicating permission to output event data, the EVS control unit 211a also outputs a reset signal to reset event detection to the EVS AFE array unit 20.
  • the memory 213a accumulates the event data from the EVS AFE array unit 20, for example, in units of a predetermined frame.
  • the frame units in which the memory 213a accumulates the event data from the EVS AFE array unit 20 are controlled by the image processing unit 213b.
  • the memory 213a accumulates the event data by adding a count value as time information indicating the (relative) time when the event occurred, based on the clock signal supplied from the clock signal generating unit 213c. That is, the memory 213a stores event data that includes at least the EVS pixel 30a where the event occurred or the position coordinates (coordinates, etc.) indicating the position of the EVS pixel 30a, and the time information indicating the time when the event occurred.
  • the event data can include the polarity (positive or negative) of the change in light amount.
  • the image processing unit 213b performs data processing (image processing) according to the frame-by-frame event data (frame data) stored in the memory 213a, and outputs the data processing result that is the result of the data processing. For example, the image processing unit 213b extracts object contour information from the frame-by-frame event data and identifies the object to be detected. The image processing unit 213b determines a region of interest (ROI) that includes the identified object, and outputs it to the gradation control unit 211b.
  • the clock signal generation unit 213c generates a clock signal that serves as a master clock, and supplies it to the memory 213a, the image processing unit 213b, etc.
  • the gradation control unit 211b drives the gradation pixels 30b of the pixel array unit 10 by supplying a control signal to the pixel array unit 10.
  • the gradation control unit 211b drives the gradation pixels 30b of the region of interest based on ROI information, which is information on the region of interest supplied from the image processing unit 213b, and supplies (outputs) the pixel signals of the gradation pixels 30b to the AD converter 212.
  • the gradation control unit 211b can drive not only a portion of the pixel array unit 10, but the entire region of the pixel array unit 10, and supply (output) the pixel signals of the gradation pixels 30b in the entire region to the AD converter 212.
  • the row control unit 211 can perform integrated control processing of the EVS control unit (arbiter) 211a and the gradation control unit 211b. For example, the row control unit 211 controls the timing of readout in the EVS pixel 30a that affects the AD converter 212 of the luminance signal in the gradation pixel 30b.
  • FIG. 4 is a block diagram showing a configuration example of the AD converter 212.
  • This AD converter 212 is arranged for each gradation pixel 30b, 30b.
  • An ADC 230 is provided for each column of gradation pixels 30b.
  • the ADC 230 converts the analog gradation luminance signal SIG1 supplied via the vertical signal line VSL into a digital signal.
  • the ADC 230 supplies the generated digital signal to the image signal processor 214.
  • the image signal processor 214 performs predetermined signal processing, such as CDS (Correlated Double Sampling) processing and image recognition processing, on the digital signal from the AD converter 212.
  • the EVS signal processor 213 outputs image data and detection signals indicating the processing results to the recording unit 120 (see Figure 1) via the input/output interface 215.
  • Fig. 5 is a circuit diagram showing an example of the configuration of the EVS pixel 30a.
  • the EVS pixel 30a has a circuit configuration including a photoelectric conversion element 221, an N-type transistor 3311 of a logarithmic conversion unit 222, and an N-type transistor 3313.
  • the P-type transistor 3312 is configured in the EVS AFE array unit 20.
  • the photoelectric conversion element 221 photoelectrically converts incident light to generate electric charges.
  • the logarithmic conversion unit 222 corresponds to a voltage conversion unit.
  • the logarithmic conversion unit 222 in this example has a circuit configuration including an N-type transistor 3311, a P-type transistor 3312, and an N-type transistor 3313.
  • MOS Metal-Oxide-Semiconductor
  • the N-type transistor 3311 is connected between the power supply line of the power supply voltage VDD and the signal input line 3314.
  • the P-type transistor 3312 and the N-type transistor 3313 are connected in series between the power supply line of the power supply voltage VDD and ground.
  • the common connection node N2 of the P-type transistor 3312 and the N-type transistor 3313 is connected to the gate electrode of the N-type transistor 3311 and the input terminal of the buffer 332 shown in FIG. 11.
  • a predetermined bias voltage Vbias is applied to the gate electrode of the P-type transistor 3312. This causes the P-type transistor 3312 to supply a constant current to the N-type transistor 3313.
  • a photocurrent is input from the light receiving unit 31 to the gate electrode of the N-type transistor 3313 through the signal input line 3314.
  • the drain electrodes of the N-type transistor 3311 and the N-type transistor 3313 are connected to the power supply side, and such a circuit is called a source follower.
  • a source follower By these two source followers connected in a loop, the photocurrent from the light receiving unit 31 is converted into its logarithmic voltage signal VPR, and is supplied from a node N2 to a pixel voltage holding unit 331, which will be described later.
  • the pixel voltage holding unit 331 corresponds to the signal holding unit.
  • Fig. 6 is a diagram showing an example of a circuit of the gradation pixel 30b.
  • the gradation pixel 30b has a reset transistor 321, an amplifying transistor 322, a selection transistor 323, a floating diffusion layer 324, and a light receiving section 330.
  • an N-type MOS transistor is used as the reset transistor 321, the amplification transistor 322, the selection transistor 323, and the transfer transistor 3310.
  • the photoelectric conversion element 311 is disposed in the first layer element 201. All elements other than the photoelectric conversion element 311 are disposed in the second layer element 202.
  • the photoelectric conversion element 311 photoelectrically converts incident light to generate electric charge.
  • the electric charge photoelectrically converted by the photoelectric conversion element 311 is supplied to the floating diffusion layer 324 by the transfer transistor 3310 from the photoelectric conversion element 311.
  • the electric charge supplied from the photoelectric conversion element 311 is accumulated in the floating diffusion layer 324.
  • the floating diffusion layer 324 generates a voltage signal with a voltage value according to the amount of accumulated electric charge.
  • the amplification transistor 322 is connected in series with the selection transistor 323 between the power supply line of the power supply voltage VDD and the vertical signal line VSL.
  • the amplification transistor 322 amplifies the voltage signal that has been converted from charge to voltage by the floating diffusion layer 324.
  • a selection signal SEL is supplied from the row control unit 211 to the gate electrode of the selection transistor 323.
  • the selection transistor 323 outputs the voltage signal amplified by the amplification transistor 322 as a pixel signal SIG via the vertical signal line VSL to the AD converter 212 (see FIG. 2).
  • (parasitic capacitance) 7 is a diagram showing the parasitic capacitance Cs between the EVS pixel 30a and the vertical signal line VSL of the gradation pixel 30b. As shown in FIG. 7, a parasitic capacitance Cs is generated between the gate control line of the N-type transistor 3312 of the EVS pixel 30a and the vertical signal line VSL of the gradation pixel 30b. As a result, when the timing of conversion to a voltage signal VPR and output from the node N2 overlaps with the timing of AD conversion of the gradation pixel 30b, the magnitude of the pixel signal SIG1 fluctuates. For this reason, the EVS AFE array unit 20 according to this embodiment has a pixel voltage holding unit 331 described later in FIG. 8 and FIG. 10.
  • FIG. 8 is a diagram showing an example of the configuration of the event detection unit 20a of the EVS AFE array unit 20.
  • the event detection unit 20a has a pixel voltage holding unit 331, a buffer 332, a subtractor 333, a quantizer 334, a transfer unit 335, a memory unit 336, and a control unit 337.
  • the buffer 332, the subtractor 333, the quantizer 334, the transfer unit 335, and the memory unit 336 in this embodiment correspond to the first circuit.
  • the pixel voltage holding unit 331 holds the voltage signal VPR of the logarithmic conversion unit 222 and cuts off the electrical connection between the buffer 332 and the EVS pixel 30a.
  • the pixel voltage holding unit 331 is electrically connected to the buffer 332. In other words, when the signal of the corresponding gradation pixel 30b is not being read out, the pixel voltage holding unit 331 supplies the voltage signal VPR of the logarithmic conversion unit 222 to the buffer 332. Details of the pixel voltage holding unit 331 will be described later.
  • the buffer 332 buffers the voltage signal supplied from the logarithmic conversion unit 222 and supplies it to the subtractor 333.
  • the row drive signal is supplied to the subtractor 333 from the row control unit 211.
  • the subtractor 333 reduces the level of the voltage signal supplied from the buffer 332 in accordance with the row drive signal.
  • the subtractor 333 then supplies the voltage signal after the level reduction to the quantizer 334.
  • the quantizer 334 quantizes the voltage signal supplied from the subtractor 333 into a digital signal and outputs it to the transfer unit 335 as an address event detection signal.
  • the transfer unit 335 transfers the address event detection signal supplied from the quantizer 334 to the image signal processor 214, etc. When an address event is detected, the transfer unit 335 supplies the address event detection signal to the EVS signal processor 213 and row control unit 211.
  • Example 9 is a circuit diagram showing an example of the configuration of the subtractor 333 and the quantizer 334.
  • the subtractor 333 according to this example has a configuration including a capacitance element 3331, an inverter circuit 3332, a capacitance element 3333, and a switch element 3334.
  • One end of the capacitance element 3331 is connected to the output terminal of the buffer 332 shown in FIG. 8, and the other end is connected to the input terminal of the inverter circuit 3332.
  • the capacitance element 3333 is connected in parallel to the inverter circuit 3332.
  • the switch element 3334 is connected between both ends of the capacitance element 3333.
  • a row drive signal is supplied to the switch element 3334 from the second access control circuit 211b as an opening/closing control signal.
  • the switch element 3334 opens and closes the path connecting both ends of the capacitance element 3333 in response to the row drive signal.
  • the inverter circuit 3332 inverts the polarity of the voltage signal input via the capacitance element 3331.
  • the switch element 3334 when the switch element 3334 is turned on (closed), a voltage signal Vinit is input to the terminal of the capacitance element 3331 on the buffer 332 side, and the terminal on the opposite side serves as a virtual ground terminal.
  • the potential of this virtual ground terminal is set to zero.
  • the charge Qinit stored in the capacitance element 3331 is expressed by the following equation (1), where the capacitance value of the capacitance element 3331 is C1.
  • both ends of the capacitance element 3333 are short-circuited, so the stored charge is zero.
  • Qinit C1 ⁇ Vinit (1)
  • the charge Q2 stored in the capacitance element 3333 is expressed by the following equation (3), where the capacitance value of the capacitance element 3333 is C2 and the output voltage is Vout.
  • Q2 -C2 ⁇ Vout (3)
  • Equation (5) represents the subtraction operation of a voltage signal, and the gain of the subtraction result is C1/C2. Since it is usually desired to maximize the gain, it is preferable to design C1 large and C2 small. On the other hand, if C2 is too small, kTC noise increases and there is a risk of deteriorating noise characteristics, so the reduction in capacitance of C2 is limited to a range in which noise can be tolerated.
  • an event detection unit 20a including a subtractor 333 is mounted on each EVS pixel 30a, there are area restrictions on the capacitance elements 3331 and 3333. Taking these factors into consideration, the capacitance values C1 and C2 of the capacitance elements 3331 and 3333 are determined.
  • the quantizer 334 has a configuration including a comparator 3341.
  • the comparator 3341 receives the output signal from the inverter circuit 3332, i.e., the voltage signal from the subtractor 333, as a non-inverted (+) input, and receives a predetermined threshold voltage Vth as an inverted (-) input.
  • the comparator 3341 then compares the voltage signal from the subtractor 333 with the predetermined threshold voltage Vth, and outputs a signal indicating the comparison result to the transfer unit 335 as an address event detection signal.
  • FIG. 10 is a circuit diagram showing an example of the configuration of the pixel voltage holding unit 331.
  • the pixel voltage holding unit 331 has a capacitance 331a, a buffer 331b, a first switching element ⁇ 1, and a first switching element ⁇ 2.
  • the first switching element ⁇ 1 is, for example, an NMOS transistor, which becomes conductive when the row control unit 211 applies a high-level signal to it, and becomes non-conductive when the row control unit 211 applies a low-level signal to it.
  • One end of this first switching element ⁇ 1 is connected to the logarithmic conversion unit 222, and the other end is connected to one end of the capacitance 331a and one end of the buffer 331b.
  • the capacitance 331a is, for example, a capacitor, and one end is connected to the other end of the first switching element ⁇ 1 and one end of the buffer 331b. The other end of the capacitance 331a is connected to a predetermined low potential (ground potential).
  • Buffer 331b is, for example, a voltage follower circuit, and is a feedback circuit with an amplification level of 1. The other end of buffer 331b is connected to one end of buffer 332.
  • the second switching element ⁇ 2 is, for example, an NMOS transistor, which is turned on when the row control unit 211 applies a high-level signal to it and turned off when the row control unit 211 applies a low-level signal to it.
  • One end of this first switching element ⁇ 2 is connected to the logarithmic conversion unit 222, and the other end is connected to one end of the buffer 332 and the other end of the buffer 331b.
  • FIG. 11 is a diagram showing the pixel voltage holding unit 331 during sampling operation.
  • the row control unit 211 sets the first switching element ⁇ 1 to a conductive state and the second switching element ⁇ 2 to a non-conductive state.
  • charge corresponding to the voltage signal VPR of the logarithmic conversion unit 211 is accumulated in the capacitance 331a, and the voltage signal VPR is supplied to the buffer 332.
  • the voltage signal VPR of the logarithmic conversion unit 211 is supplied to the buffer 332, and charge corresponding to the voltage signal VPR is accumulated.
  • a potential corresponding to the charge accumulated in the capacitance 331a is supplied to the buffer 332 via the buffer 331b.
  • FIG. 12 is a diagram showing the pixel voltage holding unit 331 during a hold operation.
  • the row control unit 211 sets the first switching element ⁇ 1 to a non-conductive state and the second switching element ⁇ 2 to a conductive state.
  • a potential corresponding to the charge accumulated during the sampling operation is supplied to the buffer 332.
  • a potential corresponding to the charge stored in the capacitance 331a is applied to the control line of the N-type transistor 3311 (see FIG. 5) of the logarithmic conversion unit 222 via the buffer 331b.
  • This suppresses the fluctuation of the voltage signal VPR of the logarithmic conversion unit 222 to the output potential of the buffer 331b, and suppresses the voltage fluctuation of the parasitic capacitance Cs (see FIG. 7) to the vertical signal line VLS (see FIG. 4).
  • the row control unit 211 can also suppress the application of the bias voltage Vbias (see FIG. 5) of the logarithmic conversion unit 222 during the hold operation. This also makes it possible to suppress the voltage signal VPR of the logarithmic conversion unit 222.
  • the pixel voltage holding unit 331 that performs the hold operation is determined for each vertical signal line VSL.
  • the pixel voltage holding unit 331 of the EVS pixel 30a located within a predetermined range from the vertical signal line VSL suppresses fluctuations in the voltage signal VPR of the corresponding logarithmic conversion unit 222.
  • FIG. 13 is a diagram showing an example of control of the row control unit 211 to the pixel voltage holding unit 331. From the top, it shows the gradation ramp signal L10 of the AD converter 212, the first control signal L12 of the first switching element ⁇ 1, and the second control signal L14 of the second switching element ⁇ 2. It also shows the illuminance L16 irradiated to the EVS pixel 30a, and the voltage signal VPR of the logarithmic conversion unit 211.
  • the row control unit 211 performs a hold operation by setting the period during which the signal is read out to the vertical signal line VLS (see FIG. 4) in the AD converter 212 as the hold period of the pixel voltage holding unit 331.
  • the pixel voltage holding unit 331 of the EVS pixel 30a in the range that is capacitively coupled with the vertical signal line VLS connected to the driven ADC 230 performs a hold operation.
  • ADC 230 (see FIG. 4) is not performing AD conversion, so pixel voltage holding unit 331 is in the sampling period, the first control signal L12 is at high level, and the second control signal L14 is at low level.
  • the voltage signal VPR of logarithmic conversion unit 211 is sampled by capacitance 331a of pixel voltage holding unit 331 and is output to buffer 332.
  • ADC 230 starts AD conversion, so row control unit 211 sets first control signal L12 to low level and second control signal L14 to high level. This causes pixel voltage holding unit 331 to start a hold operation. Therefore, even if there is a fluctuation in illuminance L16 irradiated to EVS pixel 30a, the fluctuation in voltage signal VPR of logarithmic conversion unit 211 is suppressed.
  • pixel voltage holding unit 331 holds voltage signal VPR at time t1 and outputs it to buffer 332. As a result, a potential corresponding to the charge accumulated during the sampling operation at time t1 is supplied to buffer 332.
  • a potential corresponding to the charge accumulated during the sampling operation at time t1 is applied to the control line of the N-type transistor 3311 (see FIG. 5) of the logarithmic conversion unit 222 via the buffer 331b.
  • the voltage signal VPR' indicates the voltage signal of the logarithmic conversion unit 211 when the pixel voltage holding unit 331 continues the sampling operation.
  • the potential in the control line of the N-type transistor 3311 (see Figure 5) of the logarithmic conversion unit 222 fluctuates, causing voltage fluctuations of the parasitic capacitance Cs on the vertical signal line VLS.
  • the ADC 230 performs AD conversion of the signal level, so even if there is a fluctuation in the voltage signal VPR, the impact on the AD conversion is limited. Therefore, as at time t0, the pixel voltage holding unit 331 is in a sampling period, the first control signal L12 is at a high level, and the second control signal L14 is at a low level. As a result, the voltage signal VPR of the logarithmic conversion unit 211 is sampled by the electrostatic capacitance 331a of the pixel voltage holding unit 331 and output to the buffer 332.
  • the illuminance L16 is higher than that at time t1, so the logarithmic conversion unit 211 outputs a voltage signal VPR corresponding to the illuminance L16.
  • the pixel voltage holding unit 331 performs a sampling operation, but is not limited to this.
  • a period corresponding to the AD conversion of the signal level may be the hold period of the pixel voltage holding unit 331. This makes it possible to obtain a signal with more suppressed fluctuations.
  • FIG. 14 is a diagram showing a case where the sampling operation continues during the conversion period of the AD conversion, and a case where the pixel voltage holding unit 331 performs a holding operation instead of a sampling operation.
  • the grayscale pixels of the pixel array unit 10 are shown as RGB, and the EVS pixels are shown as EVS.
  • Figure (a) shows an example in which the high-luminance region Rh moves in the direction of the arrow.
  • Figure (b) shows a case in which the pixel voltage holding unit 331 continues the sampling operation. Due to a change in luminance, the logarithmic conversion unit 211 of the EVS pixel 30a reduces the voltage signal VPR in the region where luminance has decreased. This region is detected by the event detection unit 20a (see Figure 7) as a region in which an OFF event has occurred. On the other hand, the logarithmic conversion unit 211 of the EVS pixel 30a increases the voltage signal VPR in the region where luminance has increased. This region is detected by the event detection unit 20a (see Figure 7) as a region in which an ON event has occurred.
  • the output signal of the gradation pixel is affected by the fluctuation of the voltage signal VPR because the pixel voltage holding unit 331 continues to perform sampling operations, and in the region where an OFF event occurs, a region Rh2 appears as an afterimage, even though there is no image signal.
  • a region Rh1 appears where the brightness decreases.
  • the pixel voltage holding unit 331 performs a hold operation instead of a sampling operation, so the effect of fluctuations in the voltage signal VPR is suppressed, and in the region where an OFF event occurs, the afterimage region Rh2 disappears, and in the region where an ON event occurs, the luminance of region Rh1 becomes a high luminance value.
  • the pixel voltage holding unit 331 performing a hold operation during the conversion period of the AD conversion, fluctuations in the voltage signal VPR are suppressed, and voltage fluctuations of the parasitic capacitance Cs to the vertical signal line VLS are suppressed.
  • the EVS pixel 30a and the gradation pixel 30b are mixed and mounted in the pixel array section 10, and during the AD conversion period of the gradation pixel 30b, the pixel voltage holding section 331 corresponding to the EVS pixel 30a suppresses the fluctuation of the voltage signal VPR of the logarithmic conversion section 222.
  • the voltage of the EVS pixel 30a is temporarily held, and the voltage of the EVS pixel 30a is output at a timing when the gradation pixel 30b is not undergoing an AD change, etc., so that interference (noise) with the AD conversion of the gradation pixel 30b can be suppressed.
  • (Modification 1 of the first embodiment) 15 is a diagram showing a configuration example of a pixel voltage holding unit 3310a according to the first modification of the first embodiment.
  • the pixel voltage holding unit 3310a according to the first modification of the first embodiment has a buffer 352 instead of the buffer 331b.
  • the buffer 352 has a function combining the functions of the buffers 331b and 332. This enables the event detection unit 20a (see FIG. 7) to be further miniaturized.
  • FIG. 16 is a diagram showing a configuration example of a pixel voltage holding unit 3310b according to the second modification of the first embodiment.
  • one end of the first switching element ⁇ 1 is connected to the buffer 332, and the other end is connected to the input terminal of the buffer 331b.
  • one end of the second switching element ⁇ 2 is connected to the logarithmic conversion unit 222, and the other end is connected to the output terminal of the buffer 331b.
  • One end of the capacitance 331a is connected to the input terminal of the buffer 331b.
  • the logarithmic conversion unit 222 and the buffer 332 are connected by wiring. This connection also has the same effect as the pixel voltage holding unit 331 according to the first embodiment.
  • the row control unit 211 can also suppress the application of the bias voltage Vbias (see FIG. 5) of the logarithmic conversion unit 222 during the hold period.
  • (Modification 3 of the first embodiment) 17 is a diagram showing a configuration example of a pixel voltage holding unit 3310c according to Modification 3 of the first embodiment.
  • one end of the first switching element ⁇ 1 is connected to the buffer 332, and the other end is connected to the logarithmic conversion unit 222.
  • one end of the second switching element ⁇ 2 is connected to the logarithmic conversion unit 222, and the other end is connected to the output terminal of the buffer 331b.
  • the input terminal of the buffer 331b is connected to the buffer 332 and one end of the electrostatic capacitance 331a, and the other end of the electrostatic capacitance 331a is connected to ground. This connection also has the same effect as the pixel voltage holding unit 331 according to the first embodiment.
  • (Fourth Modification of the First Embodiment) 18 is a diagram showing a configuration example of a pixel voltage holding unit 3310d according to the fourth modification of the first embodiment.
  • an operational amplifier 352a is used instead of the buffer 331b.
  • the pixel voltage holding unit 3310d further includes an eleventh switching element ⁇ 11, a twelfth switching element ⁇ 12, a twenty-first switching element ⁇ 21, a twenty-second switching element ⁇ 22, and a capacitance 354a.
  • the eleventh switching element ⁇ 11, the twelfth switching element ⁇ 12, the twenty-first switching element ⁇ 21, and the twenty-second switching element ⁇ 22 are, for example, NMOS transistors.
  • One end of the 21st switching element ⁇ 21 is connected to the logarithmic conversion unit 222, and the other end is connected to the output terminal of the operational amplifier 352a.
  • One end of the 12th switching element ⁇ 12 is connected to the output terminal of the operational amplifier 352a, and the other end is connected to the inverting input terminal of the operational amplifier 352a.
  • One end of the 22nd switching element ⁇ 22 is connected to the output terminal of the operational amplifier 352a, and the other end is connected to one end of the electrostatic capacitance 354a and one end of the 11th switching element ⁇ 11.
  • the other end of the 11th switching element ⁇ 11 is connected to the buffer 332.
  • the other end of the electrostatic capacitance 354a is connected to the inverting input terminal of the operational amplifier 352a, and the non-inverting input terminal of the operational amplifier 352a is connected to ground.
  • the logarithmic conversion unit 222 and the buffer 332 are connected by wiring.
  • the eleventh switching element ⁇ 11 and the twelfth switching element ⁇ 12 are in a connected state, and the twenty-first switching element ⁇ 21 and the twenty-second switching element ⁇ 22 are in a disconnected state.
  • the eleventh switching element ⁇ 11 and the twelfth switching element ⁇ 12 are in a disconnected state, and the twenty-first switching element ⁇ 21 and the twenty-second switching element ⁇ 22 are in a connected state.
  • a potential according to the accumulated charge of the electrostatic capacitance 354a is applied from the output terminal of the operational amplifier 352a to the control line of the N-type transistor 3311 (see FIG. 5) of the logarithmic conversion unit 222.
  • the fluctuation of the voltage signal VPR of the logarithmic conversion unit 222 is suppressed to the output potential of the output terminal of the operational amplifier 352a, and the voltage fluctuation of the parasitic electrostatic capacitance Cs (see FIG. 7) to the vertical signal line VLS (see FIG. 4) is suppressed.
  • the row control unit 211 can also suppress application of the bias voltage Vbias (see FIG. 5) to the logarithmic conversion unit 222 during the hold operation. This connection also has the same effect as the pixel voltage holding unit 331 according to the first embodiment.
  • the Fifth Modification of the First Embodiment 19 is a diagram showing a configuration example of a pixel voltage holding unit 3310e according to Modification 5 of the first embodiment.
  • the pixel voltage holding unit 3310e according to Modification 5 of the first embodiment differs from the pixel voltage holding unit 3310d according to Modification 4 of the first embodiment in that one end of the eleventh switching element ⁇ 11 is connected to the logarithmic conversion unit 222 and the other end is connected to the buffer 332.
  • the eleventh switching element ⁇ 11 and the twelfth switching element ⁇ 12 are in a connected state, and the twenty-first switching element ⁇ 21 and the twenty-second switching element ⁇ 22 are in a disconnected state.
  • the eleventh switching element ⁇ 11 and the twelfth switching element ⁇ 12 are in a disconnected state, and the twenty-first switching element ⁇ 21 and the twenty-second switching element ⁇ 22 are in a connected state.
  • a potential according to the accumulated charge of the capacitance 354a is applied from the output terminal of the operational amplifier 352a to the control line of the N-type transistor 3311 (see FIG. 5) of the logarithmic conversion unit 222.
  • Second Embodiment 20 is a diagram showing a configuration example of a second embodiment of a solid-state imaging device to which the present technology is applied.
  • a photodetector element 200 according to the second embodiment an EVS pixel that receives light for event detection and a gradation pixel that receives light for generating an image of a region of interest are formed on the same chip.
  • the photodetector element 200 in FIG. 20 is configured as a single chip in which multiple dies (substrates) are stacked: a sensor die (substrate) 411 and a logic die 412.
  • the sensor die 411 is configured with a sensor section 421 (as a circuit), and the logic die 412 is configured with a logic section 422.
  • the sensor unit 421 generates event data in the same manner as the pixel array unit 10 (FIG. 3) described above. That is, the sensor unit 421 has an EVS pixel 30a that performs photoelectric conversion of incident light to generate an electrical signal, and generates event data that indicates the occurrence of an event, which is a change in the electrical signal of the pixel.
  • the sensor unit 421 also generates pixel signals in the same manner as the pixel array unit 10 (FIG. 3) described above. That is, the sensor unit 421 has grayscale pixels 30b that perform photoelectric conversion of incident light to generate electrical signals, captures an image in synchronization with a vertical synchronization signal, and outputs frame data, which is image data in a frame format.
  • the sensor unit 421 can output event data or pixel signals independently, and can also output pixel signals of a region of interest based on ROI information input from the logic unit 422 based on the generated event data.
  • the logic unit 422 controls the sensor unit 421 as necessary.
  • the logic unit 422 performs various types of data processing, such as data processing to generate frame data in response to event data from the sensor unit 421, and image processing of the frame data from the sensor unit 421 or the frame data generated in response to the event data from the sensor unit 421, and outputs the data processing results obtained by performing the various data processing operations, such as the event data, the frame data, and the various data processing operations.
  • the logic unit 422 includes, for example, the memory 34, the image processing unit 35, the clock signal generating unit 37, the detection unit 341, the reliability determining unit 342, and the imaging synchronization signal generating unit 343.
  • the detection unit 34 like the detection unit 133 of the second embodiment, identifies an object to be detected by image recognition using the frame data stored in the memory 34, and extracts contour information of the object.
  • the image processing unit 35 then outputs information identifying the region of interest, which includes the identified object, as ROI information to the driving unit 432.
  • the reliability determining unit 342 determines the reliability of the object detection based on the detection rate supplied from the detection unit 341, and controls the frame unit (frame volume) in which the memory 34 accumulates the event data.
  • the imaging synchronization signal generation unit 343 generates an imaging synchronization signal in response to the imaging cycle control signal from the reliability determination unit 342, and outputs it to the input unit 214 of the CIS chip 312.
  • a clock signal (master clock) is supplied to the imaging synchronization signal generation unit 343 from the clock signal generation unit 37.
  • the frame interval setting unit 131 sets a frame interval in response to, for example, a user operation, and supplies it to the memory 34.
  • the frame interval refers to the interval between frames of frame data generated in response to event data, and the frame interval can be specified and set by time or the number of event data.
  • the frame interval set by the frame interval setting unit 131 is also referred to as the set frame interval.
  • the frame width setting unit 132 sets the frame width in response to, for example, a user operation, and supplies it to the memory 34.
  • the frame width represents the time width of the event data used to generate one frame of frame data, and like the frame interval, the frame width can be set by specifying the time or the number of event data.
  • a portion of the sensor unit 421 can be configured on the logic die 412. Also, a portion of the logic unit 422 can be configured on the sensor die 411.
  • FIG. 22 is a diagram showing an example of a three-layer structure.
  • the light detection element 200 can be configured in three layers by stacking another logic die 413 in addition to the sensor die 411 and logic die 412, as shown in FIG. 22.
  • it may also be configured with four or more layers of stacked dies (substrates).
  • Fig. 23 is a block diagram showing an example of the configuration of the sensor unit 421 in Fig. 20.
  • the sensor unit 421 includes a pixel array unit 431, a drive unit 432, an arbiter 433, an AD conversion unit 434, a signal processing unit 435, and an output unit 436.
  • the sensor unit 421 is connected to the inverting input terminal of the operational amplifier 352a.
  • the pixel array section 431 is configured with a plurality of pixels (see FIG. 3) arranged in a two-dimensional lattice.
  • the event detection section 20a (see FIG. 7) corresponding to the EVS pixel 30b (see FIG. 3) is also configured within the pixel array section 431.
  • the pixel array unit 431 detects the change in photocurrent as an event.
  • the pixel array unit 431 When the pixel array unit 431 detects an event, it outputs a request to the arbiter 433 to output event data indicating the occurrence of the event. Then, when the pixel array unit 431 receives a response indicating permission to output the event data from the arbiter 433, it outputs the event data to the drive unit 432 and output unit 436. Furthermore, the pixel array unit 431 outputs the electrical signal of the EVS pixel 30b in which the event was detected as a pixel signal to the AD conversion unit 434.
  • the drive unit 432 drives the pixel array unit 431 by supplying a control signal to the pixel array unit 431.
  • the drive unit 432 drives the EVS pixel 30b to which event data has been output from the pixel array unit 431, and supplies (outputs) the pixel signal of the EVS pixel 30b to the AD conversion unit 434.
  • the arbiter 433 arbitrates requests for output of event data from the pixel array unit 431, and returns a response indicating whether output of the event data is permitted or not to the pixel array unit 431. After outputting the response indicating permission to output the event data, the arbiter 433 outputs a reset signal to the pixel array unit 431 to reset event detection.
  • the AD conversion unit 434 performs AD conversion on the pixel signals of the pixels 451 in the pixel block 441 of each column in the ADC of that column, and supplies the converted signals to the signal processing unit 435. Note that the AD conversion unit 434 can perform CDS in addition to AD conversion of the pixel signals.
  • the signal processing unit 435 performs predetermined signal processing, such as black level adjustment processing and gain adjustment processing, on the pixel signals sequentially supplied from the AD conversion unit 434, and supplies the signals to the output unit 436.
  • predetermined signal processing such as black level adjustment processing and gain adjustment processing
  • the output unit 436 performs the same processing as the output unit 36 and the output unit 217 in the third embodiment. That is, the output unit 436 performs necessary processing on the pixel signals and event data, and supplies them to the logic unit 422 (FIG. 20).
  • the pixel array section 431 further includes an event detection section 20a (see FIG. 8) and a pixel signal generation section 252 (not shown).
  • the EVS pixel 30a receives incident light from a subject and performs photoelectric conversion to generate a photocurrent as an electrical signal.
  • the EVS pixel 30a supplies the photocurrent to the event detection section 20a under the control of the drive section 432.
  • the event detection unit 20a under the control of the drive unit 432, detects, as an event, a change in the photocurrent from each of the EVS pixels 30a that exceeds a predetermined threshold.
  • the event detection unit 20a (see FIG. 8) detects an event, it supplies a request to the arbiter 433 (FIG. 22) requesting the output of event data indicating the occurrence of the event.
  • the event detection unit 20a receives a response to the request from the arbiter 433 permitting the output of the event data, it outputs the event data to the drive unit 432 and the output unit 436.
  • the pixel signal generation unit 252 When an event is detected by the event detection unit 20a, the pixel signal generation unit 252 generates a pixel signal corresponding to the photocurrent of the gradation pixel 30b (see Figure 3) under the control of the drive unit 432, and supplies it to the AD conversion unit 434 ( Figure 22) via the vertical signal line VSL.
  • an event is detected by one or more EVS pixels 30a and the event detection unit 20a, and event data is generated.
  • the generated event data is supplied to the logic unit 422, which determines the region of interest.
  • ROI information of the region of interest is supplied from the logic unit 422 to the sensor unit 421, and an image signal is generated by the gradation pixel 30b corresponding to the region of interest, and output to the vertical signal line VSL in order.
  • the pixel signal output to the vertical signal line VSL is supplied to the AD conversion unit 434, and is AD converted.
  • the pixel voltage holding unit 331 see FIG.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving object, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, a robot, a construction machine, or an agricultural machine (tractor).
  • FIG. 24 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be, for example, an in-vehicle communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled.
  • Each control unit includes a network I/F for communicating with other control units via a communication network 7010, and a communication I/F for communicating with devices or sensors inside and outside the vehicle by wired or wireless communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/image output unit 7670, an in-vehicle network I/F 7680, and a storage unit 7690.
  • Other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drivetrain control unit 7100 controls the operation of devices related to the drivetrain of the vehicle according to various programs.
  • the drivetrain control unit 7100 functions as a control device for a driveforce generating device for generating a driveforce for the vehicle, such as an internal combustion engine or a drive motor, a driveforce transmission mechanism for transmitting the driveforce to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the drivetrain control unit 7100 may also function as a control device such as an ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the drive system control unit 7100 is connected to a vehicle state detection unit 7110.
  • the vehicle state detection unit 7110 includes at least one of the following: a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or a sensor for detecting the amount of operation of the accelerator pedal, the amount of operation of the brake pedal, the steering angle of the steering wheel, the engine speed, or the rotation speed of the wheels.
  • the drive system control unit 7100 performs arithmetic processing using the signal input from the vehicle state detection unit 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, according to various programs. For example, information such as the battery temperature, battery output voltage, or remaining capacitance of the battery is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or a cooling device or the like equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of, for example, an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc., around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device in which multiple sensors or devices are integrated.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 provided on the front nose and the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided on the side mirrors mainly acquire images of the sides of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 25 shows an example of the imaging ranges of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • image data captured by the imaging units 7910, 7912, 7914, and 7916 are superimposed to obtain an overhead image of the vehicle 7900.
  • External information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners, and upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices. These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data.
  • the outside-vehicle information detection unit 7400 also receives detection information from the connected outside-vehicle information detection unit 7420. If the outside-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the outside-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves.
  • the outside-vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface, based on the received information.
  • the outside-vehicle information detection unit 7400 may perform environmental recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the outside-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or characters on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or a panoramic image by synthesizing image data captured by different imaging units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects sound inside the vehicle.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or a driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected sound signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of a voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and to instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the storage unit 7690 may also be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device, etc.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced), or other wireless communication protocols such as wireless LAN (also called Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I/F 7620 may be connected to a terminal located near the vehicle (e.g., a driver's, pedestrian's, or store's terminal, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol developed for use in vehicles.
  • the dedicated communication I/F 7630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE 802.11p and the higher layer IEEE 1609, DSRC (Dedicated Short Range Communications), or a cellular communication protocol.
  • WAVE Wireless Access in Vehicle Environment
  • DSRC Dedicated Short Range Communications
  • the dedicated communication I/F 7630 typically performs V2X communication, which is a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites) and generates position information including the latitude, longitude, and altitude of the vehicle.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current position by exchanging signals with a wireless access point, or may obtain position information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High-Definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High-Definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by the passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 according to various programs based on information acquired through at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I/F 7660, and the in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate the control target value of the driving force generating device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and output a control command to the drive system control unit 7100.
  • the microcomputer 7610 may perform cooperative control for the purpose of realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may control the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby performing cooperative control for the purpose of automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and objects such as surrounding structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle equipment I/F 7660, and the in-vehicle network I/F 7680, and may create local map information including information about the surroundings of the vehicle's current position.
  • the microcomputer 7610 may also predict dangers such as vehicle collisions, the approach of pedestrians, or entry into closed roads based on the acquired information, and generate warning signals.
  • the warning signals may be, for example, signals for generating warning sounds or turning on warning lights.
  • the audio/image output unit 7670 transmits at least one of audio and image output signals to an output device capable of visually or audibly notifying the vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by the occupants, projectors, or lamps other than these devices.
  • the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Also, if the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced voice data or acoustic data, etc., into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated into one control unit.
  • each control unit may be composed of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by any control unit may be provided by another control unit.
  • a predetermined calculation process may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and multiple control units may transmit and receive detection information to each other via the communication network 7010.
  • a computer program for implementing each function of the imaging device 100 according to this embodiment described with reference to FIG. 2 can be implemented in any of the control units, etc.
  • a computer-readable recording medium on which such a computer program is stored can also be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, etc.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the imaging device 100 according to this embodiment described using FIG. 2 can be applied to imaging 74100 of the application example shown in FIG. 24.
  • This technology can be configured as follows:
  • a pixel array section in which a first pixel and a second pixel different from the first pixel are arranged along a same light receiving surface;
  • a conversion unit that converts an output signal output from the first pixel through a signal line into a digital signal;
  • a signal holding unit capable of holding an output signal of the second pixel and suppressing fluctuations in the output signal in accordance with a period of the analog-to-digital conversion;
  • a first circuit that outputs a detection signal indicating an occurrence of an event when the output signal of the second pixel exceeds a predetermined threshold;
  • a light detection element comprising:
  • the second pixel is a photoelectric conversion element that outputs a signal according to the amount of received light; a voltage conversion unit that converts the signal into a voltage signal, The light detection element according to (1), wherein the signal holding unit holds the voltage signal of the voltage conversion unit and suppresses fluctuations in the voltage signal.
  • the pixel array unit includes: A plurality of the first pixels arranged two-dimensionally along the light receiving surface; a plurality of the second pixels arranged two-dimensionally along the light receiving surface; a plurality of the signal holding units corresponding to the plurality of second pixels, The photodetector element of (2), wherein during a period in which analog-to-digital conversion of the output signal via the signal line is performed, the signal holding portion of the second pixel located within a predetermined range from the signal line suppresses fluctuations in the corresponding output signal.
  • a control unit that controls a supply potential of the voltage conversion unit, The light detection element described in (3), wherein the control unit is capable of suppressing driving of the voltage conversion unit of the second pixel located within a predetermined range from the signal line during a period in which analog-to-digital conversion of the output signal via the signal line is being performed.
  • the signal holding unit is a capacitance for holding an output signal of the second pixel; a first switching element that turns a signal line connecting the capacitance and the second pixel into a conductive state or a non-conductive state;
  • the signal holding unit is a buffer capable of outputting a potential corresponding to the charge of the electrostatic capacitance to the first circuit;
  • the signal holding unit is A second switching element that turns a signal line connecting the second pixel and the first circuit into a conductive state or a non-conductive state,
  • the first switching element has one end connected to a signal line connecting the second pixel and the first circuit, and the other end connected to an input terminal of the buffer; a second switching element having one end connected to the output terminal of the buffer and the other end connected to the second pixel;
  • the first switching element has one end connected to the second pixel and the other end connected to the first circuit; an input terminal of the buffer is connected to the first circuit; a second switching element having one end connected to the output terminal of the buffer and the other end connected to the second pixel;
  • the signal holding unit is an operational amplifier, a twelfth switching element, a twenty-first switching element, and a twenty-second switching element;
  • the first switching element has one end connected to a signal line connecting the second pixel and the first circuit, and the other end connected to one end of the capacitance;
  • the other end of the capacitance is connected to the inverting input terminal of the operational amplifier,
  • the non-inverting input terminal of the operational amplifier is connected to a predetermined low potential
  • the 21st switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the second pixel;
  • the twelfth switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the other end of the capacitance;
  • the photodetector element according to (5), wherein the 22nd switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the one end of the capacitance.
  • the signal holding unit is an operational amplifier, a twelfth switching element, a twenty-first switching element, and a twenty-second switching element;
  • the first switching element has one end connected to the second pixel and the other end connected to the first circuit;
  • one end of the capacitance is connected to the first circuit, and the other end of the capacitance is connected to an inverting input terminal of the operational amplifier;
  • the non-inverting input terminal of the operational amplifier is connected to a predetermined low potential
  • the 21st switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the second pixel;
  • the twelfth switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the other end of the capacitance;
  • the photodetector element according to (5), wherein the 22nd switching element has one end connected to the output terminal of the operational amplifier and the other end connected to the one end of the capacitance.
  • the pixel array portion is configured in a first element, The photodetector element according to (1), wherein the conversion unit, the signal holding unit, and the first circuit are configured in a second element different from the first element.
  • 10 pixel array section, 30a: EVS pixel, 30b: gradation pixel, 110: imaging lens, 200: photodetection element, 201: first layer element 201, 202: second layer element, 212: AD converter, 221: photoelectric conversion element, 222: logarithmic conversion section, 331, 3310a to 3310e: pixel voltage holding section, 331a, 354a: electrostatic capacitance 331a, 352: buffer, 352a: operational amplifier, VSL: vertical signal line, ⁇ 1: first switching element, ⁇ 2: first switching element, ⁇ 11: eleventh switching element, ⁇ 12: twelfth switching element, ⁇ 21: 21st switching element, ⁇ 22: 22nd switching element.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

[課題]信号線の電圧変動の影響を抑制可能な光検出素子及び電子機器を提供する。 [解決手段]本開示によれば、第1画素と、前記第1画素と異なる第2画素を同一の受光面に沿って配置する画素アレイ部と、前記第1画素が信号線を介して出力する出力信号をデジタル信号にアナログデジタル変換する変換部と、前記第2画素の出力信号を保持可能であると共に、前記アナログデジタル変換の期間に応じて前記出力信号の変動を抑制する信号保持部と、前記出力信号が所定の閾値を超えた場合にイベントの発生を示す検出信号を出力する第1回路と、を備える、光検出素子が提供される。

Description

光検出素子及び電子機器
 本開示は、光検出素子及び電子機器に関する。
 垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の階調画素が、光検出素子などにおいて用いられている。また、画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力する非同期型のイベントベースビジョンセンサー(EVS)が提案されている。また、非同期型のEVSによりイベントの発生を検出した結果を、撮像に活用する方法が検討されている。
特開2021-129265号公報
 このような活用法の一環として、同期型の階調画素と、イベントベースビジョンセンサーを構成するEVS画素を同一の撮像面上に構成することが進められている。ところが、EVS画素の読み出しにより、階調画素の信号線の電圧が変動し、AD変換特性に影響を与える恐れがある。
 そこで、本開示では、信号線の電圧変動の影響を抑制可能な光検出素子及び電子機器を提供するものである。
 上記の課題を解決するために、本開示によれば、第1画素と、前記第1画素と異なる第2画素を同一の受光面に沿って配置する画素アレイ部と、
 前記第1画素が信号線を介して出力する出力信号をデジタル信号にアナログデジタル変換する変換部と、
 前記第2画素の出力信号を保持可能であると共に、前記アナログデジタル変換の期間に応じて前記出力信号の変動を抑制する信号保持部と、
 前記第2画素の出力信号が所定の閾値を超えた場合にイベントの発生を示す検出信号を出力する第1回路と、
 を備える、光検出素子が提供される。
 前記第2画素は、
 受光量に応じた信号を出力する光電変換素子と、
 前記信号を電圧信号に変換する電圧変換部と、を有し、
 前記信号保持部は、前記電圧変換部の電圧信号を保持すると共に、前記電圧信号の変動を抑制してもよい。
 前記画素アレイ部は、
 前記受光面に沿って二次元状に配置される複数の前記第1画素と、
 前記受光面に沿って二次元状に配置される複数の前記第2画素と、を、有し、
 複数の前記第2画素のそれぞれに対応する複数の前記信号保持部を更に備え、
 前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記信号保持部は、対応する前記出力信号の変動を抑制してもよい。
 前記電圧変換部の供給電位を制御する制御部を更に備え、
 前記制御部は、前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記電圧変換部の駆動を抑制可能であってもよい。
 前記信号保持部は、
 前記第2画素の出力信号を保持する静電容量と、
 前記静電容量と前記第2画素とを接続する信号線を導通状態又は非導通状態とする第1スイッチング素子と、
 を有してもよい。
 前記前記信号保持部は、
 前記静電容量の電荷に応じた電位を前記第1回路に出力可能であるバッファを、
 更に有してもよい。
 前記信号保持部は、
 前記第2画素と前記第1回路とを接続する信号線を導通状態又は非導通状態とする第2スイッチング素子を、
 更に有してもよい。
 前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記バッファの入力端子に接続され、
 前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
 更に有してもよい。
 前記第1スイッチング素子は、前記第2画素に一端が接続され、前記第1回路に他端が接続され、
 前記バッファの入力端子は、前記第1回路に接続され、
 前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
 更にしてもよい。
 前記信号保持部は、
 オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
 前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記静電容量の一端に接続され、
 前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
 前記オペアンプの非反転入力端子は、所定の低電位に接続され、
 前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
 前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
 前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続されてもよい。
 前記信号保持部は、
 オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
 前記第1スイッチング素子は、前記第2画素に一端が接続され、他端が前記第1回路に接続され、
 前記静電容量の一端は、前記第1回路に接続され、前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
 前記オペアンプの非反転入力端子は、所定の低電位に接続され、
 前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
 前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
 前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続されてもよい。
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にしてもよい。
 前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子を導通状態にし、前記第2スイッチング素子を非導通状態にしてもよい。
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にしてもよい。
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にしてもよい。
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にしてもよい。
 前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子、及び前記第12スイッチング素子を導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を非導通状態にしてもよい。
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にしてもよい。
 前記画素アレイ部は、第1素子に構成され、
 前記変換部と、前記信号保持部と、前記第1回路と、は、前記第1素子と異なる第2素子に構成されてもよい。
 本開示によれば、光検出素子と、
 前記受光面に集光する光学系と、
 を備える、電子機器が提供される。
本技術の実施の形態における撮像装置の一構成例を示すブロック図。 本技術の実施の形態における光検出素子の積層構造の一例を示す図。 行列状に配置されるEVS画素、及び階調画素を模式的に示す図。 AD変換器の構成例を示すブロック図。 EVS画素の構成の一例を示す回路図。 階調画素の回路例を示す図。 EVS画素と、階調画素の垂直信号線との間の寄生静電容量を示す図。 EVS用AFEアレイ部のイベント検出部の構成例を示す図。 減算器及び量子化器の構成の一例を示す回路図。 画素電圧保持部の構成例を示す回路図。 画素電圧保持部のサンプリング動作時を示す図。 画素電圧保持部のホールド動作時を示す図。 行制御部の画素電圧保持部への制御例を示す図。 サンプリング動作を継続した場合と、ホールド動作をした場合とを模式的に示す図。 第1実施形態の変形例1に係る画素電圧保持部の構成例を示す図。 第1実施形態の変形例2に係る画素電圧保持部の構成例を示す図。 第1実施形態の変形例3に係る画素電圧保持部の構成例を示す図。 第1実施形態の変形例4に係る画素電圧保持部の構成例を示す図。 図17で示す処理を3周期行った処理例を示す図。 第2実施の形態の構成例を示す図。 ロジック部が有する構成例を示す図。 3層の構造例を示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
 以下、図面を参照して、光検出素子及び電子機器の実施形態について説明する。以下では、光検出素子及び電子機器の主要な構成部分を中心に説明するが、光検出素子及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1実施形態)
[撮像装置の構成例]
 図1は、本技術の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、光検出素子200、記録部120および制御部130を備える。撮像装置100としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどの電子機器が想定される。なお、本実施形態に係る撮像レンズ110が光学系に対応し、撮像装置100が、電子機器に対応する。
 撮像レンズ110は、入射光を集光して光検出素子200に導くものである。光検出素子200は、EVS画素と階調画素を有する。すなわち、光検出素子200の受光面には、EVS画素と階調画素とが配置され、撮像レンズ110を介した光学像が検出される。すなわち、EVS画素の検出対象範囲と、階調画素の撮像対象範囲とは、キャリブレーションを行うことなく、一致している。
 光検出素子200は、EVS画素における輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出することが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとを含む。そして、光検出素子200は、アドレスイベントの検出結果を示す検出信号をEVS用の画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号と、オフイベントの有無を示すオフイベント検出信号とを含む。なお、光検出素子200は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。
 一方で、階調画素は階調用輝度信号を出力する。階調画素が出力する階調用輝度信号に基づき、階調用画像が構成される。光検出素子200は、階調用画像に対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部120に信号線209を介して出力する。
 記録部120は、光検出素子200からのデータを記録するものである。制御部130は、光検出素子200を制御して画像データを撮像させるものである。
[固体撮像素子の構成例]
 図2は、本技術の実施の形態における光検出素子200の積層構造の一例を示す図である。この光検出素子200は、第1層素子(Top part)201と、第2層素子(Bottom part)202と、とを備える。これらの基板は、Cu-Cu接合により電気的に接続される。なお、ビアやバンプにより接続することもできる。
 図2に示すように、本開示に係る光検出素子200は、EVS画素による非同期型の撮像と、階調用画像用の同期型の撮像とが独立して可能な装置である。すなわち、第1層素子(Top part)201には、画素アレイ部10が構成され、第2層素子202(Bottom part)には、EVS画素用AFE(アナログ・フロント・エンド:Analog Front End)アレイ部20と、行制御回路211と、AD変換器212と、EVS信号プロセッサ213と、画像信号プロセッサ214と、入出力インタフェース215とを有する。行制御回路211は、EVS制御部(アービタ)211aと、階調制御部211bとを有する。EVS信号プロセッサ213は、メモリ213aと、画像処理部213bと、クロック信号生成部213cとを有する。
 ここで、図3に基づき、画素アレイ部10の構成を説明する。図3は、画素アレイ部10に行列状に配置されるEVS画素30a、及び階調画素30bを模式的に示す図である。図3に示すように、画素アレイ部10には、複数の階調画素30bと、複数のEVS画素30aとが行列状(アレイ状)に2次元配列されている。なお、R、G、Bは、階調画素30bに配置されるカラーフィルターの例である。すなわち、Rは、レッドフィルタ、Gは、グリンフィルタ、Bは、ブルーフィルタを示す。このように、本実施形態に係る光検出素子200は、所謂混載型である。
 EVS画素30aは、光電流に応じた電圧のアナログ信号をEVS用AFEアレイ部20に出力する。なお、EVS画素30aの詳細は後述する。
 一方で、階調画素30bのそれぞれは、光電流に応じた電圧のアナログ信号を階調用輝度信号として生成し、AD変換器212(図2参照)に出力する。階調画素30bの画素列毎に、垂直信号線VSLが配線される。なお、階調画素30bの詳細も後述する。
 再び図2に示すように、EVS用AFEアレイ部20は、EVS画素30aにおける光電流の変化量が所定の閾値を超えたか否かにより、イベントの有無を検出する。このEVS用AFEアレイ部20は、EVS画素30aそれぞれに対応する複数のイベント検出部20a(後述の図7参照)を有する。そして、EVS用AFEアレイ部20は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、EVS制御部(アービタ)211aに出力する。そして、EVS用AFEアレイ部20は、EVS制御部(アービタ)211aからイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ213aに出力する。
 EVS制御部211aは、EVS用AFEアレイ部20を構成するイベント検出部20aからのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答をEVS用AFEアレイ部20に返す。また、EVS制御部211aは、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、EVS用AFEアレイ部20に出力する。
 メモリ213aは、EVS用AFEアレイ部20からのイベントデータを、例えば所定のフレーム単位で蓄積する。メモリ213aがEVS用AFEアレイ部20からのイベントデータを蓄積するフレーム単位は、画像処理部213bによって制御される。メモリ213aは、クロック信号生成部213cから供給されるクロック信号に基づいて、イベントが発生した(相対的な)時刻を表す時刻情報としてのカウント値をイベントデータに付加して蓄積する。すなわち、メモリ213aは、イベントが発生したEVS画素30aまたはEVS画素30aの位置を表す位置座標(座標等)と、イベントが発生した時刻を表す時刻情報とを少なくとも含むイベントデータを記憶する。その他、イベントデータには、光量変化の極性(正負)を含ませることができる。  
 画像処理部213bは、メモリ213aに蓄積したフレーム単位のイベントデータ(フレームデータ)に応じてデータ処理(画像処理)を行い、そのデータ処理の結果であるデータ処理結果を出力する。例えば、画像処理部213bは、フレーム単位のイベントデータから、物体の輪郭情報を抽出し、検出対象である物体を特定する。画像処理部213bは、特定した物体を含む注目領域(ROI)を決定し、階調制御部211bに出力する。クロック信号生成部213cは、マスタクロックとなるクロック信号を生成し、メモリ213a、画像処理部213bなどに供給する。
 階調制御部211bは、画素アレイ部10に制御信号を供給することにより、画素アレイ部10の階調画素30bを駆動する。例えば、階調制御部211bは、画像処理部213bから供給された注目領域の情報であるROI情報に基づき、注目領域の階調画素30bを駆動し、その階調画素30bの画素信号を、AD変換器212に供給(出力)させる。なお、勿論、階調制御部211bは、画素アレイ部10の一部の領域だけでなく、画素アレイ部10の全領域を駆動し、全領域の階調画素30bの画素信号をAD変換器212に供給(出力)させることも可能である。
 行制御部211は、EVS制御部(アービタ)211aと、階調制御部211bとの統合的な制御処理を行うことが可能である。例えば、行制御部211は、階調画素30bにおける輝度信号のAD変換器212に影響するEVS画素30aにおける読み出しのタイミングを制御する。
 図4に基づき、AD変換器212の構成例を説明する。図4は、AD変換器212の構成例を示すブロック図である。このAD変換器212は、階調画素30b、30b毎に配置される。階調画素30bの列ごとにADC230を備える。ADC230は、垂直信号線VSLを介して供給されたアナログの階調用輝度信号SIG1をデジタル信号に変換する。ADC230は、生成したデジタル信号を画像信号プロセッサ214に供給する。
 画像信号プロセッサ214は、AD変換器212からのデジタル信号に対し、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行するものである。EVS信号プロセッサ213は、処理結果を示す画像データと検出信号とを入出力インタフェース215を介して記録部120(図1参照)に出力する。
 (EVS画素の構成例)
 ここで、図5に基づき、EVS画素30aの構成例を説明する。図5は、EVS画素30aの構成の一例を示す回路図である。図5に示すように、EVS画素30aは、光電変換素子221と対数変換部222のN型トランジスタ3311、及び、N型トランジスタ3313を有する回路構成となっている。P型トランジスタ3312は、EVS用AFEアレイ部20内に構成される。また、光電変換素子221は、入射光を光電変換して電荷を生成する。なお、本実施形態に係る対数変換部222が、電圧変換部に対応する。
 本例に係る対数変換部222は、N型トランジスタ3311、P型トランジスタ3312、及び、N型トランジスタ3313を有する回路構成となっている。これらのトランジスタ3311~3313としては、例えば、MOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
 N型トランジスタ3311は、電源電圧VDDの電源ラインと信号入力線3314との間に接続されている。P型トランジスタ3312及びN型トランジスタ3313は、電源電圧VDDの電源ラインとグランドとの間に直列に接続されている。そして、P型トランジスタ3312及びN型トランジスタ3313の共通接続ノードN2には、N型トランジスタ3311のゲート電極と、図11に示すバッファ332の入力端子とが接続されている。
 P型トランジスタ3312のゲート電極には、所定のバイアス電圧Vbiasが印加される。これにより、P型トランジスタ3312は、一定の電流をN型トランジスタ3313に供給する。N型トランジスタ3313のゲート電極には、信号入力線3314を通して、受光部31から光電流が入力される。
 N型トランジスタ3311及びN型トランジスタ3313のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部31からの光電流は、その対数の電圧信号VPRに変換され、ノードNから後述する画素電圧保持部331に供給される。なお、本実施形態に係る画素電圧保持部331が、信号保持部に対応する。
 (階調画素の構成例)
 ここで、図6に基づき、階調画素30bの詳細な構成例及び制御動作例を説明する。図6は、階調画素30bの回路例を示す図である。図6に示すように、階調画素30bは、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324、受光部330を有する。
 リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および転送トランジスタ3310として、例えば、N型のMOSトランジタが用いられる。また、光電変換素子311は、第1層素子201に配置される。光電変換素子311以外の素子の全ては、第2層素子202に配置される。
 光電変換素子311は、入射光を光電変換して電荷を生成する。光電変換素子311から転送トランジスタ3310によって、光電変換素子311で光電変換された電荷が浮遊拡散層324に供給される。光電変換素子311から供給される電荷は、浮遊拡散層324に蓄積される。浮遊拡散層324は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。
 増幅トランジスタ322は、電源電圧VDDの電源ラインと垂直信号線VSLとの間に、選択トランジスタ323と直列に接続されている。増幅トランジスタ322は、浮遊拡散層324で電荷電圧変換された電圧信号を増幅する。
 選択トランジスタ323のゲート電極には、行制御部211から選択信号SELが供給される。選択トランジスタ323は、選択信号SELに応答して、増幅トランジスタ322によって増幅された電圧信号を画素信号SIGとして垂直信号線VSLを介してAD変換器212(図2参照)へ出力する。
 (寄生静電容量)
 図7は、EVS画素30aと、階調画素30bの垂直信号線VSLとの間の寄生静電容量Csを示す図である。図7に示すように、EVS画素30aのN型トランジスタ3312のゲート制御線と、階調画素30bの垂直信号線VSLとの間に寄生静電容量Csが生成される。これにより、電圧信号VPRに変換され、ノードNから出力するタイミングと、階調画素30bのAD変換のタイミングが重なると、画素信号SIG1の大きさが変動してしまう。このため、本実施形態に係るEVS用AFEアレイ部20は、図8、及び図10で後述する画素電圧保持部331を有する。
 図8は、EVS用AFEアレイ部20のイベント検出部20aの構成例を示す図である。図8に示すように、イベント検出部20aは、画素電圧保持部331と、バッファ332、減算器333、量子化器334、転送部335、記憶部336、及び制御部337を有する構成となっている。なお、本実施形態に係るバッファ332、減算器333、量子化器334、転送部335、及び記憶部336、の少なくとも一部が第1回路に対応する。
 画素電圧保持部331は、対応する階調画素30bの信号読み出し時には、対数変換部222の電圧信号VPRを保持し、バッファ332とEVS画素30aとの電気的な接続を遮断する。一方で、対応する階調画素30bの信号読み出し時以外の場合には、バッファ332と電気的に接続する。すなわち、この画素電圧保持部331は、対応する階調画素30bの信号読み出し時以外の場合に、対数変換部222の電圧信号VPRをバッファ332に供給する。なお、画素電圧保持部331の詳細は後述する。
 バッファ332は、対数変換部222から供給される電圧信号をバッファリングし、減算器333に供給する。減算器333には、行制御部211から行駆動信号が供給される。減算器333は、行駆動信号に従って、バッファ332から供給される電圧信号のレベルを低下させる。そして、減算器333は、レベル低下後の電圧信号を量子化器334に供給する。量子化器334は、減算器333から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部335に出力する。
 転送部335は、量子化器334から供給されるアドレスイベントの検出信号を画像信号プロセッサ214等に転送する。この転送部335は、アドレスイベントが検出された際に、アドレスイベントの検出信号をEVS信号プロセッサ213及び行制御部211に供給する。
 続いて、減算器333、及び、量子化器334の構成例について説明する。
 (減算器及び量子化器の構成例)
 図9は、減算器333及び量子化器334の構成の一例を示す回路図である。本例に係る減算器333は、静電容量素子3331、インバータ回路3332、静電容量素子3333、及び、スイッチ素子3334を有する構成となっている。
 静電容量素子3331の一端は、図8に示すバッファ332の出力端子に接続され、その他端は、インバータ回路3332の入力端子に接続されている。静電容量素子3333は、インバータ回路3332に対して並列に接続されている。スイッチ素子3334は、静電容量素子3333の両端間に接続されている。スイッチ素子3334にはその開閉制御信号として、第2アクセス制御回路211bから行駆動信号が供給される。スイッチ素子3334は、行駆動信号に応じて、静電容量素子3333の両端を接続する経路を開閉する。インバータ回路3332は、静電容量素子3331を介して入力される電圧信号の極性を反転する。
 上記の構成の減算器333において、スイッチ素子3334をオン(閉)状態とした際に、静電容量素子3331のバッファ332側の端子に電圧信号Vinitが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、静電容量素子3331に蓄積されている電荷Qinitは、静電容量素子3331の静電容量値をC1とすると、次式(1)により表される。一方、静電容量素子3333の両端は、短絡されているため、その蓄積電荷はゼロとなる。
  Qinit=C1×Vinit           ・・・(1) 
 次に、スイッチ素子3334がオフ(開)状態となり、静電容量素子3331のバッファ332側の端子の電圧が変化してVafterになった場合を考えると、静電容量素子3331に蓄積される電荷Qafterは、次式(2)により表される。
  Qafter=C1×Vafter         ・・・(2) 
 一方、静電容量素子3333に蓄積される電荷Q2は、静電容量素子3333の静電容量値をC2とし、出力電圧をVoutとすると、次式(3)により表される。
  Q2=-C2×Vout              ・・・(3) 
 このとき、静電容量素子3331及び静電容量素子3333の総電荷量は変化しないため、次の式(4)が成立する。
  Qinit=Qafter+Q2          ・・・(4) 
 式(4)に式(1)乃至式(3)を代入して変形すると、次式(5)が得られる。
  Vout=-(C1/C2)×(Vafter-Vinit)
                                                      ・・・(5) 
 式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の静電容量削減は、ノイズを許容することができる範囲に制限される。また、EVS画素30a毎に減算器333を含むイベント検出部20aが搭載されるため、静電容量素子3331や静電容量素子3333には、面積上の制約がある。これらを考慮して、静電容量素子3331、3333の静電容量値C1、C2が決定される。
 図9において、量子化器334は、コンパレータ3341を有する構成となっている。コンパレータ3341は、インバータ回路3332の出力信号、即ち、減算器333からの電圧信号を非反転(+)入力とし、所定の閾値電圧Vthを反転(-)入力としている。そして、コンパレータ3341は、減算器333からの電圧信号と所定の閾値電圧Vthとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部335に出力する。
 図10は、画素電圧保持部331の構成例を示す回路図である。図10に示すように、画素電圧保持部331は、静電容量331aと、バッフア331bと、第1スイッチング素子Φ1と、第1スイッチング素子Φ2とを有する。
 第1スイッチング素子Φ1は、例えばNMOSトランジスタであり、行制御部211がハイレベル信号を印可することにより、導通状態となり、ロウレベル信号を印可することにより、非導通状態となる。この第1スイッチング素子Φ1は、一端が対数変換部222に接続され、他端が、静電容量331aの一端とバッフア331bの一端と、に接続される。
 静電容量331aは、例えばコンデンサであり、一端が第1スイッチング素子Φ1の他端、及びバッフア331bの一端に接続される。静電容量331aの他端は、所定の低電位(グランド電位)に接続される。
 バッフア331bは、例えばボルテージフォロワ回路であり、増幅度1の帰還回路である。バッフア331bは、他端がバッフア332の一端に接続される。
 第2スイッチング素子Φ2は、例えばNMOSトランジスタであり、行制御部211がハイレベル信号を印可することにより、導通状態となり、ロウレベル信号を印可することにより、非導通状態となる。この第1スイッチング素子Φ2は、一端が対数変換部222に接続され、他端が、バッフア332の一端とバッフア331bの他端と、に接続される。
 図11は、画素電圧保持部331のサンプリング(Sampling)動作時を示す図である。図11に示すように、行制御部211が第1スイッチング素子Φ1を導通状態にし、第2スイッチング素子Φ2を非導通状態にする。サンプリング動作時には、対数変換部211の電圧信号VPRに応じた電荷が静電容量331aに蓄積されると共に、電圧信号VPRは、バッファ332に供給される。このように、サンプリング動作時では、対数変換部211の電圧信号VPRは、バッファ332に供給されるとともに、電圧信号VPRに応じた電荷が蓄積される。換言すると、サンプリング動作時では、静電容量331aに蓄積される電荷に対応する電位がバッファ331bを介してバッファ332に供給される。
 図12は、画素電圧保持部331のホールド(Hold)動作時を示す図である。図12に示すように、行制御部211が第1スイッチング素子Φ1を非導通状態にし、第2スイッチング素子Φ2を導通状態にする。ホールド動作時には、サンプリング動作時に蓄積された電荷に対応する電位がバッファ332に供給される。
 また、静電容量331aに蓄積される電荷に対応する電位がバッファ331bを介して、対数変換部222のN型トランジスタ3311(図5参照)の制御線に印可される。これにより、対数変換部222の電圧信号VPRの変動がバッファ331bの出力電位に抑制され、寄生静電容量Cs(図7参照)の垂直信号線VLS(図4参照)への電圧変動が抑制される。なお、行制御部211は、対数変換部222のバイアス電圧Vbais(図5参照)の印可を、ホールド動作時に抑制することも可能である。これにより、対数変換部222の電圧信号VPRも抑制可能となる。また、ホールド(Hold)動作を行う画素電圧保持部331は、垂直信号線VSL毎に定められている。これにより、垂直信号線VSLを介した出力信号のアナログデジタル変換が行われる期間に、垂直信号線VSLから予め定められた範囲にあるEVS画素30aの画素電圧保持部331は、対応する対数変換部222の電圧信号VPRの変動を抑制する。
 図13は、行制御部211の画素電圧保持部331への制御例を示す図である。上から順に、AD変換器212の階調用Ramp信号L10、第1スイッチング素子Φ1の第1制御信号L12、第2スイッチング素子Φ2の第2制御信号L14を示す。また、EVS画素30aに照射される照度L16、対数変換部211の電圧信号VPRを示す。
 本実施形態に係る、行制御部211は、AD変換器212の中の垂直信号線VLS(図4参照)への信号の読み出し期間を、画素電圧保持部331のホールド(Hold)期間としてホールド動作を行わせる。この場合、複数のADC230(図4参照)を順に駆動するので、駆動中のADC230に接続される垂直信号線VLSと静電容量結合する範囲のEVS画素30aの画素電圧保持部331へホールド動作を行わせる。
 時刻t0では、ADC230(図4参照)がAD変換をしていないので、画素電圧保持部331は、サンプリング期間であり、第1制御信号L12はハイレベル、第2制御信号L14はロウレベルとなる。これにより、対数変換部211の電圧信号VPRは、画素電圧保持部331の静電容量331aにサンプリングされると共に、バッフア332に出力される。
 次に、時刻t1では、ADC230(図4参照)がAD変換の変換を開始するので、行制御部211は、第1制御信号L12はロウレベル、第2制御信号L14はハイレベルとする。これにより、画素電圧保持部331はホールド動作を開始する。このため、EVS画素30aに照射される照度L16に変動が生じても、対数変換部211の電圧信号VPRの変動を抑制する。この時刻t1からt2の間では、画素電圧保持部331は、時刻t1の電圧信号VPRを保持し、バッフア332に出力する。これにより、時刻t1のサンプリング動作時に蓄積された電荷に対応する電位がバッファ332に供給される。
 また、時刻t1のサンプリング動作時に蓄積された電荷に対応する電位がバッファ331bを介して、対数変換部222のN型トランジスタ3311(図5参照)の制御線に印可される。これにより、対数変換部222の電圧信号VPRの変動がバッファ331bの出力電位に抑制され、寄生静電容量Cs(図7参照)の垂直信号線VLS(図4参照)への電圧変動が抑制される。
 このように、AD変換の変換期間に、電圧信号VPRの変動が抑制され、寄生静電容量Csの垂直信号線VLSへの電圧変動が抑制される。一方で、電圧信号VPR‘は、画素電圧保持部331がサンプリング動作を継続した場合の、対数変換部211の電圧信号を示す。この場合、対数変換部222のN型トランジスタ3311(図5参照)の制御線における電位が変動するため、寄生静電容量Csの垂直信号線VLSへの電圧変動が発生してしまう。
 次に、時刻t2では、ADC230(図4参照)は、信号レベルのAD変換をしているので、電圧信号VPRの変動があっても、AD変換への影響が限定的である。このため、時刻t0と同様に、画素電圧保持部331は、サンプリング期間となり、第1制御信号L12はハイレベル、第2制御信号L14はロウレベルとなる。これにより、対数変換部211の電圧信号VPRは、画素電圧保持部331の静電容量331aにサンプリングされると共に、バッフア332に出力される。このとき、照度L16は、時刻t1より高照度となっているため、対数変換部211は、照度L16に対応する電圧信号VPRを出力する。なお、本実施形態では、信号レベルのAD変換では、画素電圧保持部331はサンプリング動作を行うが、これに限定されない。例えば、信号レベルのAD変換に応じた期間を、画素電圧保持部331のホールド期間としてもよい。これにより、より変動が抑制された信号をえることが可能となる。
 図14は、AD変換の変換期間に、サンプリング動作を継続した場合と、画素電圧保持部331がサンプリング動作の代わりにホールド動作をした場合とを模式的に示す図である。図(a)~(c)は、画素アレイ部10の階調画素をRGBで示し、EVS画素をEVSで示している。
 図(a)では、高輝度領域Rhが矢印方向に動いている例を示している。図(b)では、画素電圧保持部331がサンプリング動作を継続した場合を示している。輝度変化があるため、EVS画素30aの対数変換部211は、輝度が低減した領域の電圧信号VPRを低下させる。この領域は、イベント検出部20a(図7参照)にOFFイベントの発生領域として検出される。一方で、EVS画素30aの対数変換部211は、輝度が増加した領域の電圧信号VPRを増加させる。この領域は、イベント検出部20a(図7参照)にONイベントの発生領域として検出される。
 図(b)の、階調画素の出力信号は、画素電圧保持部331がサンプリング動作を継続したため、電圧信号VPRの変動の影響を受け、OFFイベントの発生領域では、本来画像信号がないにも関わらず領域Rh2が残像として、生じてしまう。一方で、ONイベントの発生領域では、本来画像信号が、高輝度であるベきにもかかわらず、電圧信号VPRの変動の影響を受け、輝度が低下してしまう領域Rh1が生じる。
 これに対して、図(c)では、画素電圧保持部331がサンプリング動作の代わりにホールド動作をするので、電圧信号VPRの変動の影響が抑制され、OFFイベントの発生領域では、残像領域Rh2が無くなり、ONイベントの発生領域では、領域Rh1の輝度が高輝度値となる。このように、画素電圧保持部331がホールド動作をAD変換の変換期間にすることにより、電圧信号VPRの変動が抑制され、寄生静電容量Csの垂直信号線VLSへの電圧変動が抑制される。
 以上説明したように、本実施形態によれば、EVS画素30a、階調画素30bを画素アレイ部10に混載して構成し、EVS画素30aに対応する画素電圧保持部331が階調画素30bのAD変換期間には、EVS画素30aの対応する画素電圧保持部331が対数変換部222の電圧信号VPRの変動を抑制することとした。これにより、対数変換部222の出力信号線と、垂直信号線VLSとの間の寄生静電容量Csによる垂直信号線VLSへの、階調画素30bのAD変換期間における電圧変動が抑制可能となる。これにより、階調画素30bの輝度信号の変動が抑制される。このように、EVS画素30aの電圧を一時的に保持し、階調画素30bがAD変化などをしていないタイミングでEVS画素30aの電圧を出力するで、階調画素30bのAD変換に対する干渉(ノイズ)を抑制することができる。
 (第1実施形態の変形例1)
 図15は、第1実施形態の変形例1に係る画素電圧保持部3310aの構成例を示す図である。第1実施形態の変形例1に係る画素電圧保持部3310aでは、バッフア331bの代わりに、バッフア352を有する。バッフア352は、バッフア331bと、バッフア332とを合わせた機能を有する。これにより、イベント検出部20a(図7参照)をより小型化可能となる。
 (第1実施形態の変形例2)
 図16は、第1実施形態の変形例2に係る画素電圧保持部3310bの構成例を示す図である。第1実施形態の変形例2に係る画素電圧保持部3310bでは、第1スイッチング素子Φ1の一端が、バッフア332に接続され、他端がバッフア331bの入力端子に接続される。また、第2スイッチング素子Φ2の一端が、対数変換部222に接続され、他端がバッフア331bの出力端子に接続される。静電容量331aの一端は、バッフア331bの入力端子に接続される。対数変換部222とバッフア332とは配線で接続される。この接続でも、第1実施形態に係る画素電圧保持部331と同等の効果を有する。なお、行制御部211は、対数変換部222のバイアス電圧Vbais(図5参照)の印可を、ホールド期間に抑制することも可能である。
 (第1実施形態の変形例3)
 図17は、第1実施形態の変形例3に係る画素電圧保持部3310cの構成例を示す図である。第1実施形態の変形例3に係る画素電圧保持部3310cでは、第1スイッチング素子Φ1の一端が、バッフア332に接続され、他端が対数変換部222に接続される。ままた、第2スイッチング素子Φ2の一端が、対数変換部222に接続され、他端がバッフア331bの出力端子に接続される。バッフア331bの入力端子は、バッフア332、及び静電容量331aの一端に接続され、静電容量331aの他端は、グランドに接続される。この接続でも、第1実施形態に係る画素電圧保持部331と同等の効果を有する。
 (第1実施形態の変形例4)
 図18は、第1実施形態の変形例4に係る画素電圧保持部3310dの構成例を示す図である。第1実施形態の変形例4に係る画素電圧保持部3310dでは、バッフア331bの代わりにオペアンプ352aを用いる。画素電圧保持部3310dは、更に第11スイッチング素子Φ11、第12スイッチング素子Φ12、第21スイッチング素子Φ21、第22スイッチング素子Φ22、及び静電容量354aを有する。11スイッチング素子Φ11、第12スイッチング素子Φ12、第21スイッチング素子Φ21、第22スイッチング素子Φ22は、例えばNMOSトランジスタである。
 第21スイッチング素子Φ21の一端が、対数変換部222に接続され、他端がオペアンプ352aの出力端子に接続される。また、第12スイッチング素子Φ12の一端が、オペアンプ352aの出力端子に接続され、他端がオペアンプ352aの反転入力端子に接続される。また、第22スイッチング素子Φ22の一端が、オペアンプ352aの出力端子に接続され、他端が静電容量354aの一端、及び第11スイッチング素子Φ11の一端に接続される。第11スイッチング素子Φ11の他端は、バッファ332に接続される。また、静電容量354aの他端は、オペアンプ352aの反転入力端子に接続され、オペアンプ352aの非反転入力端子は、グランドに接続される。対数変換部222とバッフア332とは配線で接続される。
 ホールド動作では、第11スイッチング素子Φ11、及び第12スイッチング素子Φ12が接続状態となり、第21スイッチング素子Φ21、及び第22スイッチング素子Φ22が非接続状態となる。サンプリング動作では、第11スイッチング素子Φ11、及び第12スイッチング素子Φ12が非接続状態となり、第21スイッチング素子Φ21、及び第22スイッチング素子Φ22が接続状態となる。これにより、静電容量354aの蓄積電荷に応じた電位が、オペアンプ352aの出力端子から、対数変換部222のN型トランジスタ3311(図5参照)の制御線に印可される。これにより、対数変換部222の電圧信号VPRの変動がオペアンプ352aの出力端子の出力電位に抑制され、寄生静電容量Cs(図7参照)の垂直信号線VLS(図4参照)への電圧変動が抑制される。なお、行制御部211は、対数変換部222のバイアス電圧Vbais(図5参照)の印可を、ホールド動作時に抑制することも可能である。この接続でも、第1実施形態に係る画素電圧保持部331と同等の効果を有する。
 (第1実施形態の変形例5)
 図19は、第1実施形態の変形例5に係る画素電圧保持部3310eの構成例を示す図である。第1実施形態の変形例5に係る画素電圧保持部3310eでは、第11スイッチング素子Φ11の一端が、対数変換部222に接続され、他端がバッフア332に接続される点で、第1実施形態の変形例4に係る画素電圧保持部3310dと相違する。
 ホールド動作では、第11スイッチング素子Φ11、及び第12スイッチング素子Φ12が接続状態となり、第21スイッチング素子Φ21、及び第22スイッチング素子Φ22が非接続状態となる。サンプリング動作では、第11スイッチング素子Φ11、及び第12スイッチング素子Φ12が非接続状態となり、第21スイッチング素子Φ21、及び第22スイッチング素子Φ22が接続状態となる。これにより、静電容量354aの蓄積電荷に応じた電位が、オペアンプ352aの出力端子から、対数変換部222のN型トランジスタ3311(図5参照)の制御線に印可される。これにより、対数変換部222の電圧信号VPRの変動がオペアンプ352aの出力端子の出力電位に抑制され、寄生静電容量Cs(図7参照)の垂直信号線VLS(図4参照)への電圧変動が抑制される。
 (第2実施形態)
 図20は、本技術を適用した固体撮像装置の第2実施の形態の構成例を示す図である。第2実施の形態に係る光検出素子200は、イベント検出のための受光を行うEVS画素と、注目領域の画像を生成するための受光を行う階調画素とが同一のチップに形成される。
 図20の光検出素子200は、複数のダイ(基板)としてのセンサダイ(基板)411とロジックダイ412とが積層された1つのチップで構成される。センサダイ411には、センサ部421(としての回路)が構成され、ロジックダイ412には、ロジック部422が構成されている。
 センサ部421は、上述した画素アレイ部10(図3)と同様に、イベントデータを生成する。すなわち、センサ部421は、入射光の光電変換を行って電気信号を生成するEVS画素30aを有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
 また、センサ部421は、上述した画素アレイ部10(図3)と同様に、画素信号を生成する。すなわち、センサ部421は、入射光の光電変換を行って電気信号を生成する階調画素30bを有し、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力する。
 センサ部421は、イベントデータまたは画素信号を独立して出力することができる他、生成したイベントデータに基づいてロジック部422から入力されるROI情報に基づいて注目領域の画素信号を出力することができる。
 ロジック部422は、必要に応じて、センサ部421の制御を行う。また、ロジック部422は、センサ部421からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部421からのフレームデータ、又は、センサ部421からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
 図21は、ロジック部422が有する構成例を示す図である。図21に示すように、ロジック部422は、例えばメモリ34、画像処理部35、クロック信号生成部37、検出部341、信頼度判定部342、および、撮像同期信号生成部343などを有する。検出部341は、第2実施の形態の検出部133と同様に、メモリ34に記憶されているフレームデータを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。そして、画像処理部35は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、駆動部432に出力する。信頼度判定部342は、検出部341から供給される検出率により物体検出の信頼度を判定し、メモリ34がイベントデータを蓄積するフレーム単位(フレームボリューム)を制御する。
 撮像同期信号生成部343は、信頼度判定部342からの撮像周期制御信号に応じて、撮像同期信号を生成し、CISチップ312の入力部214に出力する。撮像同期信号生成部343には、クロック信号生成部37から、クロック信号(マスタクロック)が供給される。フレーム間隔設定部131は、例えば、ユーザの操作等に応じて、フレーム間隔を設定し、メモリ34に供給する。フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表し、フレーム間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム間隔設定部131で設定されたフレーム間隔を、設定フレーム間隔ともいう。
 フレーム幅設定部132は、例えば、ユーザの操作等に応じて、フレーム幅を設定し、メモリ34に供給する。フレーム幅とは、1フレームのフレームデータの生成に用いるイベントデータの時間幅を表し、フレーム幅は、フレーム間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。
 なお、センサ部421については、その一部を、ロジックダイ412に構成することができる。また、ロジック部422については、その一部を、センサダイ411に構成することができる。
 図22は、3層の構造例を示す図である。また例えば、メモリ34や、画像処理部321に含まれるメモリとして、大静電容量のメモリを備える場合などでは、図22に示されるように、光検出素子200は、センサダイ411とロジックダイ412とに加えて、もう1つのロジックダイ413を積層した3層で構成することができる。勿論、4層以上のダイ(基板)の積層で構成してもよい。
<センサ部421の構成例>
 図23は、図20のセンサ部421の構成例を示すブロック図である。センサ部421は、画素アレイ部431、駆動部432、アービタ433、AD変換部434、信号処理部435、及び、出力部436を備える。オペアンプ352aの反転入力端子に接続される。
 画素アレイ部431は、複数の画素(図3参照)が2次元格子状に配列されて構成される。また、EVS画素30b(図3参照)に対応するイベント検出部20a(図7参照)も画素アレイ部431内に構成される。
 画素アレイ部431は、EVS画素30bの光電変換によって生成される電気信号としての光電流(に対応する電圧)に所定の閾値を超える変化(閾値以上の変化を必要に応じて含む)が発生した場合に、その光電流の変化をイベントとして検出する。
 画素アレイ部431は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ433に出力する。そして、画素アレイ部431は、アービタ433からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部432及び出力部436に出力する。さらに、画素アレイ部431は、イベントが検出されたEVS画素30bの電気信号を、画素信号として、AD変換部434に出力する。
 駆動部432は、画素アレイ部431に制御信号を供給することにより、画素アレイ部431を駆動する。例えば、駆動部432は、画素アレイ部431からイベントデータが出力されたEVS画素30bを駆動し、そのEVS画素30bの画素信号を、AD変換部434に供給(出力)させる。
 アービタ433は、画素アレイ部431からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、画素アレイ部431に返す。また、アービタ433は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部431に出力する。
 AD変換部434は、各列のADCにおいて、その列の画素ブロック441の画素451の画素信号をAD変換し、信号処理部435に供給する。なお、AD変換部434では、画素信号のAD変換とともに、CDSを行うことができる。
 信号処理部435は、AD変換部434から順次供給される画素信号に対して、例えば、黒レベル調整処理、ゲイン調整処理などの所定の信号処理を行って、出力部436に供給する。
 出力部436は、第3実施の形態の出力部36および出力部217と同様の処理を行う。すなわち、出力部436は、画素信号やイベントデータに必要な処理を施し、ロジック部422(図20)に供給する。
 画素アレイ部431は、イベント検出部20a(図8参照)、及び、画素信号生成部252(不図示)を更に備える。EVS画素30a(図3参照)は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。EVS画素30aは、駆動部432の制御に従って、光電流を、イベント検出部20aに供給する。
 イベント検出部20aは、駆動部432の制御に従って、EVS画素30aのそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部20a(図8参照)は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ433(図22)に供給する。そして、イベント検出部20aは、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ433から受け取ると、イベントデータを、駆動部432及び出力部436に出力する。
 画素信号生成部252は、イベント検出部20aにおいてイベントが検出された場合に、駆動部432の制御に従って、階調画素30b(図3参照)の光電流に対応する画素信号として生成し、垂直信号線VSLを介して、AD変換部434(図22)に供給する。
 以上のように、センサ部421(図20)では、1以上のEVS画素30aと、イベント検出部20aとによって、イベントが検出され、イベントデータが生成される。生成されたイベントデータは、ロジック部422に供給され、注目領域が決定される。そして、注目領域のROI情報が、ロジック部422からセンサ部421に供給され、注目領域に対応する階調画素30bにより画像信号が生成され、順に、垂直信号線VSLに出力される。垂直信号線VSLに出力された画素信号は、AD変換部434に供給され、AD変換される。この際に、EVS画素30aに対応する画素電圧保持部331(図8参照)が階調画素30bのAD変換期間には、EVS画素30aの対応する画素電圧保持部331が対数変換部222の電圧信号VPRの変動を抑制することとした。これにより、対数変換部222の出力信号線と、垂直信号線VLSとの間の寄生静電容量Csによる垂直信号線VLSへの、階調画素30bのAD変換期間における電圧変動が抑制可能となる。
 <<応用例>>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図24は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図24に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図24では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存静電容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図25は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910、7912、7914、7916、7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912、7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図25には、それぞれの撮像部7910、7912、7914、7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b、cは、それぞれサイドミラーに設けられた撮像部7912、7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910、7912、7914、7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920、7922、7924、7926、7928、7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920、7926、7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図24に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図24の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図24に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 なお、図2を用いて説明した本実施形態に係る撮像装置100の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 以上説明した車両制御システム7000において、図2を用いて説明した本実施形態に係る撮像装置100は、図24に示した応用例の撮像74100に適用することができる。
 なお、本技術は以下のような構成を取ることができる。
(1)
 第1画素と、前記第1画素と異なる第2画素を同一の受光面に沿って配置する画素アレイ部と、
 前記第1画素が信号線を介して出力する出力信号をデジタル信号にアナログデジタル変換する変換部と、
 前記第2画素の出力信号を保持可能であると共に、前記アナログデジタル変換の期間に応じて前記出力信号の変動を抑制する信号保持部と、
 前記第2画素の出力信号が所定の閾値を超えた場合にイベントの発生を示す検出信号を出力する第1回路と、
 を備える、光検出素子。
(2)
 前記第2画素は、
 受光量に応じた信号を出力する光電変換素子と、
 前記信号を電圧信号に変換する電圧変換部と、を有し、
 前記信号保持部は、前記電圧変換部の電圧信号を保持すると共に、前記電圧信号の変動を抑制する、(1)に記載の光検出素子。
(3)
 前記画素アレイ部は、
 前記受光面に沿って二次元状に配置される複数の前記第1画素と、
 前記受光面に沿って二次元状に配置される複数の前記第2画素と、を、有し、
 複数の前記第2画素のそれぞれに対応する複数の前記信号保持部を更に備え、
 前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記信号保持部は、対応する前記出力信号の変動を抑制する、(2)に記載の光検出素子。
(4)
 前記電圧変換部の供給電位を制御する制御部を更に備え、
 前記制御部は、前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記電圧変換部の駆動を抑制可能である、(3)に記載の光検出素子。
(5)
 前記信号保持部は、
 前記第2画素の出力信号を保持する静電容量と、
 前記静電容量と前記第2画素とを接続する信号線を導通状態又は非導通状態とする第1スイッチング素子と、
 を有する、(1)に記載の光検出素子。
(6)
 前記信号保持部は、
 前記静電容量の電荷に応じた電位を前記第1回路に出力可能であるバッファを、
 更に有する、(5)に記載の光検出素子。
(7)
 前記信号保持部は、
 前記第2画素と前記第1回路とを接続する信号線を導通状態又は非導通状態とする第2スイッチング素子を、
 更に有する、(6)に記載の光検出素子。
(8)
 前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記バッファの入力端子に接続され、
 前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
 更に有する、(6)に記載の光検出素子。
(9)
 前記第1スイッチング素子は、前記第2画素に一端が接続され、前記第1回路に他端が接続され、
 前記バッファの入力端子は、前記第1回路に接続され、
 前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
 更に有する、(6)に記載の光検出素子。
(10)
 前記信号保持部は、
 オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
 前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記静電容量の一端に接続され、
 前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
 前記オペアンプの非反転入力端子は、所定の低電位に接続され、
 前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
 前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
 前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続される、(5)に記載の光検出素子。
(11)
 前記信号保持部は、
 オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
 前記第1スイッチング素子は、前記第2画素に一端が接続され、他端が前記第1回路に接続され、
 前記静電容量の一端は、前記第1回路に接続され、前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
 前記オペアンプの非反転入力端子は、所定の低電位に接続され、
 前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
 前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
 前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続される、(5)に記載の光検出素子。
(12)
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、(7)に記載の光検出素子。
(13)
 前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子を導通状態にし、前記第2スイッチング素子を非導通状態にする、(7)に記載の光検出素子。
(14)
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、(8)に記載の光検出素子。
(15)
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、(9)に記載の光検出素子。
(16)
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にする、(10)に記載の光検出素子。
(17)
 前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子、及び前記第12スイッチング素子を導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を非導通状態にする、(10)に記載の光検出素子。
(18)
 前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にする、(11)に記載の光検出素子。
(19)
 前記画素アレイ部は、第1素子に構成され、
 前記変換部と、前記信号保持部と、前記第1回路と、は、前記第1素子と異なる第2素子に構成される、(1)に記載の光検出素子。
(20)
 (1)に記載の光検出素子と、
 前記受光面に集光する光学系と、
 を備える、電子機器。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
10:画素アレイ部、30a:EVS画素、30b:階調画素、110:撮像レンズ、200:光検出素子、201:第1層素子201、202:第2層素子、212:AD変換器、221:光電変換素子、222:対数変換部、331、3310a~3310e:画素電圧保持部、331a、354a:静電容量331a、352:バッフア、352a:オペアンプ、VSL:垂直信号線、Φ1:第1スイッチング素子、Φ2:第1スイッチング素子、Φ11:第11スイッチング素子、Φ12:第12スイッチング素子、Φ21:第21スイッチング素子、Φ22:第22スイッチング素子。

Claims (20)

  1.  第1画素と、前記第1画素と異なる第2画素を同一の受光面に沿って配置する画素アレイ部と、
     前記第1画素が信号線を介して出力する出力信号をデジタル信号にアナログデジタル変換する変換部と、
     前記第2画素の出力信号を保持可能であると共に、前記アナログデジタル変換の期間に応じて前記出力信号の変動を抑制する信号保持部と、
     前記第2画素の出力信号が所定の閾値を超えた場合にイベントの発生を示す検出信号を出力する第1回路と、
     を備える、光検出素子。
  2.  前記第2画素は、
     受光量に応じた信号を出力する光電変換素子と、
     前記信号を電圧信号に変換する電圧変換部と、を有し、
     前記信号保持部は、前記電圧変換部の電圧信号を保持すると共に、前記電圧信号の変動を抑制する、請求項1に記載の光検出素子。
  3.  前記画素アレイ部は、
     前記受光面に沿って二次元状に配置される複数の前記第1画素と、
     前記受光面に沿って二次元状に配置される複数の前記第2画素と、を、有し、
     複数の前記第2画素のそれぞれに対応する複数の前記信号保持部を更に備え、
     前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記信号保持部は、対応する前記出力信号の変動を抑制する、請求項2に記載の光検出素子。
  4.  前記電圧変換部への供給電位を制御する制御部を更に備え、
     前記制御部は、前記信号線を介した出力信号のアナログデジタル変換が行われる期間に、前記信号線から所定の範囲にある前記第2画素の前記電圧変換部の駆動を抑制可能である、請求項3に記載の光検出素子。
  5.  前記信号保持部は、
     前記第2画素の出力信号を保持する静電容量と、
     前記静電容量と前記第2画素とを接続する信号線を導通状態又は非導通状態とする第1スイッチング素子と、
     を有する、請求項1に記載の光検出素子。
  6.  前記信号保持部は、
     前記静電容量の電荷に応じた電位を前記第1回路に出力可能であるバッファを、
     更に有する、請求項5に記載の光検出素子。
  7.  前記信号保持部は、
     前記第2画素と前記第1回路とを接続する信号線を導通状態又は非導通状態とする第2スイッチング素子を、
     更に有する、請求項6に記載の光検出素子。
  8.  前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記バッファの入力端子に接続され、
     前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
     更に有する、請求項6に記載の光検出素子。
  9.  前記第1スイッチング素子は、前記第2画素に一端が接続され、前記第1回路に他端が接続され、
     前記バッファの入力端子は、前記第1回路に接続され、
     前記バッファの出力端子に一端が接続され、前記第2画素に他端が接続される第2スイッチング素子を、
     更に有する、請求項6に記載の光検出素子。
  10.  前記信号保持部は、
     オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
     前記第1スイッチング素子は、前記第2画素と前記第1回路とを接続する信号線に一端が接続され、他端が前記静電容量の一端に接続され、
     前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
     前記オペアンプの非反転入力端子は、所定の低電位に接続され、
     前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
     前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
     前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続される、請求項5に記載の光検出素子。
  11.  前記信号保持部は、
     オペアンプと、第12スイッチング素子と、第21スイッチング素子と、第22スイッチング素子と、を更に有し、
     前記第1スイッチング素子は、前記第2画素に一端が接続され、他端が前記第1回路に接続され、
     前記静電容量の一端は、前記第1回路に接続され、前記静電容量の他端は、前記オペアンプの反転入力端子に接続され、
     前記オペアンプの非反転入力端子は、所定の低電位に接続され、
     前記第21スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記第2画素に接続され、
     前記第12スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記他端に接続され、
     前記第22スイッチング素子は、前記オペアンプの出力端子に一端が接続され、他端が前記静電容量の前記一端に接続される、請求項5に記載の光検出素子。
  12.  前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、請求項7に記載の光検出素子。
  13.  前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子を導通状態にし、前記第2スイッチング素子を非導通状態にする、請求項7に記載の光検出素子。
  14.  前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、請求項8に記載の光検出素子。
  15.  前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子を非導通状態にし、前記第2スイッチング素子を導通状態にする、請求項9に記載の光検出素子。
  16.  前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にする、請求項10に記載の光検出素子。
  17.  前記静電容量に電荷を蓄積させるサンプリング期間には、前記第1スイッチング素子、及び前記第12スイッチング素子を導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を非導通状態にする、請求項10に記載の光検出素子。
  18.  前記アナログデジタル変換の期間に応じて、前記第1スイッチング素子、及び前記第12スイッチング素子を非導通状態にし、前記第21スイッチング素子及び前記第22スイッチング素子を導通状態にする、請求項11に記載の光検出素子。
  19.  前記画素アレイ部は、第1素子に構成され、
     前記変換部と、前記信号保持部と、前記第1回路と、は、前記第1素子と異なる第2素子に構成される、請求項1に記載の光検出素子。
  20.  請求項1に記載の光検出素子と、
     前記受光面に集光する光学系と、
     を備える、電子機器。
PCT/JP2023/038768 2022-11-14 2023-10-26 光検出素子及び電子機器 WO2024106169A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022182010A JP2024071188A (ja) 2022-11-14 2022-11-14 光検出素子及び電子機器
JP2022-182010 2022-11-14

Publications (1)

Publication Number Publication Date
WO2024106169A1 true WO2024106169A1 (ja) 2024-05-23

Family

ID=91084269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/038768 WO2024106169A1 (ja) 2022-11-14 2023-10-26 光検出素子及び電子機器

Country Status (2)

Country Link
JP (1) JP2024071188A (ja)
WO (1) WO2024106169A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2022065034A1 (ja) * 2020-09-28 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2022065034A1 (ja) * 2020-09-28 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP2024071188A (ja) 2024-05-24

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US20220172488A1 (en) Imaging system, method for controlling imaging system, and object recognition system
WO2022009664A1 (ja) 撮像装置及び撮像方法
WO2021256095A1 (ja) 撮像装置及び撮像方法
US11683606B2 (en) Imaging device and electronic equipment
US20230047180A1 (en) Imaging device and imaging method
WO2021241120A1 (ja) 撮像装置及び撮像方法
CN113647089B (zh) 成像***
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2022065032A1 (ja) 撮像装置及び撮像方法
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
US20230108884A1 (en) Imaging device and imaging method
WO2023136093A1 (ja) 撮像素子、および電子機器
TW202402036A (zh) 固態影像擷取裝置以及影像擷取設備