WO2020129657A1 - センサ及び制御方法 - Google Patents

センサ及び制御方法 Download PDF

Info

Publication number
WO2020129657A1
WO2020129657A1 PCT/JP2019/047538 JP2019047538W WO2020129657A1 WO 2020129657 A1 WO2020129657 A1 WO 2020129657A1 JP 2019047538 W JP2019047538 W JP 2019047538W WO 2020129657 A1 WO2020129657 A1 WO 2020129657A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
event
unit
signal
arbiter
Prior art date
Application number
PCT/JP2019/047538
Other languages
English (en)
French (fr)
Inventor
風太 望月
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/309,647 priority Critical patent/US11937001B2/en
Publication of WO2020129657A1 publication Critical patent/WO2020129657A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • the present technology relates to a sensor and a control method, and more particularly, to a sensor and a control method that can prevent an unnatural image from being obtained in a sensor that detects an event that is a change in an electric signal of a pixel. ..
  • An image sensor which uses a change in the brightness of a pixel as an event, detects the event when the event occurs, outputs event data indicating the occurrence of the event, and outputs the brightness signal of the pixel in which the event is detected. (See, for example, Non-Patent Document 1).
  • the image sensor that captures images in synchronization with the vertical synchronization signal and outputs frame data that is frame format image data can be called a synchronous image sensor.
  • the image sensor that outputs event data does not output the event data in synchronization with the vertical synchronization signal, and thus can be called an asynchronous image sensor.
  • An asynchronous image sensor is called, for example, a DVS (Dynamic Vision Sensor).
  • the present technology has been made in view of such a situation, and makes it possible to suppress an unnatural image from being obtained.
  • the sensor of the present technology includes a pixel that receives light and performs photoelectric conversion to generate an electric signal, an event detection unit that detects an event that is a change in the electric signal of the pixel, and a capacitance that is reset to a predetermined voltage.
  • An event detection pixel that is the pixel in which the event is detected, and a signal reading unit that reads out the electric signal of the pixel according to a change in the voltage of the pixel according to the electric signal of the pixel, and the event detection.
  • the sensor is configured to read out the electric signal of a peripheral pixel which is the pixel around the pixel.
  • the control method of the present technology includes a pixel that receives light, performs photoelectric conversion to generate an electric signal, an event detection unit that detects an event that is a change in the electric signal of the pixel, and is reset to a predetermined voltage.
  • a sensor including a signal reading unit that reads out an electric signal of the pixel in response to a change in the voltage of the capacitance according to the electric signal of the pixel, an event detection pixel that is the pixel in which the event is detected, and It is a control method including reading the electric signal of a peripheral pixel which is the pixel around the event detection pixel.
  • an event that is a change in an electric signal of a pixel that receives light and performs photoelectric conversion to generate an electric signal is detected, and the voltage of the capacitor reset to a predetermined voltage,
  • the electric signal of the pixel is read according to the change according to the electric signal of the pixel.
  • the electric signals of the event detection pixel which is the pixel in which the event is detected and the peripheral pixels which are the pixels around the event detection pixel are read.
  • the sensor may be an independent device or an internal block that constitutes one device.
  • the sensor can also be configured as a module or a semiconductor chip.
  • FIG. 3 is a block diagram showing a configuration example of a sensor unit 21.
  • FIG. 3 is a block diagram showing a configuration example of a pixel array section 31.
  • FIG. 6 is a circuit diagram showing a configuration example of a pixel 51 and an EM section 53.
  • FIG. 7 is a diagram illustrating an example of reading out a photocurrent of (a PD 62 of) a pixel 51 by an EM section 53.
  • 3 is a block diagram showing a configuration example of a TD unit 52.
  • FIG. 6 is a circuit diagram showing a configuration example of a current/voltage conversion unit 81.
  • FIG. 6 is a circuit diagram showing a configuration example of a subtraction unit 83 and a quantization unit 84.
  • FIG. 3 is a block diagram showing a configuration example of an EM arbiter 32 and a TD arbiter 33.
  • FIG. 11 is a diagram illustrating an example of operations of the EM arbiter 32 and the TD arbiter 33 when an event of the pixel 51 occurs.
  • FIG. 11 is a diagram illustrating an example of operations of the EM arbiter 32 and the TD arbiter 33 when an event of the pixel 51 occurs.
  • FIG. 11 is a diagram illustrating an example of operations of the EM arbiter 32 and the TD arbiter 33 when an event of the pixel 51 occurs.
  • FIG. 9 is a flowchart illustrating an example of the operation of the sensor unit 21 in which the photocurrent of the pixel 51 is read by the new reading method. It is a figure explaining the 1st read-out system. It is a figure which shows the structural example of the sensor part 21 when employ
  • FIG. 8 is a diagram showing another configuration example of a TD unit (event detection unit) 52. It is a block diagram showing an example of composition of a scanning type imaging device.
  • FIG. 1 is a diagram showing a configuration example of an embodiment of a sensor chip to which the present technology is applied.
  • the sensor chip 10 is a single semiconductor chip, and is configured by stacking a sensor die (substrate) 11 as a plurality of dies (substrates) and a logic die 12.
  • the sensor chip 10 may be configured by one die, or may be configured by stacking three or more dies.
  • the sensor die 11 has a sensor unit 21 (as a circuit therefor), and the logic die 12 has a logic unit 22. It should be noted that the sensor unit 21 can be partially configured in the logic die 12. Further, with respect to the logic section 22, a part thereof can be configured in the sensor die 11.
  • the sensor unit 21 has a pixel that photoelectrically converts incident light to generate an electric signal, and generates event data that represents the occurrence of an event that is a change in the electric signal of the pixel.
  • the sensor unit 21 supplies the event data to the logic unit 22. That is, the sensor unit 21 performs photoelectric conversion of incident light to generate an electric signal in a pixel, but does not generate image data in a frame format, but an event that is a change in the electric signal of the pixel. Generate event data that represents the occurrence.
  • the sensor unit 21 outputs event data obtained by imaging to the logic unit 22.
  • the synchronous image sensor is an image sensor that captures an image in synchronization with a vertical synchronization signal and outputs frame data that is frame format image data.
  • the sensor unit 21 does not operate in synchronization with the vertical synchronization signal, and thus it can be said that the sensor unit 21 is (is an image sensor of) an asynchronous type image sensor.
  • the sensor unit 21 can generate and output frame data as in the case of the synchronous image sensor. Further, the sensor unit 21 can output the electrical signal of the pixel in which the event has occurred (the pixel in which the event has been detected) as a pixel signal that becomes the pixel value of the pixel of the frame data together with the event data.
  • the logic unit 22 controls the sensor unit 21 as needed. Further, the logic unit 22 is generated in accordance with data processing for generating frame data according to event data from the sensor unit 21, frame data from the sensor unit 21, or event data from the sensor unit 21. Various data processing such as image processing for frame data is performed, and event data, frame data, and data processing results obtained by performing various data processing are output.
  • FIG. 2 is a block diagram showing a configuration example of the sensor unit 21 of FIG.
  • the sensor unit 21 includes a pixel array unit 31, an EM (Exposure Measurement) arbiter 32, a TD (Time Detector) arbiter 33, and an output unit 34.
  • EM Exposure Measurement
  • TD Time Detector
  • the pixel array unit 31 is configured by arranging a plurality of pixels 51 (FIG. 3) in a two-dimensional grid pattern.
  • the pixel array unit 31 changes the photocurrent as an electric signal generated by the photoelectric conversion of the pixel 51 when the change exceeds a predetermined threshold (including a change equal to or more than the threshold) as required. Detect changes as events.
  • the pixel array unit 31 detects an event, the pixel array unit 31 outputs a TD request signal requesting output of event data indicating the occurrence of the event to the TD arbiter 33. Further, the pixel array unit 31 receives an ack (acknowledge) signal from the TD arbiter 33 that acknowledges the output of the event data, and sets a capacitor 71 (FIG.
  • the pixel array unit 31 After receiving the reset signal, the pixel array unit 31 starts reading the electric signal of the pixel 51 in which the event is detected, and requests that the signal corresponding to the electric signal be output as a pixel signal having a pixel value.
  • the EM request signal is output to the EM arbiter 32.
  • the change in the photocurrent generated in the pixel 51 of the pixel array unit 31 can be regarded as the change in the light amount of the light incident on the pixel 51, the event is the change in the light amount of the pixel 51 (the change in the light amount exceeding the threshold value). ) Can also be said.
  • the EM arbiter 32 receives the EM request signal from the pixel array unit 31, arbitrates it as necessary, and supplies the output unit 34 with EM event data indicating that the EM request signal has been received. In addition, the EM arbiter 32 returns an ack signal as a response to the EM request signal from the pixel array unit 31 to the pixel array unit 31.
  • TD arbiter 33 receives the TD request signal from pixel array unit 31 and arbitrates it as necessary. Then, the TD arbiter 33 supplies (outputs) the event data representing the occurrence of the event to the output unit 34 in response to the TD request signal. Further, the TD arbiter 33 returns an ack signal as a response to the TD request signal to the pixel array section 31 and supplies a reset signal to the pixel array section 31 to cause an electrical signal of the pixel 51 in which the event is detected. To start reading.
  • the output unit 34 generates a pixel signal of the pixel 51 in which an event is detected according to the EM event data from the EM arbiter 32 and supplies (outputs) it to the logic unit 22.
  • the output unit 34 includes, for example, a time stamp as time information indicating the (relative) time when the event occurs in the event data from the TD arbiter 33, and a light amount change as the event occurs (The position information (coordinates and the like) indicating the position of the pixel 51 (where an event is detected) is supplied to the logic unit 22.
  • the output unit 34 can additionally include the polarity (positive/negative) of the light amount change in the event data.
  • the data format of the event data including the position information of the pixel 51 at which the event has occurred (detected), the time information indicating the time at which the event has occurred, and the polarity of the light intensity change as the event is, for example, AER (Address Event Representation) Can be adopted.
  • FIG. 3 is a block diagram showing a configuration example of the pixel array section 31 of FIG.
  • the pixel array unit 31 includes a plurality of pixel units 41, and the plurality of pixel units 41 are arranged in a two-dimensional lattice pattern.
  • the pixel unit 41 has a pixel 51, a TD section 52, and an EM section 53.
  • the pixel 51 receives incident light from a subject and photoelectrically converts it to generate photocurrent as an electric signal.
  • TD unit 52 functions as an event detection unit that detects, as an event, a change in the photocurrent of pixel 51 that exceeds a predetermined threshold value.
  • the TD unit 52 supplies the TD arbiter 33 (FIG. 2) with a TD request signal requesting the output of event data indicating the occurrence of the event.
  • the TD arbiter 33 supplies event data to the output unit 34 according to the TD request signal, and returns an ack signal as a response to the TD request signal to the TD unit 52.
  • the TD unit 52 receives the ack signal from the TD arbiter 33 and restarts the detection of the event of the pixel 51.
  • the EM unit 53 functions as a signal reading unit that reads out a photocurrent as an electric signal of the pixel 51 in response to a reset signal from the TD arbiter 33 when an event is detected in the TD unit 52.
  • the EM unit 53 supplies (outputs) an EM request signal to the EM arbiter 32 in accordance with the readout of the photocurrent of the pixel 51.
  • the EM arbiter 32 returns an ack signal as a response to the EM request signal to the EM unit 53.
  • the EM unit 53 receives the ack signal from the EM arbiter 32.
  • Detecting a change in photocurrent exceeding a predetermined threshold as an event can be regarded as detecting an event that there is no change in photocurrent exceeding a predetermined threshold as an event.
  • the EM unit 53 when the change in the photocurrent of the pixel 51 that exceeds the predetermined threshold value of the photocurrent as an event is detected, there is no change in the photocurrent that exceeds the predetermined threshold value of the event as an event. Can be done if is detected.
  • FIG. 4 is a circuit diagram showing a configuration example of the pixel 51 and the EM unit 53.
  • the pixel 51 has PDs (Photodiodes) 61 and 62 as photoelectric conversion elements.
  • PDs 61 and 62 receive incident light and photoelectrically convert it to generate electric charges.
  • the photocurrent flows (is generated) as the electric charges generated by photoelectric conversion move.
  • the PD61 is connected to TD section 52.
  • the photocurrent of the PD 61 flows through the TD section 52, and is used by the TD section 52 to detect an event.
  • the PD62 is connected to EM section 53.
  • the photocurrent of the PD 62 is read by the EM unit 53 (flows through the EM unit 53) and is used to generate a pixel signal.
  • PDs 61 and 62 can be shared by one PD. That is, in the present embodiment, the pixel 51 is composed of two PDs 61 and 62, but the pixel 51 can be composed of one PD. When the pixel 51 is composed of one PD, the one PD is connected to the TD section 52 and the EM section 53.
  • the EM unit 53 includes a capacitor 71 as a capacitance, a FET 72, a switch 73, and a comparator 74.
  • One end of the capacitor 71 is grounded and the other end is connected to the drain of the FET 72.
  • the connection point between the capacitor 71 and the FET 72 is connected to the PD 62 (cathode thereof) and the non-inverting input terminal of the comparator 74. Therefore, the voltage of the capacitor 71 is supplied to the non-inverting input terminal of the comparator 74.
  • the FET 72 is a P (Positive) type MOS (Metal-Oxide-Semiconductor) FET (Field Effect Transistor), and the source is connected to the power supply VDD.
  • a reset signal from the TD arbiter 33 is supplied to the gate of the FET 72.
  • the switch 73 is connected to the inverting input terminal of the comparator 74, and selects the terminal a or b according to the ack signal from the EM arbiter 32.
  • the voltage VH as a threshold is supplied to the terminal a, and the voltage VL ( ⁇ VH) as a threshold is supplied to the terminal b. Therefore, the voltage VH or VL is supplied to the inverting input terminal of the comparator 74.
  • the comparator 74 compares the voltage of the capacitor 71 supplied to the non-inverting input terminal with the voltage VH or VL supplied to the inverting input terminal, and uses the H level or the L level representing the comparison result as the EM request signal. Output.
  • FIG. 5 is a diagram illustrating an example of reading out the photocurrent of the pixel 51 (PD 62 of the pixel 51) by the EM unit 53.
  • FIG. 5 shows an example of the time change of the voltage of the capacitor 71.
  • the FET 72 is temporarily turned from off to on according to the reset signal that is temporarily changed from H level to L level.
  • the capacitor 71 is connected to the power supply VDD via the FET 72 and reset to the power supply voltage of the power supply VDD.
  • the power supply voltage of the power supply VDD is higher than the voltage VH.
  • the voltage of the reset capacitor 71 changes according to the photocurrent of the PD 62 of the pixel 51, which flows. That is, the voltage of the capacitor 71 decreases with an inclination according to the photocurrent of the PD 62 when the photocurrent of the PD 62 flows.
  • the photocurrent is read according to the change in the voltage of the capacitor 71 according to the photocurrent.
  • the switch 73 selects the terminal a, so that the voltage VH is supplied to the inverting input terminal of the comparator 74.
  • the comparator 74 compares the voltage of the capacitor 71 supplied to the non-inverting input terminal with the voltage VH supplied to the inverting input terminal.
  • the H level and the L level are compared. Of these, for example, the H level is output.
  • the comparator 74 outputs the L level as an EM request signal.
  • the EM request signal output from the comparator 74 when the voltage of the capacitor 71 becomes equal to or lower than the voltage VH is also referred to as a first EM request signal.
  • the first EM request signal output from the comparator 74 is received by the EM arbiter 32, and the EM arbiter 32 receiving the first EM request signal returns an ack signal to the EM unit 53.
  • the switch 73 of the EM unit 53 selects the terminal b according to the ack signal from the EM arbiter 32, and thus the voltage VL ( ⁇ VH) is supplied to the inverting input terminal of the comparator 74.
  • the comparator 74 outputs the L level as an EM request signal.
  • the EM request signal output from the comparator 74 when the voltage of the capacitor 71 becomes equal to or lower than the voltage VL is also referred to as a second EM request signal.
  • time TH the time when the first EM request signal is output
  • time TL the time when the second EM request signal is output
  • the time TH of the first EM request signal and the time TL of the second EM request signal change according to the change of the voltage of the capacitor 71, that is, the photocurrent of the PD 62 of the pixel 51. It can be said that outputting the EM request signal of 2 is equivalently reading the photocurrent of the PD 62 of the pixel 51.
  • the first and second EM request signals output by the comparator 74 are received by the EM arbiter 32 and supplied to the output unit 34 as EM event data.
  • the output unit 34 generates a pixel signal of the pixel 51 from which the photocurrent is read according to the EM event data from the EM arbiter 32.
  • the output unit 34 generates a voltage corresponding to the time TD between the time TH of the first EM request signal and the time TL of the second EM request signal as the pixel signal of the pixel 51.
  • the output unit 34 can generate a voltage corresponding to the time TH of the first EM request signal or the time TL of the second EM request signal as the pixel signal of the pixel 51.
  • the voltage corresponding to the time TD difference between time TH and time TL
  • CDS Correlated Double Sampling
  • FIG. 6 is a block diagram showing a configuration example of the TD unit 52 of FIG.
  • the TD unit 52 includes a current-voltage converter 81, a buffer 82, a subtractor 83, a quantizer 84, and a transfer unit 85.
  • the current-voltage conversion unit 81 converts the photocurrent from (the PD 61 of) the pixel 51 into a voltage (hereinafter, also referred to as photovoltage) corresponding to the logarithm of the photocurrent, and supplies the voltage to the buffer 82.
  • the buffer 82 buffers the optical voltage from the current-voltage converter 81 and supplies it to the subtractor 83.
  • the subtracting unit 83 calculates the difference between the current optical voltage and the optical voltage at a timing different from the current by a minute time, and supplies a difference signal corresponding to the difference to the quantizing unit 84.
  • the quantization unit 84 quantizes the difference signal from the subtraction unit 83 into a digital signal, and supplies the quantized value of the difference signal to the transfer unit 85.
  • the transfer unit 85 detects the event of the pixel 51 according to the quantized value of the difference signal from the quantization unit 84, and outputs the TD request signal to the TD arbiter 33 when the event of the pixel 51 is detected. (Forward. Further, the transfer unit 85 receives the ack signal as a response to the TD request signal supplied from the TD arbiter 33.
  • FIG. 7 is a circuit diagram showing a configuration example of the current-voltage conversion unit 81 of FIG.
  • the current-voltage converter 81 is composed of transistors 91 to 93.
  • transistors 91 and 93 for example, N-type MOS FET can be adopted, and as the transistor 92, for example, P-type MOS (PMOS) FET can be adopted.
  • PMOS P-type MOS
  • the source of the transistor 91 is connected to the gate of the transistor 93, and the photocurrent from the pixel 51 (PD 61 of the pixel) is supplied to the connection point between the source of the transistor 91 and the gate of the transistor 93.
  • the drain of the transistor 91 is connected to the power supply VDD, and the gate thereof is connected to the drain of the transistor 93.
  • the source of the transistor 92 is connected to the power supply VDD, and the drain thereof is connected to the connection point between the gate of the transistor 91 and the drain of the transistor 93.
  • a predetermined bias voltage Vbias is applied to the gate of the transistor 92.
  • the source of the transistor 93 is grounded.
  • the drain of the transistor 91 is connected to the power supply VDD side and serves as a source follower.
  • the photocurrent from the pixel 51 is converted into a photovoltage corresponding to the logarithm of the photocurrent by the transistor 91 which is a source follower and the transistor 93 whose gate is connected to the source thereof.
  • the photovoltage is supplied to the buffer 82 (FIG. 6) from the connection point between the gate of the transistor 91 and the drain of the transistor 93.
  • FIG. 8 is a circuit diagram showing a configuration example of the subtraction unit 83 and the quantization unit 84 of FIG.
  • the subtraction unit 83 includes a capacitor 101, an operational amplifier 102, a capacitor 103, and a switch 104.
  • the quantizer 84 includes a comparator 111.
  • One end of the capacitor 101 is connected to the output terminal of the buffer 82 (FIG. 6), and the other end is connected to the input terminal of the operational amplifier 102. Therefore, the optical voltage is input to the input terminal of the operational amplifier 102 via the capacitor 101.
  • the output terminal of the operational amplifier 102 is connected to the non-inverting input terminal (+) of the comparator 111.
  • the one end of the capacitor 103 is connected to the input terminal of the operational amplifier 102, and the other end is connected to the output terminal of the operational amplifier 102.
  • the switch 104 is connected to the capacitor 103 so as to turn on/off the connection between both ends of the capacitor 103.
  • the switch 104 turns on/off the connection between both ends of the capacitor 103 by turning on/off according to an ack signal from the TD arbiter 33.
  • the optical voltage on the buffer 82 (FIG. 6) side of the capacitor 101 when the switch 104 is turned on is represented by Vinit, and the capacity (electrostatic capacity) of the capacitor 101 is represented by C1.
  • the input terminal of the operational amplifier 102 is virtually grounded, and the charge Qinit accumulated in the capacitor 101 when the switch 104 is on is represented by the equation (1).
  • both ends of the capacitor 103 are short-circuited, so that the electric charge accumulated in the capacitor 103 becomes zero.
  • Vout -(C1/C2) ⁇ (Vafter-Vinit) ...(5)
  • the subtractor 83 subtracts the photovoltages Vafter and Vinit, that is, calculates the difference signal (Vout) corresponding to the difference Vafter-Vinit between the photovoltages Vafter and Vinit.
  • the subtraction gain of the subtraction unit 83 is C1/C2. Since it is usually desired to maximize the gain, it is preferable to design C1 large and C2 small. On the other hand, if C2 is too small, kTC noise increases, and noise characteristics may deteriorate. Therefore, the capacity reduction of C2 is limited to the range in which noise can be tolerated. Further, since the TD section 52 including the subtraction section 83 is mounted for each pixel unit 41, there is a restriction on the area of the capacitors C1 and C2. Considering these, the values of the capacitors C1 and C2 are determined.
  • the comparator 111 compares the difference signal from the subtraction unit 83 with a predetermined threshold (voltage) Vth applied to the inverting input terminal (-).
  • the comparator 111 outputs the comparison result of the difference signal and the threshold value Vth, for example, H (High) level or L (Low) level to the transfer unit 85 as a quantized value of the difference signal.
  • the transfer unit 85 recognizes that a light amount change as an event has occurred according to the quantized value of the difference signal from the quantization unit 84, that is, the difference signal (Vout) is larger (or smaller) than the threshold value Vth. If the quantized value indicates that, the event of the pixel 51 is detected and the TD request signal is output to the TD arbiter 33.
  • the TD arbiter 33 generates event data indicating the occurrence of an event, that is, event data indicating that an event has been detected, according to the TD request signal from the transfer unit 85, and outputs the event data to the output unit 34.
  • the gain A of the entire TD unit 52 is represented by the following equation, where CG log is the gain of the current-voltage conversion unit 81, 1 is the gain of the buffer 82, and G is the gain of the quantization unit 84.
  • i photo represents photocurrent
  • the pixel 51 can receive any light as incident light by providing an optical filter such as a color filter that transmits predetermined light.
  • the event data represents occurrence of a change in pixel value in an image in which a visible subject is reflected.
  • the event data represents occurrence of a change in the distance to the subject.
  • the event data represents the occurrence of a change in the temperature of the subject.
  • the pixel 51 receives visible light as incident light.
  • FIG. 9 is a block diagram showing a configuration example of the EM arbiter 32 and the TD arbiter 33.
  • EM arbiter 32 has EMX arbiter 151X and EMY arbiter 151Y.
  • the EMX request signal line 183 is wired for each column of the pixel 51 (having the pixel unit 41), and the EMY request signal line 193 is wired for each row of the pixel 51.
  • the EMX request signal line 183 in the x-th column from the left is also referred to as the EMX request signal line 183 x
  • the EMY request signal line 193 in the y-th column from the top is also referred to as the EMY request signal line 193 y .
  • a reset signal is supplied from the TD arbiter 33 to (the pixel unit 41 having) the pixel 51 in which an event is detected, and the photocurrent of the pixel 51 is read out according to the reset signal. Then, the pixel 51 (having the pixel unit 41) in which the event is detected outputs the EM request signal to the EM arbiter 32 in response to the readout of the photocurrent of the pixel 51.
  • the EM request signal output by (the pixel unit 41 having) the pixel 51 is transmitted to the EMX arbiter 151X and the EMY arbiter 151Y via the EMX request signal line 183 and the EMY request signal line 193, respectively.
  • the EM request signal transmitted through the EMX request signal line 183 is also referred to as an EMX request signal
  • the EM request signal transmitted through the EMY request signal line 193 is also referred to as an EMY request signal.
  • the EMX arbiter 151X and the EMY arbiter 151Y respectively receive the EMX request signal and the EMY request signal transmitted via the EMX request signal line 183 and the EMY request signal line 193.
  • the EM arbiter 32 has a position x of the EMX request signal line 183 x for transmitting the EMX request signal received by the EMX arbiter 151X and an EMY request signal line 193 y for transmitting the EMY request signal received by the EMY arbiter 151Y.
  • the position (x, y) of the pixel 51 (having the pixel unit 41) that has output the EM request signal is recognized from the position y and the EM request signal including the position (x, y) of the pixel 51 is output. Supply to the section 34.
  • TD arbiter 33 has TDX arbiter 161X, TDY arbiter 161Y, X reset control unit 162X, and Y reset control unit 162Y.
  • the TDX request signal line 181 is wired for each column of the pixels 51, and the TDY request signal line 191 is wired for each row of the pixels 51. Further, in the pixel array section 31, the X reset signal line 182 is wired for each column of the pixels 51, and the Y reset signal line 192 is wired for each row of the pixels 51.
  • the TDX request signal line 181 in the x-th column from the left is also referred to as the TDX request signal line 181 x
  • the TDY request signal line 191 in the y-th column from the top is also referred to as the TDY request signal line 191 y
  • the X reset signal line 182 in the x-th column from the left is also referred to as an X reset signal line 182 x
  • the Y reset signal line 192 in the y-th column from the top is also referred to as a Y reset signal line 192 y y .
  • the TD request signal output by the pixel 51 is transmitted to the TDX arbiter 161X and the TDY arbiter 161Y via the TDX request signal line 181 and the TDY request signal line 191, respectively.
  • the TD request signal transmitted through the TDX request signal line 181 is also referred to as a TDX request signal
  • the TD request signal transmitted through the TDY request signal line 191 is also referred to as a TDY request signal.
  • the TDX arbiter 161X and the TDY arbiter 161Y receive the TDX request signal and the TDY request signal transmitted via the TDX request signal line 181, and the TDY request signal line 191, respectively.
  • the TD arbiter 33 has a position x of the TDX request signal line 181 x to which the TDX request signal received by the TDX arbiter 161X is transmitted and a TDY request signal line 191 y to which the TDY request signal received by the TDY arbiter 161Y is transmitted.
  • the position (x, y) of the pixel 51 that outputs the TD request signal, that is, the pixel 51 (having the pixel unit 41) in which the event is detected is recognized from the position y of The event data including y) is supplied to the output unit 34.
  • the TDX arbiter 161X Upon receiving the TDX request signal from the TDX request signal line 181 x , the TDX arbiter 161X controls the X reset control unit 162X to transmit the reset signal via the X reset signal line 182 x .
  • X reset controller 162X under the control of TDX arbiter 161x, via the X reset signal line 182 x, and transmits a reset signal.
  • the TDY arbiter 161Y when the TDY arbiter 161Y receives the TDY request signal from the TDY request signal line 191 y , it controls the Y reset control unit 162Y to transmit the reset signal via the Y reset signal line 192 y .
  • Y reset controller 162Y under the control of TDY arbiter 161Y, through the Y reset signal line 192 y, to transmit a reset signal.
  • the reset signal transmitted through the X reset signal line 182 x is also referred to as an X reset signal
  • the reset signal transmitted through the Y reset signal line 192 y is also referred to as a Y reset signal.
  • the pixel array unit 31 simultaneously receives the X reset signal transmitted via the X reset signal line 182 x and the Y reset signal transmitted via the Y reset signal line 192 y at the position (x, y).
  • the capacitor 71 of the pixel 51 (including the pixel unit 41) is reset, and the photocurrent is read.
  • FIGS. 10, 11, and 12 are diagrams illustrating an example of the operation of the EM arbiter 32 and the TD arbiter 33 when an event of the pixel 51 occurs.
  • the pixel 51 when the event of the pixel 51 at the position (x, y) is detected, the pixel 51 (the pixel unit 41 including the pixel 51) outputs the TD request signal.
  • the TD request signal output from the pixel 51 is transmitted as a TDX request signal to the TDX arbiter 161X via the TDX request signal line 181 x, and at the same time as a TDY request signal, a TDY request signal line is transmitted. It is transmitted to the TDY arbiter 161Y via 191 y .
  • the TDX arbiter 161X and the TDY arbiter 161Y respectively receive the TDX request signal and the TDY request signal transmitted via the TDX request signal line 181 x and the TDY request signal line 191 y .
  • the position (x, y) of the pixel 51 in which the event is detected is recognized from the position y of the, and event data including the position (x, y) of the pixel 51 is supplied to the output unit 34.
  • the TDX arbiter 161X controls the X reset control unit 162X to transmit the X reset signal via the X reset signal line 182 x and the TDY arbiter 161Y. controls the Y reset controller 162Y, through the Y reset signal line 192 y, to transmit the Y reset signal.
  • the X reset signal transmitted via the X reset signal line 182 x , Y reset signal transmitted via the Y reset signal line 192 y is received at the same time.
  • the capacitor 71 of the pixel 51 at the position (x, y) where the event is detected is reset, and the photocurrent is read.
  • the pixel 51 at the position (x, y) where the event is detected outputs an EM request signal according to the readout of the photocurrent of the pixel 51.
  • the EM request signal output from the pixel 51 is transmitted as an EMX request signal to the EMX arbiter 151X via the EMX request signal line 183 x, and also as an EMY request signal line. through 193 y, it is transmitted to the EMY arbiter 151Y.
  • the EMX arbiter 151X and the EMY arbiter 151Y respectively receive the EMX request signal and the EMY request signal transmitted via the EMX request signal line 183 x and the EMY request signal line 193 y .
  • the pixel 51 that outputs the EM request signal that is, the position (x, y) of the pixel 51 in which the event is detected is recognized, and the EM including the position (x, y) of the pixel 51 is recognized.
  • the request signal is supplied to the output unit 34.
  • the output unit 34 generates the pixel signal of the pixel 51 at the position (x, y) where the event is detected, in response to the EM request signal from the EM arbiter 32.
  • the photocurrent of the pixel 51 at the position (x, y) where the event is detected is read out, and the pixel signal corresponding to the photocurrent is generated.
  • FIG. 13 is a diagram showing an example of generation of frame data using a pixel signal of the pixel 51 in which an event is detected.
  • a linear moving object extending obliquely to the upper right is moving from the left to the right within the angle of view of photographing of (the pixel array section 31 of) the sensor section 21. It is assumed that the moving body is being photographed.
  • the photocurrent is read out from the event detection pixel and a pixel signal corresponding to the photocurrent is generated.
  • the pixel 51 from which the photocurrent is read is referred to as a read pixel.
  • the photocurrent reading method as described above is a method in which the event detection pixels and the reading pixels are in one-to-one correspondence and only the event detection pixels are used as the reading pixels without fail to read the photocurrent of the reading pixels. (Hereinafter, also referred to as a one-to-one correspondence method).
  • the event is not always detected in all the pixels 51 in which (the outline of) the moving object is reflected. That is, even in the pixel 51 in which the moving object is reflected, there may be a pixel 51 in which the event is detected and a pixel 51 in which the event is not detected, depending on the degree of change in the light amount due to the movement of the moving object.
  • the photocurrent is not read out and the pixel signal is not generated, so that the pixel signal is generated.
  • the image corresponding to the generated frame data may be an unnatural image in which a part of the subject (here, a linear moving object) is missing.
  • the event detection pixels and the readout pixels are not made to correspond one-to-one, and the pixels 51 other than the event detection pixels are set as the readout pixels, or the event detection pixels are not set as the readout pixels.
  • a new reading method (hereinafter also referred to as a new reading method) for reading a photocurrent from the reading pixel can be adopted.
  • FIG. 14 is a diagram showing an example of generation of frame data using a pixel signal corresponding to a photocurrent read by the new reading method.
  • FIG. 14 as in FIG. 13, a linear moving object is moving, and a pixel 51 in which an event is detected and a pixel 51 in which an event is not detected depending on the degree of change in the light amount due to the movement of the moving object. And are occurring.
  • the pixel 51 around the event detection pixel (hereinafter, also referred to as a peripheral pixel) is also read as a photocurrent, and the photocurrent is read.
  • an image corresponding to the frame data generated by using the pixel signal corresponding to the photocurrent read from the pixel 51 is used as an object corresponding to the one-to-one correspondence method. It is possible to suppress the generation of an unnatural image in which a part of the image is missing.
  • FIG. 15 is a flowchart illustrating an example of the (control) operation of the sensor unit 21 in which the photocurrent of the pixel 51 is read by the new reading method.
  • step S11 When an event occurs in the pixel 51, the TD section 52 detects the event in step S11, and the process proceeds to step S12.
  • step S12 the TD unit 52 outputs the TD request signal to the TD arbiter 33 in response to the detection of the event, and the process proceeds to step S13.
  • step S13 the TD arbiter 33 outputs event data to the output unit 34 according to the TD request signal from the TD unit 52, and the process proceeds to step S14.
  • step S14 the TD arbiter 33 responds to the TD request signal from the TD unit 52 by resetting the event detection pixel in which the event is detected and the peripheral pixel (having the pixel unit 41) of the event detection pixel. Is output, the photocurrents of the event detection pixel and the peripheral pixels are read out, and the process proceeds to step S15.
  • step S15 the event detection pixel and the peripheral pixel (having the pixel unit 41) output the EM request signal to the EM arbiter 32 in response to the readout of the photocurrent.
  • the EM arbiter 32 receives the EM request signal from the event detection pixel and the peripheral pixels and supplies the EM request signal to the output unit 34.
  • the first to fourth read methods will be described below as specific examples of the new read method.
  • FIG. 16 is a diagram for explaining the first reading method.
  • the pixels 51 (having the pixel unit 41) that form the pixel array unit 31 are divided into pixel blocks that are composed of several pixels 51.
  • the pixels 51 (having the pixel unit 41) that form the pixel array unit 31 are divided into pixel blocks that are composed of several pixels 51.
  • 3 ⁇ 3 pixels 51 (horizontal ⁇ vertical) are divided into one pixel block.
  • the photocurrents of all the pixels 51 of the pixel block are read.
  • the pixels 51 other than the event detection pixels are used as the peripheral pixels, and the photocurrents of the event detection pixels and the peripheral pixels are read.
  • FIG. 17 is a diagram showing a configuration example of the sensor unit 21 when the first reading method is adopted.
  • the sensor unit 21 includes a pixel array unit 31, an EMX arbiter 151X and an EMY arbiter 151Y that form an EM arbiter 32, and a TDX arbiter 161X, a TDY arbiter 161Y, and an X reset control unit that form a TD arbiter 33. It has a 162X and a Y reset control section 162Y.
  • the sensor unit 21 has a plurality of OR gates 211X and a plurality of OR gates 211Y.
  • OR gates 211X and 211Y are provided for each column and row of the pixel block.
  • the X reset signal line 182 connected to (each pixel unit 41 having) the pixel 51 in the pixel block of the column of the OR gate 211X is connected to the input terminal of the OR gate 211X.
  • the output terminal of the OR gate 211X is connected to the X reset signal line 182 connected to each pixel 51 in the pixel block of the column of the OR gate 211X.
  • a Y reset signal line 192 connected to (each pixel unit 41 having) each pixel 51 in the pixel block of the row of the OR gate 211Y is connected to the input terminal of the OR gate 211Y.
  • the output terminal of the OR gate 211X is connected to the Y reset signal line 192 connected to each pixel 51 in the pixel block of the row of the OR gate 211Y.
  • the pixel block is composed of 3 ⁇ 3 pixels 51 as shown in FIG. 16, for example. Further, the position of the central pixel 51 among the 3 ⁇ 3 pixels 51 forming the pixel block is assumed to be the position (x, y), and the pixel 51 at the position (x, y) is changed to the pixel 51 ( x, y).
  • the X reset signal line connected to the X reset control unit 162X is connected to the input terminal of the OR gate 211X in the column of the pixel block configured by 3 ⁇ 3 pixels 51 including the pixel 51(x, y). 182 x ⁇ 1 , 182 x , and 182 x+1 are connected.
  • the output terminal of the OR gate 211X has a pixel 51 (x-1, y) in the x-1th column, a pixel 51 (x, y) in the xth column, and a pixel 51 (x+1 in the x+1th column. , Y) connected to X reset signal lines 182 x ⁇ 1 , 182 x , and 182 x+1 .
  • the Y reset signal line 192 connected to the Y reset control unit 162Y is connected to the input terminal of the OR gate 211Y in the row of the pixel block configured by 3 ⁇ 3 pixels 51 including the pixel 51(x, y). y ⁇ 1 , 192 y , and 192 y+1 are connected.
  • the output terminal of the OR gate 211Y includes the pixel 51(x, y-1) in the y-1th row, the pixel 51(x, y) in the yth row, and the pixel 51(x in the y+1th row. , Y+1) connected to Y reset signal lines 192 y ⁇ 1 , 192 y , and 192 y+1 .
  • the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y is supplied to each pixel 51 in the pixel block including the pixel 51. Then, the photocurrents of all the pixels 51 in the pixel block are read out.
  • OR gates 211X and 211Y are provided, and the OR gates 211X and 211Y cause the pixel 51 (of the pixel unit 41 having the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y). ) Is controlled.
  • the method of supplying the reset signal to the pixel 51 can be controlled by the X reset control unit 162X and the Y reset control unit 162Y without providing the OR gates 211X and 211Y.
  • FIG. 18 is a diagram for explaining the second reading method.
  • the photocurrents of all the pixels 51 within a predetermined range centered on the pixel 51 where the event is detected are read.
  • the photocurrents of the event detection pixels and the peripheral pixels are read with the pixels 51 other than the event detection pixels within a predetermined range around the event detection pixel as the peripheral pixels.
  • the 3 ⁇ 3 range centered on the event detection pixel is the predetermined range.
  • FIG. 19 is a diagram showing a configuration example of the sensor unit 21 when the second reading method is adopted.
  • the output unit 34 is not shown in FIG.
  • the sensor unit 21 includes a pixel array unit 31, an EMX arbiter 151X and an EMY arbiter 151Y that form an EM arbiter 32, and a TDX arbiter 161X, a TDY arbiter 161Y, and an X reset control unit that form a TD arbiter 33. It has a 162X and a Y reset control section 162Y.
  • the sensor unit 21 has a plurality of OR gates 221X and a plurality of OR gates 221Y.
  • the OR gates 221X and 221Y are provided for each column and row of the pixel 51 (having the pixel unit 41).
  • the input terminal of the OR gate 221X has an X reset signal line 182 connected to the pixel 51 (having the pixel unit 41) in the column of the OR gate 221X and a peripheral pixel of the pixel 51 (in the second reading method, An X reset signal line 182 connected to (a pixel unit 41 including) a pixel 51 other than the central pixel 51 within a predetermined range centered on the pixel 51 is connected.
  • the output terminal of the OR gate 221X is connected to the X reset signal line 182 connected to the pixel 51 in the column of the OR gate 221X.
  • the input terminal of the OR gate 221Y has a Y reset signal line 192 connected to (the pixel unit 41 having) the pixel 51 of the row of the OR gate 221Y and the pixel unit having (the pixel surrounding the pixel 51).
  • the Y reset signal line 192 connected to 41) is connected.
  • the output terminal of the OR gate 221Y is connected to the Y reset signal line 192 connected to the pixel 51 of the row of the OR gate 221Y.
  • the X reset control unit is connected to the input terminal of the OR gate 221X of the column of the pixel 51(x, y).
  • X reset signal lines 182 x ⁇ 1 , 182 x , and 182 x+1 connected to 162X are connected.
  • the output terminal of the OR gate 221X is, x-th column of pixels 51 (x, y) is connected to the X reset signal line 182 x connected to.
  • the Y reset signal lines 192 y ⁇ 1 , 192 y , and 192 y+1 connected to the Y reset control unit 162Y are connected to the input terminals of the OR gate 221Y of the row of the pixel 51(x, y). ..
  • the output terminal of the OR gate 221Y is, y-th row of the pixel 51 (x, y) is connected to the Y reset signal line 192 y connected to.
  • the X reset control unit 162X and the Y reset control unit 162Y are provided in each of the 3 ⁇ 3 pixels 51 as a predetermined range centered on the pixel 51.
  • the reset signal to be output is supplied, and the photocurrents of all the pixels 51 within a predetermined range centered on the event detection pixel are read.
  • OR gates 221X and 221Y are provided, and the OR gates 221X and 221Y provide the pixel 51 (of the pixel unit 41 having the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y). ) Is controlled.
  • the method of supplying the reset signal to the pixel 51 can be controlled by the X reset control unit 162X and the Y reset control unit 162Y without providing the OR gates 221X and 221Y.
  • FIG. 20 is a diagram for explaining the third reading method.
  • the pixels 51 (having the pixel unit 41) that form the pixel array unit 31 are divided into pixel blocks that are composed of several pixels 51. Further, in the third reading method, one (or more) pixel 51 forming the pixel block is set as the specific pixel.
  • 2 ⁇ 2 pixels 51 are divided into one pixel block, and the lower left pixel 51 of the pixel block composed of 2 ⁇ 2 pixels 51 is set as a specific pixel. Has been done.
  • the photocurrents of the event detection pixel and the specific pixel in the pixel block are read. That is, in the third reading method, the photocurrents of the event detection pixel and the peripheral pixel are read by using the specific pixel in the pixel block as the peripheral pixel.
  • the image corresponding to the frame data generated using the pixel signal corresponding to the photocurrent read by the third reading method is generated using the pixel signal corresponding to the photocurrent of the event detection pixel.
  • the image corresponding to the frame data corresponding to the frame is subjected to image processing called dilation processing.
  • FIG. 21 is a diagram showing a configuration example of the sensor unit 21 when the third reading method is adopted.
  • the sensor unit 21 includes a pixel array unit 31, an EMX arbiter 151X and an EMY arbiter 151Y that configure the EM arbiter 32, and a TDX arbiter 161X, a TDY arbiter 161Y, and an X reset control unit that configures the TD arbiter 33. It has a 162X and a Y reset control section 162Y.
  • the sensor unit 21 has a plurality of OR gates 231X and a plurality of OR gates 231Y.
  • the OR gates 231X and 231Y are provided for each (a pixel unit 41 having) a specific pixel.
  • An X reset signal line 182 connected to each pixel 51 in a pixel block having (a pixel unit 41 having) a specific pixel is connected to the input terminal of the OR gate 231X.
  • the output of the OR gate 231X is supplied to the specific pixel (having the pixel unit 41) as an X reset signal.
  • the Y reset signal line 192 connected to each pixel 51 in the pixel block having the specific pixel (having the pixel unit 41) is connected to the input terminal of the OR gate 231Y.
  • the output of the OR gate 231Y is supplied to the specific pixel (having the pixel unit 41) as a Y reset signal.
  • the pixel block is composed of 2 ⁇ 2 pixels 51 and the lower left pixel 51 of the 2 ⁇ 2 pixels 51 is the specific pixel, the upper left corner of the pixel block is displayed.
  • the pixel 51 of 1 is the pixel 51(x, y)
  • the pixel 51(x, y+1) is the specific pixel.
  • the X reset signal lines 182 x and 182 x+1 connected to the X reset control unit 162X are connected to the input terminals of the OR gate 231X.
  • the output of the OR gate 231X is supplied as an X reset signal to the pixel 51(x, y+1) which is a specific pixel.
  • Y reset signal lines 192 y and 192 y+1 connected to the Y reset control unit 162Y are connected to the input terminals of the OR gate 231Y.
  • the output of the OR gate 231Y is supplied as a Y reset signal to the pixel 51(x, y+1) which is a specific pixel.
  • the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y is supplied to the event detection pixel and the specific pixel in the pixel block. Then, the photocurrents of the event detection pixel and the specific pixel in the pixel block are read out.
  • OR gates 231X and 231Y are provided, and the OR gates 231X and 231Y provide a pixel 51 (of the pixel unit 41 having the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y). ) Is controlled.
  • the method of supplying the reset signal to the pixel 51 can be controlled by the X reset control unit 162X and the Y reset control unit 162Y without providing the OR gates 231X and 231Y.
  • FIG. 22 is a diagram for explaining the fourth reading method.
  • the pixels 51 (having the pixel unit 41) that form the pixel array unit 31 are divided into pixel blocks that are composed of several pixels 51. Furthermore, in the fourth reading method, one (or more) pixel 51 forming the pixel block is set as a specific pixel.
  • 2 ⁇ 2 pixels 51 are divided into one pixel block, and the pixel 51 at the lower left of the pixel block configured by the 2 ⁇ 2 pixels 51 is formed. Is set to a specific pixel.
  • the photocurrent is read out from the specific pixel only when the events of all the pixels 51 forming the pixel block are detected. That is, in the fourth reading method, the photocurrent of a specific pixel is not read out even if one of the pixels 51 forming the pixel block does not detect an event.
  • the image corresponding to the frame data generated using the pixel signal corresponding to the photocurrent read by the fourth reading method is generated using the pixel signal corresponding to the photocurrent of the event detection pixel.
  • the image corresponding to the frame data corresponding to the frame data is subjected to image processing called reduction processing (Erosion).
  • an unintended event (hereinafter, also referred to as a fake event) is detected due to a slight movement of the background, and the photocurrent of the pixel 51 in which the fake event is detected is read. It may be done.
  • the photocurrent is not read for the specific pixel only when the events of all the pixels 51 forming the pixel block are not detected. Therefore, the photocurrent of the specific pixel is caused by the fake event. However, so to speak, it is possible to suppress unnecessary reading.
  • FIG. 23 is a diagram showing a configuration example of the sensor unit 21 when the fourth reading method is adopted.
  • the sensor unit 21 includes a pixel array unit 31, an EMX arbiter 151X and an EMY arbiter 151Y that form an EM arbiter 32, and a TDX arbiter 161X, a TDY arbiter 161Y, and an X reset control unit that form a TD arbiter 33. It has a 162X and a Y reset control section 162Y.
  • the sensor unit 21 has a plurality of AND gates 241X and a plurality of AND gates 241Y.
  • AND gates 241X and 241Y are provided for each (a pixel unit 41 having) a specific pixel.
  • An X reset signal line 182 connected to each pixel 51 in a pixel block having (a pixel unit 41 having) a specific pixel is connected to the input terminal of the AND gate 241X.
  • the output of the AND gate 241X is supplied to the specific pixel (having the pixel unit 41) as an X reset signal.
  • a Y reset signal line 192 connected to each pixel 51 in a pixel block having (a pixel unit 41 having) a specific pixel is connected to the input terminal of the AND gate 241Y.
  • the output of the AND gate 241Y is supplied to (the pixel unit 41 having) the specific pixel as a Y reset signal.
  • the pixel block is composed of 2 ⁇ 2 pixels 51, and the lower left pixel 51 of the 2 ⁇ 2 pixels 51 is the specific pixel, the upper left corner of the pixel block is displayed.
  • the pixel 51 of 1 is the pixel 51(x, y)
  • the pixel 51(x, y+1) is the specific pixel.
  • the X reset signal lines 182 x and 182 x+1 connected to the X reset control unit 162X are connected to the input terminals of the AND gate 241X.
  • the output of the AND gate 241X is supplied to the pixel 51 (x, y+1) which is a specific pixel as an X reset signal.
  • Y reset signal lines 192 y and 192 y+1 connected to the Y reset control unit 162Y are connected to the input terminals of the AND gate 241Y.
  • the output of the AND gate 241Y is supplied as a Y reset signal to the pixel 51(x, y+1) which is a specific pixel.
  • the reset signal (X reset signal and Y reset signal) is supplied to the specific pixel in the pixel block, and the photocurrent of the specific pixel is read out. ..
  • AND gates 241X and 241Y are provided, and the AND gates 241X and 241Y provide the pixel 51 (of the pixel unit 41 having the reset signal output from the X reset control unit 162X and the Y reset control unit 162Y). ) Is controlled.
  • the method of supplying the reset signal to the pixel 51 can be controlled by the X reset control unit 162X and the Y reset control unit 162Y without providing the AND gates 241X and 241Y.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 24 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the body system control unit 12020 controls operations of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • radio waves or signals of various switches transmitted from a portable device that substitutes for a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle door lock device, the power window device, the lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected with, for example, a driver state detection unit 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes a function of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an onboard display and a head-up display, for example.
  • FIG. 25 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the image capturing unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the images in the front acquired by the image capturing units 12101 and 12105 are mainly used for detecting the preceding vehicle, pedestrians, obstacles, traffic lights, traffic signs, lanes, or the like.
  • FIG. 25 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown. For example, by overlaying the image data captured by the image capturing units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as the preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object to other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified, extracted, and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera, and a pattern matching process on a series of feature points indicating an outline of an object are performed to determine whether the pedestrian is a pedestrian. It is performed by the procedure of determining.
  • the voice image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the sensor chip of FIG. 1 can be applied to the image pickup unit 12031.
  • FIG. 26 is a diagram showing another configuration example of the TD unit (event detection unit) 52.
  • the TD unit 52 has a subtractor 430, a quantizer 440, a memory 451, and a controller 452.
  • the subtractor 430 and the quantizer 440 correspond to the subtractor 83 and the quantizer 84, respectively.
  • the TD unit 52 further includes blocks corresponding to the current-voltage conversion unit 81 and the buffer 82, but the illustration is omitted in FIG. 26.
  • the subtractor 430 includes a capacitor 431, an operational amplifier 432, a capacitor 433, and a switch 434.
  • the capacitor 431 to the switch 434 correspond to the capacitor 101 to the switch 104, respectively.
  • the quantizer 440 has a comparator 441.
  • the comparator 441 corresponds to the comparator 111.
  • the comparator 441 compares the voltage signal (difference signal) from the subtractor 430 with the predetermined threshold voltage Vth applied to the inverting input terminal ( ⁇ ). The comparator 441 outputs a signal indicating the comparison result as a detection signal (quantized value).
  • the voltage signal from the subtractor 430 may be input to the input terminal ( ⁇ ) of the comparator 441 and the predetermined threshold voltage Vth may be input to the input terminal (+) of the comparator 441.
  • the controller 452 supplies a predetermined threshold voltage Vth applied to the inverting input terminal ( ⁇ ) of the comparator 441.
  • the supplied threshold voltage Vth may have different voltage values in time division.
  • the controller 452 may supply the threshold voltage Vth1 corresponding to an ON event (for example, a positive change in photocurrent) and the threshold voltage Vth2 corresponding to an OFF event (for example, a negative change in photocurrent) at different timings.
  • a single comparator can detect a plurality of types of address events (events).
  • the memory 451 accumulates the output of the comparator 441 based on the Sample signal supplied from the controller 452.
  • the memory 451 may be a sampling circuit such as a switch, plastic, or a capacitor, or may be a digital memory circuit such as a latch or a flip-flop.
  • the memory 451 holds the comparison result of the comparator 441 using the threshold voltage Vth1 corresponding to the ON event while the threshold voltage Vth2 corresponding to the OFF event is supplied to the inverting input terminal ( ⁇ ) of the comparator 441. You may have.
  • the memory 451 may be absent, inside the pixel (pixel unit 41) or outside the pixel.
  • the sensor chip 10 in FIG. 1 is an asynchronous imaging device that reads events by an asynchronous reading method.
  • the event reading method is not limited to the asynchronous reading method, and may be the synchronous reading method.
  • the image pickup apparatus to which the synchronous reading method is applied is the same scan type image pickup apparatus as a normal image pickup apparatus which picks up an image at a predetermined frame rate.
  • FIG. 27 is a block diagram showing a configuration example of a scanning type imaging device.
  • the imaging device 510 is configured to include a pixel array unit 521, a driving unit 522, a signal processing unit 525, a read area selection unit 527, and a signal generation unit 528.
  • the pixel array unit 521 includes a plurality of pixels 530.
  • the plurality of pixels 530 output an output signal in response to the selection signal of the read area selection unit 527.
  • a quantizer may be provided in each pixel as shown in FIG. 26, for example.
  • the plurality of pixels 530 output an output signal corresponding to the amount of change in light intensity.
  • the plurality of pixels 530 may be two-dimensionally arranged in a matrix as shown in FIG.
  • the drive unit 522 drives each of the plurality of pixels 530, and causes the signal processing unit 525 to output the pixel signal generated by each pixel 530 from the output line 514.
  • the drive unit 522 and the signal processing unit 525 are circuit units for acquiring gradation information. Therefore, when only the event information (event data) is acquired, the driving unit 522 and the signal processing unit 525 may be omitted.
  • the read area selection unit 527 selects a part of the plurality of pixels 530 included in the pixel array unit 521. For example, the readout area selection unit 527 selects any one or a plurality of rows included in the structure of the two-dimensional matrix corresponding to the pixel array unit 521. The read area selection unit 527 sequentially selects one or a plurality of rows according to a preset cycle. The read area selection unit 527 may determine the selected area in response to a request from each pixel 530 of the pixel array unit 521.
  • the signal generation unit 528 generates an event signal (event data) corresponding to an active pixel of the selected pixels 530 in which an event is detected, based on the output signal of the pixel 530 selected by the read area selection unit 527. ..
  • the event is an event in which the intensity of light changes.
  • the active pixel is the pixel 530 in which the amount of change in the intensity of light corresponding to the output signal exceeds or falls below a preset threshold value.
  • the signal generation unit 528 compares the output signal of the pixel 530 with a reference signal, detects an active pixel that outputs an output signal when the output signal is larger or smaller than the reference signal, and generates an event signal corresponding to the active pixel. To do.
  • the signal generation unit 528 can be configured to include, for example, a column selection circuit that arbitrates a signal that enters the signal generation unit 528. Further, the signal generation unit 528 may be configured to output not only the information of the active pixel in which the event is detected but also the information of the inactive pixel in which the event is not detected.
  • the signal generation unit 528 outputs the address information and time stamp information (for example, (X, Y, T)) of the active pixel in which the event is detected, through the output line 515.
  • the data output from the signal generation unit 528 may be not only the address information and the time stamp information but also information in a frame format (for example, (0,0,1,0,...)). ..

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、画素の電気信号の変化であるイベントを検出するセンサにおいて不自然な画像が得られることを抑制することができるようにするセンサ及び制御方法に関する。 光を受光し、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントが検出され、所定の電圧にリセットされた容量の電圧の、画素の電気信号に従った変化に応じて、画素の電気信号が読み出される場合において、イベントが検出された画素であるイベント検出画素、及び、イベント検出画素の周辺の画素である周辺画素の電気信号が読み出される。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサに適用することができる。

Description

センサ及び制御方法
　本技術は、センサ及び制御方法に関し、特に、例えば、画素の電気信号の変化であるイベントを検出するセンサにおいて不自然な画像が得られることを抑制することができるようにするセンサ及び制御方法に関する。
　画素の輝度変化をイベントとして、イベントが発生した場合に、そのイベントを検出し、イベントの発生を表すイベントデータを出力するとともに、イベントが検出された画素の輝度信号を出力するイメージセンサが提案されている（例えば、非特許文献１を参照）。
　ここで、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
　DVSにおいて、イベントが検出された画素の輝度信号を出力する場合、不自然な画像が得られることがある。
　本技術は、このような状況に鑑みてなされたものであり、不自然な画像が得られることを抑制することができるようにするものである。
　本技術のセンサは、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部と、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部とを備え、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出されるように構成されたセンサである。
　本技術の制御方法は、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部と、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部とを備えるセンサが、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号を読み出すことを含む制御方法である。
　本技術のセンサ及び制御方法においては、光を受光し、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントが検出され、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号が読み出される。この場合において、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出される。
　センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、センサは、モジュールや半導体チップとして構成することができる。
本技術を適用したセンサチップの一実施の形態の構成例を示す図である。 センサ部２１の構成例を示すブロック図である。 画素アレイ部３１の構成例を示すブロック図である。 画素５１及びEM部５３の構成例を示す回路図である。 EM部５３による画素５１（のPD６２）の光電流の読み出しの例を説明する図である。 TD部５２の構成例を示すブロック図である。 電流電圧変換部８１の構成例を示す回路図である。 減算部８３及び量子化部８４の構成例を示す回路図である。 EMアービタ３２及びTDアービタ３３の構成例を示すブロック図である。 画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。 画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。 画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。 イベントが検出された画素５１の画素信号を用いたフレームデータの生成の例を示す図である。 新読み出し方式により読み出された光電流に応じた画素信号を用いたフレームデータの生成の例を示す図である。 新読み出し方式により画素５１の光電流の読み出しが行われるセンサ部２１の動作の例を説明するフローチャートである。 第１の読み出し方式を説明する図である。 第１の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。 第２の読み出し方式を説明する図である。 第２の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。 第３の読み出し方式を説明する図である。 第３の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。 第４の読み出し方式を説明する図である。 第４の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 TD部（イベント検出部）５２の他の構成例を示す図である。 スキャン方式の撮像装置の構成例を示すブロック図である。
　＜本技術を適用したセンサチップの一実施の形態＞
　図１は、本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
　センサチップ１０は、１チップの半導体チップであり、複数のダイ（基板）としてのセンサダイ（基板）１１とロジックダイ１２とが積層されて構成される。なお、センサチップ１０は、１個のダイで構成することもできるし、３個以上のダイを積層して構成することもできる。
　図１のセンサチップ１０において、センサダイ１１には、センサ部２１（としての回路）が構成され、ロジックダイ１２には、ロジック部２２が構成されている。なお、センサ部２１については、その一部を、ロジックダイ１２に構成することができる。また、ロジック部２２については、その一部を、センサダイ１１に構成することができる。
　センサ部２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、イベントデータを、ロジック部２２に供給する。すなわち、センサ部２１は、画素において、入射光の光電変換を行って電気信号を生成する撮像を行うが、フレーム形式の画像データを生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、撮像により得られるイベントデータを、ロジック部２２に出力する。
　ここで、同期型のイメージセンサとは、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。センサ部２１は、イベントデータを出力するにあたり、垂直同期信号に同期して動作するわけではないので、同期型のイメージセンサに対して、非同期型（のイメージセンサ）である、ということができる。
　なお、センサ部２１では、イベントデータの他、同期型のイメージセンサと同様に、フレームデータを生成して出力することができる。さらに、センサ部２１では、イベントが発生した画素（イベントが検出された画素）の電気信号を、フレームデータの画素の画素値となる画素信号として、イベントデータととともに出力することができる。
　ロジック部２２は、必要に応じて、センサ部２１の制御を行う。また、ロジック部２２は、センサ部２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部２１からのフレームデータ、又は、センサ部２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
　＜センサ部２１の構成例＞
　図２は、図１のセンサ部２１の構成例を示すブロック図である。
　センサ部２１は、画素アレイ部３１、EM(Exposure Measurement)アービタ３２、TD(Time Detector)アービタ３３、及び、出力部３４を備える。
　画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するTDリクエスト信号を、TDアービタ３３に出力する。さらに、画素アレイ部３１は、TDアービタ３３からイベントデータの出力を認めるack(acknowledge)信号を受信し、イベントが検出された画素５１等の電気信号を読み出すためのコンデンサ７１（図４）を所定の電圧にリセットするリセット信号を受信する。画素アレイ部３１は、リセット信号の受信後、イベントが検出された画素５１の電気信号の読み出しを開始し、その電気信号に応じた信号を、画素値となる画素信号として出力することを要求するEMリクエスト信号を、EMアービタ３２に出力する。
　ここで、画素アレイ部３１の画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
　EMアービタ３２は、画素アレイ部３１からのEMリクエスト信号を受信し、必要に応じて調停して、EMリクエスト信号を受信したことを表すEMイベントデータを、出力部３４に供給する。また、EMアービタ３２は、画素アレイ部３１からのEMリクエスト信号に対する応答としてのack信号を、画素アレイ部３１に返す。
　TDアービタ３３は、画素アレイ部３１からのTDリクエスト信号を受信し、必要に応じて調停する。そして、TDアービタ３３は、TDリクエスト信号に応じて、イベントの発生を表すイベントデータを、出力部３４に供給（出力）する。さらに、TDアービタ３３は、TDリクエスト信号に対する応答としてのack信号を、画素アレイ部３１に返すとともに、リセット信号を、画素アレイ部３１に供給することにより、イベントが検出された画素５１の電気信号の読み出しを開始させる。
　出力部３４は、EMアービタ３２からのEMイベントデータに応じて、イベントが検出された画素５１の画素信号を生成し、ロジック部２２に供給（出力）する。
　また、出力部３４は、TDアービタ３３からのイベントデータに、イベントが発生した（相対的な）時刻を表す時刻情報としての、例えば、タイムスタンプを含めるとともに、イベントとしての光量変化が発生した（イベントが検出された）画素５１の位置を表す位置情報（座標等）を含め、ロジック部２２に供給する。
　なお、出力部３４では、その他、イベントデータに、光量変化の極性（正負）を含ませることができる。イベントが発生した（検出された）画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
　＜画素アレイ部３１の構成例＞
　図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
　画素アレイ部３１は、複数の画素ユニット４１を有し、その複数の画素ユニット４１が２次元格子状に配列されて構成される。
　画素ユニット４１は、画素５１、TD部５２、及び、EM部５３を有する。
　画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。
　TD部５２は、画素５１の光電流の所定の閾値を超える変化を、イベントとして検出するイベント検出部として機能する。TD部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するTDリクエスト信号を、TDアービタ３３（図２）に供給する。TDアービタ３３は、TDリクエスト信号に応じて、イベントデータを、出力部３４に供給し、TDリクエスト信号に対する応答としてのack信号を、TD部５２に返す。TD部５２は、TDアービタ３３からのack信号を受信し、画素５１のイベントの検出を再開する。
　EM部５３は、TD部５２においてイベントが検出された場合に、TDアービタ３３からのリセット信号に応じて、画素５１の電気信号としての光電流の読み出す信号読み出し部として機能する。EM部５３は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に供給（出力）する。EMアービタ３２は、EMリクエスト信号に対する応答としてのack信号を、EM部５３に返す。EM部５３は、EMアービタ３２からのack信号を受信する。
　ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。EM部５３では、画素５１の光電流の読み出しを、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
　＜画素５１及びEM部５３の構成例＞
　図４は、画素５１及びEM部５３の構成例を示す回路図である。
　画素５１は、光電変換素子としてのPD(Photodiode)６１及び６２を有する。
　PD６１及び６２は、入射光を受光し、光電変換して電荷を生成する。PD６１及び６２において、光電変換により生成された電荷が移動することで、光電流が流れる（生成される）。
　PD６１は、TD部５２に接続されている。PD６１の光電流は、TD部５２を流れ、TD部５２において、イベントの検出に用いられる。
　PD６２は、EM部５３に接続されている。PD６２の光電流は、EM部５３において読み出され（EM部５３を流れ）、画素信号の生成に用いられる。
　ここで、PD６１及び６２は、1個のPDで兼用することができる。すなわち、本実施の形態では、画素５１は、2個のPD６１及び６２で構成されるが、画素５１については、1個のPDで構成することができる。画素５１が1個のPDで構成される場合、その1個のPDは、TD部５２及びEM部５３に接続される。
　EM部５３は、容量としてのコンデンサ７１、FET７２、スイッチ７３、及び、コンパレータ７４で構成される。
　コンデンサ７１の一端は接地され、他端は、FET７２のドレインに接続される。コンデンサ７１とFET７２との接続点は、PD６２（のカソード）と、コンパレータ７４の非反転入力端子とに接続される。したがって、コンパレータ７４の非反転入力端子には、コンデンサ７１の電圧が供給される。
　FET７２は、P(Positive)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)であり、ソースは、電源VDDに接続される。FET７２のゲートには、TDアービタ３３からのリセット信号が供給される。
　スイッチ７３は、コンパレータ７４の反転入力端子に接続されており、EMアービタ３２からのack信号等に応じて、端子ａ又はｂを選択する。端子ａには、閾値としての電圧VHが供給され、端子ｂには、閾値としての電圧VL(<VH)が供給される。したがって、コンパレータ７４の反転入力端子には、電圧VH又はVLが供給される。
　コンパレータ７４は、非反転入力端子に供給されるコンデンサ７１の電圧と、反転入力端子に供給される電圧VH又はVLとを比較し、その比較結果を表すHレベル又はLレベルを、EMリクエスト信号として出力する。
　図５は、EM部５３による画素５１（のPD６２）の光電流の読み出しの例を説明する図である。
　図５は、コンデンサ７１の電圧の時間変化の例を示している。
　EM部５３において、FET７２は、一時的にHレベルからLレベルとなるリセット信号に応じて、一時的にオフからオンになる。FET７２がオンになることにより、コンデンサ７１は、FET７２を介して、電源VDDに接続され、その電源VDDの電源電圧にリセットされる。ここで、電源VDDの電源電圧は、電圧VHよりも高い電圧になっている。
　リセットされたコンデンサ７１の電圧は、画素５１のPD６２の光電流が流れることにより、その光電流に従って変化する。すなわち、コンデンサ７１の電圧は、PD６２の光電流が流れることにより、その光電流に従った傾きで低下する。
　EM部５３では、コンデンサ７１の電圧の、光電流に従った変化に応じて、その光電流が読み出される。
　すなわち、コンデンサ７１のリセットの直後に、スイッチ７３は、端子ａを選択し、これにより、コンパレータ７４の反転入力端子には、電圧VHが供給される。
　コンパレータ７４は、非反転入力端子に供給されるコンデンサ７１の電圧と、反転入力端子に供給される電圧VHとを比較し、コンデンサ７１の電圧が、電圧VHより高い場合、Hレベル及びLレベルのうちの、例えば、Hレベルを出力する。そして、コンデンサ７１の電圧が低下し、電圧VH以下となると、コンパレータ７４は、Lレベルを、EMリクエスト信号として出力する。ここで、コンデンサ７１の電圧が電圧VH以下となって、コンパレータ７４が出力するEMリクエスト信号を、第１のEMリクエスト信号ともいう。
　コンパレータ７４が出力する第１のEMリクエスト信号は、EMアービタ３２で受信され、第１のEMリクエスト信号を受信したEMアービタ３２は、ack信号を、EM部５３に返す。EM部５３のスイッチ７３は、EMアービタ３２からのack信号に応じて、端子ｂを選択し、これにより、コンパレータ７４の反転入力端子には、電圧VL(<VH)が供給される。
　コンデンサ７１の電圧が電圧VH以下となった直後では、コンパレータ７４の非反転入力端子に供給されるコンデンサ７１の電圧は、コンパレータ７４の反転入力端子に供給される電圧VLより高いので、コンパレータ７４は、Hレベルを出力する。
　その後、コンデンサ７１の電圧が低下し、電圧VL以下となると、コンパレータ７４は、Lレベルを、EMリクエスト信号として出力する。ここで、コンデンサ７１の電圧が電圧VL以下となって、コンパレータ７４が出力するEMリクエスト信号を、第２のEMリクエスト信号ともいう。
　いま、コンデンサ７１がリセットされた時刻を基準として、第１のEMリクエスト信号が出力された時刻を、時刻THというとともに、第２のEMリクエスト信号が出力された時刻を、時刻TLということとする。第１のEMリクエスト信号の時刻TH、及び、第２のEMリクエスト信号の時刻TLは、コンデンサ７１の電圧の変化、すなわち、画素５１のPD６２の光電流に応じて変化するので、第１及び第２のEMリクエスト信号を出力することは、等価的に、画素５１のPD６２の光電流を読み出している、ということができる。
　コンパレータ７４が出力する第１及び第２のEMリクエスト信号は、EMアービタ３２で受信され、EMイベントデータとして、出力部３４に供給される。
　出力部３４は、EMアービタ３２からのEMイベントデータに応じて、光電流が読み出された画素５１の画素信号を生成する。
　すなわち、出力部３４は、第１のEMリクエスト信号の時刻THと、第２のEMリクエスト信号の時刻TLとの間の時間TDに対応する電圧を、画素５１の画素信号として生成する。
　なお、出力部３４では、第１のEMリクエスト信号の時刻TH、又は、第２のEMリクエスト信号の時刻TLに対応する電圧を、画素５１の画素信号として生成することができる。但し、第１のEMリクエスト信号の時刻THと、第２のEMリクエスト信号の時刻TLとの間の時間TD（時刻THと時刻TLとの差）に対応する電圧を、画素５１の画素信号として生成することにより、実質的に、CDS(Correlated Double Sampling)を行うことができる。
　＜TD部５２の構成例＞
　図６は、図３のTD部５２の構成例を示すブロック図である。
　TD部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
　電流電圧変換部８１は、画素５１（のPD６１）からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
　バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
　減算部８３は、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
　量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、転送部８５に供給する。
　転送部８５は、量子化部８４からの差信号の量子化値に応じて、画素５１のイベントを検出し、画素５１のイベントが検出された場合に、TDリクエスト信号を、TDアービタ３３に出力（転送）する。また、転送部８５は、TDアービタ３３から供給される、TDリクエスト信号に対する応答としてのack信号を受信する。
　＜電流電圧変換部８１の構成例＞
　図７は、図６の電流電圧変換部８１の構成例を示す回路図である。
　電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
　トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１（のPD６１）からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
　トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。
　トランジスタ９３のソースは接地される。
　電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロワになっている。ソースフォロワになっているトランジスタ９１と、そのソースにゲートが接続されているトランジスタ９３より、画素５１からの光電流は、その光電流の対数に対応する光電圧に変換される。
　光電圧は、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点から、バッファ８２（図６）に供給される。
　＜減算部８３及び量子化部８４の構成例＞
　図８は、図６の減算部８３及び量子化部８４の構成例を示す回路図である。
　減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
　コンデンサ１０１の一端は、バッファ８２（図６）の出力端子に接続され、他端は、オペアンプ１０２の入力端子に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
　オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子（＋）に接続される。
　コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
　スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、TDアービタ３３からのack信号等に従ってオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
　スイッチ１０４をオンした際のコンデンサ１０１のバッファ８２（図６）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
　Qinit = C1 ×Vinit
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端は短絡されるため、コンデンサ１０３に蓄積される電荷はゼロとなる。
　その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図６）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
　Qafter = C1×Vafter
　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
　Q2 = -C2×Vout
　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
　Qinit = Qafter + Q2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
　Vout = -(C1/C2)×(Vafter - Vinit)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ユニット４１ごとに減算部８３を含むTD部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
　コンパレータ１１１は、減算部８３からの差信号と、反転入力端子（－）に印加された所定の閾値（電圧）Vthとを比較する。コンパレータ１１１は、差信号と閾値Vthとの比較結果を表す、例えば、H(High)レベル又はL(Low)レベルを、差信号の量子化値として、転送部８５に出力する。
　転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大（又は小）であることを、量子化値が表している場合、画素５１のイベントが検出されたとして、TDリクエスト信号を、TDアービタ３３に出力する。
　TDアービタ３３は、転送部８５からのTDリクエスト信号に応じて、イベントの発生を表すイベントデータ、すなわち、イベントが検出されたことを表すイベントデータを生成し、出力部３４に出力する。
　なお、TD部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とし、量子化部８４のゲインをGとすると、次の式により表される。
　A = CGlogC1/C2Giphoto
　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　iphotoは、光電流を表す。
　なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
　＜EMアービタ３２及びTDアービタ３３の構成例＞
　図９は、EMアービタ３２及びTDアービタ３３の構成例を示すブロック図である。
　EMアービタ３２は、EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙを有する。
　画素アレイ部３１には、画素５１（を有する画素ユニット４１）の列ごとに、EMXリクエスト信号線１８３が配線されるとともに、画素５１の行ごとに、EMYリクエスト信号線１９３が配線される。ここで、左からx列目のEMXリクエスト信号線１８３を、EMXリクエスト信号線１８３ｘとも記載し、上からy列目のEMYリクエスト信号線１９３を、EMYリクエスト信号線１９３ｙとも記載する。
　イベントが検出された画素５１（を有する画素ユニット４１）には、TDアービタ３３からリセット信号が供給され、そのリセット信号に応じて、画素５１の光電流が読み出される。そして、イベントが検出された画素５１（を有する画素ユニット４１）は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に出力する。
　画素５１（を有する画素ユニット４１）が出力するEMリクエスト信号は、EMXリクエスト信号線１８３、及び、EMYリクエスト信号線１９３を介して、EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙに、それぞれ伝送される。
　ここで、EMXリクエスト信号線１８３を伝送されるEMリクエスト信号を、EMXリクエスト信号ともいい、EMYリクエスト信号線１９３を伝送されるEMリクエスト信号を、EMYリクエスト信号ともいう。
　EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙは、EMXリクエスト信号線１８３、及び、EMYリクエスト信号線１９３を介して伝送されるEMXリクエスト信号及びEMYリクエスト信号を、それぞれ受信する。
　EMアービタ３２は、EMXアービタ１５１Ｘで受信されるEMXリクエスト信号が伝送されるEMXリクエスト信号線１８３ｘの位置xと、EMYアービタ１５１Ｙで受信されるEMYリクエスト信号が伝送されるEMYリクエスト信号線１９３ｙの位置yとから、EMリクエスト信号を出力した画素５１（を有する画素ユニット４１）の位置(x,y)を認識し、その画素５１の位置(x,y)を含むEMリクエスト信号を、出力部３４に供給する。
　TDアービタ３３は、TDXアービタ１６１Ｘ、及び、TDYアービタ１６１Ｙ、並びに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
　画素アレイ部３１には、画素５１の列ごとに、TDXリクエスト信号線１８１が配線されるとともに、画素５１の行ごとに、TDYリクエスト信号線１９１が配線される。さらに、画素アレイ部３１には、画素５１の列ごとに、Xリセット信号線１８２が配線されるとともに、画素５１の行ごとに、Yリセット信号線１９２が配線される。
　ここで、左からx列目のTDXリクエスト信号線１８１を、TDXリクエスト信号線１８１ｘとも記載し、上からy列目のTDYリクエスト信号線１９１を、TDYリクエスト信号線１９１ｙとも記載する。同様に、左からx列目のXリセット信号線１８２を、Xリセット信号線１８２ｘとも記載し、上からy列目のYリセット信号線１９２を、Yリセット信号線１９２ｙとも記載する。
　画素５１が出力するTDリクエスト信号は、TDXリクエスト信号線１８１、及び、TDYリクエスト信号線１９１を介して、TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙに、それぞれ伝送される。
　ここで、TDXリクエスト信号線１８１を伝送されるTDリクエスト信号を、TDXリクエスト信号ともいいい、TDYリクエスト信号線１９１を伝送されるTDリクエスト信号を、TDYリクエスト信号ともいう。
　TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙは、TDXリクエスト信号線１８１、及び、TDYリクエスト信号線１９１を介して伝送されるTDXリクエスト信号及びTDYリクエスト信号を、それぞれ受信する。
　TDアービタ３３は、TDXアービタ１６１Ｘで受信されるTDXリクエスト信号が伝送されるTDXリクエスト信号線１８１ｘの位置xと、TDYアービタ１６１Ｙで受信されるTDYリクエスト信号が伝送されるTDYリクエスト信号線１９１ｙの位置yとから、TDリクエスト信号を出力した画素５１、すなわち、イベントが検出された画素５１（を有する画素ユニット４１）の位置(x,y)を認識し、その画素５１の位置(x,y)を含むイベントデータを、出力部３４に供給する。
　TDXアービタ１６１Ｘは、TDXリクエスト信号線１８１ｘからTDXリクエスト信号を受信すると、Xリセット制御部１６２Ｘを制御し、Xリセット信号線１８２ｘを介して、リセット信号を伝送させる。Xリセット制御部１６２Ｘは、TDXアービタ１６１Ｘの制御に従い、Xリセット信号線１８２ｘを介して、リセット信号を伝送する。
　同様に、TDYアービタ１６１Ｙは、TDYリクエスト信号線１９１ｙからTDYリクエスト信号を受信すると、Yリセット制御部１６２Ｙを制御し、Yリセット信号線１９２ｙを介して、リセット信号を伝送させる。Yリセット制御部１６２Ｙは、TDYアービタ１６１Ｙの制御に従い、Yリセット信号線１９２ｙを介して、リセット信号を伝送する。
　ここで、Xリセット信号線１８２ｘを伝送されるリセット信号を、Xリセット信号ともいい、Yリセット信号線１９２ｙを伝送されるリセット信号を、Yリセット信号ともいう。
　画素アレイ部３１では、Xリセット信号線１８２ｘを介して伝送されるXリセット信号と、Yリセット信号線１９２ｙを介して伝送されるYリセット信号とを同時に受信した、位置(x,y)の画素５１（を有する画素ユニット４１）のコンデンサ７１がリセットされ、光電流の読み出しが行われる。
　図１０、図１１、及び、図１２は、画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。
　例えば、位置(x,y)の画素５１のイベントが検出された場合、その画素５１（を有する画素ユニット４１）は、TDリクエスト信号を出力する。画素５１が出力するTDリクエスト信号は、図１０に示すように、TDXリクエスト信号として、TDXリクエスト信号線１８１ｘを介して、TDXアービタ１６１Ｘに伝送されるとともに、TDYリクエスト信号として、TDYリクエスト信号線１９１ｙを介して、TDYアービタ１６１Ｙに伝送される。
　TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙは、TDXリクエスト信号線１８１ｘ、及び、TDYリクエスト信号線１９１ｙを介して伝送されるTDXリクエスト信号及びTDYリクエスト信号を、それぞれ受信する。
　TDアービタ３３では、TDXアービタ１６１Ｘで受信されるTDXリクエスト信号が伝送されるTDXリクエスト信号線１８１ｘの位置xと、TDYアービタ１６１Ｙで受信されるTDYリクエスト信号が伝送されるTDYリクエスト信号線１９１ｙの位置yとから、イベントが検出された画素５１の位置(x,y)が認識され、その画素５１の位置(x,y)を含むイベントデータが、出力部３４に供給される。
　さらに、TDアービタ３３では、図１１に示すように、TDXアービタ１６１Ｘが、Xリセット制御部１６２Ｘを制御し、Xリセット信号線１８２ｘを介して、Xリセット信号を伝送させるとともに、TDYアービタ１６１Ｙが、Yリセット制御部１６２Ｙを制御し、Yリセット信号線１９２ｙを介して、Yリセット信号を伝送させる。
　画素アレイ部３１の、位置(x,y)の画素５１、すなわち、イベントが検出された画素５１（を有する画素ユニット４１）では、Xリセット信号線１８２ｘを介して伝送されるXリセット信号と、Yリセット信号線１９２ｙを介して伝送されるYリセット信号とが同時に受信される。これにより、イベントが検出された位置(x,y)の画素５１のコンデンサ７１がリセットされ、光電流の読み出しが行われる。
　そして、イベントが検出された位置(x,y)の画素５１は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を出力する。
　画素５１が出力するEMリクエスト信号は、図１２に示すように、EMXリクエスト信号として、EMXリクエスト信号線１８３ｘを介して、EMXアービタ１５１Ｘに伝送されるとともに、EMYリクエスト信号として、EMYリクエスト信号線１９３ｙを介して、EMYアービタ１５１Ｙに伝送される。
　EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙでは、EMXリクエスト信号線１８３ｘ、及び、EMYリクエスト信号線１９３ｙを介して伝送されるEMXリクエスト信号及びEMYリクエスト信号が、それぞれ受信される。
　そして、EMアービタ３２では、EMXアービタ１５１Ｘで受信されるEMXリクエスト信号が伝送されるEMXリクエスト信号線１８３ｘの位置xと、EMYアービタ１５１Ｙで受信されるEMYリクエスト信号が伝送されるEMYリクエスト信号線１９３ｙの位置yとから、EMリクエスト信号を出力した画素５１、すなわち、イベントが検出された画素５１の位置(x,y)が認識され、その画素５１の位置(x,y)を含むEMリクエスト信号が、出力部３４に供給される。
　出力部３４では、図５で説明したようにして、EMアービタ３２からのEMリクエスト信号に応じて、イベントが検出された位置(x,y)の画素５１の画素信号が生成される。
　以上のように、センサ部２１では、イベントが検出された位置(x,y)の画素５１の光電流が読み出され、その光電流に応じた画素信号が生成される。
　図１３は、イベントが検出された画素５１の画素信号を用いたフレームデータの生成の例を示す図である。
　いま、センサ部２１（の画素アレイ部３１）の撮影の画角内を、右斜め上に延びる線状の動物体が、左から右方向に移動しており、センサ部２１において、そのような動物体の撮影が行われていることとする。
　この場合、線状の動物体の移動により、閾値を超える光量変化が生じた画素５１について、イベントが検出される。
　イベントが検出された画素５１を、イベント検出画素ということとすると、イベント検出画素については、光電流が読み出され、その光電流に応じた画素信号が生成される。
　そして、イベント検出画素の画素信号を用い、その画素信号を画素値とするフレームデータが生成される。
　ここで、光電流が読み出される画素５１を、読み出し画素ということとする。以上のような光電流の読み出しの方式は、イベント検出画素と、読み出し画素とを、１対１に対応させて、イベント検出画素のみを、必ず、読み出し画素として、読み出し画素の光電流を読み出す方式（以下、１対１対応方式ともいう）であるということができる。
　ところで、線状の動物体が移動しても、その動物体（の輪郭）が映る画素５１のすべてにおいて、イベントが検出されるとは限らない。すなわち、動物体が映る画素５１であっても、動物体の移動に起因する光量変化の程度によって、イベントが検出される画素５１と、イベントが検出されない画素５１とが生じ得る。
　１対１対応方式では、以上のように、動物体が映る画素５１の中で、イベントが検出されない画素５１については、光電流が読み出されず、画素信号が生成されないため、画素信号を用いて生成されるフレームデータに対応する画像は、被写体（ここでは、線状の動物体）の一部が欠けたような不自然な画像になることがある。
　そこで、センサ部２１では、イベント検出画素と、読み出し画素とを、１対１に対応させずに、イベント検出画素以外の画素５１を、読み出し画素とし、又は、イベント検出画素を、読み出し画素とせずに、読み出し画素から光電流を読み出す新しい読み出し方式（以下、新読み出し方式ともいう）を採用することができる。
　図１４は、新読み出し方式により読み出された光電流に応じた画素信号を用いたフレームデータの生成の例を示す図である。
　図１４では、図１３と同様に、線状の動物体が移動しており、その動物体の移動に起因する光量変化の程度によって、イベントが検出される画素５１と、イベントが検出されない画素５１とが生じている。
　新読み出し方式では、例えば、イベント検出画素の他、イベント検出画素の周辺の画素５１（以下、周辺画素ともいう）も、読み出し画素として、光電流が読み出される。
　これにより、１対１対応方式では、動物体が映る画素５１の中で、動物体の移動に起因する光量変化の程度によって、イベントが検出されなかった画素５１であっても、イベント検出画素の周辺に存在すれば、光電流が読み出される。
　その結果、新読み出し方式によれば、画素５１から読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像として、１対１対応方式の場合のように、被写体の一部が欠けたような不自然な画像が得られることを抑制することができる。
　図１５は、新読み出し方式により画素５１の光電流の読み出しが行われるセンサ部２１の（制御）動作の例を説明するフローチャートである。
　画素５１において、イベントが発生すると、ステップＳ１１において、TD部５２がイベントを検出し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、TD部５２が、イベントの検出に応じて、TDリクエスト信号を、TDアービタ３３に出力し、処理は、ステップＳ１３に進む。
　ステップＳ１３では、TDアービタ３３は、TD部５２からのTDリクエスト信号に応じて、イベントデータを、出力部３４に出力し、処理は、ステップＳ１４に進む。
　ステップＳ１４では、TDアービタ３３は、TD部５２からのTDリクエスト信号に応じて、イベントが検出されたイベント検出画素、及び、そのイベント検出画素の周辺画素（を有する画素ユニット４１）に、リセット信号を出力することにより、イベント検出画素、及び、周辺画素の光電流を読み出させ、処理は、ステップＳ１５に進む。
　ステップＳ１５では、イベント検出画素、及び、周辺画素（を有する画素ユニット４１）が、光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に出力する。EMアービタ３２は、イベント検出画素、及び、周辺画素からのEMリクエスト信号を受信し、出力部３４に供給する。
　以下、新読み出し方式の具体例として、第１ないし第４の読み出し方式について説明する。
　＜第１の読み出し方式＞
　図１６は、第１の読み出し方式を説明する図である。
　第１の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。図１６では、例えば、横×縦が3×3個の画素５１が、1個の画素ブロックにブロック化されている。
　第１の読み出し方式では、画素ブロックを構成する画素５１のうちの1個以上の画素５１のイベントが検出された場合、その画素ブロックのすべての画素５１の光電流が読み出される。
　すなわち、第１の読み出し方式では、イベント検出画素を含む画素ブロックの画素５１の中で、イベント検出画素以外の画素５１を周辺画素として、イベント検出画素、及び、周辺画素の光電流が読み出される。
　図１７は、第１の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
　なお、図１７では、出力部３４の図示を省略してある。
　図１７において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
　さらに、センサ部２１は、複数のORゲート２１１Ｘ、及び、複数のORゲート２１１Ｙを有する。
　ORゲート２１１Ｘ及び２１１Ｙは、画素ブロックの列及び行ごとに、それぞれ設けられる。
　ORゲート２１１Ｘの入力端子には、そのORゲート２１１Ｘの列の画素ブロック内の各画素５１（を有する画素ユニット４１）に接続されるXリセット信号線１８２が接続される。
　ORゲート２１１Ｘの出力端子は、そのORゲート２１１Ｘの列の画素ブロック内の各画素５１に接続されるXリセット信号線１８２に接続される。
　同様に、ORゲート２１１Ｙの入力端子には、そのORゲート２１１Ｙの行の画素ブロック内の各画素５１（を有する画素ユニット４１）に接続されるYリセット信号線１９２が接続される。
　ORゲート２１１Ｘの出力端子は、そのORゲート２１１Ｙの行の画素ブロック内の各画素５１に接続されるYリセット信号線１９２に接続される。
　ここで、画素ブロックが、例えば、図１６に示したように、3×3個の画素５１で構成されることとする。さらに、画素ブロックを構成する3×3個の画素５１のうちの中心の画素５１の位置が、位置(x,y)であることとし、位置(x,y)の画素５１を、画素５１（ｘ，ｙ）と表すこととする。
　この場合、画素５１（ｘ，ｙ）を含む3×3個の画素５１で構成される画素ブロックの列のORゲート２１１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ－１，１８２ｘ、及び、１８２ｘ＋１が接続される。そして、ORゲート２１１Ｘの出力端子は、x-1列目の画素５１（ｘ－１，ｙ）、x列目の画素５１（ｘ，ｙ）、及び、x+1列目の画素５１（ｘ＋１，ｙ）に接続されるXリセット信号線１８２ｘ－１，１８２ｘ、及び、１８２ｘ＋１に接続される。
　さらに、画素５１（ｘ，ｙ）を含む3×3個の画素５１で構成される画素ブロックの行のORゲート２１１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２y－１，１９２y、及び、１９２y＋１が接続される。そして、ORゲート２１１Ｙの出力端子は、y-1行目の画素５１（ｘ，ｙ－１）、y行目の画素５１（ｘ，ｙ）、及び、y+1行目の画素５１（ｘ，ｙ＋１）に接続されるYリセット信号線１９２y－１，１９２y、及び、１９２y＋１に接続される。
　以上の構成により、画素ブロック内の画素５１にイベントが発生すると、その画素５１を有する画素ブロックの各画素５１に、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、画素ブロックのすべての画素５１の光電流が読み出される。
　なお、図１７では、ORゲート２１１Ｘ及び２１１Ｙを設け、そのORゲート２１１Ｘ及び２１１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２１１Ｘ及び２１１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
　＜第２の読み出し方式＞
　図１８は、第２の読み出し方式を説明する図である。
　第２の読み出し方式では、イベントが検出された画素５１を中心とする所定の範囲内のすべての画素５１の光電流が読み出される。
　すなわち、第２の読み出し方式では、イベント検出画素を中心とする所定の範囲内の、イベント検出画素以外の画素５１を周辺画素として、イベント検出画素、及び、周辺画素の光電流が読み出される。
　図１８では、イベント検出画素を中心とする3×3の範囲が所定の範囲になっている。
　図１９は、第２の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
　なお、図１９では、出力部３４の図示を省略してある。
　図１９において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
　さらに、センサ部２１は、複数のORゲート２２１Ｘ、及び、複数のORゲート２２１Ｙを有する。
　ORゲート２２１Ｘ及び２２１Ｙは、画素５１（を有する画素ユニット４１）の列及び行ごとに、それぞれ設けられる。
　ORゲート２２１Ｘの入力端子には、そのORゲート２２１Ｘの列の画素５１（を有する画素ユニット４１）に接続されるXリセット信号線１８２と、その画素５１の周辺画素（第２の読み出し方式では、画素５１を中心とする所定の範囲内の、中心の画素５１以外の画素５１）（を有する画素ユニット４１）に接続されるXリセット信号線１８２が接続される。
　ORゲート２２１Ｘの出力端子は、そのORゲート２２１Ｘの列の画素５１に接続されるXリセット信号線１８２に接続される。
　同様に、ORゲート２２１Ｙの入力端子には、そのORゲート２２１Ｙの行の画素５１（を有する画素ユニット４１）に接続されるYリセット信号線１９２と、その画素５１の周辺画素（を有する画素ユニット４１）に接続されるYリセット信号線１９２が接続される。
　ORゲート２２１Ｙの出力端子は、そのORゲート２２１Ｙの行の画素５１に接続されるYリセット信号線１９２に接続される。
　ここで、所定の範囲が、例えば、図１８で説明したように、3×3の範囲である場合、画素５１（ｘ，ｙ）の列のORゲート２２１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ－１，１８２ｘ、及び、１８２ｘ＋１が接続される。そして、ORゲート２２１Ｘの出力端子は、x列目の画素５１（ｘ，ｙ）に接続されるXリセット信号線１８２ｘに接続される。
　さらに、画素５１（ｘ，ｙ）の行のORゲート２２１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２y－１，１９２y、及び、１９２y＋１が接続される。そして、ORゲート２２１Ｙの出力端子は、y行目の画素５１（ｘ，ｙ）に接続されるYリセット信号線１９２yに接続される。
　以上の構成により、ある画素５１にイベントが発生すると、その画素５１を中心とする所定の範囲としての3×3個の各画素５１に、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、イベント検出画素を中心とする所定の範囲内のすべての画素５１の光電流が読み出される。
　なお、図１９では、ORゲート２２１Ｘ及び２２１Ｙを設け、そのORゲート２２１Ｘ及び２２１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２２１Ｘ及び２２１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
　＜第３の読み出し方式＞
　図２０は、第３の読み出し方式を説明する図である。
　第３の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。さらに、第３の読み出し方式では、画素ブロックを構成する1個（以上）の画素５１が、特定画素に設定される。
　図２０では、例えば、2×2個の画素５１が、1個の画素ブロックにブロック化され、その2×2個の画素５１で構成される画素ブロックの左下の画素５１が、特定画素に設定されている。
　第３の読み出し方式では、画素ブロックを構成する画素５１のうちの1個以上の画素５１のイベントが検出された場合、画素ブロック内のイベント検出画素と特定画素との光電流が読み出される。すなわち、第３の読み出し方式では、画素ブロック内の特定画素を周辺画素として、イベント検出画素と周辺画素との光電流が読み出される。
　その結果、第３の読み出し方式で読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像は、イベント検出画素の光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像に対して、膨張処理(Dilation)と呼ばれる画像処理を行ったような画像となる。
　図２１は、第３の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
　なお、図２１では、出力部３４の図示を省略してある。
　図２１において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
　さらに、センサ部２１は、複数のORゲート２３１Ｘ、及び、複数のORゲート２３１Ｙを有する。
　ORゲート２３１Ｘ及び２３１Ｙは、特定画素（を有する画素ユニット４１）ごとに設けられる。
　ORゲート２３１Ｘの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるXリセット信号線１８２が接続される。
　ORゲート２３１Ｘの出力は、Xリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
　同様に、ORゲート２３１Ｙの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるYリセット信号線１９２が接続される。
　ORゲート２３１Ｙの出力は、Yリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
　例えば、図２０で説明したように、画素ブロックが2×2個の画素５１で構成され、その2×2個の画素５１のうちの左下の画素５１が特定画素である場合、画素ブロックの左上の画素５１が、画素５１（ｘ，ｙ）であるときには、画素５１（ｘ，ｙ＋１）が特定画素となる。
　そして、ORゲート２３１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ、及び、１８２ｘ＋１が接続される。ORゲート２３１Ｘの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Xリセット信号として供給される。
　また、ORゲート２３１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２ｙ、及び、１９２ｙ＋１が接続される。ORゲート２３１Ｙの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Yリセット信号として供給される。
　以上の構成により、画素ブロック内の画素５１にイベントが発生すると、画素ブロック内のイベント検出画素と特定画素とに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、画素ブロック内のイベント検出画素と特定画素との光電流が読み出される。
　なお、図２１では、ORゲート２３１Ｘ及び２３１Ｙを設け、そのORゲート２３１Ｘ及び２３１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２３１Ｘ及び２３１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
　第１ないし第３の読み出し方式のように、イベント検出画素の光電流の他、周辺画素の光電流も読み出すことにより、光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像として、１対１対応方式の場合のように、被写体の一部が欠けたような不自然な画像が得られることを抑制することができる。
　＜第４の読み出し方式＞
　図２２は、第４の読み出し方式を説明する図である。
　第４の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。さらに、第４の読み出し方式では、画素ブロックを構成する1個（以上）の画素５１が、特定画素に設定される。
　図２２では、例えば、図２０と同様に、2×2個の画素５１が、1個の画素ブロックにブロック化され、その2×2個の画素５１で構成される画素ブロックの左下の画素５１が、特定画素に設定されている。
　第４の読み出し方式では、特定画素については、画素ブロックを構成するすべての画素５１のイベントが検出された場合に限り、光電流が読み出される。すなわち、第４の読み出し方式では、画素ブロックを構成する画素５１のうちの1個の画素５１でも、イベントが検出されない場合には、特定画素の光電流は読み出されない。
　その結果、第４の読み出し方式で読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像は、イベント検出画素の光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像に対して、縮小処理(Erosion)と呼ばれる画像処理を行ったような画像となる。
　ここで、例えば、１対１対応方式では、背景が僅かに動くこと等によって、意図しないイベント（以下、フェイクイベントともいう）が検出され、フェイクイベントが検出された画素５１の光電流の読み出しが行われることがある。
　第４の読み出し方式では、特定画素については、画素ブロックを構成するすべての画素５１のイベントが検出されない場合に限り、光電流が読み出されないので、フェイクイベントに起因して、特定画素の光電流が、いわば無駄に読み出されることを抑制することができる。
　図２３は、第４の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
　なお、図２３では、出力部３４の図示を省略してある。
　図２３において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
　さらに、センサ部２１は、複数のANDゲート２４１Ｘ、及び、複数のANDゲート２４１Ｙを有する。
　ANDゲート２４１Ｘ及び２４１Ｙは、特定画素（を有する画素ユニット４１）ごとに設けられる。
　ANDゲート２４１Ｘの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるXリセット信号線１８２が接続される。
　ANDゲート２４１Ｘの出力は、Xリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
　同様に、ANDゲート２４１Ｙの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるYリセット信号線１９２が接続される。
　ANDゲート２４１Ｙの出力は、Yリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
　例えば、図２２で説明したように、画素ブロックが2×2個の画素５１で構成され、その2×2個の画素５１のうちの左下の画素５１が特定画素である場合、画素ブロックの左上の画素５１が、画素５１（ｘ，ｙ）であるときには、画素５１（ｘ，ｙ＋１）が特定画素となる。
　そして、ANDゲート２４１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ、及び、１８２ｘ＋１が接続される。ANDゲート２４１Ｘの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Xリセット信号として供給される。
　また、ANDゲート２４１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２ｙ、及び、１９２ｙ＋１が接続される。ANDゲート２４１Ｙの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Yリセット信号として供給される。
　以上の構成により、画素ブロック内の画素５１にイベントが発生しても、画素ブロック内のすべての画素５１にイベントが発生しない限り、画素ブロック内の特定画素には、リセット信号（Xリセット信号及びYリセット信号）は供給されず、特定画素の光電流の読み出しは、行われない。
　すなわち、画素ブロック内のすべての画素５１にイベントが発生した場合に限り、画素ブロック内の特定画素に、リセット信号（Xリセット信号及びYリセット信号）が供給され、特定画素の光電流が読み出される。
　なお、図２３では、ANDゲート２４１Ｘ及び２４１Ｙを設け、そのANDゲート２４１Ｘ及び２４１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ANDゲート２４１Ｘ及び２４１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２５は、撮像部１２０３１の設置位置の例を示す図である。
　図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１のセンサチップは、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、不自然な画像が得られることを抑制し、適切な運転支援を行うことができる。
　＜TD部（イベント検出部）５２の他の構成例＞
　図２６は、TD部（イベント検出部）５２の他の構成例を示す図である。
　図２６において、TD部５２は、減算器４３０、量子化器４４０、メモリ４５１、及び、コントローラ４５２を有する。減算器４３０及び量子化器４４０は、減算部８３及び量子化部８４にそれぞれ対応する。
　なお、図２６において、TD部５２は、電流電圧変換部８１及びバッファ８２に対応するブロックをさらに有するが、図２６では、図示を省略してある。
　減算器４３０は、コンデンサ４３１、オペアンプ４３２、コンデンサ４３３、及び、スイッチ４３４を有する。コンデンサ４３１ないしスイッチ４３４は、コンデンサ１０１ないしスイッチ１０４にそれぞれ対応する。
　量子化器４４０は、コンパレータ４４１を有する。コンパレータ４４１は、コンパレータ１１１に対応する。
　コンパレータ４４１は、減算器４３０からの電圧信号（差信号）と、反転入力端子（－）に印加された所定の閾値電圧Ｖｔｈとを比較するものである。コンパレータ４４１は、比較結果を示す信号を検出信号（量子化値）として出力する。
　減算器４３０からの電圧信号がコンパレータ４４１の入力端子（－）に、所定の閾値電圧Ｖｔｈがコンパレータ４４１の入力端子（＋）に入力されてもよい。
　コントローラ４５２は、コンパレーター４４１の反転入力端子（－）に印加される所定の閾値電圧Ｖｔｈを供給する。供給される閾値電圧Ｖｔｈは、時分割で異なる電圧値であってもよい。例えば、コントローラ４５２はONイベント（例えば、光電流のプラスの変化）に対応する閾値電圧Ｖｔｈ１とOFFイベント（例えば、光電流のマイナスの変化）に対応する閾値電圧Ｖｔｈ２を異なるタイミングで供給することで、１つのコンパレータで複数種類のアドレスイベント（イベント）の検出が可能になる。
　メモリ４５１は、コントローラ４５２から供給されるSample signalに基づいて、コンパレーター４４１の出力を蓄積する。メモリ４５１は、スイッチ、プラスチック、容量などのサンプリング回路でもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。例えば、メモリ４５１は、コンパレータ４４１の反転入力端子（－）にOFFイベントに対応する閾値電圧Ｖｔｈ２が供給されている期間に、ONイベントに対応する閾値電圧Ｖｔｈ１を用いたコンパレータ４４１の比較結果を保持していてもよい。尚、メモリ４５１は無くても、画素（画素ユニット４１）内部にあっても、画素外部にあってもよい。
　＜スキャン方式＞
　図１のセンサチップ１０は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置は、所定のフレームレートで撮像を行う通常の撮像装置と同じ、スキャン方式の撮像装置である。
　図２７は、スキャン方式の撮像装置の構成例を示すブロック図である。
　図２７に示すように、撮像装置５１０は、画素アレイ部５２１、駆動部５２２、信号処理部５２５、読出し領域選択部５２７、及び、信号生成部５２８を備える構成となっている。
　画素アレイ部５２１は、複数の画素５３０を含む。複数の画素５３０は、読出し領域選択部５２７の選択信号に応答して出力信号を出力する。複数の画素５３０のそれぞれについては、例えば図２６に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素５３０は、光の強度の変化量に対応する出力信号を出力する。複数の画素５３０は、図２７に示すように、行列状に２次元配置されていてもよい。
　駆動部５２２は、複数の画素５３０のそれぞれを駆動して、各画素５３０で生成された画素信号を信号処理部５２５に出力線５１４から出力させる。尚、駆動部５２２及び信号処理部５２５については、階調情報を取得するための回路部である。従って、イベント情報（イベントデータ）のみを取得する場合は、駆動部５２２及び信号処理部５２５は無くてもよい。
　読出し領域選択部５２７は、画素アレイ部５２１に含まれる複数の画素５３０のうちの一部を選択する。例えば、読出し領域選択部５２７は、画素アレイ部５２１に対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部５２７は、予め設定された周期に応じて１つもしくは複数の行を順次選択する。また、読出し領域選択部５２７は、画素アレイ部５２１の各画素５３０からのリクエストに応じて選択領域を決定してもよい。
　信号生成部５２８は、読出し領域選択部５２７によって選択された画素５３０の出力信号に基づいて、選択された画素５３０のうちのイベントを検出した活性画素に対応するイベント信号（イベントデータ）を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素５３０である。例えば、信号生成部５２８は、画素５３０の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
　信号生成部５２８については、例えば、信号生成部５２８に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部５２８については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。
　信号生成部５２８からは、出力線５１５を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔ））が出力される。但し、信号生成部５２８から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報（例えば、（０，０，１，０，・・・））であってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０　センサチップ，　１１　センサダイ，　１２　ロジックダイ，　２１　センサ部，　２２　ロジック部，　３１　画素アレイ部，　３２　EMアービタ，　３３　TDアービタ，　３４　出力部，　４１　画素ユニット，　５１　画素，　５２　TD部，　５３　EM部，　６１，６２　PD，　７１　コンデンサ，　７２　FET，　７３　スイッチ，　７４　コンパレータ，　８１　電流電圧変換部，　８２　バッファ，　８３　減算部，　８４　量子化部，　８５　転送部，　９１ないし９３　トランジスタ，　１０１　コンデンサ，　１０２　オペアンプ，　１０３　コンデンサ，　１０４　スイッチ，　１１１　コンパレータ，　１５１Ｘ　EMXアービタ，　１５１Ｙ　EMYアービタ，　１６１Ｘ　TDXアービタ，　１６１Ｙ　TDYアービタ，　１６２Ｘ　Xリセット制御部，　１６２Ｙ　Yリセット制御部，　１８１　TDXリクエスト信号線，　１８２　Xリセット信号線，　１８３　EMXリクエスト信号線，　１９１　TDYリクエスト信号線，　１９２　Yリセット信号線，　１９３　EMYリクエスト信号線，　２１１Ｘ，２１１Ｙ，２２１Ｘ，２２１Ｙ，２３１Ｘ，２３１Ｙ　ORゲート，　２４１Ｘ，２４１Ｙ　ANDゲート

Claims (9)

  1. 　光を受光し、光電変換を行って電気信号を生成する画素と、
    　前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
    　所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部と
    　を備え、
    　前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出される
    　ように構成されたセンサ。
  2. 　前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記容量をリセットし、前記イベント検出画素及び前記周辺画素の前記電気信号を読み出させるリセット制御部をさらに備える
    　請求項１に記載のセンサ。
  3. 　複数の画素で構成されるブロック内の前記画素のイベントが検出された場合、前記ブロックのすべての前記画素の前記電気信号が読み出される
    　請求項２に記載のセンサ。
  4. 　前記リセット制御部は、前記ブロック内の前記画素のイベントが検出された場合、前記ブロック内のすべての前記画素の前記容量をリセットする
    　請求項３に記載のセンサ。
  5. 　前記イベント検出画素を中心とする所定の範囲内のすべての前記画素の前記電気信号が読み出される
    　請求項２に記載のセンサ。
  6. 　前記リセット制御部は、前記イベント検出画素を中心とする所定の範囲内のすべての前記画素の前記容量をリセットする
    　請求項５に記載のセンサ。
  7. 　複数の画素で構成されるブロック内の前記画素のイベントが検出された場合、前記イベント検出画素、及び、前記ブロック内の特定の画素の前記電気信号が読み出される
    　請求項２に記載のセンサ。
  8. 　前記リセット制御部は、前記ブロック内の前記画素のイベントが検出された場合、前記イベント検出画素、及び、前記ブロック内の特定の画素の前記容量をリセットする
    　請求項７に記載のセンサ。
  9. 　光を受光し、光電変換を行って電気信号を生成する画素と、
    　前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
    　所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部と
    　を備えるセンサが、
    　前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号を読み出す
    　ことを含む制御方法。
PCT/JP2019/047538 2018-12-19 2019-12-05 センサ及び制御方法 WO2020129657A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,647 US11937001B2 (en) 2018-12-19 2019-12-05 Sensor and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018236923A JP2020099015A (ja) 2018-12-19 2018-12-19 センサ及び制御方法
JP2018-236923 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020129657A1 true WO2020129657A1 (ja) 2020-06-25

Family

ID=71100775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047538 WO2020129657A1 (ja) 2018-12-19 2019-12-05 センサ及び制御方法

Country Status (3)

Country Link
US (1) US11937001B2 (ja)
JP (1) JP2020099015A (ja)
WO (1) WO2020129657A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065032A1 (ja) * 2020-09-28 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
JP2022054057A (ja) * 2020-09-25 2022-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP2023080101A (ja) * 2020-09-25 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
WO2024062842A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115224A1 (ja) * 2014-02-03 2015-08-06 オリンパス株式会社 固体撮像装置および撮像システム
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115224A1 (ja) * 2014-02-03 2015-08-06 オリンパス株式会社 固体撮像装置および撮像システム
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022054057A (ja) * 2020-09-25 2022-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP2023080101A (ja) * 2020-09-25 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP7317783B2 (ja) 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JP7318150B2 (ja) 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
WO2022065032A1 (ja) * 2020-09-28 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2024062842A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Also Published As

Publication number Publication date
US20220021829A1 (en) 2022-01-20
US11937001B2 (en) 2024-03-19
JP2020099015A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7141440B2 (ja) 固体撮像素子
WO2020090460A1 (ja) センサ及び制御方法
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
CN112913224B (zh) 固态成像元件和成像装置
WO2020066803A1 (ja) 固体撮像素子、および、撮像装置
WO2020129657A1 (ja) センサ及び制御方法
US20210235036A1 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020218236A1 (ja) イベント検出装置、イベント検出装置を備えるシステムおよびイベント検出方法
WO2021095560A1 (ja) イベント検出装置
JP2023040318A (ja) 撮像回路および撮像装置
WO2024042946A1 (ja) 光検出素子
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2023089958A1 (ja) 固体撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898789

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19898789

Country of ref document: EP

Kind code of ref document: A1