WO2020250494A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2020250494A1
WO2020250494A1 PCT/JP2020/007303 JP2020007303W WO2020250494A1 WO 2020250494 A1 WO2020250494 A1 WO 2020250494A1 JP 2020007303 W JP2020007303 W JP 2020007303W WO 2020250494 A1 WO2020250494 A1 WO 2020250494A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
interest
electric charge
solid
Prior art date
Application number
PCT/JP2020/007303
Other languages
English (en)
French (fr)
Inventor
恭正 長谷川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112020002775.9T priority Critical patent/DE112020002775T5/de
Priority to US17/615,261 priority patent/US11889207B2/en
Publication of WO2020250494A1 publication Critical patent/WO2020250494A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • This technology relates to a solid-state image sensor. More specifically, the present invention relates to a solid-state image sensor that performs image processing, an image pickup device, and a control method for the solid-state image sensor.
  • CNN convolutional neural network
  • N is an integer
  • CNNs / ConvNets ConvNets
  • the image recognition accuracy is improved by using the result of the convolution operation performed in many layers as a feature amount.
  • the convolution operation is executed in order for each pixel, if a certain number of layers is required to obtain sufficient image recognition accuracy, the amount of calculation increases as the number of pixels increases under the number of layers. There is a problem that the calculation time becomes long and the power required for the calculation increases.
  • This technology was created in view of this situation, and aims to shorten the calculation time and reduce power consumption in a solid-state image sensor that performs a convolution calculation on image data.
  • the present technology has been made to solve the above-mentioned problems, and the first aspect thereof is a pixel array portion in which a plurality of pixels are arranged in a two-dimensional lattice pattern, and a focus on the plurality of pixels.
  • a coefficient holding unit that holds a predetermined weighting coefficient associated with each of the pixel of interest and a predetermined number of adjacent pixels adjacent to the pixel of interest, and an amount corresponding to the weighting coefficient associated with the adjacent pixel. Control to generate the charge in the adjacent pixel and transfer it to the pixel of interest, and generate an amount of charge corresponding to the weighting coefficient associated with the pixel of interest in the pixel of interest and store it together with the transferred charge.
  • It is a solid-state imaging device including a scanning circuit that controls the operation, and a control method thereof. This has the effect of generating a signal in which an amount of electric charge is added according to the weighting coefficients of the pixel of interest and the adjacent pixels.
  • the plurality of pixels may be arranged in a two-dimensional grid pattern. This has the effect of generating a signal in which an amount of electric charge is added according to the weighting coefficient of each of the nine pixels.
  • the plurality of pixels may be arranged in a honeycomb shape. This has the effect of generating a signal in which an amount of electric charge is added according to the weighting coefficient of each of the seven pixels.
  • each of the plurality of pixels has a photoelectric conversion element that generates the charge by photoelectric conversion, a charge holding unit that holds the charge, and the charge from the photoelectric conversion element.
  • An internal transfer transistor that internally transfers the electric charge to the holding unit and the predetermined number of external transfer transistors that externally transfer the electric charge from the photoelectric conversion element to the surrounding pixels among the plurality of pixels may be provided. This has the effect of generating a signal obtained by adding the externally transferred charge to the internally transferred charge.
  • the charge holding portion may be a capacitor. This has the effect of generating a signal according to the potential of the capacitor.
  • the charge holding portion may be a floating diffusion layer. This has the effect of generating a signal according to the potential of the floating diffusion layer.
  • the scanning circuit may start the generation of the electric charge at different timings for each of the predetermined number of the adjacent pixels and the pixel of interest. This brings about an effect that a pixel signal is generated by the pixel of interest and the adjacent pixel whose exposure is started at different timings.
  • the scanning circuit may start the generation of the electric charge at the same timing for each of the predetermined number of the adjacent pixels and the pixel of interest.
  • the pixel signal is generated by the pixel of interest and the adjacent pixel whose exposure is started at the same time.
  • the pixel array unit is divided into a plurality of windows having a predetermined size, and each of the plurality of windows has the amount of the electric charge accumulated in each of the pixels in the window.
  • a pixel signal according to the statistic may be output. This has the effect of reducing the number of data.
  • an image processing unit that performs a predetermined convolution calculation on the image data output by the pixel array unit may be further provided. This has the effect of realizing CNN.
  • the second aspect of the present technology is a pixel array portion in which a plurality of pixels are arranged in a two-dimensional grid pattern, a pixel of interest among the plurality of pixels, and a predetermined number of adjacent pixels adjacent to the pixel of interest.
  • a coefficient holding unit that holds a predetermined weighting coefficient associated with each of the above, and an amount of charge corresponding to the weighting coefficient associated with the adjacent pixel are generated in the adjacent pixel and transferred to the pixel of interest.
  • Output by a scanning circuit that controls the operation and controls that an amount of charge corresponding to the weighting coefficient associated with the pixel of interest is generated in the pixel of interest and stored together with the transferred charge, and the pixel array unit.
  • It is an image pickup apparatus including an image processing unit that performs predetermined processing on the image data. This brings about the effect that a predetermined process is executed on the image data composed of the pixel signal to which the electric charge of the amount corresponding to the weighting coefficient is added.
  • the third aspect of the present technology is a pixel array portion in which a plurality of pixels are arranged in a two-dimensional lattice pattern, a pixel of interest among the plurality of pixels, and a predetermined number of adjacent pixels adjacent to the pixel of interest.
  • a coefficient holding unit that holds a predetermined weighting coefficient associated with each of the above, an actuator that changes the position of each of the plurality of pixels to a position different from the predetermined initial position in pixel units, and the above-mentioned initial position. Control to generate an amount of charge corresponding to the weighting coefficient corresponding to the pixel of interest to each of the plurality of pixels and corresponding to the adjacent pixel related to the changed position each time the position of the pixel array unit is changed.
  • FIG. 1 is a block diagram showing a configuration example of the image pickup apparatus 100 according to the first embodiment of the present technology.
  • the image pickup device 100 is a device for capturing image data, and includes an optical unit 110, a solid-state image sensor 200, and a DSP (Digital Signal Processing) circuit 120. Further, the image pickup apparatus 100 includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180.
  • a digital camera such as a digital still camera, a smartphone having an image pickup function, a wearable device, a personal computer, an in-vehicle camera, and the like are assumed.
  • the optical unit 110 collects the light from the subject and guides it to the solid-state image sensor 200.
  • the solid-state image sensor 200 generates image data by photoelectric conversion in synchronization with the vertical synchronization signal VSYNC.
  • the vertical synchronization signal VSYNC is a periodic signal having a predetermined frequency indicating the timing of imaging.
  • the solid-state image sensor 200 supplies the generated image data to the DSP circuit 120 via the signal line 209. Further, the solid-state image sensor executes image processing such as image recognition on the image data as necessary, and supplies the processed data to the DSP circuit 120.
  • the DSP circuit 120 executes predetermined signal processing on the image data from the solid-state image sensor 200.
  • the DSP circuit 120 outputs the processed image data to the frame memory 160 or the like via the bus 150.
  • the display unit 130 displays image data.
  • a liquid crystal panel or an organic EL (Electro Luminescence) panel is assumed.
  • the operation unit 140 generates an operation signal according to the operation of the user.
  • the bus 150 is a common route for the optical unit 110, the solid-state image sensor 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
  • the frame memory 160 holds image data.
  • the storage unit 170 stores various data such as image data.
  • the power supply unit 180 supplies power to the solid-state image sensor 200, the DSP circuit 120, the display unit 130, and the like.
  • FIG. 2 is a block diagram showing a configuration example of the solid-state image sensor 200 according to the first embodiment of the present technology.
  • the solid-state image sensor 200 includes a row scanning circuit 210, a pixel array unit 220, a coefficient holding unit 230, a DAC (Digital to Analog Converter) 250, a signal processing unit 260, a timing control unit 270, a column scanning circuit 280, and an image processing unit 290. To be equipped.
  • DAC Digital to Analog Converter
  • a plurality of pixels are arranged in a two-dimensional grid pattern in the pixel array unit 220.
  • the coefficient holding unit 230 holds a weighting coefficient that constitutes a kernel of a predetermined size.
  • the size of the kernel is, for example, 3 rows x 3 columns.
  • the row scanning circuit 210 sequentially drives each of the rows in the pixel array unit 220 according to the mode signal MODE to generate a pixel signal.
  • the mode signal MODE is a signal indicating one of a plurality of modes including an image recognition mode in which image recognition is executed and a normal mode in which image recognition is not performed.
  • the mode signal MODE is generated by, for example, the DSP circuit 120.
  • the row scanning circuit 210 reads out the weighting coefficient from the coefficient holding unit 230. Then, the row scanning circuit 210 simultaneously generates an amount of electric charge corresponding to the weighting coefficient for all the pixels in the pixel array unit 220, and transfers the electric charges to the adjacent pixels externally.
  • "external transfer” means transferring charges between pixels.
  • the row scanning circuit 210 simultaneously generates an amount of electric charge corresponding to the weighting coefficient for all the pixels and stores the electric charge together with the externally transferred electric charge.
  • the row scanning circuit 210 drives the rows in order to output a pixel signal corresponding to the accumulated charge amount to the signal processing unit 260.
  • the row scanning circuit 210 in the normal mode, the row scanning circuit 210 generates and accumulates electric charges for all pixels over the exposure period without using the weighting coefficient. Then, the row scanning circuit 210 drives the rows in order to output a pixel signal corresponding to the accumulated charge amount to the signal processing unit 260.
  • the row scanning circuit 210 is an example of the scanning circuit described in the claims.
  • the timing control unit 270 controls the operation timings of the row scanning circuit 210, the DAC 250, the signal processing unit 260, and the column scanning circuit 280 in synchronization with the vertical synchronization signal VSYNC.
  • the DAC 250 generates a predetermined reference signal that changes in a slope shape with the passage of time by DA (Digital to Analog) conversion.
  • the DAC 250 supplies the generated reference signal to the pixel array unit 220.
  • the signal processing unit 260 performs predetermined signal processing including AD (Analog to Digital) conversion on the pixel signal from the pixel array unit 220 for each column.
  • the signal processing unit 260 supplies the processed pixel data to the image processing unit 290.
  • the column scanning circuit 280 drives the signal processing unit 260 under the control of the timing control unit 270 to output pixel data in order.
  • the image processing unit 290 executes predetermined image processing on the image data composed of pixel data.
  • the image processing unit 290 executes a predetermined convolution operation on the image data, and executes the image recognition process using the calculated data.
  • the image processing unit 290 executes various image processing such as demosaic processing and white balance processing. Then, the image processing unit 290 supplies the processed data to the DSP circuit 120.
  • the DSP circuit 120 can also execute at least a part of the processing of the image processing unit 290.
  • FIG. 3 is a diagram showing an example of a kernel according to the first embodiment of the present technology.
  • the number of rows in the pixel array unit 220 is I (I is an integer), and the number of columns is J (J is an integer).
  • the pixel array unit 220 when focusing on a pixel in a certain i (i is an integer of 0 to I-1) row and j (j is an integer of 0 to J-1) column, the pixel of interest and the pixel of interest are assigned.
  • a predetermined weighting coefficient to be applied is set for each of a predetermined number of adjacent pixels adjacent to each other.
  • the addresses are (i-1, j-1), (i-1, j), (i-1, j + 1), (i, j-1), (i, j), (i, j + 1) ,.
  • Weighting coefficients are set for each of the nine pixels (i + 1, j-1), (i + 1, j) and (i + 1, j + 1). Let these weighting factors be w 0 to w 8 .
  • the coefficient holding unit 230 holds weighting coefficients w 0 to w 8 .
  • the set of weighting factors illustrated in the figure is generally called a kernel (or filter).
  • the number of weighting factors in the kernel in other words, the number of pixels to which the kernel is applied, corresponds to the size of the kernel.
  • FIG. 4 is a diagram showing a configuration example of the pixel array unit 220 according to the first embodiment of the present technology.
  • a plurality of pixels such as pixels 300, 310, 320, 330, 340, 350, 360, 370, and 380 are arranged in a two-dimensional grid pattern.
  • the kernel is applied to 9 pixels including the pixel of interest and the adjacent 8 pixels of interest, with that pixel as the pixel of interest. For example, focusing on pixel 340, pixels 300, 310, 320, 330, 350, 360, 370 and 380 are adjacent to pixel 340.
  • adjacent means that the Euclidean distance from the pixel of interest is within a certain value.
  • the kernel is applied to a pixel block 505 of 9 pixels in 3 rows ⁇ 3 columns composed of the pixel of interest and eight adjacent pixels around it.
  • the kernel is applied to the pixel 350 and the eight pixels (pixel 340, etc.) adjacent to the pixel 350. The same applies to other pixels.
  • the adjacent pixel (pixel 300, etc.) generates an amount of electric charge corresponding to the weighting coefficient corresponding to the adjacent pixel according to the control of the row scanning circuit 210, and transfers the electric charge to the pixel of interest externally.
  • the pixel of interest (pixel 340, etc.) generates an amount of electric charge corresponding to the weighting coefficient corresponding to the pixel of interest under the control of the row scanning circuit 210, and accumulates the electric charge together with the externally transferred electric charge. For example, when the weighting coefficient w 0 of the adjacent pixel is 1.5 times the weighting coefficient w 4 of the pixel of interest, the row scanning circuit 210 sets the exposure time of the pixel 300 to 1.5 times the pixel 340. , Those pixels are exposed in order.
  • FIG. 5 is a circuit diagram showing a configuration example of the pixel 340 according to the first embodiment of the present technology.
  • the pixel 340 includes a photoelectric conversion element 341, a transfer transistor 342, a capacitor 343, an operational amplifier 344 and a reset switch 345, and transfer transistors 410, 411, 421, 413, 415, 416, 417 and 418.
  • the photoelectric conversion element 341 generates an electric charge by photoelectric conversion.
  • a photoelectric conversion element 341 for example, a photodiode is used.
  • the transfer transistor 342 internally transfers an electric charge from the photoelectric conversion element 341 to the capacitor 343 according to the transfer signal SW 4 from the row scanning circuit 210.
  • "internal transfer” means transferring charges between elements in a pixel.
  • the transfer transistor 410 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 300 according to the transfer signal SW 0 from the row scanning circuit 210.
  • the transfer transistor 411 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 310 according to the transfer signal SW 1 from the row scanning circuit 210.
  • the transfer transistor 412 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 320 according to the transfer signal SW 2 from the row scanning circuit 210.
  • the transfer transistor 413 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 330 according to the transfer signal SW 3 from the row scanning circuit 210.
  • the transfer transistor 415 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 350 according to the transfer signal SW 5 from the row scanning circuit 210.
  • the transfer transistor 416 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 360 according to the transfer signal SW 6 from the row scanning circuit 210.
  • the transfer transistor 417 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 370 according to the transfer signal SW 7 from the row scanning circuit 210.
  • the transfer transistor 418 externally transfers the electric charge from the photoelectric conversion element 341 to the adjacent pixel 380 according to the transfer signal SW 8 from the row scanning circuit 210.
  • the capacitor 343 accumulates and holds the electric charge internally transferred by the transfer transistor 342 and the electric charge externally transferred by the adjacent pixels 300, 310, 320, 330, 350, 360, 370 and 380, respectively. is there.
  • the capacitor 343 is inserted between the inverting input terminal ( ⁇ ) and the output terminal of the operational amplifier 344. Further, the capacitor 343 generates a voltage corresponding to the amount of accumulated electric charge.
  • the operational amplifier 344 outputs a voltage corresponding to the amount of electric charge accumulated in the inverting input terminal (-) to the output terminal as a pixel signal.
  • the inverting input terminal ( ⁇ ) of the operational amplifier 344 is connected to the transfer transistor 342, the capacitor 343 and the reset switch 345, and the pixels 300, 310, 320, 330, 350, 360, 370 and 380. Further, the non-inverting input terminal (+) of the operational amplifier 344 is connected to a predetermined power source.
  • the output terminal of the operational amplifier 344 is connected to the vertical signal line VSL.
  • the reset switch 345 short-circuits between the inverting input terminal ( ⁇ ) and the output terminal of the operational amplifier 344 according to the reset signal C int_rst from the row scanning circuit 210. By this short circuit, the charge amount of the capacitor 343 is initialized.
  • the vertical signal line VSL is wired along the vertical direction for each row.
  • a load MOS (Metal-Oxide-Semiconductor) transistor 420 is inserted into the vertical signal line VSL. Then, the analog pixel signal Vin is output to the signal processing unit 260 via the vertical signal line VSL.
  • pixels other than pixel 340 is the same as that of pixel 340.
  • the outermost pixel has less than eight adjacent pixels.
  • the "outermost circumference" means that the row address is either I or 0, or the column address is either J or 0.
  • the pixels at the address (0,0) do not have adjacent pixels at the upper left, upper, upper right, left, and lower left.
  • a power supply for resetting is connected to a transfer transistor having no adjacent pixel of the transfer destination. As a result, zero padding is realized. It is also possible to reduce the number of transfer transistors having no transfer destination.
  • the transfer transistor 342 is an example of the internal transfer transistor described in the claims.
  • the transfer transistors 410, 411, 421, 413, 415, 416, 417 and 418 are examples of the external transfer transistors described in the claims.
  • the capacitor 343 is an example of the charge storage unit described in the claims.
  • the size of the kernel is set to 3 rows x 3 columns, and 9 transfer transistors (transfer transistors 410, etc.) are arranged according to the size, but the size of the kernel is not limited to 3 rows x 3 columns.
  • the size of the kernel can be 5 rows x 5 columns. In this case, 25 transfer transistors may be arranged for each pixel, and the number of exposures may be 25.
  • FIG. 6 is a circuit diagram showing a configuration example of the pixel block 505 according to the first embodiment of the present technology. Pixels 300, 310, 320, 330, 340, 350, 360, 370 and 380 of 3 rows ⁇ 3 columns are arranged in the pixel block 505.
  • photoelectric conversion elements 301, 311, 321, 331, 341, 351, 361, 371 and 381 are arranged. Further, transfer transistors 302, 312, 322, 332, 342, 352, 362, 372 and 382, a capacitor 343, an operational amplifier 344 and a reset switch 345 are arranged.
  • the photoelectric conversion element 301 and the transfer transistor 302 are arranged in the pixel 300, and the photoelectric conversion element 311 and the transfer transistor 312 are arranged in the pixel 310.
  • the photoelectric conversion element 321 and the transfer transistor 322 are arranged in the pixel 320, and the photoelectric conversion element 331 and the transfer transistor 332 are arranged in the pixel 330.
  • the photoelectric conversion element 351 and the transfer transistor 352 are arranged in the pixel 350, and the photoelectric conversion element 361 and the transfer transistor 362 are arranged in the pixel 360.
  • the photoelectric conversion element 371 and the transfer transistor 372 are arranged in the pixel 370, and the photoelectric conversion element 381 and the transfer transistor 382 are arranged in the pixel 380.
  • capacitors, operational amplifiers, and reset switches in pixels other than pixel 340 are omitted. Further, the transfer transistors 410, 411, 421, 413, 415, 416, 417 and 418 in the pixel 340 are omitted.
  • the pixel of interest is pixel 340, and the transfer transistor 302 or the like of the pixel adjacent to the pixel of interest is an amount corresponding to the corresponding weighting coefficient from the corresponding photoelectric conversion element 301 or the like to the capacitor 343 of the pixel of interest. Transfer the charge to the outside.
  • the transfer transistor 342 in the pixel of interest (pixel 340) internally transfers an amount of electric charge corresponding to the corresponding weighting coefficient from the corresponding photoelectric conversion element 341 to the capacitor 343.
  • Capacitor 343 accumulates those charges. As a result, the charges generated by each of the nine pixels in the pixel block 505 are added. Since each of the transferred charges is an amount corresponding to the weighting coefficient, the accumulated charge amount of the capacitor 343 is an amount corresponding to the result of the product-sum operation convoluted using the kernel of 3 rows ⁇ 3 columns. Become.
  • the transfer transistor (transfer transistor 342, etc.) of each pixel performs only internal transfer of electric charge. As a result, image data is generated when the kernel is not applied.
  • FIG. 7 is a diagram showing an example of the layout of the elements in the pixel array unit 220 according to the first embodiment of the present technology.
  • Transfer transistors 302, 312, 322, 332, 352, 362, between the signal line 501 and the eight photoelectric conversion elements 301, 311, 321, 331, 351, 361, 371 and 381 around the photoelectric conversion element 341 372 and 382 are arranged. Further, a transfer transistor 342 is arranged between the photoelectric conversion element 341 and the signal line 501.
  • the signal line 501 is wired so as to surround the photoelectric conversion element 341 and is connected to the input terminal of the operational amplifier 344.
  • the capacitor 343 and the reset switch 345 are omitted in the figure.
  • FIG. 8 is a block diagram showing a configuration example of the signal processing unit 260 according to the first embodiment of the present technology.
  • a plurality of comparators 261 and a plurality of counters 262 and a plurality of latches 263 are arranged in the signal processing unit 260.
  • the comparator 261 and the counter 262 and the latch 263 are provided for each row. Assuming that the number of columns is J, the comparator 261 and the counter 262 and the latch 263 are provided by J each.
  • the comparator 261 compares the reference signal RMP from the DAC 250 with the pixel signal Vin from the corresponding column. The comparator 261 supplies the comparison result to the counter 262.
  • the counter 262 counts the count value over the period until the comparison result COMP is reversed.
  • the counter 262 outputs a digital signal indicating a count value to the latch 263 and holds it. Further, a counter control signal for controlling the counting operation is input to the counter 262.
  • the latch 263 holds the digital signal of the corresponding row.
  • the latch 263 outputs a digital signal as pixel data to the image processing unit 290 under the control of the column scanning circuit 280.
  • the analog pixel signal is converted into digital pixel data by the above-mentioned comparator 261 and counter 262. That is, the comparator 261 and the counter 262 function as ADCs.
  • An ADC having a simple configuration including a comparator and a counter in this way is called a single-slope ADC.
  • the signal processing unit 260 also performs CDS (Correlated Double Sampling) processing for obtaining the difference between the reset level and the signal level for each column.
  • the reset level is the level of the pixel signal at the time of pixel initialization
  • the signal level is the level of the pixel signal at the end of exposure.
  • the CDS processing is realized by the counter 262 performing one of the down count and the up count when converting the reset level, and the counter 262 performing the other of the down count and the up count when converting the signal level.
  • the counter 262 may be configured to perform only upcounting, and a circuit for performing CDS processing may be added in the subsequent stage.
  • FIG. 9 is a timing chart showing an example of the operation of the solid-state image sensor 200 according to the first embodiment of the present technology.
  • the row scanning circuit 210 supplies a high-level reset signal C int_rst to all pixels at timings T0 to T1 to initialize the charge amount of the capacitor (capacitor 343, etc.) of all pixels. ..
  • the row scanning circuit 210 supplies the high-level transfer signal SW 0 to all the pixels.
  • the exposure is performed on all the pixels over the period of timings T1 and T2, and each pixel transfers the electric charge to, for example, the lower right pixel.
  • the exposure time t 0 is a time corresponding to the weighting coefficient w 0 .
  • the row scanning circuit 210 supplies the high-level transfer signal SW 1 to all the pixels.
  • exposure is performed on all the pixels over the period of timings T2 to T3, and each pixel transfers a charge to, for example, a lower pixel.
  • the exposure time t 1 is a time corresponding to the weighting coefficient w 1 .
  • the row scanning circuit 210 supplies the high-level transfer signal SW 2 to all the pixels.
  • the exposure is performed on all the pixels over the period of timings T3 to T4, and each pixel transfers the electric charge to, for example, the lower left pixel.
  • the exposure time t 2 is a time corresponding to the weighting coefficient w 2 .
  • the transfer signals SW 4 to SW 8 are supplied in order.
  • FIG. 10 is a diagram for explaining the transfer control from the 0th time to the 3rd time in the 1st embodiment of the present technology.
  • the row scanning circuit 210, the transfer signal SW 0, the amount of charge corresponding to the weight coefficient w 0 is generated in all pixels, the transfer to the pixels of the lower right (i.e., external transfer) makes.
  • the arrows indicate the charge transfer direction.
  • Next row scanning circuit 210 the transfer signals SW 1, charge of an amount according to the weighting coefficients w 1 to produce all the pixels, it is transferred to the pixel below it. Subsequently row scanning circuit 210, the transfer signal SW 2, the amount of charge corresponding to the weighting coefficient w 2 is generated in all the pixels, is transferred to its lower left pixel. Then, the row scanning circuit 210 generates an electric charge in an amount corresponding to the weighting coefficient w 3 in all the pixels by the transfer signal SW 3 , and transfers the electric charge to the pixel to the right of the electric charge.
  • FIG. 11 is a diagram for explaining the transfer control from the fourth time to the seventh time in the first embodiment of the present technology.
  • the row scanning circuit 210 uses the transfer signal SW 4 to generate an amount of electric charge corresponding to the weighting coefficient w 4 in all pixels and internally transfers the charge to the capacitor.
  • the row scanning circuit 210 uses the transfer signal SW 5 to generate an amount of electric charge corresponding to the weighting coefficient w 5 in all the pixels and transfer it to the pixel to the left of the charge. Subsequently, the row scanning circuit 210 generates an electric charge in an amount corresponding to the weighting coefficient w 6 in all the pixels by the transfer signal SW 6 , and transfers the electric charge to the upper right pixel thereof.
  • the row scanning circuit 210, the transfer signal SW 7, the amount of charge corresponding to the weighting coefficient w 7 is generated in all the pixels, it is transferred to the pixel thereon.
  • FIG. 12 is a diagram for explaining the eighth transfer control in the first embodiment of the present technology.
  • Row scanning circuit 210, the transfer signal SW 8, the amount of charge corresponding to the weighting coefficient w 8 is generated in all the pixels, it is transferred to the upper left pixel.
  • V 1 to V 8 are pixel signals of pixels 300 to 380, respectively, when the kernel is not applied.
  • the row scanning circuit 210 supplies the transfer signals in the order of SW 0 to SW 8 , but the order of these nine transfers is not limited to the order illustrated in FIGS. 9 to 12.
  • FIG. 13 is a diagram for explaining an example of the operation of the 0th layer in the comparative example.
  • the solid-state image sensor of this comparative example first focuses on the upper leftmost pixel, that is, the pixel at the address (0, 0), and performs a convolution operation on the pixel of interest and the eight pixels around it by the kernel.
  • the upper left pixel does not have the upper left, upper, upper right, left, and lower left pixel data
  • the pixel data having a value of "0" is inserted instead of them. In other words, zero padding is done.
  • the solid-state image sensor focuses on the pixel at the address (0, 1), and performs a convolution operation on the pixel of interest and the eight pixels around it by the kernel. Then, the solid-state image sensor pays attention to the pixel at the address (0, 2), and performs a convolution operation on the pixel of interest and the eight pixels around it by the kernel.
  • the convolution operation is executed for each pixel in the 0th line. Then, the solid-state image sensor pays attention to the pixel at the address (1, 0), and performs a convolution operation on the pixel of interest and the eight pixels around it by the kernel.
  • the convolution operation is executed for each pixel in the first line. The same applies to the second and subsequent rows of the 0th layer and the first and subsequent layers. CNN is realized by processing these layers.
  • the convolution operation is executed in order for each of the digital pixel data.
  • the number of operations increases in proportion to the amount of input data (that is, the number of pixels), so that the increase in the number of pixels results in an increase in power consumption and latency.
  • the analog circuit illustrated in FIG. 6 executes the convolution operation of the 0th layer. Therefore, the amount of convolution operations for the digital pixel data after the first layer is reduced. By reducing the amount of calculation, the power consumption of a digital circuit (image processing unit 290 or the like) that performs calculation can be reduced, and the calculation time can be shortened.
  • the convolution operation of the 0th layer is completed by 9 exposures and transfers regardless of the number of pixels as illustrated in FIGS. 9 to 12. Therefore, as compared with the comparative example, the time required for the convolution calculation of the entire CNN including the 0th layer can be shortened. Further, since the number of exposures required for the calculation of the 0th layer does not change even if the number of pixels increases, it is possible to suppress an increase in the calculation time and power consumption when the number of pixels is increased.
  • FIG. 14 is a diagram for explaining CNN in the first embodiment of the present technology.
  • the pixels 310, 320, 330, 340, 350, 360, 370 and 380 generate and transfer an amount of electric charge corresponding to their respective weighting factors, and the pixel 340 Adds those charges and outputs. Similar processing is executed in parallel for other pixels. As a result, the convolution operation of the 0th layer is realized.
  • the processing result of the 0th layer is AD-converted by the signal processing unit 260, and digital image data is generated.
  • the image processing unit 290 performs a convolution operation of the first layer on the digital image data in the same manner as in the comparative example.
  • the processing of the second and subsequent layers is executed in the same manner as in the comparative example with respect to the processing result of the layer in the previous stage.
  • the process of executing the convolution operation using the kernel for each of the multiple layers corresponds to CNN.
  • FIG. 15 is a flowchart showing an example of the operation of the solid-state image sensor 200 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application for image recognition is executed.
  • the row scanning circuit 210 in the solid-state image sensor 200 supplies the reset signal C int_rst to initialize the charge amounts of all the pixels (step S901). Then, the row scanning circuit 210 sets n (n is an integer) to “0” (step S902).
  • the row scanning circuit 210 uses the transfer signal SW n to expose all the pixels for an exposure time corresponding to the weighting coefficient w n , and transfers the electric charge (step S903).
  • the row scanning circuit 210 increments n (step S904) and determines whether n is greater than "8" (step S905).
  • step S905 When n is "8" or less (step S905: No), the row scanning circuit 210 repeats steps S903 and subsequent steps. On the other hand, when n is larger than "8" (step S905: Yes), the signal processing unit 260 and the image processing unit 290 execute signal processing and image processing (step S906), and end the operation for image recognition. ..
  • each pixel is an amount corresponding to the weighting coefficient. Charges can be transferred and stored. Therefore, the solid-state image sensor 200 can execute the convolution operation by transferring a fixed number of times (9 times, etc.) regardless of the number of pixels. As a result, the time required for the convolution calculation can be shortened as compared with the case where the convolution calculation is performed sequentially for each pixel.
  • the data size of the image data increases as the number of pixels increases.
  • a pooling process is generally executed for the purpose of providing translational invariance and reducing the data size of image data.
  • the pooling process is a process of dividing image data into a plurality of windows and outputting a statistic (mean value or maximum value) of pixel data for each window.
  • the solid-state image sensor 200 of the first modification of the first embodiment is different from the first embodiment in that the pooling process is further executed.
  • FIG. 16 is a diagram showing a configuration example of the pixel array unit 220 in the first modification of the first embodiment of the present technology.
  • the pixel array unit 220 of the first modification of the first embodiment is divided by a plurality of windows such as windows 506 to 509.
  • the window is an area composed of M (M is an integer) pixels.
  • the pixel array unit 220 is divided by a window 506 having a size of 2 rows ⁇ 2 columns. Assuming that the number of pixels is I ⁇ J, the pixel array unit 220 is divided into (I ⁇ J) / 4 windows. Pixels 300, 310, 330 and 340 are arranged in the window 506, for example.
  • FIG. 17 is a circuit diagram showing a configuration example of the window 506 in the first modification of the first embodiment of the present technology.
  • amplification transistors 308, 318, 338 and 348 are further arranged.
  • the transfer transistor for external transfer is omitted in the figure.
  • the amplification transistor 308 is arranged in the pixel 300, and the amplification transistor 318 is arranged in the pixel 310.
  • the amplification transistor 338 is arranged on the pixel 330, and the amplification transistor 348 is arranged on the pixel 340.
  • the gate of the amplification transistor 308 is connected to the output of the operational amplifier 304 to amplify the voltage of the capacitor 303.
  • Amplification transistors 318, 338 and 348 likewise amplify the voltage of the corresponding capacitor.
  • the respective sources of these amplification transistors 308, 318, 338 and 348 are commonly connected to the vertical signal line VSL.
  • a pixel signal corresponding to the maximum value of the respective charge amounts of the pixels 300, 310, 330, and 340 is output from the window 506.
  • the circuit illustrated in the figure is generally called a winner-take-all circuit or the like, and has a simple source follower circuit configuration.
  • FIG. 18 is a diagram for explaining the pooling process in the first modification of the first embodiment of the present technology.
  • the respective charge amounts of the four pixels in the window 506 are “1", “1", “5" and “6", and the respective charge amounts of the four pixels in the window 507 are “2" and “4". , “7” and “8". Further, the charge amounts of the four pixels in the window 508 are “3", “2", “1” and “2”, and the charge amounts of the four pixels in the window 509 are "1", It shall be "0", "3” and "4".
  • each window outputs a pixel signal according to the maximum value of each charge amount. That is, the window 506 outputs a pixel signal corresponding to the charge amount "6", and the window 507 outputs a pixel signal corresponding to the charge amount "8". Further, the window 508 outputs a pixel signal corresponding to the charge amount “3”, and the window 509 outputs a pixel signal corresponding to the charge amount “4”.
  • the number of data can be reduced to 1/4 by the processing illustrated in the figure. By reducing the number of data, the signal processing cost in the subsequent stage can be further reduced. In particular, when the signal processing unit 260 performs AD conversion, its power and circuit size can be reduced. In general, since the AD conversion cost accounts for a large proportion of the entire system, the power and time can be significantly reduced by reducing the signal processing cost of the signal processing unit 260.
  • pooling process The process of selecting and outputting statistics such as the maximum value for each window in this way is called pooling process.
  • the pooling process for selecting the maximum value is called max pooling.
  • the maximum value is selected as the statistic for each of the windows, it is also possible to select a statistic other than the maximum value (average value, etc.).
  • the size of the window is 2 rows ⁇ 2 columns, the size of the window is not limited to 2 rows ⁇ 2 columns.
  • each of the windows outputs a pixel signal according to the statistic (maximum value, etc.) of the charge amount of each pixel.
  • the number of data can be reduced as compared with the case where a pixel signal is output for each pixel.
  • the row scanning circuit 210 starts nine exposures at different timings from each other, but in this configuration, the difference in exposure time between the exposures may be large. is there. In this case, blurring called Blur may occur in the image data due to the difference in the exposure time.
  • the row scanning circuit 210 of the second modification of the first embodiment is different from the first embodiment in that nine exposures are started at the same timing.
  • FIG. 19 is a timing chart showing an example of the operation of the solid-state image sensor 200 in the second modification of the first embodiment of the present technology.
  • the row scanning circuit 210 generates charges at the same timing for all pixels by setting the transfer signals SW 0 to SW 9 to a high level at the timing T1. (In other words, exposure) is started.
  • the row scanning circuit 210 the exposure time t 0 to t 9 in accordance with the weighting coefficients w 0 to w 9, the nine simultaneous equations to calculate in advance the exposure time t 0 'to t 9' before exposure Keep it.
  • the exposure time t 0 'to t 2' is calculated.
  • t 0 ' t 1 '+2 (t 0- t 1 )
  • the signal processing unit 260 When aligning the nine exposure start timing, the signal processing unit 260, etc., from the pixel signal corresponding to t 0 'to t 9' exposure time by solving the nine simultaneous equations, the exposure time t 0 to t 9 The corresponding pixel signal may be calculated.
  • the difference in exposure time between the nine exposures can be reduced.
  • deterioration in image quality of image data due to the difference in exposure time can be suppressed.
  • first modification can be applied to the second modification of the first embodiment.
  • the row scanning circuit 210 starts the exposure at the same timing for all the pixels, so that the exposure is started at different timings. It is also possible to reduce the difference in exposure time between the nine exposures. As a result, deterioration in image quality due to the difference in exposure time can be suppressed.
  • Second Embodiment> In the first embodiment described above, the pixels are arranged in a two-dimensional grid pattern in the pixel array unit 220, but in this arrangement, the size of the kernel cannot be made smaller than 3 rows ⁇ 3 columns.
  • the solid-state image sensor 200 of the second embodiment is different from the first embodiment in that the size of the kernel is reduced by arranging the pixels in a honeycomb shape.
  • FIG. 20 is a diagram showing a configuration example of the pixel array unit 220 according to the second embodiment of the present technology.
  • a plurality of pixels such as pixels 300, 310, 320, 330, 340, 350, and 360 are arranged in a honeycomb shape.
  • the kernel is applied to 7 pixels consisting of the pixel of interest and the adjacent 6 pixels of interest, with that pixel as the pixel of interest. For example, focusing on pixel 330, pixels 300, 310, 320, 340, 350 and 360 are adjacent to pixel 330.
  • the kernel is applied to a 7-pixel pixel block 505 composed of the pixel of interest and 6 adjacent pixels around it.
  • the weighting coefficient in the kernel is seven.
  • the kernel is applied to the pixel 340 and 6 pixels (pixel 330, etc.) adjacent to the pixel 340. The same applies to other pixels.
  • the adjacent pixel (pixel 300, etc.) generates an amount of electric charge corresponding to the weighting coefficient corresponding to the adjacent pixel according to the control of the row scanning circuit 210, and transfers the charge to the pixel of interest. Further, the pixel of interest (pixel 330, etc.) generates an amount of electric charge corresponding to the weighting coefficient corresponding to the pixel of interest under the control of the row scanning circuit 210, and accumulates the electric charge together with the transferred electric charge.
  • the honeycomb-shaped array is a general-purpose CNN kernel with the minimum configuration that replaces the general 3-row x 3-column kernel, and the CNN is configured by software implementation using general-purpose computing means such as GPU (Graphics Processing Unit). , Applicable even when running.
  • general-purpose computing means such as GPU (Graphics Processing Unit).
  • FIG. 21 is a circuit diagram showing a configuration example of the pixel 330 according to the second embodiment of the present technology.
  • the pixel 330 of the second embodiment includes a photoelectric conversion element 331, a transfer transistor 332, a reset transistor 336, a floating diffusion layer 337 and an amplification transistor 338, and transfer transistors 410, 411, 421, 414, 415 and 416. Be prepared.
  • the photoelectric conversion element 331 generates an electric charge by photoelectric conversion.
  • the transfer transistor 332 internally transfers the electric charge from the photoelectric conversion element 331 to the floating diffusion layer 337 according to the transfer signal SW 3 from the row scanning circuit 210.
  • the transfer transistor 410 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 300 according to the transfer signal SW 0 from the row scanning circuit 210.
  • the transfer transistor 411 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 310 according to the transfer signal SW 1 from the row scanning circuit 210.
  • the transfer transistor 412 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 320 according to the transfer signal SW 2 from the row scanning circuit 210.
  • the transfer transistor 414 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 340 according to the transfer signal SW 4 from the row scanning circuit 210.
  • the transfer transistor 415 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 350 according to the transfer signal SW 5 from the row scanning circuit 210.
  • the transfer transistor 416 externally transfers the electric charge from the photoelectric conversion element 331 to the adjacent pixel 360 according to the transfer signal SW 6 from the row scanning circuit 210.
  • the floating diffusion layer 337 accumulates and holds the electric charge internally transferred by the transfer transistor 332 and the electric charge externally transferred by the pixels 300, 310, 320, 340, 350 and 360, respectively.
  • the floating diffusion layer 337 is an example of the charge storage unit described in the claims.
  • the amplification transistor 338 amplifies the voltage of the floating diffusion layer 337 and outputs it as a pixel signal to the vertical signal line VSL.
  • the reset transistor 336 initializes the charge amount of the floating diffusion layer 337 according to the reset signal RD from the row scanning circuit 210.
  • pixels other than pixel 330 is the same as that of pixel 330.
  • the floating diffusion layer 337 the amplification transistor 338, and the reset transistor 336, the capacitor 343, the operational amplifier 344, and the reset switch 345 can be arranged as in the first embodiment.
  • the number of adjacent pixels of the transfer destination is reduced from 8 pixels to 6 pixels, so that the number of transfer transistors can be reduced by 2 for each pixel.
  • the total number of pixels is I ⁇ J
  • the number of transfer transistors of I ⁇ J ⁇ 2 can be reduced.
  • FIG. 22 is a circuit diagram showing a configuration example of the pixel block 505 according to the second embodiment of the present technology. Pixels 300, 310, 320, 330, 340, 350 and 360 are arranged in the pixel block 505 of the second embodiment.
  • photoelectric conversion elements 301, 311, 321, 331, 341, 351 and 361 are arranged. Further, transfer transistors 302, 312, 322, 332, 342, 352 and 362, a reset transistor 336, a floating diffusion layer 337 and an amplification transistor 338 are arranged.
  • the floating diffusion layer, the amplification transistor, and the reset transistor in the pixels other than the pixel 340 are omitted. Further, the transfer transistors 410, 411, 421, 414, 415 and 416 in the pixel 340 are omitted.
  • the pixel of interest is the pixel 330, and the transfer transistor 302 or the like of the pixel adjacent to the pixel of interest is transferred from the corresponding photoelectric conversion element 301 or the like to the floating diffusion layer 337 of the pixel of interest according to the corresponding weighting coefficient. Transfers a large amount of charge to the outside.
  • the transfer transistor 332 in the pixel of interest (pixel 330) internally transfers an amount of electric charge corresponding to the corresponding weighting coefficient from the corresponding photoelectric conversion element 331 to the floating diffusion layer 337.
  • the floating diffusion layer 337 accumulates their charges. As a result, the charges generated by each of the seven pixels in the pixel block 505 are added. Since each of the transferred charges is an amount corresponding to the weighting coefficient, the accumulated charge amount of the floating diffusion layer 337 corresponds to the result of the product-sum operation convoluted using the kernel consisting of seven weighting coefficients. It becomes the quantity.
  • FIG. 23 is a diagram showing an example of the layout of the elements in the pixel array unit 220 according to the second embodiment of the present technology.
  • Transfer transistors 302, 312, 322, 342, 352 and 362 are arranged between the six photoelectric conversion elements 301, 311, 321, 341, 351 and 361 around the photoelectric conversion element 331 and the signal line 501. Further, a transfer transistor 332 is arranged between the photoelectric conversion element 331 and the signal line 501.
  • the signal line 501 is wired so as to surround the photoelectric conversion element 331 and is connected to the floating diffusion layer 337.
  • the reset transistor 336 and the amplification transistor 338 are omitted in the figure.
  • FIG. 24 is a timing chart showing an example of the operation of the solid-state image sensor 200 according to the second embodiment of the present technology.
  • the row scanning circuit 210 simultaneously supplies the transfer signals SW 0 to SW 6 to all the pixels within the period of the timings T0 to T1, and supplies the reset signal RD to all the pixels at the timing T1.
  • the floating diffusion layer of all pixels is initialized to a desired potential.
  • the row scanning circuit 210 supplies the transfer signal SW 0 at the timing T2 when the exposure time t 0 has elapsed from the timing T1. Assuming that the amount of current due to photoelectric conversion when the kernel is not applied is I PD , the amount of charge of I PD ⁇ t 0 is generated in the photoelectric conversion element during the period of timings T1 to T2 and is accumulated in the floating diffusion layer.
  • the transfer signals SW 3 to SW 6 are sequentially supplied at the timing when the corresponding exposure time elapses.
  • the floating diffusion layer of all the pixels holds the result of convolution calculation of the respective charge amounts of the pixel and the 6 pixels around it by the weighting coefficient of the kernel.
  • the number of pixels to which the kernel is applied is reduced from 9 pixels to 7 pixels, so that the number of exposures can be reduced from 9 times to 7 times. As a result, the total exposure time can be shortened.
  • FIG. 25 is a diagram for explaining CNN in the second embodiment of the present technology.
  • each pixel When the image recognition mode is set, in the 0th layer, each pixel generates an amount of electric charge corresponding to the weighting coefficient and transfers it to 7 pixels including itself.
  • the arrow indicates the transfer direction.
  • the processing result of the 0th layer is AD-converted by the signal processing unit 260, and digital image data is generated.
  • the image processing unit 290 performs a convolution operation of the first layer on the digital image data in the same manner as in the comparative example.
  • the processing of the second and subsequent layers is executed in the same manner as in the comparative example with respect to the processing result of the layer in the previous stage.
  • the number of adjacent pixels is reduced from 8 pixels to 6 pixels as compared with the case where the pixels are arranged in a two-dimensional lattice shape. can do.
  • the circuit scale of the pixels can be reduced and the total exposure time can be shortened.
  • the pixel array unit 220 of the modified example of the second embodiment is divided by a plurality of windows composed of a predetermined number (4, etc.) of pixels.
  • FIG. 26 is a circuit diagram showing a configuration example of the window 506 in the modified example of the second embodiment of the present technology.
  • the drains of the amplification transistors 308, 318, 338 and 348 are commonly connected to the vertical signal line VSL. With this connection configuration, a pixel signal corresponding to the maximum value of the respective charge amounts of the pixels 300, 310, 330, and 340 is output from the window 506.
  • each window outputs a pixel signal according to the statistic (maximum value, etc.) of the amount of charge of each pixel.
  • the number of data can be reduced as compared with the case where the pixel signal is output for each.
  • the transfer transistor is arranged for each pixel to realize the convolution operation, but in this configuration, the circuit scale for each pixel is increased as compared with the case where the convolution operation is not performed. Resulting in.
  • the image pickup device 100 of the third embodiment is different from the first embodiment in that the convolution calculation is realized by shifting the position of the solid-state image pickup element 200 in pixel units.
  • FIG. 27 is a block diagram showing a configuration example of the image pickup apparatus 100 according to the third embodiment of the present technology.
  • the image pickup device 100 of the third embodiment includes an optical unit 110, a solid-state image sensor 200, a pixel shift control unit 451 and a Y-axis actuator 452, an X-axis actuator 453, and a storage unit 170.
  • the configuration of the optical unit 110 and the storage unit 170 of the second embodiment is the same as that of the first embodiment.
  • the X-axis actuator 453 changes the horizontal position of the solid-state image sensor 200 to a position different from the initial position on a pixel-by-pixel basis under the control of the pixel shift control unit 451.
  • the Y-axis actuator 452 changes the vertical position of the solid-state image sensor 200 to a position different from the initial position on a pixel-by-pixel basis under the control of the pixel shift control unit 451.
  • the X-axis actuator 453 and the Y-axis actuator 452 are realized by, for example, a piezo element.
  • the X-axis actuator 453 and the Y-axis actuator 452 are examples of the actuators described in the claims.
  • the pixel shift control unit 451 controls the X-axis actuator 453 and the Y-axis actuator 452 in the image recognition mode to change the position of the solid-state image sensor 200 on a pixel-by-pixel basis.
  • the position of the solid-state image sensor 200 is changed in pixel units in eight directions around the initial position, for example.
  • the solid-state image sensor 200 generates an amount of electric charge for each pixel according to the weighting coefficient of the pixel of interest.
  • the solid-state image sensor 200 generates an amount of electric charge for each pixel according to the weighting coefficient of the adjacent pixel related to the position.
  • the pixel shift control unit 451 keeps the position of the solid-state image sensor 200 at the initial position, and the solid-state image sensor 200 acquires image data in synchronization with the vertical synchronization signal.
  • FIG. 28 is a circuit diagram showing a configuration example of the pixel 300 according to the third embodiment of the present technology.
  • the pixel 300 of the third embodiment is different from the first embodiment in that the transfer transistors 410, 411, 421, 413, 415, 416, 417 and 418 for transferring to peripheral pixels are not arranged. ..
  • FIG. 29 is a diagram for explaining the 0th and 1st exposure controls in the third embodiment of the present technology.
  • the alternate long and short dash line indicates the outer circumference of the pixel array portion 220 of the solid-state image sensor 200 at the initial position.
  • the row scanning circuit 210 causes all the pixels to generate an amount of electric charge corresponding to the weighting coefficient w 4 of the pixel of interest. Then, the X-axis actuator 453 and the Y-axis actuator 452 shift the solid-state image sensor 200 to the left by one pixel and upward by one pixel from the initial position. The row scanning circuit 210 causes all pixels to generate an amount of electric charge corresponding to the weighting coefficient w 0 corresponding to the adjacent pixels on the upper left.
  • FIG. 30 is a diagram for explaining the second and third exposure controls in the third embodiment of the present technology.
  • the X-axis actuator 453 is shifted to the right by one pixel from the state shifted to the upper left to move the solid-state image sensor 200 to a position above the initial position.
  • Row scanning circuit 210 to generate a charge in an amount corresponding to the weighting coefficients w 1 corresponding to the adjacent pixels of the upper to all pixels.
  • the X-axis actuator 453 is shifted to the right by one pixel from the upwardly shifted state, and the solid-state image sensor 200 is moved from the initial position to the upper right position.
  • the row scanning circuit 210 causes all the pixels to generate an amount of electric charge corresponding to the weighting coefficient w 2 corresponding to the adjacent pixels on the upper right.
  • the X-axis actuator 453 and the Y-axis actuator 452 are displaced in order from left, right, lower left, lower, and lower right, and all the pixels are convoluted using a kernel of 3 rows ⁇ 3 columns. Generates an amount of charge corresponding to the result of the sum operation.
  • the pixels each time the position of the solid-state image sensor 200 is changed in pixel units, the pixels generate an amount of electric charge corresponding to the weighting coefficient.
  • the convolution operation can be realized without transferring charges between them. This eliminates the need for a transfer transistor 410 or the like for transferring charges between pixels, and the circuit scale of the pixels can be reduced accordingly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 31 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 32 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 32 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the image pickup apparatus 100 of FIG. 1 can be applied to the image pickup unit 12031.
  • the present technology can have the following configurations.
  • a pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid pattern,
  • a coefficient holding unit that holds a predetermined weight coefficient associated with each of the pixel of interest and a predetermined number of adjacent pixels adjacent to the pixel of interest among the plurality of pixels.
  • a control that causes the adjacent pixel to generate an amount of electric charge corresponding to the weighting coefficient associated with the adjacent pixel and transfers the electric charge to the pixel of interest, and an amount of electric charge corresponding to the weighting coefficient associated with the pixel of interest.
  • a solid-state image pickup device including a scanning circuit that controls the generation of the pixel of interest and the accumulation of the electric charge together with the transferred charge.
  • the solid-state imaging device is a capacitor.
  • the charge holding portion is a floating diffusion layer.
  • the solid-state imaging device starts the generation of electric charges at the same timing for each of the predetermined number of adjacent pixels and the pixel of interest. .. (9)
  • the pixel array unit is divided into a plurality of windows having a predetermined size.
  • each of the plurality of windows outputs a pixel signal corresponding to a statistic of the amount of electric charge accumulated in each of the pixels in the window. .. (10)
  • a control that causes the adjacent pixel to generate an electric charge corresponding to the weighting coefficient associated with the adjacent pixel and transfers the electric charge to the pixel of interest, and an electric charge corresponding to the weighting coefficient associated with the pixel of interest.
  • An imaging device including a scanning circuit that controls the generation of the pixel of interest and the accumulation of the electric charge together with the transferred electric charge.
  • (12) A pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid pattern, and A coefficient holding unit that holds a predetermined weight coefficient associated with each of the pixel of interest and a predetermined number of adjacent pixels adjacent to the pixel of interest among the plurality of pixels.
  • An actuator that changes the position of each of the plurality of pixels to a position different from a predetermined initial position on a pixel-by-pixel basis.
  • the control for generating an amount of electric charge corresponding to the weighting coefficient corresponding to the pixel of interest to each of the plurality of pixels at the initial position and the position after the change each time the position of the pixel array unit is changed.
  • An imaging device including a scanning circuit that controls generation of an amount of electric charge corresponding to the weighting coefficient corresponding to adjacent pixels.
  • (13) A transfer procedure in which an adjacent pixel adjacent to the pixel of interest generates an amount of electric charge corresponding to the weighting coefficient associated with the adjacent pixel and transfers the charge to the pixel of interest.
  • Image sensor 110 Optical unit 120
  • DSP Digital Signal Processing
  • Display unit 140 Operation unit 150
  • Bus 160
  • Frame memory 170
  • Power supply unit 200
  • Solid-state image sensor 210 line scanning circuit 220 Pixel array unit 230, Coefficient holding unit 250
  • DAC Digital to Analog Converter
  • Signal processing unit 261 Comparator 262
  • Counter 263 Latch 270
  • Row scanning circuit 290 Image processing unit 300, 310, 320, 330, 340, 350, 360, 370, 380 pixels 301, 311, 321, 331, 341 , 351, 361, 371, 381
  • Photoelectric conversion element 302, 312, 322, 332, 342, 352, 362, 372, 382, 410-418 Transfer transistor 303, 313, 333, 343
  • Capacitor 304, 314, 334, 344 Op amp 305, 315, 335, 345 Reset switch 306, 316, 336, 346 Reset transistor 308, 318, 338, 348
  • Amplification transistor 337 Floating

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

画像データに対して畳み込み演算を行う固体撮像素子において演算時間を短くし、消費電力を低減する。　画素アレイ部には、複数の画素が二次元格子状に配列される。係数保持部は、複数の画素のうち着目した着目画素と着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する。走査回路は、隣接画素に対応付けられた重み係数に応じた量の電荷を前記隣接画素に生成させて着目画素へ転送させる制御と着目画素に対応付けられた重み係数に応じた量の電荷を着目画素に生成させて転送された電荷とともに蓄積させる制御とを行う。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子に関する。詳しくは、画像処理を行う固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
　従来より、画像認識や音声認識において、認識精度を向上させる目的で、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が利用されている。ＣＮＮとは、所定段数のレイヤーのそれぞれについて、カーネル（または、フィルタ）と呼ばれるＮ行×Ｎ列（Ｎは、整数）の重み係数を配列した行列を用いて、入力データに対して畳み込み演算を実行する処理である。画像認識においては、主として、３行×３列の最小サイズのカーネルを用いたＣＮＮが行われる（例えば、非特許文献１参照。）。これは、３行×３列より大きなサイズのカーネルの受容野は、レイヤー数を増やすことでカバーすることができ、ニューラルネットワークでは、各レイヤーで非線形演算が入るため、最小のパラメータ数で畳み込みを繰り返す方が表現力が高くなるという理由による。
"Convolutional Neural Networks (CNNs / ConvNets)"、［online］［平成３１年４月８日検索］、インターネット（URL:http://cs231n.github.io/convolutional-networks/）
　上述の従来技術では、多数のレイヤーで行った畳み込み演算の結果を特徴量として用いることにより画像認識精度の向上を図っている。しかしながら、畳み込み演算は画素毎に順に実行されるため、十分な画像認識精度を得るのにある一定のレイヤー数が必要とすると、そのレイヤー数の下では画素数が多くなるほど演算量が増大し、演算時間が長くなってしまい、ひいては演算に要する電力が増大してしまうという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、画像データに対して畳み込み演算を行う固体撮像素子において演算時間を短くし、消費電力を低減することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素のうち着目した着目画素と上記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、上記隣接画素に対応付けられた上記重み係数に応じた量の電荷を上記隣接画素に生成させて上記着目画素へ転送させる制御と上記着目画素に対応付けられた上記重み係数に応じた量の電荷を上記着目画素に生成させて上記転送された電荷とともに蓄積させる制御とを行う走査回路とを具備する固体撮像素子、および、その制御方法である。これにより、着目画素および隣接画素のそれぞれの重み係数に応じた量の電荷を加算した信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記複数の画素は、二次元格子状に配列されてもよい。これにより、９画素のそれぞれの重み係数に応じた量の電荷を加算した信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記複数の画素は、ハニカム状に配列されてもよい。これにより、７画素のそれぞれの重み係数に応じた量の電荷を加算した信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記複数の画素のそれぞれは、光電変換により上記電荷を生成する光電変換素子と、上記電荷を保持する電荷保持部と、上記電荷を上記光電変換素子から上記電荷保持部へ内部転送する内部転送トランジスタと、上記電荷を上記光電変換素子から上記複数の画素のうち周囲の画素へ外部転送する上記所定数の外部転送トランジスタとを備えてもよい。これにより、内部転送された電荷に、外部転送された電荷を加算した信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記電荷保持部は、キャパシタであってもよい。これにより、キャパシタの電位に応じた信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記電荷保持部は、浮遊拡散層であってもよい。これにより、浮遊拡散層の電位に応じた信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記走査回路は、上記所定数の上記隣接画素と上記着目画素とのそれぞれについて互いに異なるタイミングで上記電荷の生成を開始させてもよい。これにより、互いに異なるタイミングで露光が開始された着目画素および隣接画素によって、画素信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記走査回路は、上記所定数の上記隣接画素と上記着目画素とのそれぞれについて同じタイミングで上記電荷の生成を開始させてもよい。これにより、同時に露光が開始された着目画素および隣接画素によって、画素信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、所定サイズの複数のウィンドウに分割されており、上記複数のウィンドウのそれぞれは、ウィンドウ内の画素のそれぞれに蓄積された上記電荷の量の統計量に応じた画素信号を出力してもよい。これにより、データ数が削減されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部が出力する画像データに対して所定の畳み込み演算を行う画像処理部をさらに具備してもよい。これにより、ＣＮＮが実現されるという作用をもたらす。
　また、本技術の第２の側面は、複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素のうち着目した着目画素と上記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、上記隣接画素に対応付けられた上記重み係数に応じた量の電荷を上記隣接画素に生成させて上記着目画素へ転送させる制御と上記着目画素に対応付けられた上記重み係数に応じた量の電荷を上記着目画素に生成させて上記転送された電荷とともに蓄積させる制御とを行う走査回路と、上記画素アレイ部により出力された画像データに対して所定の処理を行う画像処理部とを具備する撮像装置である。これにより、重み係数に応じた量の電荷を加算した画素信号からなる画像データに対して所定の処理が実行されるという作用をもたらす。
　また、本技術の第３の側面は、複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素のうち着目した着目画素と上記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、上記複数の画素のそれぞれの位置を所定の初期位置と異なる位置に画素単位で変更するアクチュエータと、上記初期位置の上記複数の画素のそれぞれに上記着目画素に対応する上記重み係数に応じた量の電荷を生成させる制御と上記画素アレイ部の位置が変更されるたびに変更後の位置に係る上記隣接画素に対応する上記重み係数に応じた量の電荷を生成させる制御とを行う走査回路とを具備する撮像装置である。これにより、画素単位の位置の変更によって、着目画素および隣接画素のそれぞれの重み係数に応じた量の電荷を加算した信号が生成されるという作用をもたらす。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるカーネルの一例を示す図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態における画素アレイ部内の素子のレイアウトの一例を示す図である。 本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における第０回目から第３回目までの転送制御を説明するための図である。 本技術の第１の実施の形態における第４回目から第７回目までの転送制御を説明するための図である。 本技術の第１の実施の形態における第８回目の転送制御を説明するための図である。 比較例における第０レイヤーの演算の一例を説明するための図である。 本技術の第１の実施の形態におけるＣＮＮを説明するための図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における画素アレイ部の一構成例を示す図である。 本技術の第１の実施の形態の第１の変形例におけるウィンドウの一構成例を示す回路図である。 本技術の第１の実施の形態の第１の変形例におけるプーリング処理を説明するための図である。 本技術の第１の実施の形態の第２の変形例における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における画素アレイ部の一構成例を示す図である。 本技術の第２の実施の形態における画素の一構成例を示す回路図である。 本技術の第２の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第２の実施の形態における画素アレイ部内の素子のレイアウトの一例を示す図である。 本技術の第２の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態におけるＣＮＮを説明するための図である。 本技術の第２の実施の形態の変形例におけるウィンドウの一構成例を示す回路図である。 本技術の第３の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第３の実施の形態における画素の一構成例を示す回路図である。 本技術の第３の実施の形態における第０回目および第１回目の露光制御を説明するための図である。 本技術の第３の実施の形態における第２回目および第３回目の露光制御を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（重み係数に応じた量の電荷を画素が生成する例）
　２．第２の実施の形態（ハニカム状に配列された画素が重み係数に応じた量の電荷を生成する例）
　３．第３の実施の形態（画素単位で位置が変更されるたびに、重み係数に応じた量の電荷を画素が生成する例）
　４．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやウエアラブルデバイス、パーソナルコンピュータ、車載カメラ等が想定される。
　光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。また、固体撮像素子は、画像データに対して画像認識などの画像処理を必要に応じて実行し、処理後のデータをＤＳＰ回路１２０に供給する。
　ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。
　表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
　バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
　フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、行走査回路２１０、画素アレイ部２２０、係数保持部２３０、ＤＡＣ（Digital to Analog Converter）２５０、信号処理部２６０、タイミング制御部２７０、列走査回路２８０および画像処理部２９０を備える。
　画素アレイ部２２０には、複数の画素が二次元格子状に配列される。係数保持部２３０は、所定サイズのカーネルを構成する重み係数を保持するものである。カーネルのサイズは、例えば、３行×３列である。
　行走査回路２１０は、モード信号ＭＯＤＥに従って、画素アレイ部２２０内の行のそれぞれを順に駆動して画素信号を生成させるものである。ここで、モード信号ＭＯＤＥは、画像認識を実行する画像認識モードと、画像認識を行わない通常モードとを含む複数のモードのいずれかを示す信号である。モード信号ＭＯＤＥは、例えば、ＤＳＰ回路１２０により生成される。
　画像認識モードにおいて行走査回路２１０は、係数保持部２３０から重み係数を読み出す。そして、行走査回路２１０は、画素アレイ部２２０内の全画素について、重み係数に応じた量の電荷を同時に生成させ、隣接する画素へ外部転送させる。ここで、「外部転送」は、画素間で電荷を転送することを意味する。また、行走査回路２１０は、全画素について、重み係数に応じた量の電荷を同時に生成させ、外部転送された電荷とともに蓄積させる。次に、行走査回路２１０は、行を順に駆動して、蓄積した電荷量に応じた画素信号を信号処理部２６０へ出力させる。
　一方、通常モードにおいて行走査回路２１０は、重み係数を用いずに、全画素について露光期間に亘って電荷を生成させ、蓄積させる。そして、行走査回路２１０は、行を順に駆動して、蓄積した電荷量に応じた画素信号を信号処理部２６０へ出力させる。
　なお、行走査回路２１０は、特許請求の範囲に記載の走査回路の一例である。
　タイミング制御部２７０は、垂直同期信号ＶＳＹＮＣに同期して、行走査回路２１０、ＤＡＣ２５０、信号処理部２６０および列走査回路２８０のそれぞれの動作タイミングを制御するものである。
　ＤＡＣ２５０は、時間の経過に伴ってスロープ状に変化する所定の参照信号をＤＡ（Digital to Analog）変換により生成するものである。このＤＡＣ２５０は、生成した参照信号を画素アレイ部２２０に供給する。
　信号処理部２６０は、画素アレイ部２２０からの画素信号に対して、ＡＤ（Analog to Digital）変換を含む所定の信号処理を列ごとに行うものである。信号処理部２６０は、処理後の画素データを画像処理部２９０に供給する。
　列走査回路２８０は、タイミング制御部２７０の制御に従って、信号処理部２６０を駆動し、画素データを順に出力させるものである。
　画像処理部２９０は、画素データからなる画像データに対して所定の画像処理を実行するものである。画像認識モードにおいて画像処理部２９０は、画像データに対して所定の畳み込み演算を実行し、演算後のデータを用いて画像認識処理を実行する。一方、通常モードにおいて画像処理部２９０は、デモザイク処理やホワイトバランス処理などの各種の画像処理を実行する。そして、画像処理部２９０は、処理後のデータをＤＳＰ回路１２０に供給する。
　なお、画像処理部２９０の処理の少なくとも一部は、ＤＳＰ回路１２０が実行することもできる。
　図３は、本技術の第１の実施の形態におけるカーネルの一例を示す図である。画素アレイ部２２０内の行数をＩ（Ｉは、整数）行とし、列数をＪ（Ｊは、整数）行とする。画素アレイ部２２０において、あるｉ（ｉは、０乃至Ｉ－１の整数）行、ｊ（ｊは、０乃至Ｊ－１の整数）列の画素に着目すると、その着目画素と、着目画素に隣接する所定数の隣接画素とのそれぞれについて、適用すべき所定の重み係数が設定される。例えば、アドレスが（ｉ－１、ｊ－１）、（ｉ－１、ｊ）、（ｉ－１、ｊ＋１）、（ｉ、ｊ－１）、（ｉ、ｊ）、（ｉ、ｊ＋１）、（ｉ＋１、ｊ－１）、（ｉ＋１、ｊ）および（ｉ＋１、ｊ＋１）の９画素のそれぞれについて重み係数が設定される。これらの重み係数をｗ0乃至ｗ8とする。係数保持部２３０には、重み係数ｗ0乃至ｗ8が保持される。
　同図に例示した重み係数の集合は、一般にカーネル（または、フィルタ）と呼ばれる。カーネル内の重み係数の個数、言い換えれば、カーネルが適用される画素数は、カーネルのサイズに該当する。
　［画素アレイ部の構成例］
　図４は、本技術の第１の実施の形態における画素アレイ部２２０の一構成例を示す図である。画素アレイ部２２０には、画素３００、３１０、３２０、３３０、３４０、３５０、３６０、３７０および３８０などの複数の画素が二次元格子状に配列される。
　また、画素アレイ部２２０内の全画素について、その画素を着目画素として、着目画素と、隣接する周囲の８画素とからなる９画素に対してカーネルが適用される。例えば、画素３４０に着目すると、画素３００、３１０、３２０、３３０、３５０、３６０、３７０および３８０は、画素３４０に隣接する。ここで、「隣接する」は、着目画素からのユークリッド距離が一定値内であることを意味する。この着目画素と、その周囲の８個の隣接画素とからなる３行×３列の９画素の画素ブロック５０５に対してカーネルが適用される。
　また、画素３５０に着目した場合、その画素３５０と、画素３５０に隣接する８画素（画素３４０など）とに対してカーネルが適用される。他の画素についても同様である。
　隣接画素（画素３００など）は、行走査回路２１０の制御に従って、その隣接画素に対応する重み係数に応じた量の電荷を生成し、着目画素へ外部転送する。また、着目画素（画素３４０など）は、行走査回路２１０の制御に従って、その着目画素に対応する重み係数に応じた量の電荷を生成し、外部転送された電荷とともに蓄積する。例えば、隣接画素の重み係数ｗ0が、着目画素の重み係数ｗ4の１．５倍である場合、行走査回路２１０は、画素３００の露光時間を画素３４０の１．５倍に設定して、それらの画素を順に露光させる。このように露光時間を重み係数に比例した時間とすることにより、重み係数に応じた量の電荷が生成される。これらの電荷の積算により、ＣＮＮにおける第０レイヤーの畳み込み演算が行われる。なお、第１レイヤー以降の畳み込み演算は、画像処理部２９０により実行される。
　［画素回路の構成例］
　図５は、本技術の第１の実施の形態における画素３４０の一構成例を示す回路図である。この画素３４０は、光電変換素子３４１、転送トランジスタ３４２、キャパシタ３４３、オペアンプ３４４およびリセットスイッチ３４５と、転送トランジスタ４１０、４１１、４１２、４１３、４１５、４１６、４１７および４１８とを備える。
　光電変換素子３４１は、光電変換により電荷を生成するものである。光電変換素子３４１として、例えば、フォトダイオードが用いられる。
　転送トランジスタ３４２は、行走査回路２１０からの転送信号ＳＷ４に従って、光電変換素子３４１からキャパシタ３４３へ電荷を内部転送するものである。ここで、「内部転送」は、画素内の素子間で電荷を転送することを意味する。
　転送トランジスタ４１０は、行走査回路２１０からの転送信号ＳＷ０に従って、光電変換素子３４１から隣接する画素３００へ電荷を外部転送するものである。転送トランジスタ４１１は、行走査回路２１０からの転送信号ＳＷ１に従って、光電変換素子３４１から隣接する画素３１０へ電荷を外部転送するものである。転送トランジスタ４１２は、行走査回路２１０からの転送信号ＳＷ２に従って、光電変換素子３４１から隣接する画素３２０へ電荷を外部転送するものである。転送トランジスタ４１３は、行走査回路２１０からの転送信号ＳＷ３に従って、光電変換素子３４１から隣接する画素３３０へ電荷を外部転送するものである。
　転送トランジスタ４１５は、行走査回路２１０からの転送信号ＳＷ５に従って、光電変換素子３４１から隣接する画素３５０へ電荷を外部転送するものである。転送トランジスタ４１６は、行走査回路２１０からの転送信号ＳＷ６に従って、光電変換素子３４１から隣接する画素３６０へ電荷を外部転送するものである。転送トランジスタ４１７は、行走査回路２１０からの転送信号ＳＷ７に従って、光電変換素子３４１から隣接する画素３７０へ電荷を外部転送するものである。転送トランジスタ４１８は、行走査回路２１０からの転送信号ＳＷ８に従って、光電変換素子３４１から隣接する画素３８０へ電荷を外部転送するものである。
　キャパシタ３４３は、転送トランジスタ３４２により内部転送された電荷と、隣接する画素３００、３１０、３２０、３３０、３５０、３６０、３７０および３８０のそれぞれにより外部転送された電荷とを蓄積して保持するものである。このキャパシタ３４３は、オペアンプ３４４の反転入力端子（－）と出力端子との間に挿入される。また、キャパシタ３４３により、蓄積された電荷量に応じた電圧が生成される。
　オペアンプ３４４は、反転入力端子（－）に蓄積された電荷量に応じた電圧をその出力端子に、画素信号として出力するものである。このオペアンプ３４４の反転入力端子（－）は、転送トランジスタ３４２、キャパシタ３４３およびリセットスイッチ３４５と、画素３００、３１０、３２０、３３０、３５０、３６０、３７０および３８０とに接続される。また、オペアンプ３４４の非反転入力端子（＋）は、所定の電源に接続される。オペアンプ３４４の出力端子は、垂直信号線ＶＳＬに接続される。
　リセットスイッチ３４５は、行走査回路２１０からのリセット信号Ｃint_rstに従って、オペアンプ３４４の反転入力端子（－）と出力端子との間を短絡するものである。この短絡により、キャパシタ３４３の電荷量が初期化される。
　また、垂直信号線ＶＳＬは、列ごとに垂直方向に沿って配線される。この垂直信号線ＶＳＬには、負荷ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタ４２０が挿入される。そして、垂直信号線ＶＳＬを介して、アナログの画素信号Ｖｉｎが信号処理部２６０へ出力される。
　画素３４０以外の画素（画素３００など）の構成は、画素３４０と同様である。ただし、画素アレイ部２２０において最外周の画素は、隣接画素が８個に満たない。ここで、「最外周」とは、行アドレスがＩおよび０のいずれか、あるいは、列アドレスがＪおよび０のいずれかであることを意味する。例えば、アドレス（０、０）の画素には、左上、上、右上、左および左下の隣接画素が存在しない。このような画素においては、転送先の隣接画素の無い転送トランジスタに、リセットのための電源が接続される。これにより、ゼロパディングが実現される。なお、転送先の無い転送トランジスタを削減することもできる。
　なお、転送トランジスタ３４２は、特許請求の範囲に記載の内部転送トランジスタの一例である。転送トランジスタ４１０、４１１、４１２、４１３、４１５、４１６、４１７および４１８は、特許請求の範囲に記載の外部転送トランジスタの一例である。キャパシタ３４３は、特許請求の範囲に記載の電荷蓄積部の一例である。
　また、カーネルのサイズを３行×３列とし、そのサイズに応じて９個の転送トランジスタ（転送トランジスタ４１０など）を配置しているが、カーネルのサイズは、３行×３列に限定されない。例えば、カーネルのサイズを５行×５列にすることもできる。この場合には、画素毎に２５個の転送トランジスタを配置し、露光回数を２５回にすればよい。
　図６は、本技術の第１の実施の形態における画素ブロック５０５の一構成例を示す回路図である。この画素ブロック５０５には、３行×３列の画素３００、３１０、３２０、３３０、３４０、３５０、３６０、３７０および３８０が配置される。
　画素ブロック５０５内には、光電変換素子３０１、３１１、３２１、３３１、３４１、３５１、３６１、３７１および３８１が配置される。また、転送トランジスタ３０２、３１２、３２２、３３２、３４２、３５２、３６２、３７２および３８２と、キャパシタ３４３、オペアンプ３４４およびリセットスイッチ３４５とが配置される。
　光電変換素子３０１および転送トランジスタ３０２は画素３００内に配置され、光電変換素子３１１および転送トランジスタ３１２は画素３１０内に配置される。光電変換素子３２１および転送トランジスタ３２２は画素３２０内に配置され、光電変換素子３３１および転送トランジスタ３３２は画素３３０内に配置される。光電変換素子３５１および転送トランジスタ３５２は画素３５０内に配置され、光電変換素子３６１および転送トランジスタ３６２は画素３６０内に配置される。光電変換素子３７１および転送トランジスタ３７２は画素３７０内に配置され、光電変換素子３８１および転送トランジスタ３８２は画素３８０内に配置される。
　なお、同図において、画素３４０以外の画素内のキャパシタ、オペアンプおよびリセットスイッチは省略されている。また、画素３４０内の転送トランジスタ４１０、４１１、４１２、４１３、４１５、４１６、４１７および４１８は省略されている。
　画像認識モードにおいて、着目画素を画素３４０として、その着目画素に隣接する画素の転送トランジスタ３０２等は、対応する光電変換素子３０１等から、着目画素のキャパシタ３４３へ、対応する重み係数に応じた量の電荷を外部転送する。
　また、着目画素（画素３４０）内の転送トランジスタ３４２は、対応する光電変換素子３４１からキャパシタ３４３へ、対応する重み係数に応じた量の電荷を内部転送する。キャパシタ３４３は、それらの電荷を蓄積する。これにより、画素ブロック５０５内の９個の画素のそれぞれにより生成された電荷が加算される。転送された電荷量のそれぞれは、重み係数に応じた量であるため、キャパシタ３４３の蓄積電荷量は、３行×３列のカーネルを用いて畳み込んだ積和演算の結果に相当する量となる。
　一方、通常モードにおいて、それぞれの画素の転送トランジスタ（転送トランジスタ３４２など）は、電荷の内部転送のみを行う。これにより、カーネルを適用しない場合の画像データが生成される。
　図７は、本技術の第１の実施の形態における画素アレイ部２２０内の素子のレイアウトの一例を示す図である。光電変換素子３４１の周囲の８個の光電変換素子３０１、３１１、３２１、３３１、３５１、３６１、３７１および３８１と信号線５０１との間に転送トランジスタ３０２、３１２、３２２、３３２、３５２、３６２、３７２および３８２が配置される。また、光電変換素子３４１と信号線５０１との間に転送トランジスタ３４２が配置される。
　信号線５０１は、光電変換素子３４１を囲むように配線され、オペアンプ３４４の入力端子に接続される。なお、キャパシタ３４３およびリセットスイッチ３４５は、同図において省略されている。
　［信号処理部の構成例］
　図８は、本技術の第１の実施の形態における信号処理部２６０の一構成例を示すブロック図である。この信号処理部２６０には、複数の比較器２６１と、複数のカウンタ２６２と、複数のラッチ２６３とが配置される。
　比較器２６１、カウンタ２６２およびラッチ２６３は、列ごとに設けられる。列数をＪとすると、比較器２６１、カウンタ２６２およびラッチ２６３は、Ｊ個ずつ設けられる。
　比較器２６１は、ＤＡＣ２５０からの参照信号ＲＭＰと、対応する列からの画素信号Ｖｉｎとを比較するものである。この比較器２６１は、比較結果をカウンタ２６２に供給する。
　カウンタ２６２は、比較結果ＣＯＭＰが反転するまでの期間に亘って計数値を計数するものである。このカウンタ２６２は、計数値を示すデジタル信号をラッチ２６３に出力し、保持させる。また、カウンタ２６２には、計数動作を制御するためのカウンタ制御信号が入力される。
　ラッチ２６３は、対応する列のデジタル信号を保持するものである。このラッチ２６３は、列走査回路２８０の制御に従ってデジタル信号を画素データとして画像処理部２９０に出力する。
　上述の比較器２６１およびカウンタ２６２により、アナログの画素信号がデジタルの画素データに変換される。すなわち、比較器２６１およびカウンタ２６２は、ＡＤＣとして機能する。このように比較器およびカウンタからなる簡易な構成のＡＤＣは、シングルスロープ型のＡＤＣと呼ばれる。
　また、信号処理部２６０は、ＡＤ変換の他、リセットレベルと信号レベルとの差分を求めるＣＤＳ（Correlated Double Sampling）処理を列ごとに行う。ここで、リセットレベルは、画素の初期化時の画素信号のレベルであり、信号レベルは、露光終了時の画素信号のレベルである。例えば、リセットレベルの変換時にカウンタ２６２がダウンカウントおよびアップカウントの一方を行い、信号レベルの変換時にカウンタ２６２がダウンカウントおよびアップカウントの他方を行うことにより、ＣＤＳ処理が実現される。なお、カウンタ２６２がアップカウントのみを行う構成とし、その後段にＣＤＳ処理を行う回路を追加することもできる。
　［固体撮像素子の動作例］
　図９は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。画像認識モードが設定されると、行走査回路２１０は、タイミングＴ０乃至Ｔ１においてハイレベルのリセット信号Ｃint_rstを全画素に供給し、全画素のキャパシタ（キャパシタ３４３など）の電荷量を初期化する。
　次にタイミングＴ１乃至Ｔ２の期間に亘って、行走査回路２１０は、全画素にハイレベルの転送信号ＳＷ０を供給する。これにより、タイミングＴ１乃至Ｔ２の期間に亘って全画素で露光が行われ、各画素は、例えば、右下の画素へ電荷を転送する。この露光時間ｔ０は、重み係数ｗ0に応じた時間である。
　そして、タイミングＴ２乃至Ｔ３の期間に亘って、行走査回路２１０は、全画素にハイレベルの転送信号ＳＷ１を供給する。これにより、タイミングＴ２乃至Ｔ３の期間に亘って全画素で露光が行われ、各画素は、例えば、下の画素へ電荷を転送する。この露光時間ｔ１は、重み係数ｗ1に応じた時間である。
　続いて、タイミングＴ３乃至Ｔ４の期間に亘って、行走査回路２１０は、全画素にハイレベルの転送信号ＳＷ２を供給する。これにより、タイミングＴ３乃至Ｔ４の期間に亘って全画素で露光が行われ、各画素は、例えば、左下の画素へ電荷を転送する。この露光時間ｔ２は、重み係数ｗ2に応じた時間である。以下、同様に、転送信号ＳＷ４乃至ＳＷ８が順に供給される。
　図１０は、本技術の第１の実施の形態における第０回目から第３回目までの転送制御を説明するための図である。まず、行走査回路２１０は、転送信号ＳＷ０により、重み係数ｗ0に応じた量の電荷を全画素に生成させ、その右下の画素へ転送（すなわち、外部転送）させる。同図において、矢印は、電荷の転送方向を示す。
　次に行走査回路２１０は、転送信号ＳＷ１により、重み係数ｗ1に応じた量の電荷を全画素に生成させ、その下の画素へ転送させる。続いて行走査回路２１０は、転送信号ＳＷ２により、重み係数ｗ2に応じた量の電荷を全画素に生成させ、その左下の画素へ転送させる。そして、行走査回路２１０は、転送信号ＳＷ３により、重み係数ｗ3に応じた量の電荷を全画素に生成させ、その右の画素へ転送させる。
　図１１は、本技術の第１の実施の形態における第４回目から第７回目までの転送制御を説明するための図である。行走査回路２１０は、転送信号ＳＷ４により、重み係数ｗ4に応じた量の電荷を全画素に生成させ、キャパシタへ内部転送させる。
　次に行走査回路２１０は、転送信号ＳＷ５により、重み係数ｗ5に応じた量の電荷を全画素に生成させ、その左の画素へ転送させる。続いて行走査回路２１０は、転送信号ＳＷ６により、重み係数ｗ6に応じた量の電荷を全画素に生成させ、その右上の画素へ転送させる。そして、行走査回路２１０は、転送信号ＳＷ７により、重み係数ｗ7に応じた量の電荷を全画素に生成させ、その上の画素へ転送させる。
　図１２は、本技術の第１の実施の形態における第８回目の転送制御を説明するための図である。行走査回路２１０は、転送信号ＳＷ８により、重み係数ｗ8に応じた量の電荷を全画素に生成させ、その左上の画素へ転送させる。
　図１０乃至１２に例示した９回の露光および転送により、全画素のキャパシタには、その画素と、その周辺の８画素とのそれぞれの電荷量をカーネルの重み係数により畳み込み演算した結果が保持される。この電荷量に応じた画素信号Ｖｉｎは、例えば、次の式により表される。
　　Ｖｉｎ＝Ｖ0×ｗ0＋Ｖ1×ｗ1＋Ｖ2×ｗ2＋Ｖ3×ｗ3＋Ｖ4×ｗ4
　　　　　　　＋Ｖ5×ｗ5＋Ｖ6×ｗ6＋Ｖ7×ｗ7＋Ｖ8×ｗ8
上式において、Ｖ１乃至Ｖ８は、カーネルを適用しない場合の画素３００乃至３８０のそれぞれの画素信号である。
　なお、行走査回路２１０は、ＳＷ０乃至ＳＷ８の順序で、転送信号を供給しているが、これらの９回の転送の順序は、図９乃至１２に例示した順序に限定されない。
　ここで、比較例として、デジタルの画素データを配列した画像データに対し、カーネルにより画素毎に順に畳み込み演算を行う固体撮像素子を想定する。
　図１３は、比較例における第０レイヤーの演算の一例を説明するための図である。この比較例の固体撮像素子は、まず、最も左上、すなわちアドレス（０、０）の画素に着目し、その着目画素と、その周囲の８画素とに対して、カーネルにより畳み込み演算を行う。ただし、左上の画素には、左上、上、右上、左および左下の画素データが無いため、それらの代わりに「０」の値の画素データが挿入される。言い換えれば、ゼロパディングが行われる。
　次に固体撮像素子は、アドレス（０、１）の画素に着目し、その着目画素と、その周囲の８画素とに対して、カーネルにより畳み込み演算を行う。そして、固体撮像素子は、アドレス（０、２）の画素に着目し、その着目画素と、その周囲の８画素とに対して、カーネルにより畳み込み演算を行う。以下、同様に、０行目において画素毎に畳み込み演算が実行される。そして、固体撮像素子は、アドレス（１、０）の画素に着目し、その着目画素と、その周囲の８画素とに対して、カーネルにより畳み込み演算を行う。以下、同様に、１行目において画素毎に畳み込み演算が実行される。第０レイヤーの第２行目以降と、第１レイヤー以降とについても同様である。これらのレイヤーの処理により、ＣＮＮが実現される。
　同図に例示したように、比較例では、デジタルの画素データのそれぞれについて、順に畳み込み演算が実行される。この構成では、演算回数は入力データ量（すなわち、画素数）に比例して増大するため、多画素化には、消費電力やレイテンシの増大を伴う結果となる。
　これに対して、重み係数に応じた量の電荷を転送する固体撮像素子２００では、図６に例示したアナログ回路が第０レイヤーの畳み込み演算を実行する。このため、デジタルの画素データに対する、第１レイヤー以降の畳み込み演算の演算量が削減される。この演算量の削減により、演算を行うデジタル回路（画像処理部２９０など）の消費電力を削減し、演算時間を短くすることができる。
　また、第０レイヤーの畳み込み演算は、図９乃至図１２に例示したように画素数に関わらず、９回の露光および転送により終了する。このため、比較例と比較して、第０レイヤーを含むＣＮＮ全体の畳み込み演算に要する時間を短くすることができる。また、第０レイヤーの演算に要する露光回数は、画素数が増大しても変動しないため、多画素化の際の演算時間や消費電力の増大を抑制することができる。
　図１４は、本技術の第１の実施の形態におけるＣＮＮを説明するための図である。画像認識モードが設定されると第０レイヤーにおいて、画素３１０、３２０、３３０、３４０、３５０、３６０、３７０および３８０は、それぞれの重み係数に応じた量の電荷を生成して転送し、画素３４０は、それらの電荷量を加算して出力する。他の画素についても同様の処理が並列に実行される。これにより、第０レイヤーの畳み込み演算が実現される。第０レイヤーの処理結果は、信号処理部２６０によりＡＤ変換され、デジタルの画像データが生成される。
　画像処理部２９０は、デジタルの画像データに対し、比較例と同様の方法で第１レイヤーの畳み込み演算を行う。第２レイヤー以降の処理は、その前段のレイヤーの処理結果に対し、比較例と同様の方法で実行される。
　同図に例示したように、複数段のレイヤーのそれぞれについて、カーネルを用いて、畳み込み演算を実行する処理は、ＣＮＮに該当する。
　図１５は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、画像認識を行う所定のアプリケーションが実行されたときに開始される。
　固体撮像素子２００内の行走査回路２１０は、リセット信号Ｃint_rstを供給し、全画素の電荷量を初期化する（ステップＳ９０１）。そして、行走査回路２１０は、ｎ（ｎは、整数）に「０」を設定する（ステップＳ９０２）。
　行走査回路２１０は、転送信号ＳＷｎにより、重み係数ｗnに応じた露光時間に亘って全画素を露光し、電荷を転送させる（ステップＳ９０３）。行走査回路２１０は、ｎをインクリメントし（ステップＳ９０４）、ｎが「８」より大きいか否かを判断する（ステップＳ９０５）。
　ｎが「８」以下である場合（ステップＳ９０５：Ｎｏ）、行走査回路２１０は、ステップＳ９０３以降を繰り返す。一方、ｎが「８」より大きい場合（ステップＳ９０５：Ｙｅｓ）、信号処理部２６０および画像処理部２９０は、信号処理および画像処理を実行し（ステップＳ９０６）、画像認識のための動作を終了する。
　このように、本技術の第１の実施の形態によれば、行走査回路２１０が重み係数に応じた露光期間に亘って画素３００等を露光させるため、各画素は、重み係数に応じた量の電荷を転送して蓄積することができる。このため、固体撮像素子２００は、画素数に関わりなく、一定回数（９回など）の転送により畳み込み演算を実行することができる。これにより、画素毎に順に畳み込み演算を行う場合と比較して、畳み込み演算に要する時間を短くすることができる。
　［第１の変形例］
　上述の第１の実施の形態では、全画素が、畳み込み演算の結果をそのまま出力していたが、この構成では、画素数が多くなるほど、画像データのデータサイズが増大してしまう。ＣＮＮでは、一般に畳み込み演算の他、移動不変性（translation invariance）を持たせ、また、画像データのデータサイズを削減する目的で、プーリング処理が実行されている。ここで、プーリング処理は、画像データを複数のウィンドウに分割し、ウィンドウごとに、画素データの統計量（平均値や最大値）を出力する処理である。この第１の実施の形態の第１の変形例の固体撮像素子２００は、プーリング処理をさらに実行する点において第１の実施の形態と異なる。
　図１６は、本技術の第１の実施の形態の第１の変形例における画素アレイ部２２０の一構成例を示す図である。この第１の実施の形態の第１の変形例の画素アレイ部２２０は、ウィンドウ５０６乃至５０９などの複数のウィンドウにより分割される。ここで、ウィンドウは、Ｍ（Ｍは、整数）個の画素からなる領域であり、例えば、画素アレイ部２２０は、２行×２列のサイズのウィンドウ５０６等により分割される。画素数をＩ×Ｊ個とすると、画素アレイ部２２０は、（Ｉ×Ｊ）／４個のウィンドウに分割される。ウィンドウ５０６には、例えば、画素３００、３１０、３３０および３４０が配置される。
　図１７は、本技術の第１の実施の形態の第１の変形例におけるウィンドウ５０６の一構成例を示す回路図である。ウィンドウ５０６において、増幅トランジスタ３０８、３１８、３３８および３４８がさらに配置される。なお、外部転送のための転送トランジスタは、同図において省略されている。
　増幅トランジスタ３０８は、画素３００に配置され、増幅トランジスタ３１８は画素３１０に配置される。増幅トランジスタ３３８は、画素３３０に配置され、増幅トランジスタ３４８は画素３４０に配置される。
　また、増幅トランジスタ３０８のゲートは、オペアンプ３０４の出力に接続され、キャパシタ３０３の電圧を増幅する。増幅トランジスタ３１８、３３８および３４８も同様に、対応するキャパシタの電圧を増幅する。そして、これらの増幅トランジスタ３０８、３１８、３３８および３４８のそれぞれのソースは、垂直信号線ＶＳＬに共通に接続される。この接続構成により、画素３００、３１０、３３０および３４０のそれぞれの電荷量の最大値に応じた画素信号が、ウィンドウ５０６から出力される。同図に例示した回路は、一般的にwinner-take-all回路などと呼ばれているもので、単純なソースフォロア回路構成である。
　ウィンドウ５０７、５０８および５０９などの他のウィンドウの構成は、ウィンドウ５０６と同様である。
　図１８は、本技術の第１の実施の形態の第１の変形例におけるプーリング処理を説明するための図である。ウィンドウ５０６内の４画素のそれぞれの電荷量が、「１」、「１」、「５」および「６」であり、ウィンドウ５０７内の４画素のそれぞれの電荷量が、「２」、「４」、「７」および「８」であるものとする。また、ウィンドウ５０８内の４画素のそれぞれの電荷量が、「３」、「２」、「１」および「２」であり、ウィンドウ５０９内の４画素のそれぞれの電荷量が、「１」、「０」、「３」および「４」であるものとする。
　この場合、それぞれのウィンドウは、各電荷量のうち、最大値に応じた画素信号を出力する。すなわち、ウィンドウ５０６は、電荷量「６」に応じた画素信号を出力し、ウィンドウ５０７は、電荷量「８」に応じた画素信号を出力する。また、ウィンドウ５０８は、電荷量「３」に応じた画素信号を出力し、ウィンドウ５０９は、電荷量「４」に応じた画素信号を出力する。
　同図に例示した処理によりデータ数を１／４に削減することができる。データ数の削減により、後段の信号処理コストをさらに削減することができる。特に、信号処理部２６０でＡＤ変換を行う場合は、その電力と回路サイズを低減できる。一般に、システム全体のうちＡＤ変換コストが占める割合は大きいことから、信号処理部２６０の信号処理コストの削減により、電力および時間を大幅に削減することができる。
　このように、ウィンドウごとに最大値などの統計量を選択して出力する処理は、プーリング処理と呼ばれる。特に最大値を選択するプーリング処理は、マックスプーリングと呼ばれる。
　なお、ウィンドウのそれぞれは、統計量として最大値を選択しているが、最大値以外の統計量（平均値など）を選択することもできる。また、ウィンドウのサイズを２行×２列としているが、ウィンドウのサイズは２行×２列に限定されない。
　このように、本技術の第１の実施の形態の第１の変形例によれば、ウィンドウのそれぞれは、各画素の電荷量の統計量（最大値など）に応じた画素信号を出力するため、画素ごとに画素信号を出力する場合と比較してデータ数を削減することができる。
　［第２の変形例］
　上述の第１の実施の形態では、行走査回路２１０は、互いに異なるタイミングで９回の露光を開始させていたが、この構成では、それらの露光のそれぞれの露光時間の差が大きくなることがある。この場合には、その露光時間の差に起因してＢｌｕｒと呼ばれるブレが画像データに生じるおそれがある。この第１の実施の形態の第２の変形例の行走査回路２１０は、同じタイミングで９回の露光を開始させる点において第１の実施の形態と異なる。
　図１９は、本技術の第１の実施の形態の第２の変形例における固体撮像素子２００の動作の一例を示すタイミングチャートである。この第１の実施の形態の第２の変形例において、行走査回路２１０は、タイミングＴ１において、転送信号ＳＷ０乃至ＳＷ９をハイレベルにすることにより、全画素について、同じタイミングで電荷の生成（言い換えれば、露光）を開始させる。
　また、行走査回路２１０は、重み係数ｗ0乃至ｗ9に応じた露光時間ｔ０乃至ｔ９から、９個の連立方程式により、露光前に予め露光時間ｔ０'乃至ｔ９'を算出しておく。説明を簡易にするため、最初の３回についてのみ露光開始タイミングを揃える場合を考える。この場合、次の３つの連立方程式により、露光時間ｔ０'乃至ｔ２'が算出される。
　　ｔ０'＝ｔ１'＋２（ｔ０－ｔ１）
　　ｔ１'＝３×ｔ１
　　ｔ２'＝ｔ０'＋（ｔ２－ｔ０）
　後段の信号処理部２６０または画像処理部２９０は、露光時間ｔ０'乃至ｔ２'に対応する画素信号をＶｉｎ０'乃至Ｖｉｎ２'とし、次の連立方程式を解くことにより、露光時間ｔ０乃至ｔ２に対応する画素信号をＶｉｎ０乃至Ｖｉｎ２を求める。
　　Ｖｉｎ０'＝Ｖｉｎ１'＋２（Ｖｉｎ０－Ｖｉｎ１）
　　Ｖｉｎ１'＝３×Ｖｉｎ１
　　Ｖｉｎ２'＝Ｖｉｎ０'＋（Ｖｉｎ２－Ｖｉｎ０）
　９回の露光開始タイミングを揃える場合、信号処理部２６０等は、９個の連立方程式を解くことにより露光時間ｔ０'乃至ｔ９'に対応する画素信号から、露光時間ｔ０乃至ｔ９に対応する画素信号を算出すればよい。
　上述したように、露光開始タイミングを揃えることにより、９回の露光のそれぞれの露光時間差を小さくすることができる。これにより、露光時間差に起因する画像データの画質低下を抑制することができる。
　なお、第１の実施の形態の第２の変形例に、第１の変形例を適用することができる。
　このように、本技術の第１の実施の形態の第２の変形例によれば、行走査回路２１０は、全画素について同じタイミングで露光を開始させるため、異なるタイミングで露光を開始させる場合よりも９回の露光のそれぞれの露光時間差を小さくすることができる。これにより、露光時間差に起因する画質低下を抑制することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、画素アレイ部２２０において二次元格子状に画素を配列していたが、この配列では、カーネルのサイズを３行×３列より小さくすることができない。この第２の実施の形態の固体撮像素子２００は、ハニカム状に画素を配列することにより、カーネルのサイズを削減した点において第１の実施の形態と異なる。
　図２０は、本技術の第２の実施の形態における画素アレイ部２２０の一構成例を示す図である。画素アレイ部２２０には、画素３００、３１０、３２０、３３０、３４０、３５０および３６０などの複数の画素がハニカム状に配列される。
　また、画素アレイ部２２０内の全画素について、その画素を着目画素として、着目画素と、隣接する周囲の６画素とからなる７画素に対してカーネルが適用される。例えば、画素３３０に着目すると、画素３００、３１０、３２０、３４０、３５０および３６０は、画素３３０に隣接する。この着目画素と、その周囲の６個の隣接画素とからなる７画素の画素ブロック５０５に対してカーネルが適用される。また、カーネル内の重み係数は、７個である。
　同様に、画素３４０に着目した場合、その画素３４０と、画素３４０に隣接する６画素（画素３３０など）とに対してカーネルが適用される。他の画素についても同様である。
　隣接画素（画素３００など）は、行走査回路２１０の制御に従って、その隣接画素に対応する重み係数に応じた量の電荷を生成し、着目画素へ転送する。また、着目画素（画素３３０など）は、行走査回路２１０の制御に従って、その着目画素に対応する重み係数に応じた量の電荷を生成し、転送された電荷とともに蓄積する。
　同図に例示したように、ハニカム状に画素を配列し、７つの重み係数からなるカーネルとすることで、十分な空間情報を保ちつつ、重み係数を９個から７個に削減することができる。これにより、回路、デバイス、光学的演算などについて、２次元乃至３次元構造でのＣＮＮの実現が容易になり、結果として、電力、サイズや速度の総合性能を向上させることができる。
　なお、ハニカム状の配列は、一般的な３行×３列のカーネルに替わる最小構成の汎用ＣＮＮカーネルとして、ＧＰＵ（Graphics Processing Unit）等の汎用演算手段を使ってソフトウエア実装でＣＮＮを構成し、実行する場合でも適用できる。
　図２１は、本技術の第２の実施の形態における画素３３０の一構成例を示す回路図である。この第２の実施の形態の画素３３０は、光電変換素子３３１、転送トランジスタ３３２、リセットトランジスタ３３６、浮遊拡散層３３７および増幅トランジスタ３３８と、転送トランジスタ４１０、４１１、４１２、４１４、４１５および４１６とを備える。
　光電変換素子３３１は、光電変換により電荷を生成するものである。
　転送トランジスタ３３２は、行走査回路２１０からの転送信号ＳＷ３に従って、光電変換素子３３１から浮遊拡散層３３７へ電荷を内部転送するものである。
　転送トランジスタ４１０は、行走査回路２１０からの転送信号ＳＷ０に従って、光電変換素子３３１から隣接する画素３００へ電荷を外部転送するものである。転送トランジスタ４１１は、行走査回路２１０からの転送信号ＳＷ１に従って、光電変換素子３３１から隣接する画素３１０へ電荷を外部転送するものである。転送トランジスタ４１２は、行走査回路２１０からの転送信号ＳＷ２に従って、光電変換素子３３１から隣接する画素３２０へ電荷を外部転送するものである。転送トランジスタ４１４は、行走査回路２１０からの転送信号ＳＷ４に従って、光電変換素子３３１から隣接する画素３４０へ電荷を外部転送するものである。
　転送トランジスタ４１５は、行走査回路２１０からの転送信号ＳＷ５に従って、光電変換素子３３１から隣接する画素３５０へ電荷を外部転送するものである。転送トランジスタ４１６は、行走査回路２１０からの転送信号ＳＷ６に従って、光電変換素子３３１から隣接する画素３６０へ電荷を外部転送するものである。
　浮遊拡散層３３７は、転送トランジスタ３３２により内部転送された電荷と、画素３００、３１０、３２０、３４０、３５０および３６０のそれぞれにより外部転送された電荷とを蓄積して保持するものである。なお、浮遊拡散層３３７は、特許請求の範囲に記載の電荷蓄積部の一例である。
　増幅トランジスタ３３８は、浮遊拡散層３３７の電圧を増幅し、画素信号として垂直信号線ＶＳＬに出力するものである。
　リセットトランジスタ３３６は、行走査回路２１０からのリセット信号ＲＤに従って、浮遊拡散層３３７の電荷量を初期化するものである。
　画素３３０以外の画素（画素３００など）の構成は、画素３３０と同様である。
　なお、浮遊拡散層３３７、増幅トランジスタ３３８およびリセットトランジスタ３３６の代わりに、第１の実施の形態と同様にキャパシタ３４３、オペアンプ３４４およびリセットスイッチ３４５を配置することもできる。
　同図に例示したように、ハニカム状に画素を配列することにより、転送先の隣接画素が８画素から６画素に削減されるため、画素毎に転送トランジスタを２つ削減することができる。全画素数がＩ×Ｊ個である場合、Ｉ×Ｊ×２個の転送トランジスタを削減することができる。
　図２２は、本技術の第２の実施の形態における画素ブロック５０５の一構成例を示す回路図である。この第２の実施の形態の画素ブロック５０５には、画素３００、３１０、３２０、３３０、３４０、３５０および３６０が配置される。
　画素ブロック５０５内には、光電変換素子３０１、３１１、３２１、３３１、３４１、３５１および３６１が配置される。また、転送トランジスタ３０２、３１２、３２２、３３２、３４２、３５２および３６２と、リセットトランジスタ３３６、浮遊拡散層３３７および増幅トランジスタ３３８とが配置される。
　なお、同図において、画素３４０以外の画素内の浮遊拡散層、増幅トランジスタおよびリセットトランジスタは省略されている。また、画素３４０内の転送トランジスタ４１０、４１１、４１２、４１４、４１５および４１６は省略されている。
　画像認識モードにおいて、着目画素を画素３３０として、その着目画素に隣接する画素の転送トランジスタ３０２等は、対応する光電変換素子３０１等から、着目画素の浮遊拡散層３３７へ、対応する重み係数に応じた量の電荷を外部転送する。
　また、着目画素（画素３３０）内の転送トランジスタ３３２は、対応する光電変換素子３３１から浮遊拡散層３３７へ、対応する重み係数に応じた量の電荷を内部転送する。浮遊拡散層３３７は、それらの電荷を蓄積する。これにより、画素ブロック５０５内の７個の画素のそれぞれにより生成された電荷が加算される。転送された電荷量のそれぞれは、重み係数に応じた量であるため、浮遊拡散層３３７の蓄積電荷量は、７つの重み係数からなるカーネルを用いて畳み込んだ積和演算の結果に相当する量となる。
　図２３は、本技術の第２の実施の形態における画素アレイ部２２０内の素子のレイアウトの一例を示す図である。光電変換素子３３１の周囲の６個の光電変換素子３０１、３１１、３２１、３４１、３５１および３６１と信号線５０１との間に転送トランジスタ３０２、３１２、３２２、３４２、３５２および３６２が配置される。また、光電変換素子３３１と信号線５０１との間に転送トランジスタ３３２が配置される。
　信号線５０１は、光電変換素子３３１を囲むように配線され、浮遊拡散層３３７に接続される。なお、リセットトランジスタ３３６および増幅トランジスタ３３８は、同図において省略されている。
　図２４は、本技術の第２の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。画像認識モードにおいて行走査回路２１０は、タイミングＴ０乃至Ｔ１の期間内に転送信号ＳＷ０乃至ＳＷ６を全画素に同時に供給し、タイミングＴ１でリセット信号ＲＤを全画素に供給する。これにより、全画素の浮遊拡散層が所望の電位に初期化される。
　そして、行走査回路２１０は、タイミングＴ１から露光時間ｔ０が経過したタイミングＴ２において、転送信号ＳＷ０を供給する。カーネルを適用しない場合の光電変換による電流量をＩＰＤとすると、ＩＰＤ×ｔ０の電荷量が、タイミングＴ１乃至Ｔ２の期間に光電変換素子で発生し、浮遊拡散層に蓄積される。
　続いて、行走査回路２１０は、タイミングＴ２から露光時間ｔ１が経過したタイミングＴ３において、転送信号ＳＷ１を供給し、タイミングＴ３から露光時間ｔ２が経過したタイミングＴ４において、転送信号ＳＷ２を供給する。以下、同様に、対応する露光時間が経過するタイミングで転送信号ＳＷ３乃至ＳＷ６が順に供給される。
　上述の７回の露光および転送により、全画素の浮遊拡散層には、その画素と、その周辺の６画素とのそれぞれの電荷量をカーネルの重み係数により畳み込み演算した結果が保持される。
　このように、ハニカム状に画素を配列することにより、カーネルを適用する画素数が９画素から７画素に削減されるため、露光回数を９回から７回に削減することができる。これにより、露光時間の合計をより短くすることができる。
　図２５は、本技術の第２の実施の形態におけるＣＮＮを説明するための図である。画像認識モードが設定されると第０レイヤーにおいて、各画素は、重み係数に応じた量の電荷を生成して、自身を含む７画素に転送する。同図において、矢印は、転送方向を示す。これにより、第０レイヤーの畳み込み演算が実現される。第０レイヤーの処理結果は、信号処理部２６０によりＡＤ変換され、デジタルの画像データが生成される。
　画像処理部２９０は、デジタルの画像データに対し、比較例と同様の方法で第１レイヤーの畳み込み演算を行う。第２レイヤー以降の処理は、その前段のレイヤーの処理結果に対し、比較例と同様の方法で実行される。
　このように、本技術の第２の実施の形態によれば、画素をハニカム状に配列したため、二次元格子状に配列する場合と比較して、隣接する画素数を８画素から６画素に削減することができる。これにより、画素の回路規模を削減し、露光時間の合計を短くすることができる。
　［変形例］
　上述の第２の実施の形態では、全画素が、畳み込み演算の結果をそのまま出力していたが、この構成では、画素数が多くなるほど、画像データのデータサイズが増大してしまう。この第２の実施の形態の変形例の固体撮像素子２００は、プーリング処理をさらに実行する点において第２の実施の形態と異なる。
　第２の実施の形態の変形例の画素アレイ部２２０は、所定数（４など）の画素からなる複数のウィンドウにより分割される。
　図２６は本技術の第２の実施の形態の変形例におけるウィンドウ５０６の一構成例を示す回路図である。ウィンドウ５０６において、増幅トランジスタ３０８、３１８、３３８および３４８のそれぞれのドレインは、垂直信号線ＶＳＬに共通に接続される。この接続構成により、画素３００、３１０、３３０および３４０のそれぞれの電荷量の最大値に応じた画素信号が、ウィンドウ５０６から出力される。
　なお、第２の実施の形態の変形例に、露光開始タイミングを揃える第１の実施の形態の第２の変形例を適用することもできる。
　本技術の第２の実施の形態の変形例によれば、ハニカム状の配列においてウィンドウのそれぞれは、各画素の電荷量の統計量（最大値など）に応じた画素信号を出力するため、画素ごとに画素信号を出力する場合と比較してデータ数を削減することができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、画素毎に転送トランジスタを配置して、畳み込み演算を実現していたが、この構成では、畳み込み演算を行わない場合と比較して画素毎の回路規模が増大してしまう。この第３の実施の形態の撮像装置１００は、固体撮像素子２００の位置を画素単位でずらすことにより、畳み込み演算を実現する点において第１の実施の形態と異なる。
　図２７は、本技術の第３の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第３の実施の形態の撮像装置１００は、光学部１１０、固体撮像素子２００、画素ずらし制御部４５１、Ｙ軸アクチュエータ４５２、Ｘ軸アクチュエータ４５３および記憶部１７０を備える。
　第２の実施の形態の光学部１１０および記憶部１７０の構成は、第１の実施の形態と同様である。
　Ｘ軸アクチュエータ４５３は、画素ずらし制御部４５１の制御に従って固体撮像素子２００の水平方向の位置を初期位置と異なる位置に画素単位で変更するものである。
　Ｙ軸アクチュエータ４５２は、画素ずらし制御部４５１の制御に従って固体撮像素子２００の垂直方向の位置を初期位置と異なる位置に画素単位で変更するものである。Ｘ軸アクチュエータ４５３およびＹ軸アクチュエータ４５２は、例えば、ピエゾ素子により実現される。
　なお、Ｘ軸アクチュエータ４５３およびＹ軸アクチュエータ４５２は、特許請求の範囲に記載のアクチュエータの一例である。
　画素ずらし制御部４５１は、画像認識モードにおいて、Ｘ軸アクチュエータ４５３およびＹ軸アクチュエータ４５２を制御して固体撮像素子２００の位置を画素単位で変更させるものである。固体撮像素子２００の位置は、例えば、初期位置を中心として８方向に画素単位で変更される。初期位置において固体撮像素子２００は、画素毎に、着目画素の重み係数に応じた量の電荷を生成する。また、位置の変更のたびに固体撮像素子２００は、画素毎に、その位置に係る隣接画素の重み係数に応じた量の電荷を生成する。
　一方、通常モードにおいて画素ずらし制御部４５１は、固体撮像素子２００の位置を初期位置のままにし、固体撮像素子２００は、垂直同期信号に同期して画像データを撮像する。
　図２８は、本技術の第３の実施の形態における画素３００の一構成例を示す回路図である。この第３の実施の形態の画素３００は、周辺の画素へ転送するための転送トランジスタ４１０、４１１、４１２、４１３、４１５、４１６、４１７および４１８が配置されない点において第１の実施の形態と異なる。
　図２９は、本技術の第３の実施の形態における第０回目および第１回目の露光制御を説明するための図である。同図において、一点鎖線は、初期位置の固体撮像素子２００の画素アレイ部２２０の外周を示す。
　初期位置において、行走査回路２１０は着目画素の重み係数ｗ4に応じた量の電荷を全画素に生成させる。そして、Ｘ軸アクチュエータ４５３およびＹ軸アクチュエータ４５２は、固体撮像素子２００を初期位置から１画素分だけ左へずらすとともに１画素分だけ上へずらす。行走査回路２１０は、左上の隣接画素に対応する重み係数ｗ0に応じた量の電荷を全画素に生成させる。
　図３０は、本技術の第３の実施の形態における第２回目および第３回目の露光制御を説明するための図である。Ｘ軸アクチュエータ４５３は、左上へずれた状態から１画素分だけ右へずらして、固体撮像素子２００を初期位置から上の位置にする。行走査回路２１０は、上の隣接画素に対応する重み係数ｗ１に応じた量の電荷を全画素に生成させる。
　そして、Ｘ軸アクチュエータ４５３は、上へずれた状態から１画素分だけ右へずらして、固体撮像素子２００を初期位置から右上の位置にする。行走査回路２１０は、右上の隣接画素に対応する重み係数ｗ2に応じた量の電荷を全画素に生成させる。
　以下、同様に、Ｘ軸アクチュエータ４５３およびＹ軸アクチュエータ４５２は、左、右、左下、下、右下へ順に位置をずらし、全画素は、３行×３列のカーネルを用いて畳み込んだ積和演算の結果に相当する電荷量を生成する。
　なお、第３の実施の形態に、第１の実施の形態の第１の変形例や第２の変形例を適用することができる。
　このように、本技術の第３の実施の形態によれば、固体撮像素子２００の位置が画素単位で変更されるたびに、画素が重み係数に応じた量の電荷量を生成するため、画素間で電荷を転送しなくても畳み込み演算を実現することができる。これにより、画素間で電荷を転送するための転送トランジスタ４１０等が不要となり、その分、画素の回路規模を削減することができる。
　＜４．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３２は、撮像部１２０３１の設置位置の例を示す図である。
　図３２では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、画像認識における演算時間を短くすることができるため、画像認識を高速に行って車両制御システムの安全性を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）複数の画素が二次元格子状に配列された画素アレイ部と、
　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
　前記隣接画素に対応付けられた前記重み係数に応じた量の電荷を前記隣接画素に生成させて前記着目画素へ転送させる制御と前記着目画素に対応付けられた前記重み係数に応じた量の電荷を前記着目画素に生成させて前記転送された電荷とともに蓄積させる制御とを行う走査回路と
を具備する固体撮像素子。
（２）前記複数の画素は、二次元格子状に配列される
前記（１）記載の固体撮像素子。
（３）前記複数の画素は、ハニカム状に配列される
前記（１）記載の固体撮像素子。
（４）前記複数の画素のそれぞれは、
　光電変換により前記電荷を生成する光電変換素子と、
　前記電荷を保持する電荷保持部と、
　前記電荷を前記光電変換素子から前記電荷保持部へ内部転送する内部転送トランジスタと、
　前記電荷を前記光電変換素子から前記複数の画素のうち周囲の画素へ外部転送する前記所定数の外部転送トランジスタと
を備える前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）前記電荷保持部は、キャパシタである
前記（４）記載の固体撮像素子。
（６）前記電荷保持部は、浮遊拡散層である
前記（４）記載の固体撮像素子。
（７）前記走査回路は、前記所定数の前記隣接画素と前記着目画素とのそれぞれについて互いに異なるタイミングで前記電荷の生成を開始させる
前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）前記走査回路は、前記所定数の前記隣接画素と前記着目画素とのそれぞれについて同じタイミングで前記電荷の生成を開始させる
前記（１）から（６）のいずれかに記載の固体撮像素子。
（９）前記画素アレイ部は、所定サイズの複数のウィンドウに分割されており、
　前記複数のウィンドウのそれぞれは、ウィンドウ内の画素のそれぞれに蓄積された前記電荷の量の統計量に応じた画素信号を出力する
前記（１）から（８）のいずれかに記載の固体撮像素子。
（１０）前記画素アレイ部が出力する画像データに対して所定の畳み込み演算を行う画像処理部をさらに具備する
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）複数の画素が二次元格子状に配列された画素アレイ部と、
　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
　前記隣接画素に対応付けられた前記重み係数に応じた量の電荷を前記隣接画素に生成させて前記着目画素へ転送させる制御と前記着目画素に対応付けられた前記重み係数に応じた量の電荷を前記着目画素に生成させて前記転送された電荷とともに蓄積させる制御とを行う走査回路と
を具備する撮像装置。
（１２）複数の画素が二次元格子状に配列された画素アレイ部と、
　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
　前記複数の画素のそれぞれの位置を所定の初期位置と異なる位置に画素単位で変更するアクチュエータと、
　前記初期位置の前記複数の画素のそれぞれに前記着目画素に対応する前記重み係数に応じた量の電荷を生成させる制御と前記画素アレイ部の位置が変更されるたびに変更後の位置に係る前記隣接画素に対応する前記重み係数に応じた量の電荷を生成させる制御とを行う走査回路と
を具備する撮像装置。
（１３）着目画素に隣接する隣接画素が、当該隣接画素に対応付けられた前記重み係数に応じた量の電荷を生成して着目画素へ転送する転送手順と、
　前記着目画素が、当該着目画素に対応付けられた前記重み係数に応じた量の電荷を生成して前記転送された電荷とともに蓄積する蓄積手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　光学部
　１２０　ＤＳＰ（Digital Signal Processing）回路
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　フレームメモリ
　１７０　記憶部
　１８０　電源部
　２００　固体撮像素子
　２１０　行走査回路
　２２０　画素アレイ部
　２３０、係数保持部
　２５０　ＤＡＣ（Digital to Analog Converter）
　２６０　信号処理部
　２６１　比較器
　２６２　カウンタ
　２６３　ラッチ
　２７０　タイミング制御部
　２８０　列走査回路
　２９０　画像処理部
　３００、３１０、３２０、３３０、３４０、３５０、３６０、３７０、３８０　画素
　３０１、３１１、３２１、３３１、３４１、３５１、３６１、３７１、３８１　光電変換素子
　３０２、３１２、３２２、３３２、３４２、３５２、３６２、３７２、３８２、４１０～４１８　転送トランジスタ
　３０３、３１３、３３３、３４３　キャパシタ
　３０４、３１４、３３４、３４４　オペアンプ
　３０５、３１５、３３５、３４５　リセットスイッチ
　３０６、３１６、３３６、３４６　リセットトランジスタ
　３０８、３１８、３３８、３４８　増幅トランジスタ
　３３７　浮遊拡散層
　４２０　負荷ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタ
　４５１　画素ずらし制御部
　４５２　Ｙ軸アクチュエータ
　４５３　Ｘ軸アクチュエータ
　１２０３１　撮像部

Claims (13)

  1. 　複数の画素が二次元格子状に配列された画素アレイ部と、
    　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
    　前記隣接画素に対応付けられた前記重み係数に応じた量の電荷を前記隣接画素に生成させて前記着目画素へ転送させる制御と前記着目画素に対応付けられた前記重み係数に応じた量の電荷を前記着目画素に生成させて前記転送された電荷とともに蓄積させる制御とを行う走査回路と
    を具備する固体撮像素子。
  2. 　前記複数の画素は、二次元格子状に配列される
    請求項１記載の固体撮像素子。
  3. 　前記複数の画素は、ハニカム状に配列される
    請求項１記載の固体撮像素子。
  4. 　前記複数の画素のそれぞれは、
    　光電変換により前記電荷を生成する光電変換素子と、
    　前記電荷を保持する電荷保持部と、
    　前記電荷を前記光電変換素子から前記電荷保持部へ内部転送する内部転送トランジスタと、
    　前記電荷を前記光電変換素子から前記複数の画素のうち周囲の画素へ外部転送する前記所定数の外部転送トランジスタと
    を備える請求項１記載の固体撮像素子。
  5. 　前記電荷保持部は、キャパシタである
    請求項４記載の固体撮像素子。
  6. 　前記電荷保持部は、浮遊拡散層である
    請求項４記載の固体撮像素子。
  7. 　前記走査回路は、前記所定数の前記隣接画素と前記着目画素とのそれぞれについて互いに異なるタイミングで前記電荷の生成を開始させる
    請求項１記載の固体撮像素子。
  8. 　前記走査回路は、前記所定数の前記隣接画素と前記着目画素とのそれぞれについて同じタイミングで前記電荷の生成を開始させる
    請求項１記載の固体撮像素子。
  9. 　前記画素アレイ部は、所定サイズの複数のウィンドウに分割されており、
    　前記複数のウィンドウのそれぞれは、ウィンドウ内の画素のそれぞれに蓄積された前記電荷の量の統計量に応じた画素信号を出力する
    請求項１記載の固体撮像素子。
  10. 　前記画素アレイ部が出力する画像データに対して所定の畳み込み演算を行う画像処理部をさらに具備する
    請求項１記載の固体撮像素子。
  11. 　複数の画素が二次元格子状に配列された画素アレイ部と、
    　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
    　前記隣接画素に対応付けられた前記重み係数に応じた量の電荷を前記隣接画素に生成させて前記着目画素へ転送させる制御と前記着目画素に対応付けられた前記重み係数に応じた量の電荷を前記着目画素に生成させて前記転送された電荷とともに蓄積させる制御とを行う走査回路と、
    　前記画素アレイ部により出力された画像データに対して所定の処理を行う画像処理部と
    を具備する撮像装置。
  12. 　複数の画素が二次元格子状に配列された画素アレイ部と、
    　前記複数の画素のうち着目した着目画素と前記着目画素に隣接する所定数の隣接画素とのそれぞれに対応付けられた所定の重み係数を保持する係数保持部と、
    　前記複数の画素のそれぞれの位置を所定の初期位置と異なる位置に画素単位で変更するアクチュエータと、
    　前記初期位置の前記複数の画素のそれぞれに前記着目画素に対応する前記重み係数に応じた量の電荷を生成させる制御と前記画素アレイ部の位置が変更されるたびに変更後の位置に係る前記隣接画素に対応する前記重み係数に応じた量の電荷を生成させる制御とを行う走査回路と
    を具備する撮像装置。
  13. 　着目画素に隣接する隣接画素が、当該隣接画素に対応付けられた前記重み係数に応じた量の電荷を生成して着目画素へ転送する転送手順と、
    　前記着目画素が、当該着目画素に対応付けられた前記重み係数に応じた量の電荷を生成して前記転送された電荷とともに蓄積する蓄積手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2020/007303 2019-06-10 2020-02-25 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2020250494A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020002775.9T DE112020002775T5 (de) 2019-06-10 2020-02-25 Halbleiter-bildgebungselement, bildgebungsvorrichtung und verfahren zum steuern eines halbleiter-bildgebungselements
US17/615,261 US11889207B2 (en) 2019-06-10 2020-02-25 Solid-state imaging element, imaging device, and method for controlling solid-state imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-107768 2019-06-10
JP2019107768 2019-06-10

Publications (1)

Publication Number Publication Date
WO2020250494A1 true WO2020250494A1 (ja) 2020-12-17

Family

ID=73780988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007303 WO2020250494A1 (ja) 2019-06-10 2020-02-25 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (3)

Country Link
US (1) US11889207B2 (ja)
DE (1) DE112020002775T5 (ja)
WO (1) WO2020250494A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190788A1 (ja) * 2021-03-09 2022-09-15 ソニーグループ株式会社 センサ装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256776A (ja) * 2009-04-28 2010-11-11 Olympus Corp 撮像装置及び電子機器
JP2013009172A (ja) * 2011-06-24 2013-01-10 Olympus Corp 撮像装置及び画像生成方法
WO2018047618A1 (ja) * 2016-09-08 2018-03-15 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
US20180198994A1 (en) * 2017-01-11 2018-07-12 Sony Corporation Compressive sensing capturing device and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
WO2014038258A1 (ja) * 2012-09-06 2014-03-13 富士フイルム株式会社 撮像装置及び合焦制御方法
DE102014214750B3 (de) * 2014-07-28 2015-06-11 Reimar Lenz Bildaufnahmesystem mit schnell vibrierendem Global-Shutter-CMOS-Sensor
JP2019145856A (ja) * 2016-06-27 2019-08-29 富士フイルム株式会社 撮像装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256776A (ja) * 2009-04-28 2010-11-11 Olympus Corp 撮像装置及び電子機器
JP2013009172A (ja) * 2011-06-24 2013-01-10 Olympus Corp 撮像装置及び画像生成方法
WO2018047618A1 (ja) * 2016-09-08 2018-03-15 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
US20180198994A1 (en) * 2017-01-11 2018-07-12 Sony Corporation Compressive sensing capturing device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190788A1 (ja) * 2021-03-09 2022-09-15 ソニーグループ株式会社 センサ装置

Also Published As

Publication number Publication date
US20220224846A1 (en) 2022-07-14
US11889207B2 (en) 2024-01-30
DE112020002775T5 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
JP2024028531A (ja) 情報処理装置、固体撮像素子および情報処理方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP7181868B2 (ja) アナログデジタル変換器、固体撮像素子、および、アナログデジタル変換器の制御方法
WO2018012051A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP7240324B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020235146A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2020017117A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020250494A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020255496A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021256073A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023021780A1 (ja) 撮像装置、電子機器及び情報処理方法
WO2023112480A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020061669A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020017552A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023089958A1 (ja) 固体撮像素子
WO2023286297A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021145033A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020166284A1 (ja) 撮像装置
WO2023021774A1 (ja) 撮像装置及び撮像装置を備える電子機器
WO2022004125A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020194905A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822799

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20822799

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP