WO2018062561A1 - 撮像素子およびカメラ - Google Patents
撮像素子およびカメラ Download PDFInfo
- Publication number
- WO2018062561A1 WO2018062561A1 PCT/JP2017/035756 JP2017035756W WO2018062561A1 WO 2018062561 A1 WO2018062561 A1 WO 2018062561A1 JP 2017035756 W JP2017035756 W JP 2017035756W WO 2018062561 A1 WO2018062561 A1 WO 2018062561A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- unit
- signal
- light
- photoelectric conversion
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 113
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims description 39
- 239000003990 capacitor Substances 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 15
- 238000009792 diffusion process Methods 0.000 description 15
- 238000012546 transfer Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 101100422768 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SUL2 gene Proteins 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000006479 redox reaction Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000003792 electrolyte Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006722 reduction reaction Methods 0.000 description 2
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 1
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 1
- 101100421135 Caenorhabditis elegans sel-5 gene Proteins 0.000 description 1
- 101100510617 Caenorhabditis elegans sel-8 gene Proteins 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 1
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/142—Energy conversion devices
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/15—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on an electrochromic effect
- G02F1/153—Constructional details
- G02F1/157—Structural association of cells with optical devices, e.g. reflectors or illuminating devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Definitions
- the present invention relates to an image sensor and a camera.
- Patent Document 1 An imaging device that generates still image data during moving image imaging is known (Patent Document 1).
- the conventional imaging apparatus has a problem that the frame rate at the time of moving image shooting decreases.
- the imaging device includes a photoelectric conversion unit that photoelectrically converts incident light to generate a charge, and outputs a signal based on the charge generated by the photoelectric conversion unit.
- a pixel a filter unit capable of switching between a light blocking state for blocking light and a transmission state for transmitting light, and a photoelectric conversion unit for photoelectrically converting light transmitted through the filter unit to generate charges,
- a second pixel that outputs a signal based on the charge generated by the photoelectric conversion unit; and a first pixel that photoelectrically converts light incident on the first pixel and the second pixel while the filter unit of the second pixel is in a transmission state.
- Exposure control of the second pixel, and the second pixel that photoelectrically converts the light incident on the first pixel while holding the charge accumulated in the photoelectric conversion unit of the second pixel with the filter unit of the second pixel in a light-shielding state.
- An exposure control unit for switching between exposure control and the first exposure; The second pixel except for the first pixel and the part of the second pixel after performing the control and outputting the signal from the first pixel and a part of the second pixel.
- an output control unit for outputting the signal.
- the camera includes a photoelectric conversion unit that photoelectrically converts incident light to generate and accumulate charges, and outputs a signal based on the charges generated by the photoelectric conversion unit.
- a filter unit that switches between a light-blocking state that blocks incident light and a transmission state that transmits the incident light, and a photoelectric conversion unit that photoelectrically converts light transmitted through the filter unit to generate and store charges.
- a second pixel that outputs a signal based on the electric charge generated by the photoelectric conversion unit; and a photoelectric conversion unit configured to photoelectrically convert light incident on the first pixel and the second pixel while the filter unit of the second pixel is in a transmission state.
- a second exposure control unit configured to photoelectrically convert light incident on the first pixel while holding the charge accumulated in the photoelectric conversion unit of the second pixel by setting the filter unit of the second pixel in a light-shielding state.
- the imaging device includes a plurality of pixels having a photoelectric conversion unit, a first readout unit that reads out signals of some of the plurality of pixels as video signals, A storage unit that stores signals of a plurality of pixels in association with one readout operation among a plurality of video signal readout operations performed by the first readout unit, and the signal stored in the storage unit is stationary A second reading unit that reads out the image signal.
- the imaging device includes a filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, and photoelectrically converting the light transmitted through the filter unit to charge the light.
- a plurality of pixels each having a photoelectric conversion unit to be generated and an output unit that outputs a signal based on the charge generated by the photoelectric conversion unit, and a signal is output from the output unit of some of the pixels
- a control unit configured to output a signal from the output unit by blocking the filter unit of the pixel excluding the part.
- the imaging device includes a photoelectric conversion unit that photoelectrically converts light to generate charges, a first pixel that outputs a signal based on the charges generated by the photoelectric conversion unit, A filter unit capable of switching between a light-blocking state for blocking light and a light-transmitting state, a photoelectric conversion unit for photoelectrically converting light transmitted through the filter unit, and a photoelectric conversion unit And outputting a signal from the output unit of the first pixel, and then setting the filter unit of the second pixel in a light-shielding state to the second pixel.
- a control unit that outputs a signal from the output unit of the pixel.
- FIG. 10 is a circuit diagram illustrating an example of a configuration of an imaging element according to Modification Example 1.
- FIG. 12 is a circuit diagram illustrating another example of a configuration of an imaging element according to Modification Example 1.
- FIG. 10 is a circuit diagram illustrating a configuration of a pixel of an image sensor according to Modification 2.
- FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
- FIG. 1 shows a configuration example of an electronic camera 1 (hereinafter referred to as camera 1) which is an example of an imaging apparatus according to the first embodiment.
- the camera 1 includes an imaging optical system (imaging optical system) 2, an imaging element 3, a control unit 4, a memory 5, a display unit 6, and an operation unit 7.
- the photographing optical system 2 has a plurality of lenses and a diaphragm, and forms a subject image on the image sensor 3. Note that the photographic optical system 2 may be detachable from the camera 1.
- the image sensor 3 is, for example, a CMOS image sensor.
- the image sensor 3 captures a subject image formed by the photographing optical system 2.
- a plurality of pixels each having a microlens, a filter unit capable of changing a transmission wavelength, and a photoelectric conversion unit are arranged in the imaging element 3 in a two-dimensional manner.
- the photoelectric conversion unit is configured by, for example, a photodiode (PD).
- the image sensor 3 photoelectrically converts incident light to generate a pixel signal, and outputs the generated pixel signal to the control unit 4.
- the pixel signal is a signal generated based on the charge photoelectrically converted by the photoelectric conversion unit.
- the image sensor 3 outputs to the control unit 4 a still image pixel signal for generating still image data and a moving image pixel signal for generating moving image data.
- the moving image is an image generated based on a pixel signal read out by thinning out pixels in a specific row or column of all pixels, or a pixel signal read out by adding signals of a plurality of pixels. is there.
- a still image is an image generated based on pixel signals individually read from each pixel of the image sensor 3 without performing such thinning readout and addition readout.
- the memory 5 is a recording medium such as a memory card, for example.
- the memory 5 records still image data, moving image data, and the like. Writing of data to the memory 5 and reading of data from the memory 5 are performed by the control unit 4.
- the display unit 6 displays a still image based on the still image data, a moving image based on the moving image data, information relating to shooting such as a shutter speed and an aperture value, a menu screen, and the like.
- the operation unit 7 includes a still image shooting button, a moving image shooting button, various setting switches, and the like, and outputs an operation signal corresponding to each operation to the control unit 4.
- the control unit 4 includes a CPU, a ROM, a RAM, and the like, and controls each unit of the camera 1 based on a control program.
- the control unit 4 includes a moving image generation unit 4a and a still image generation unit 4b.
- the moving image generation unit 4a performs various kinds of image processing on the moving image pixel signal output from the image sensor 3 to generate moving image data.
- the still image generation unit 4 b performs various image processing on the still image pixel signal output from the image sensor 3 to generate still image data.
- the image processing includes, for example, known image processing such as gradation conversion processing, color interpolation processing, and contour enhancement processing.
- FIG. 2 is a block diagram illustrating a partial configuration of the image sensor 3 according to the first embodiment.
- FIG. 3 is a diagram for explaining the image sensor 3 according to the first embodiment.
- FIG. 3A is a diagram illustrating an example of a cross-sectional structure of the image sensor 3
- FIG. 3B is a plan view for explaining a layout example of the transparent electrode of the filter portion of the image sensor 3.
- the image sensor 3 includes a plurality of pixels 10, a filter vertical drive unit 40, a filter horizontal drive unit 50, a filter control unit 60, a pixel vertical drive unit 70, and a column circuit unit 80. , A horizontal scanning unit 90, an output unit 100, and a system control unit 110.
- the pixels 10 are arranged in a two-dimensional manner (for example, a row direction that is a first direction and a column direction that is a second direction intersecting the first direction).
- the pixel 10 is illustrated with only 15 pixels in the horizontal direction ⁇ 12 pixels in the vertical direction, but the image sensor 3 may have, for example, several million pixels to several hundred million pixels, or It has more pixels.
- the image pickup device 3 includes a semiconductor substrate 220, a wiring layer 210, a support substrate 200, a microlens 31, and a filter unit 35.
- the image sensor 3 is configured as a back-illuminated image sensor.
- the semiconductor substrate 220 is stacked on the support substrate 200 via the wiring layer 210.
- the semiconductor substrate 220 is configured by a semiconductor substrate such as silicon, and the support substrate 200 is configured by a semiconductor substrate, a glass substrate, or the like.
- the wiring layer 210 is a wiring layer including a conductor film (metal film) and an insulating film, and a plurality of wirings and vias are arranged. Copper, aluminum, or the like is used for the conductor film.
- the insulating film is composed of an oxide film, a nitride film, or the like.
- light that has passed through the photographing optical system 2 is incident mainly in the positive direction of the Z axis.
- the right direction on the paper orthogonal to the Z axis is the X axis plus direction
- the front side of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction.
- the pixel 10 includes a microlens 31, a filter unit 35, a light shielding film 32, and a photoelectric conversion unit 34.
- the microlens 31 condenses incident light on the photoelectric conversion unit 34.
- the light shielding film 32 is disposed at the boundary between adjacent pixels 10 and suppresses light from leaking between adjacent pixels.
- the filter unit 35 includes electrochromic (hereinafter referred to as EC) layers 21, 22, and 23 and transparent electrodes 11, 12, 13, and 14 that are sequentially stacked from the microlens 31 side toward the semiconductor substrate 220 side. .
- the EC layers 21 to 23 are formed using an electrochromic material such as a metal oxide.
- the transparent electrodes 11 to 14 are made of, for example, ITO (indium tin oxide). Insulating films 33 are provided between the EC layer 21 and the transparent electrode 12, between the EC layer 22 and the transparent electrode 13, and between the EC layer 23 and the transparent electrode 14, respectively.
- the filter unit 35 is provided with an electrolyte layer (electrolyte film) (not shown).
- the transparent electrode 11 has a plurality of ECs arranged in the row direction so as to cover one surface of the plurality of EC layers 21 arranged in the X direction, that is, in the row direction. Arranged for each layer.
- the transparent electrode 12 and the transparent electrode 13 are disposed so as to cover one surface of the plurality of EC layers 22 and EC layers 23 disposed in the X direction.
- the transparent electrode 14 is an electrode common to the three EC layers 21, 22, and 23 and is disposed on the other surface side of the EC layer 23. As shown in FIG. 3B, the common transparent electrode 14 is arranged for each of the plurality of EC layers arranged in the column direction along the plurality of EC layers 23 arranged in the Y direction, that is, the column direction. Is done. In the example shown in FIG. 2, since the array of the pixels 10 is 15 columns, 15 common transparent electrodes 14 are juxtaposed.
- the transparent electrodes 11 to 13 and the common transparent electrode 14 are electrodes arranged in a matrix (mesh) with respect to the EC layers 21, 22, and 23.
- the transparent electrodes 11 to 13 are connected to the filter vertical drive unit 40, and the common transparent electrode 14 is connected to the filter horizontal drive unit 50.
- active matrix driving that performs drive control of the EC layers 21, 22, and 23 using matrix electrodes can be performed.
- the EC layer 21 develops B (blue) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 11 and the common transparent electrode 14. Therefore, the EC layer 21 transmits light in a wavelength region corresponding to B (blue) among incident light by supplying the drive signal.
- the EC layer 22 develops G (green) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 12 and the common transparent electrode 14. Therefore, the EC layer 22 transmits light in a wavelength region corresponding to G (green) among incident light by supplying the drive signal.
- the EC layer 23 develops R (red) by causing an oxidation-reduction reaction by supplying drive signals from the transparent electrode 13 and the common transparent electrode 14.
- the EC layer 23 transmits light in a wavelength region corresponding to R (red) among the incident light by supplying the drive signal.
- the EC layers 21, 22, and 23 maintain the color development for a certain period of time.
- the reset signal is supplied, the EC layers 21, 22, and 23 are out of the light incident on the filter unit 35. It becomes a transparent (decolored) state that transmits light in all the wavelength regions.
- each of the plurality of filter portions 35 includes three layers, that is, an EC layer 21 that develops B (blue), an EC layer 22 that develops G (green), and an EC layer 23 that develops R (red). Consists of filters.
- the filter unit 35 has a wavelength range of W (white), BK (black), R (red), G (green), or B (blue) depending on the combination of the transmission wavelengths of the EC layers 21 to 23. It becomes possible to mainly transmit the light.
- the three-layer EC transmission wavelength region is W (white).
- the three-layer EC transmission wavelength region is BK (black).
- the three-layer EC transmission wavelength ranges are B (blue) and G (green), respectively.
- R (red) That is, the filter unit 35 becomes a B (blue) color filter when a drive signal is supplied only to the EC layer 21, and becomes a G (green) color filter when a drive signal is supplied only to the EC layer 22.
- an R (red) color filter is obtained.
- each filter unit 35 is controlled by a B (blue) color filter, a G (green) color filter, and an R (red) color filter at the time of moving image shooting or still image shooting.
- a pixel having an R color filter hereinafter referred to as an R pixel
- a pixel having a G color filter hereinafter referred to as a G pixel
- a pixel having a B color filter hereinafter referred to as a B pixel.
- the filter unit 35 controls the B (blue) color filter, the G (green) color filter, and the R (red) color filter for some pixels when a still image shooting is instructed during moving image shooting. The remaining pixels are controlled to BK (black).
- the filter control unit 60 sets (changes) the transmission wavelength of each filter unit 35 by controlling the signals input to the filter units 35 from the filter vertical drive unit 40 and the filter horizontal drive unit 50.
- the filter vertical drive unit 40 selects a row of the plurality of filter units 35, that is, selects a predetermined transparent electrode among the plurality of transparent electrodes 11 to 13, and supplies a drive signal thereto.
- the filter horizontal driving unit 50 selects a row of the plurality of filter units 35, that is, selects a predetermined common transparent electrode among the plurality of common transparent electrodes 14, and supplies a drive signal thereto. In this way, the EC layer for both the transparent electrodes 11 to 13 selected by the filter vertical driving unit 40 and the common transparent electrode 14 selected by the filter horizontal driving unit 50 is colored.
- the filter horizontal drive unit 50 selects the rightmost common transparent electrode 14 among the three common transparent electrodes 14 and supplies a drive signal, and further has nine filter vertical drive units 40.
- the EC layer 21 located at the upper right end develops color.
- the filter horizontal drive unit 50 selects the same common transparent electrode 14 and supplies a drive signal
- the filter vertical drive unit 40 selects the upper transparent electrode 12 in FIG. 3B and supplies the drive signal.
- the EC layer 22 at the upper right end is colored.
- the filter horizontal driving unit 50 selects the same common transparent electrode 14 and supplies a driving signal
- the filter vertical driving unit 40 selects the upper transparent electrode 13 in FIG. 3B and supplies the driving signal.
- the EC layer 23 at the upper right end is colored.
- the system control unit 110 includes a filter control unit 60, a pixel vertical drive unit 70, a column circuit unit 80, a horizontal scanning unit 90, and an output unit 100 based on a signal from the control unit 4 of the electronic camera 1. Control.
- the system control unit 110 includes a moving image readout unit 111 and a still image readout unit 112.
- the moving image readout unit 111 is used to generate moving image data among all the pixels 10 provided in the imaging element 3 when a moving image shooting button is operated by the user and a moving image shooting instruction is issued.
- a pixel hereinafter referred to as a moving picture pixel
- the moving image readout unit 111 designates a pixel from which a pixel signal is to be read out of all the pixels 10 during moving image shooting.
- the moving image readout unit 111 selects pixels for moving images by thinning out pixels in a specific row or column among all the pixels 10, and reads out pixel signals from the selected moving image pixels.
- the moving image readout unit 111 performs control of performing moving image shooting at a predetermined frame rate by performing thinning readout.
- the moving image readout unit 111 reads out a pixel signal by selecting, for example, a plurality of pixels 10 indicated by diagonal lines in FIG. 2 as moving image pixels.
- moving image pixels are selected at a rate of 1 pixel per 9 pixels. More specifically, all the pixels are divided into 9 pixels of 3 pixels ⁇ 3 pixels, and pixels at the same position in each block are selected.
- the selected moving image pixels also have a Bayer array.
- the still image reading unit 112 is a pixel (hereinafter referred to as a still image pixel) used to generate still image data when a still image shooting button is operated by a user and a still image shooting instruction is issued.
- the pixel signal is read out.
- the still image readout unit 112 selects all the pixels 10 of the image sensor 3 as still image pixels and reads out pixel signals from all the pixels 10.
- the still image reading unit 112 captures a still image during moving image shooting when a still image shooting button is operated during moving image shooting and a moving image shooting instruction and a still image shooting instruction are performed. Control to do. Specifically, the still image readout unit 112 selects all the pixels 10 as still image pixels, but does not read out the pixel signals of all the still image pixels at a time, but instead of reading out the pixel signals of all the still image pixels. Are read out into a plurality of frames of the moving image. For example, when the still image readout unit 112 reads out still image pixels for one frame separately into two frames of a moving image, a part of the all pixels 10 (for example, 1/2 of all pixels).
- the still image readout unit 112 reads out the pixel signals of the still image pixels divided into a plurality of frames of the moving image when reading out the pixel signals of the moving image pixels of the corresponding frame.
- the pixel vertical drive unit 70 supplies control signals such as a signal TX, a signal RST, and a signal SEL, which will be described later, to each pixel 10 based on signals from the moving image reading unit 111 and the still image reading unit 112. The operation of the pixel 10 is controlled.
- the column circuit unit 80 includes a plurality of analog / digital conversion units (AD conversion units), converts a signal input from each pixel 10 through a vertical signal line 30 described later into a digital signal, and performs conversion. Are output to the horizontal scanning unit 90.
- the horizontal scanning unit 90 sequentially outputs the signals output from the column circuit unit 80 to the output unit 100.
- the output unit 100 has a signal processing unit (not shown), performs signal processing such as correlated double sampling and signal amount correction on the signal input from the horizontal scanning unit 90, and controls the electronic camera 1.
- the output unit 100 includes an input / output circuit or the like corresponding to a high-speed interface such as LVDS or SLVS, and transmits a signal to the control unit 4 at high speed.
- FIG. 4A shows moving image pixels from which pixel signals are read out by the moving image reading unit 111 in the (N ⁇ 1) frame during moving image shooting.
- FIG. 4B shows a moving image pixel from which a pixel signal is read out by the moving image reading unit 111 and a still image pixel from which the pixel signal is read out by the still image reading unit 112 in N frames at the time of moving image shooting. It is a thing.
- 4C to 4E respectively show a moving image pixel from which a pixel signal is read out by the moving image reading unit 111 and a still image image in (N + 1), (N + 2), and (N + 3) frames at the time of moving image shooting.
- the pixel for a still image from which a pixel signal is read by the reading unit 112 is shown.
- one block BL is shown when all the pixels of the image sensor 3 are divided into 9 blocks of 3 pixels ⁇ 3 pixels.
- the pixels 10 surrounded by a thick frame are moving image pixels (R pixels in FIG. 4) from which pixel signals are read by the moving image reading unit 111.
- the circled pixels are still image pixels from which pixel signals are read out by the still image reading unit 112.
- the filter unit 35 of each pixel is controlled by a B (blue) color filter, a G (green) color filter, and an R (red) color filter. Therefore, in the (N ⁇ 1) frame at the time of moving image shooting shown in FIG. 4A, the pixels 10 of the image sensor 3 are arranged in accordance with a Bayer arrangement of G pixels, R pixels, and B pixels.
- the moving image readout unit 111 selects one pixel at the same position in each block BL (in the illustrated example, an R pixel surrounded by a thick frame in the first row and second column in the block BL) as a moving image pixel, A pixel signal is read from the moving image pixel.
- the moving image readout unit 111 reads the pixel signal from the G pixel in the block adjacent to the illustrated block BL in the horizontal direction and the vertical direction, and reads the pixel signal from the B pixel in the block adjacent to the illustrated block BL in the diagonal direction. . Therefore, the moving image readout unit 111 performs 1/9 thinning readout from the R pixel, the G pixel, and the B pixel according to the Bayer array.
- the pixel signal of the moving image pixel read out in this way is used for generating moving image data in the moving image generating unit 4a in FIG.
- the moving image reading unit 111 (N ⁇ 1) is shown in FIG. 4B. )
- the R pixel surrounded by the thick frame in the first row and the second column in the block BL is selected as a moving image pixel, and a pixel signal is read from the moving image pixel.
- the still image readout unit 112 reads out pixel signals from three still image pixels surrounded by circles in the first row in the block BL, that is, G pixels, R pixels, and G pixels, respectively.
- the R pixel in the first row and the second column surrounded by the thick frame and the circle is included in both the moving image readout unit 111 and the still image readout unit 112.
- the pixel signal is read out and selected as a pixel for use.
- the pixel signal of the moving image pixel read out in this way is used for generating moving image data in the moving image generating unit 4a in FIG.
- the read pixel signal of the still image pixel is temporarily stored in the memory 5 of FIG. 1 or a memory (not shown) in the control unit 4.
- a filter is applied to the hatched pixels in synchronization with or before and after the readout of the pixel signals of the moving image pixels and the still image pixels.
- the control unit 60 changes the filter unit 35 to the BK (black) state, that is, the light shielding state. More specifically, in the N frame, the filter unit 35 is controlled to be in a light-shielded state for pixels with diagonal lines other than the still image pixel from which the pixel signal is read out by the still image reading unit 112.
- the photoelectric conversion unit 34 of the pixel in the light-shielded state holds the electric charge that is accumulated by photoelectric conversion before the filter unit 35 enters the light-shielded state.
- the electric charges accumulated in the photoelectric conversion units 34 of the remaining light-shielded pixels are held until the subsequent (N + 1) frame, (N + 2) frame, and (N + 3) frame.
- the moving image readout unit 111 moves the R pixel surrounded by the thick frame in the first row and the second column in the block BL as in the N frame. And the pixel signal is read out.
- the still image readout unit 112 includes, from each of the two still image pixels, that is, each of the two light-shielded B pixels surrounded by circles in the second row, the first column and the second row, the third column in the block BL. The pixel signal based on the charge held in the photoelectric conversion unit 34 is read out.
- the moving image readout unit 111 reads out the pixel signal of the R frame with the thick frame newly generated by exposure, and the still image readout unit 112 reads out the still image A pixel signal corresponding to the charge held in the pixel is read out.
- the pixel signals of the (N + 1) -frame moving image pixels read out in this way are used for generating moving image data in the moving image generating unit 4a in FIG. Further, the read pixel signal of the still image pixel is temporarily stored in the memory 5 of FIG. 1 or a memory (not shown) in the control unit 4.
- the moving image readout unit 111 moves the R pixel surrounded by the thick frame in the first row and the second column in the block BL as in the N frame. And the pixel signal is read out.
- the still image readout unit 112 includes, from each of two still image pixels, that is, each of the two light-shielded G pixels surrounded by circles in the third row, first column and the third row, third column in the block BL. The pixel signal based on the charge held in the photoelectric conversion unit 34 is read out.
- the moving image readout unit 111 reads out the pixel signal of the R frame with the thick frame newly generated by exposure, and the still image readout unit 112 A pixel signal corresponding to the charge held in the pixel is read out.
- the pixel signals of the moving image pixels of the (N + 2) frame read out in this way are used for generating moving image data in the moving image generating unit 4a in FIG.
- the read pixel signal of the still image pixel is temporarily stored in the memory 5 of FIG. 1 or a memory (not shown) in the control unit 4.
- the moving image readout unit 111 moves the R pixel surrounded by the thick frame in the first row and the second column in the block BL as in the N frame. And the pixel signal is read out.
- the still image reading unit 112 includes two still image pixels, that is, a light-shielded G pixel surrounded by a circle in the second row and second column in the block BL and a light-shielded state surrounded by a circle in the third row and second column. A pixel signal based on the charge held in the photoelectric conversion unit 34 is read from each of the R pixels.
- the moving image readout unit 111 reads out the pixel signal of the R frame with the thick frame newly generated by exposure, and the still image readout unit 112 A pixel signal corresponding to the charge held in the pixel is read out.
- the pixel signal of the moving image pixel of the (N + 3) frame read out in this way is used for generating moving image data in the moving image generating unit 4a in FIG.
- the read pixel signal of the still image pixel is temporarily stored in the memory 5 of FIG. 1 or a memory (not shown) in the control unit 4.
- the pixel signal read out as the pixel signal of the still image pixel between N frames to (N + 3) frames and temporarily stored in the memory is used by the still image generation unit 4b to generate still image data. It is done.
- the imaging device 3 reads out a pixel signal based on the electric charge photoelectrically converted from the moving image pixel in each of N to (N + 3) frames at the time of moving image shooting.
- the imaging device 3 reads pixel signals corresponding to the charges held in the photoelectric conversion unit 34 from different pixels 10 among the still image pixels in four frames N to (N + 3).
- the moving image generation unit 4a of the image sensor 3 generates moving image data based on moving image pixel signals that are sequentially output for each frame of moving image shooting.
- the still image generation unit 4b of the image pickup device 3 generates still image data based on still image pixel signals output over a plurality of frames. Specifically, the still image generation unit 4b generates still image data using the pixel signals of all the pixels by synthesizing the still image pixel signals output for each frame.
- the image sensor 3 can perform still image shooting in parallel with moving image shooting by separately reading out pixel signals for still images over a plurality of frames.
- the image pickup device 3 since the image pickup device 3 reads pixel signals from the same number of pixels for each frame, it reads pixel signals from all still image pixels while preventing the frame rate of moving image shooting from being reduced. It can be carried out. That is, moving image data having a high temporal resolution can be generated.
- still image data can be generated by reading out pixel signals of all pixels, still image data with high spatial resolution can be generated.
- the image sensor 3 can generate still image data using pixel signals based on electric charges generated by photoelectric conversion at the same timing in all pixels. As a result, for example, the image quality of a still image of a moving subject can be improved.
- the image pickup device 3 controls the filter unit 35 to place the pixel 10 in a light-shielded state, thereby causing the photoelectric conversion unit 34 to hold charges generated by photoelectric conversion. That is, the photoelectric conversion unit 34 functions as a storage unit that stores a signal (charge). For this reason, compared with the case where a memory element is provided separately for each pixel, the area of the image sensor can be reduced. In addition, it is possible to avoid a reduction in the area of the photoelectric conversion unit 34 by arranging a separate memory element.
- the pixel signal may be read out from the still image pixel in a smaller number of frames or in a larger number of frames without being limited to four frames.
- all pixels are selected as still image pixels and pixel signals are read from all pixels.
- these pixels may be selected as still image pixels to read out pixel signals from some of the pixels.
- the moving image pixels surrounded by the thick frame in FIG. 4 may be dedicated to moving images, and the rest may be used as still image pixels, and all of the remaining still image pixels may be light-shielded pixels. It is good.
- FIG. 5 is a diagram for explaining a specific example of the signal reading method of the image sensor 3 according to the first embodiment.
- FIGS. 5A to 5E as in the cases of FIGS. 4A to 4E, the moving image pixels and the still image pixels are obtained for each moving image shooting frame from N ⁇ 1 to N + 3 frames.
- An example of reading a pixel signal is shown.
- a specific example of a method for reading out a pixel signal will be described with reference to FIG.
- the image sensor 3 includes a vertical signal line 30 (vertical signal line 30a to vertical signal line 30c) for each column of a plurality of pixels 10 arranged in the second direction, ie, the vertical direction. Is provided. All the pixels 10 are provided with a switch SW1 (reference numeral M4 in FIG. 6). Further, the image sensor 3 includes a switch SW2 that connects the pixel 10 at the coordinate (2, 2) and the vertical signal line 30c, and a switch SW3 that connects the pixel 10 at the coordinate (3, 2) and the vertical signal line 30a. And are provided. The pixel signal of the moving image pixel is always read through the vertical signal line 30b (only) in each frame of moving image shooting.
- the moving image pixels are the remaining pixels thinned out in the row direction and the column direction among all the pixels. Therefore, the vertical signal line from which the pixel signal is read from the moving image pixel is a vertical signal line to which the moving image pixel is connected, and is a part of the vertical signal line. Therefore, the imaging device 3 reads out the pixel signal of the still image pixel via the vertical signal lines 30a and 30c from which the pixel signal of the moving image pixel is not output in each frame of the moving image shooting. For this reason, the image sensor 3 can simultaneously read out the pixel signals for moving images and the pixel signals for still images. This will be described in detail below.
- the switch SW1 of the pixel 10 at the coordinates (1, 2) is turned on.
- the moving image pixel at coordinates (1, 2) outputs a pixel signal to the vertical signal line 30b.
- the switches SW1, SW2, and SW3 of other pixels are in an off state.
- the switch SW1 of each pixel at the coordinates (1, 1), (1, 2), (1, 3) is turned on.
- the moving image pixel at coordinates (1, 2) outputs a pixel signal based on the charge generated by the photoelectric conversion to the vertical signal line 30b.
- the pixel signal of the moving image pixel read out in the N frame is used as a moving image pixel signal and a still image pixel signal.
- the still image pixel at the coordinates (1, 1) outputs a pixel signal based on the electric charge generated by the photoelectric conversion to the vertical signal line 30a.
- the still image pixel at coordinates (1, 3) outputs a pixel signal based on the charge generated by the photoelectric conversion to the vertical signal line 30c.
- the imaging device 3 puts pixels that are not to be read out in the N frame into a light shielding state. That is, the pixel 10 in the region 240 illustrated in FIG. 5 becomes a light-shielded pixel, and accumulates (holds) the charge generated by the photoelectric conversion in the photoelectric conversion unit 34.
- the switch SW1 of each pixel 10 at coordinates (1, 2), (2, 1), (2, 3) is turned on.
- the moving picture pixel outputs a pixel signal based on the charge generated by the photoelectric conversion to the vertical signal line 30b.
- the still image pixels at coordinates (2, 1) and (2, 3) output pixel signals based on the charges held in the respective photoelectric conversion units 34 to the vertical signal lines 30a and 30c, respectively.
- the switch SW1 of each pixel 10 at coordinates (1, 2), (3, 1), (3, 3) is turned on.
- the moving picture pixel outputs a pixel signal based on the charge generated by the photoelectric conversion to the vertical signal line 30b.
- the still image pixels at coordinates (3, 1) and (3, 3) output pixel signals based on the charges held in the respective photoelectric conversion units 34 to the vertical signal lines 30a and 30c, respectively.
- the moving image pixel switch SW1 of the coordinates (1, 2) is turned on, so that the moving image pixel is a pixel signal based on the charge generated by photoelectric conversion. Is output to the vertical signal line 30b.
- the switch SW2 is turned on, the still image pixel at the coordinates (2, 2) outputs a pixel signal based on the charge held in the photoelectric conversion unit 34 to the vertical signal line 30c.
- the switch SW3 is turned on, the still image pixel at the coordinates (3, 2) outputs a pixel signal based on the charge held in the photoelectric conversion unit 34 to the vertical signal line 30a.
- the imaging device 3 thins out the pixels in the row direction and the column direction out of all the pixels, selects a moving image pixel, and reads out a pixel signal from the moving image pixel. For this reason, a pixel signal can be read from the moving image pixel at high speed. As a result, the image sensor 3 can improve the frame rate of moving image shooting. Further, the image pickup device 3 reads out the pixel signal for moving image through the vertical signal line 30b, and the pixel signal for still image through the vertical signal lines 30a and 30c not used for reading out the pixel signal for moving image. Is read out.
- the imaging device 3 can prevent the frame rate of moving image shooting from being lowered when shooting a still image during moving image shooting.
- FIG. 6 is a circuit diagram illustrating a configuration of the pixel 10 of the image sensor 3 according to the first embodiment.
- FIG. 7 is a circuit diagram showing a configuration of part of the image sensor 3 according to the first embodiment.
- FIG. 8 is a timing chart showing an operation example of the image sensor 3 according to the first embodiment.
- the pixel 10 includes a photoelectric conversion unit 34 and a reading unit 20.
- the photoelectric conversion unit 34 has a function of converting incident light into charges and storing the photoelectrically converted charges.
- the reading unit 20 includes a transfer unit 25, a reset unit 26, a floating diffusion 27, an amplification unit 28, and a selection unit 29.
- the transfer unit 25 is controlled by the signal TX and transfers the electric charge photoelectrically converted by the photoelectric conversion unit 34 to the floating diffusion 27. That is, the transfer unit 25 forms a charge transfer path between the photoelectric conversion unit 34 and the floating diffusion 27.
- the capacitor FD of the floating diffusion 27 accumulates charges.
- the amplifying unit 28 outputs a pixel signal obtained by amplifying a signal based on charges accumulated in the capacitor FD.
- the amplifying unit 28 includes a transistor M3 whose drain terminal, gate terminal, and source terminal are connected to the power supply VDD, the floating diffusion 27, and the selection unit 29, respectively.
- the source terminal of the amplifying unit 28 is connected to the vertical signal line 30 via the selection unit 29.
- the amplifying unit 28 functions as a part of a source follower circuit using a current source (not shown) connected to the vertical signal line 30 as a load current source.
- the reset unit 26 is controlled by the signal RST, resets the charge of the capacitor FD, and resets the potential of the floating diffusion 27 to the reset potential (reference potential).
- the selection unit 29 is controlled by the signal SEL and outputs the pixel signal from the amplification unit 28 to the vertical signal line 30.
- the transfer unit 25, the reset unit 26, and the selection unit 29 are configured by, for example, a transistor M1, a transistor M2, and a transistor M4, respectively.
- the transistor M4 is the switch SW1 in FIG.
- the amplification unit 28 and the selection unit 29 constitute an output unit that outputs a signal based on the electric charge generated by the photoelectric conversion unit 34.
- the imaging device 3 includes a plurality of pixels 10 arranged in a matrix and vertical signal lines 30a to 30c as described above.
- the signal TX, the signal RST, and the signal SEL input to each pixel 10 are supplied by the pixel vertical drive unit 70 (see FIG. 2).
- the switches SW2 and SW3 are ON / OFF controlled by a control signal supplied from the pixel vertical driving unit 70.
- nine pixels from the pixel 10 (1, 1) to the pixel 10 (3, 3) are illustrated as in the case of FIGS. Yes.
- the horizontal axis represents time.
- a control signal when a control signal is at a high level (for example, a power supply potential), the transistor or switch to which the control signal is input is turned on, and when the control signal is at a low level (for example, a ground potential), the control signal is input.
- the transistor or switch to be turned off is turned off.
- the signals RST1 to RST9 sequentially become high level, so that the transistor M2 of each reset unit 26 is turned on in the pixels 10 (1, 1) to 10 (3, 3).
- the potential of the floating diffusion 27 becomes the reset potential.
- the filter units 35 of the pixels 10 (1, 1) to 10 (3, 3) are controlled, and as described with reference to FIG. To be an array.
- the signals TX1 to TX3 are set to the high level, so that the transistors M1 of the transfer units 25 of the pixels 10 (1, 1) to 10 (1, 3) are turned on. Thereby, the charges photoelectrically converted by the PD in the period from time t2 to time t3 are transferred to the capacitor FD of the floating diffusion 27, respectively.
- the signal SEL1 and the signal SEL2 are at the high level, the pixel signals of the pixels 10 (1, 1) to 10 (1, 3) are respectively sent to the vertical signals by the amplifier 28 and the selector 29. The signals are output to the line 30a to the vertical signal line 30c.
- the transmission wavelength of the filter unit 35 of the pixels 10 (2,1) to 10 (3,3) is controlled to shield the pixels 10 (2,1) to 10 (3,3). Put it in a state.
- the PDs of the pixels 10 (2, 1) to 10 (3, 3) store (hold) charges generated by photoelectric conversion.
- the signals TX2, TX4, and TX6 are set to the high level, so that the transistor M1 of the transfer unit 25 of the pixel 10 (1, 2), the pixel 10 (2, 1), and the pixel 10 (2, 3) is turned on. become.
- the transistor M1 of the transfer unit 25 of the pixel 10 (1, 2), the pixel 10 (2, 1), and the pixel 10 (2, 3) is turned on. become.
- the newly photoelectrically converted charge is transferred to the capacitor FD of the floating diffusion 27.
- the charges held in the PD are respectively transferred to the capacitance FD of the floating diffusion 27.
- the signal SEL2 since the signal SEL2 becomes high level, the pixel signal of the pixel 10 (1, 2) is output to the vertical signal line 30b.
- the pixel signal of the pixel 10 (2, 1) is output to the vertical signal line 30a, and the pixel signal of the pixel 10 (2, 3) is output to the vertical signal line 30c. Is output.
- the signals TX2, TX7, and TX9 are set to the high level, so that the transistor M1 of the transfer unit 25 of the pixel 10 (1, 2), the pixel 10 (3, 1), and the pixel 10 (3, 3) is turned on. become.
- the transistor M1 of the transfer unit 25 of the pixel 10 (1, 2), the pixel 10 (3, 1), and the pixel 10 (3, 3) is turned on. become.
- the newly photoelectrically converted charge is transferred to the capacitor FD of the floating diffusion 27.
- the charge held in the PD is transferred to the capacitor FD of the floating diffusion 27, respectively.
- the signal SEL2 since the signal SEL2 becomes high level, the pixel signal of the pixel 10 (1, 2) is output to the vertical signal line 30b.
- the pixel signal of the pixel 10 (3, 1) is output to the vertical signal line 30a, and the pixel signal of the pixel 10 (3, 3) is output to the vertical signal line 30c. Is output.
- the signals TX2, TX5, and TX8 are at a high level, so that the transistor M1 of the transfer unit 25 of the pixel 10 (1,2), the pixel 10 (2,2), and the pixel 10 (3,2) is turned on. become.
- the transistor M1 of the transfer unit 25 of the pixel 10 (1,2), the pixel 10 (2,2), and the pixel 10 (3,2) is turned on. become.
- the pixel 10 (1, 2) the newly photoelectrically converted charge is transferred to the capacitor FD of the floating diffusion 27.
- the charges held in the PD are respectively transferred to the capacitance FD of the floating diffusion 27.
- the signal SEL2 since the signal SEL2 becomes high level, the pixel signal of the pixel 10 (1, 2) is output to the vertical signal line 30b.
- the pixel signal of the pixel 10 (2, 2) is output to the vertical signal line 30c via the switch SW2.
- the pixel signal of the pixel 10 (3, 2) is output to the vertical signal line 30a via the switch SW3.
- Pixel signals output to the vertical signal lines 30a to 30c in each frame are output to the control unit 4 of the electronic camera 1 through the column circuit unit 80, the horizontal scanning unit 90, and the output unit 100 shown in FIG. .
- the moving image generation unit 4a of the control unit 4 generates moving image data based on moving image pixel signals that are sequentially output for each frame.
- the still image generation unit 4b of the control unit 4 generates still image data based on the still image pixel signals output over a plurality of frames.
- the imaging device 3 includes a first pixel that has a photoelectric conversion unit 34 that photoelectrically converts incident light to generate and accumulate charges, and outputs a signal based on the charge generated by the photoelectric conversion unit 34, and incident light
- a photoelectric conversion unit that includes a filter unit 35 that switches between a light-blocking state that blocks light and a transmission state that transmits incident light, and a photoelectric conversion unit 34 that photoelectrically converts light transmitted through the filter unit 35 to generate and store charges.
- a second pixel that outputs a signal based on the electric charge generated in 34, and a first exposure control that photoelectrically converts light incident on the first pixel and the second pixel with the filter unit 35 of the second pixel in a transmitting state.
- the second pixel is switched to the second exposure control in which the filter unit 35 of the second pixel is shielded to hold the charge accumulated in the photoelectric conversion unit 34 of the second pixel and the light incident on the first pixel is photoelectrically converted.
- An exposure control unit filter control unit 60
- the first exposure control is performed to output a signal from the first pixel and a part of the second pixel, and then the second exposure control is performed to generate a signal from the first pixel and the second pixel excluding a part of the second pixel.
- An output control unit (system control unit 110) for outputting. Since it did in this way, the pixel signal from all the still image pixels can be read while preventing the frame rate of moving image shooting from being lowered.
- the electronic camera 1 includes a first pixel that has a photoelectric conversion unit 34 that photoelectrically converts incident light to generate and accumulate charges, and outputs a signal based on the charge generated by the photoelectric conversion unit 34, and incident light
- a photoelectric conversion unit that includes a filter unit 35 that switches between a light-blocking state that blocks light and a transmission state that transmits incident light, and a photoelectric conversion unit 34 that photoelectrically converts light transmitted through the filter unit 35 to generate and store charges.
- a second pixel that outputs a signal based on the electric charge generated in 34, and a first exposure control that photoelectrically converts light incident on the first pixel and the second pixel with the filter unit 35 of the second pixel in a transmitting state.
- the second pixel is switched to the second exposure control in which the filter unit 35 of the second pixel is shielded to hold the charge accumulated in the photoelectric conversion unit 34 of the second pixel and the light incident on the first pixel is photoelectrically converted.
- An exposure control unit (control unit 4) and a first dew After outputting a signal from the first pixel and a part of the second pixel by performing control, an output for performing a second exposure control and outputting a signal from the second pixel excluding the first pixel and a part of the second pixel.
- a still image pixel signal based on charges generated by photoelectric conversion at the same timing is read out in a plurality of frames. For this reason, still image data can be generated using pixel signals based on charges generated by photoelectric conversion at the same timing. As a result, for example, the image quality of a still image of a moving subject can be improved.
- the photoelectric conversion unit 34 holds charges generated by photoelectric conversion. For this reason, compared with the case where a memory element is provided separately for each pixel, the area of the image sensor can be reduced. In addition, it is possible to avoid a reduction in the area of the photoelectric conversion unit 34 by arranging a separate memory element.
- FIG. 9 is a circuit diagram illustrating a configuration of a part of the image sensor according to the first modification.
- the image pickup device 3 according to Modification 1 has a configuration in which the readout unit 20 is shared by two pixels 10.
- the pixels 10 (1,1) to 10 (6,3) each include a PD.
- a pixel 10 (1, 2) and a pixel 10 (4, 2) are moving image pixels selected by the moving image readout unit 111, respectively.
- an example of a method for reading a pixel signal will be described.
- the image sensor 3 reads the pixel signals of the pixels (1, 1), (1, 2), and (1, 3) to the vertical signal lines 30a to 30c, respectively. After these pixel signals are read out, the image sensor 3 reads out the pixel signals of the pixels (4, 1), (4, 2), and (4, 3) to the vertical signal lines 30a to 30c, respectively. Further, in the N frame, the image sensor 3 puts pixels that are not to be read out in the N frame in a light-shielded state, and accumulates (holds) the charges generated by the photoelectric conversion in the photoelectric conversion units 34 of the respective pixels.
- the image sensor 3 reads the pixel signals of the pixels (2, 1), (1, 2), and (2, 3) to the vertical signal lines 30a to 30c, respectively. After these pixel signals are read out, the image sensor 3 reads out the pixel signals of the pixels (5, 1), (4, 2), and (5, 3) to the vertical signal lines 30a to 30c, respectively. . In the (N + 2) frame, the image sensor 3 reads the pixel signals of the pixels (3, 1), (1, 2), and (3, 3) to the vertical signal lines 30a to 30c, respectively. After these pixel signals are read out, the image sensor 3 reads out the pixel signals of the pixels (6, 1), (4, 2), and (6, 3) to the vertical signal lines 30a to 30c, respectively. .
- the imaging device 3 reads the pixel signal of the pixel (1, 2) to the vertical signal line 30b, reads the pixel signal of the pixel (3, 2) to the vertical signal line 30a via the switch SW13, The pixel signal of the pixel (6, 2) is read out to the vertical signal line 30c via the switch SW16.
- the image sensor 3 reads the pixel signal of the pixel (4, 2) to the vertical signal line 30b, The pixel signal of the pixel (2, 2) is read to the vertical signal line 30a via the switch SW11, and the pixel signal of the pixel (5, 2) is read to the vertical signal line 30c via the switch SW16.
- the image sensor according to the first modification has a configuration in which the readout unit 20 is shared by the two pixels 10, the chip area of the image sensor can be reduced.
- a capacitor C may be provided for each pixel 10 and this capacitor C may be used as a storage unit.
- the imaging device transfers the charge generated by the photoelectric conversion unit 34 of each pixel 10 to the capacitor C through the first transfer unit 25 at the same timing, and accumulates (holds) the charge in the capacitor C. .
- the image sensor transfers the charge accumulated in the capacitor C to the floating diffusion 27 via the second transfer unit 105.
- the image sensor causes the signal SEL to be at a high level, and causes the pixel signal of the pixel 10 to be output to the vertical signal line 30 via the amplification unit 28 and the selection unit 29.
- the filter unit 35 includes three filters: an EC layer that develops R (red), an EC layer that develops G (green), and an EC layer that develops B (blue).
- the filter unit 35 may be configured by three filters: an EC layer that develops Mg (magenta), an EC layer that develops Ye (yellow), and an EC layer that develops Cy (cyan).
- the filter unit 35 may be a variable filter using liquid crystal.
- the filter unit 35 may use a light shielding member such as a MEMS shutter instead of a variable filter.
- the filter unit 35 includes a filter that transmits the first wavelength, a filter that transmits the second wavelength that is longer than the first wavelength, and a filter that transmits the third wavelength that is longer than the second wavelength.
- a combination of a color filter and a filter that can switch between a transmission state that transmits light and a light-blocking state that blocks light may be used.
- the filter unit 35 is a combination of a color filter (RGB or MgYeCy color filter) that transmits light in different wavelength regions and a variable filter (liquid crystal filter or MEMS shutter) that can be changed to a transmission state or a light-shielding state.
- the filter unit 35 may be a combination of a color variable filter that can change the transmission wavelength range as described above and a variable filter that can be changed to a transmission state or a light shielding state.
- the “light shielding state” of the filter unit 35 is not limited to a state in which incident light is completely shielded. Even a configuration in which a slight amount of light leaks from each filter unit 35 is included in the scope of the present invention. In that case, the pixel signal may be corrected by using a known technique for correcting the black level.
- the filter unit 35 of each pixel 10 may be controlled to arrange a W pixel having a W (white) filter unit 35 and a BK pixel having a BK (black) filter unit 35.
- the control unit 4 can generate monochrome image data based on the pixel signal output from the image sensor 3.
- Modification 7 In the embodiment and the modification described above, the example in which the photodiode is used as the photoelectric conversion unit has been described. However, a photoelectric conversion film (organic photoelectric film) may be used as the photoelectric conversion unit.
- the imaging device 3 described in the above-described embodiment and modification is applied to a camera, a smartphone, a tablet, a camera built in a PC, an in-vehicle camera, a camera mounted on an unmanned aircraft (such as a drone or a radio control machine), and the like. Also good.
- 3 image sensor 10 pixels, 4a moving image generation unit, 4b still image generation unit, 35 filter unit, 60 filter control unit, 110 system control unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Nonlinear Science (AREA)
- Sustainable Development (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Energy (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
撮像素子は、入射した光を光電変換して電荷を生成する光電変換部を有し、前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部とを有し、前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、を備える。
Description
本発明は、撮像素子およびカメラに関する。
動画像撮像中に静止画像データを生成する撮像装置が知られている(特許文献1)。しかし、従来の撮像装置は、動画撮影時のフレームレートが低下すると言う問題が有った。
本発明の第1の態様によると、撮像素子は、入射した光を光電変換して電荷を生成する光電変換部を有し、前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部とを有し、前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、を備える。
本発明の第2の態様によると、カメラは、入射光を光電変換して電荷を生成し蓄積する光電変換部を有し前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、入射光を遮光する遮光状態と前記入射光を透過させる透過状態とを切換えるフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成し蓄積する光電変換部とを有し前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、を備える。
本発明の第3の態様によると、撮像素子は、光電変換部を有する複数の画素と、前記複数の画素のうちの一部の画素の信号を動画用信号として読み出す第1の読み出し部と、前記第1の読み出し部による複数回の動画用信号の読み出し動作のうちの一つの読み出し動作に関連して複数の画素の信号を記憶する記憶部と、前記記憶部に記憶された前記信号を静止画用信号として読み出す第2の読み出し部と、を備える。
本発明の第4の態様によると、撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する複数の画素と、複数のうち一部の前記画素の前記出力部から信号を出力させた後、前記一部を除く前記画素の前記フィルタ部を遮光状態にして前記出力部から信号を出力させる制御部と、を備える。
本発明の第5の態様によると、撮像素子は、光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力部する第1画素と、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する第2画素と、前記第1画素の前記出力部から信号を出力させた後、前記第2画素の前記フィルタ部を遮光状態にして前記第2画素の前記出力部から信号を出力させる制御部と、を備える。
本発明の第2の態様によると、カメラは、入射光を光電変換して電荷を生成し蓄積する光電変換部を有し前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、入射光を遮光する遮光状態と前記入射光を透過させる透過状態とを切換えるフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成し蓄積する光電変換部とを有し前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、を備える。
本発明の第3の態様によると、撮像素子は、光電変換部を有する複数の画素と、前記複数の画素のうちの一部の画素の信号を動画用信号として読み出す第1の読み出し部と、前記第1の読み出し部による複数回の動画用信号の読み出し動作のうちの一つの読み出し動作に関連して複数の画素の信号を記憶する記憶部と、前記記憶部に記憶された前記信号を静止画用信号として読み出す第2の読み出し部と、を備える。
本発明の第4の態様によると、撮像素子は、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する複数の画素と、複数のうち一部の前記画素の前記出力部から信号を出力させた後、前記一部を除く前記画素の前記フィルタ部を遮光状態にして前記出力部から信号を出力させる制御部と、を備える。
本発明の第5の態様によると、撮像素子は、光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力部する第1画素と、光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する第2画素と、前記第1画素の前記出力部から信号を出力させた後、前記第2画素の前記フィルタ部を遮光状態にして前記第2画素の前記出力部から信号を出力させる制御部と、を備える。
(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の構成を示すブロック図である。図1では、第1の実施の形態に係る撮像装置の一例である電子カメラ1(以下、カメラ1と称する)の構成例を示す。カメラ1は、撮像光学系(結像光学系)2、撮像素子3、制御部4、メモリ5、表示部6、および操作部7を備える。撮影光学系2は、複数のレンズおよび絞りを有し、撮像素子3に被写体像を結像する。なお、撮影光学系2は、カメラ1から着脱可能にしてもよい。
図1は、第1の実施の形態に係る撮像装置の構成を示すブロック図である。図1では、第1の実施の形態に係る撮像装置の一例である電子カメラ1(以下、カメラ1と称する)の構成例を示す。カメラ1は、撮像光学系(結像光学系)2、撮像素子3、制御部4、メモリ5、表示部6、および操作部7を備える。撮影光学系2は、複数のレンズおよび絞りを有し、撮像素子3に被写体像を結像する。なお、撮影光学系2は、カメラ1から着脱可能にしてもよい。
撮像素子3は、例えば、CMOSイメージセンサである。撮像素子3は、撮影光学系2により形成された被写体像を撮像する。撮像素子3には、後に詳述するように、マイクロレンズと、透過波長を変更可能なフィルタ部と、光電変換部とを有する複数の画素が2次元状に配置される。光電変換部は、例えばフォトダイオード(PD)によって構成される。撮像素子3は、入射した光を光電変換して画素信号を生成し、生成した画素信号を制御部4に出力する。画素信号は、光電変換部によって光電変換された電荷に基づいて生成される信号である。撮像素子3は、詳細は後述するが、静止画像データを生成するための静止画用の画素信号と、動画像データを生成するための動画用の画素信号とを、制御部4に出力する。ここで、動画像とは、全画素のうちの特定の行や列の画素を間引いて読み出した画素信号、または複数の画素の信号を加算して読み出した画素信号に基づいて生成される画像である。また、静止画像とは、このような間引き読み出しや加算読出しを行わずに撮像素子3の各画素から個別に読み出した画素信号に基づいて生成される画像である。
メモリ5は、例えば、メモリカード等の記録媒体である。メモリ5には、静止画像データや動画像データ等が記録される。メモリ5へのデータの書き込みや、メモリ5からのデータの読み出しは、制御部4によって行われる。表示部6は、静止画像データに基づく静止画像、動画像データに基づく動画像、シャッター速度や絞り値等の撮影に関する情報、およびメニュー画面等を表示する。操作部7は、静止画撮影用のボタン、動画撮影用のボタン、各種設定スイッチ等を含み、それぞれの操作に応じた操作信号を制御部4へ出力する。
制御部4は、CPU、ROM、RAM等により構成され、制御プログラムに基づきカメラ1の各部を制御する。また、制御部4は、動画像生成部4aと、静止画像生成部4bとを有する。動画像生成部4aは、撮像素子3から出力される動画用の画素信号に対して各種の画像処理を行って、動画像データを生成する。静止画像生成部4bは、撮像素子3から出力される静止画用の画素信号に対して各種の画像処理を行って、静止画像データを生成する。画像処理には、例えば、階調変換処理、色補間処理、輪郭強調処理等の公知の画像処理が含まれる。
図2および図3を参照して、第1の実施の形態に係る撮像素子3の構成について説明する。図2は、第1の実施の形態に係る撮像素子3の一部の構成を示すブロック図である。図3は、第1の実施の形態に係る撮像素子3を説明するための図である。図3(a)は、撮像素子3の断面構造の一例を示す図であり、図3(b)は、撮像素子3のフィルタ部の透明電極のレイアウト例を説明するための平面図である。
図2に示すように、撮像素子3は、複数の画素10と、フィルタ垂直駆動部40と、フィルタ水平駆動部50と、フィルタ制御部60と、画素垂直駆動部70と、カラム回路部80と、水平走査部90と、出力部100と、システム制御部110とを備える。撮像素子3では、画素10が二次元状(例えば、第1方向である行方向およびそれと交差する第2方向である列方向)に配置される。図2に示す例では、説明を簡略化するために、画素10は水平方向15画素×垂直方向12画素のみ図示しているが、撮像素子3は、例えば数百万画素~数億画素、又はそれ以上の画素を有する。
図3(a)に示すように、撮像素子3は、半導体基板220と、配線層210と、支持基板200と、マイクロレンズ31と、フィルタ部35とを備える。図3(a)に示す例では、撮像素子3は、裏面照射型の撮像素子として構成されている。半導体基板220は、配線層210を介して支持基板200に積層される。半導体基板220は、シリコン等の半導体基板により構成され、支持基板200は、半導体基板やガラス基板等により構成される。配線層210は、導体膜(金属膜)および絶縁膜を含む配線層であり、複数の配線やビアなどが配置される。導体膜には、銅、アルミニウム等が用いられる。絶縁膜は、酸化膜や窒化膜などで構成される。図3(a)に示すように、撮影光学系2を通過した光は、主にZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。
画素10は、マイクロレンズ31と、フィルタ部35と、遮光膜32と、光電変換部34とを含んで構成される。マイクロレンズ31は、入射した光を光電変換部34に集光する。遮光膜32は、隣接する画素10の境界に配置され、隣接画素間で光が漏れることを抑制する。
フィルタ部35は、マイクロレンズ31側から半導体基板220側に向かって順次積層されたエレクトロクロミック(以下、ECと称する)層21、22、23と、透明電極11、12、13、14とを有する。EC層21~23は、金属酸化物等のエレクトロクロミック材料を用いて形成される。透明電極11~14は、例えばITO(酸化インジウムスズ)等により形成される。EC層21と透明電極12との間、EC層22と透明電極13との間、及びEC層23と透明電極14との間には、絶縁膜33がそれぞれ設けられる。また、フィルタ部35には、不図示の電解質層(電解質膜)が設けられる。
透明電極11は、図3(b)に明示したように、X方向に、即ち行方向に配列された複数のEC層21の一方の面を覆うように、行方向に配列された複数のEC層毎に、配置される。図2に示した例では、画素10の配列は、12行であるので、透明電極11は、12本並置されている。透明電極12及び透明電極13は、透明電極11と同様に、X方向に配置された複数のEC層22及びEC層23の一方の面を覆うように配置される。
透明電極14は、3つのEC層21、22、23に共通の電極で、EC層23の他方の面側に配置される。共通透明電極14は、図3(b)に明示したように、Y方向、即ち列方向に配列された複数のEC層23に沿って、列方向に配列された複数のEC層毎に、配置される。図2に示した例では、画素10の配列は、15列であるので、共通透明電極14は、15本並置されている。
透明電極11~13および共通透明電極14は、EC層21、22、23に対してマトリクス状(網目状)に配置される電極となる。透明電極11~13は、フィルタ垂直駆動部40に接続され、共通透明電極14は、フィルタ水平駆動部50に接続される。これにより、本実施の形態では、マトリクス状の電極を用いてEC層21、22、23の駆動制御を行うアクティブマトリクス駆動を行うことができる。
EC層21は、透明電極11と共通透明電極14とによる駆動信号の供給によって酸化還元反応を生じることによりB(青)を発色する。従って、EC層21は、駆動信号の供給によって、入射光のうち、B(青)に対応する波長域の光を透過させる。EC層22は、透明電極12と共通透明電極14とによる駆動信号の供給によって酸化還元反応を生じることによりG(緑)を発色する。従って、EC層22は、駆動信号の供給によって、入射光のうち、G(緑)に対応する波長域の光を透過させる。EC層23は、透明電極13と共通透明電極14とによる駆動信号の供給によって酸化還元反応を生じることによりR(赤)を発色する。従って、EC層23は、駆動信号の供給によって、入射光のうち、R(赤)に対応する波長域の光を透過させる。EC層21、22、23は、上述の駆動信号の供給を停止した場合は、一定時間の間は上記の発色が持続され、リセット信号を供給した場合は、フィルタ部35に入射する光のうちの全ての波長域の光を透過する透明(消色)の状態になる。
上述のように、複数のフィルタ部35の各々は、B(青)を発色するEC層21、G(緑)を発色するEC層22、およびR(赤)を発色するEC層23の3つのフィルタにより構成される。これにより、フィルタ部35は、EC層21~23の透過波長の組み合わせにより、W(白)、BK(黒)、R(赤)、G(緑)、B(青)のいずれかの波長域の光を主に透過させることが可能となる。
3つのEC層21、22、23のいずれにも、駆動信号が供給されていない状態では、3層EC透過波長域は、W(白)となる。3つのEC層21、22、23の全てに駆動信号を供給すると、3層EC透過波長域は、BK(黒)となる。同様に、EC層21のみに、EC層22のみに、及びEC層23のみに、それぞれ駆動信号を供給した場合には、3層EC透過波長域は、それぞれB(青)、G(緑)、R(赤)になる。即ち、フィルタ部35は、EC層21のみに駆動信号を供給した場合にはB(青)の色フィルタとなり、EC層22のみに駆動信号を供給した場合にはG(緑)の色フィルタとなり、EC層23のみに駆動信号を供給した場合にはR(赤)の色フィルタとなる。
後述するように、各フィルタ部35は、動画撮影時又は静止画撮影時には、B(青)の色フィルタ、G(緑)の色フィルタ、R(赤)の色フィルタに制御される。例えば、Rの色フィルタを有する画素(以下、R画素と称する)と、Gの色フィルタを有する画素(以下、G画素と称する)と、Bの色フィルタを有する画素(以下、B画素と称する)とが、ベイヤー配列される。
また、フィルタ部35は、動画撮影中に静止画撮影が指示された時には、一部の画素についてB(青)の色フィルタ、G(緑)の色フィルタ、R(赤)の色フィルタに制御され、残部の画素についてBK(黒)に制御される。
図2において、フィルタ制御部60は、フィルタ垂直駆動部40およびフィルタ水平駆動部50から各フィルタ部35に入力される信号を制御することにより、各フィルタ部35の透過波長を設定(変更)する。フィルタ垂直駆動部40は、複数のフィルタ部35の行を選択して、即ち、複数の透明電極11~13のうちの所定の透明電極を選択してそれに駆動信号を供給する。フィルタ水平駆動部50は、複数のフィルタ部35の列を選択して、即ち、複数の共通透明電極14のうちの所定の共通透明電極を選択してそれに駆動信号を供給する。こうして、フィルタ垂直駆動部40によって選択された透明電極11~13とフィルタ水平駆動部50によって選択された共通透明電極14との両方に関するEC層が発色する。
例えば、図3(b)において、フィルタ水平駆動部50が3本の共通透明電極14のうちの右端の共通透明電極14を選択して駆動信号を供給し、更にフィルタ垂直駆動部40が9本の透明電極11~13のうち図3(b)において上端の透明電極11を選択して駆動信号を供給すると、右上端に位置するEC層21が発色する。また、フィルタ水平駆動部50が同じ共通透明電極14を選択して駆動信号を供給し、更にフィルタ垂直駆動部40が図3(b)において上端の透明電極12を選択して駆動信号を供給すると、右上端のEC層22が発色する。また、フィルタ水平駆動部50が同じ共通透明電極14を選択して駆動信号を供給し、更にフィルタ垂直駆動部40が図3(b)において上端の透明電極13を選択して駆動信号を供給すると、右上端のEC層23が発色する。
図2において、システム制御部110は、電子カメラ1の制御部4からの信号に基づいて、フィルタ制御部60、画素垂直駆動部70、カラム回路部80、水平走査部90、および出力部100を制御する。また、システム制御部110は、動画用読み出し部111と、静止画用読み出し部112とを有する。
動画用読み出し部111は、ユーザにより動画撮影用のボタンが操作されて動画撮影の指示が行われた場合に、撮像素子3に設けられた全画素10のうち動画像データを生成するために用いる画素(以下、動画用画素と称する)を選択し画素信号を読み出す。即ち、動画用読み出し部111は、動画撮影時に全画素10のうちから、画素信号を読み出すべき画素を指定する。動画用読み出し部111は、全画素10のうちの特定の行や列の画素を間引いて動画用画素を選択し、選択された動画用画素から画素信号を読み出す。すなわち、動画用読み出し部111は、間引き読み出しを行うことによって、所定のフレームレートで動画撮影を行う制御を行う。動画用読み出し部111は、例えば図2に斜線で示す複数の画素10を、動画用画素として選択して画素信号を読み出す。図2に示す例では、9画素に1画素の割合で動画用画素が選択されている。詳述すると、全画素を、3画素×3画素の9画素からなるブロックに分割し、各ブロック内の同一位置の画素が選択される。このように動画用画素を選択すると、選択された動画用画素もベイヤー配列となる。
静止画用読み出し部112は、ユーザにより静止画撮影用のボタンが操作されて静止画撮影の指示が行われた場合に、静止画像データを生成するために用いる画素(以下、静止画用画素と称する)を選択して画素信号を読み出す。本実施の形態では、静止画用読み出し部112は、撮像素子3の全ての画素10を静止画用画素として選択し、全画素10から画素信号を読み出す。
また、静止画用読み出し部112は、動画撮影中に静止画撮影用のボタンが操作されて、動画撮影の指示と静止画撮影の指示とが行われた場合は、動画撮影中に静止画撮影を行うための制御を行う。具体的には、静止画用読み出し部112は、全画素10を静止画用画素として選択するが、一度に全ての静止画用画素の画素信号を読み出すのではなく、静止画用画素の画素信号を動画像の複数のフレームに分けて読み出す。静止画用読み出し部112は、例えば1フレーム分の静止画用画素を動画像の2つのフレームに分けて読み出す場合には、全画素10のうち、その一部(例えば全画素の1/2)を動画像の第1のフレームで読み出し、残部の画素を動画像の第2のフレームで読み出す。静止画用読み出し部112は、動画像の複数のフレームに分けた静止画用画素の画素信号を、対応するフレームの動画用画素の画素信号の読み出し時にそれぞれ読み出す。
画素垂直駆動部70は、動画用読み出し部111および静止画用読み出し部112からの信号に基づいて、後述する信号TX、信号RST、信号SELなどの制御信号を各画素10に供給して、各画素10の動作を制御する。
カラム回路部80は、複数のアナログ/デジタル変換部(AD変換部)を含んで構成され、各画素10から後述する垂直信号線30を介して入力された信号をデジタル信号に変換し、変換後のデジタル信号を水平走査部90に出力する。水平走査部90は、カラム回路部80から出力された信号を、出力部100に順次出力する。出力部100は、不図示の信号処理部を有し、水平走査部90から入力された信号に対して相関二重サンプリングや信号量を補正する処理等の信号処理を行い、電子カメラ1の制御部4に出力する。出力部100は、LVDSやSLVS等の高速インタフェースに対応した入出力回路等を有し、信号を制御部4に高速に伝送する。
次に、図4を用いて、動画撮影と並行して静止画撮影を行う場合の撮像素子3の動作を説明する。図4(a)は、動画撮影時の(N-1)フレームにおける、動画用読み出し部111によって画素信号が読み出される動画用画素を示したものである。図4(b)は、動画撮影時のNフレームにおける、動画用読み出し部111によって画素信号が読み出される動画用画素と、静止画用読み出し部112によって画素信号が読み出される静止画用画素とを示したものである。図4(c)~(e)は、それぞれ、動画撮影時の(N+1)、(N+2)、(N+3)フレームにおける、動画用読み出し部111によって画素信号が読み出される動画用画素と、静止画用読み出し部112によって画素信号が読み出される静止画用画素とを示したものである。
図4において、撮像素子3の全画素を3画素×3画素の9画素からなるブロックBLに分割した時の一つのブロックBLが示されている。ブロックBLにおいて、太枠で囲まれた画素10は、動画用読み出し部111によって画素信号が読み出される動画用画素(図4ではR画素)である。また、丸が付けられた画素は、静止画用読み出し部112によって画素信号が読み出される静止画用画素である。
所定のフレームレートによる動画撮影時には、各画素のフィルタ部35は、B(青)の色フィルタ、G(緑)の色フィルタ、R(赤)の色フィルタに制御される。従って、図4(a)に示す動画撮影時の(N-1)フレームにおいて、撮像素子3の画素10は、G画素とR画素とB画素とがベイヤー配列に従って配置されている。動画用読み出し部111は、各ブロックBL内の同一位置の一つの画素(図示例では、ブロックBL内で1行目2列目の太枠で囲んだR画素)を動画用画素として選択し、その動画用画素から画素信号を読み出す。動画用読み出し部111は、図示のブロックBLと左右方向及び上下方向にそれぞれ隣接するブロックではG画素から画素信号を読み出し、図示のブロックBLと斜め方向に隣接するブロックではB画素から画素信号を読み出す。従って、動画用読み出し部111は、ベイヤー配列に従ったR画素、G画素、B画素から1/9の間引き読み出しを行う。
このように読み出された動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。
このように読み出された動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。
このような動画撮影中に、静止画撮影用のボタンが操作されて静止画撮影の指示が行われると、図4(b)に示したように、動画用読み出し部111は、(N-1)フレームと同様にブロックBL内で1行目2列目の太枠で囲んだR画素を動画用画素として選択し、その動画用画素から画素信号を読み出す。同時に、静止画用読み出し部112は、ブロックBL内の1行目の丸で囲んだ3つの静止画用画素、即ちG画素とR画素とG画素から、それぞれ画素信号を読み出す。このように、Nフレームでは、太枠及び丸で囲まれた1行目2列目のR画素は、動画用読み出し部111と静止画用読み出し部112との両方に、動画用画素及び静止画用画素として選択され、その画素信号が読み出される。
このように読み出された動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
このように読み出された動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
図4(b)に示した動画像のNフレームでは、上述の動画用画素及び静止画用画素の画素信号の読み出しに同期して又はその読み出しの前後に、斜線が付された画素について、フィルタ制御部60がフィルタ部35をBK(黒)状態、即ち遮光状態に変化させる。詳述すると、Nフレームでは、静止画用読み出し部112によって画素信号が読み出される静止画用画素以外の斜線が付された画素は、フィルタ部35が遮光状態に制御される。
フィルタ部35が遮光状態になった画素は、光電変換部34への入射光がフィルタ部35によって遮光されるので、光電変換部34で光電変換された電荷が保持される。即ち、遮光状態の画素の光電変換部34は、フィルタ部35が遮光状態になる前に光電変換して蓄積された電荷を保持する。このように、Nフレームでは、全画素のうち、一部の画素の画素信号が動画用画素及び静止画用画素の画素信号として読み出される。また、全画素のうち、残りの遮光状態の画素の光電変換部34に蓄積された電荷は、その後の(N+1)フレーム、(N+2)フレーム、(N+3)フレームまで、保持される。
図4(c)に示す動画像の(N+1)フレームでは、動画用読み出し部111は、Nフレームと同様にブロックBL内で1行目2列目の太枠で囲んだR画素を動画用画素として選択し、その画素信号を読み出す。静止画用読み出し部112は、2つの静止画用画素、即ちブロックBL内の2行目1列目及び2行目3列目の丸で囲んだ2つの遮光状態のB画素の各々から、それぞれの光電変換部34に保持されていた電荷に基づく画素信号を読み出す。このように、動画像の(N+1)フレームでは、動画用読み出し部111は、露光されて新たに生成された太枠のR画素の画素信号を読み出し、静止画用読み出し部112は、静止画用画素に保持されている電荷に応じた画素信号を読み出す。
このように読み出された(N+1)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
このように読み出された(N+1)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
図4(d)に示す動画像の(N+2)フレームでは、動画用読み出し部111は、Nフレームと同様にブロックBL内で1行目2列目の太枠で囲んだR画素を動画用画素として選択し、その画素信号を読み出す。静止画用読み出し部112は、2つの静止画用画素、即ちブロックBL内の3行目1列目及び3行目3列目の丸で囲んだ2つの遮光状態のG画素の各々から、それぞれの光電変換部34に保持されていた電荷に基づく画素信号を読み出す。このように、動画像の(N+2)フレームでも、動画用読み出し部111は、露光されて新たに生成された太枠のR画素の画素信号を読み出し、静止画用読み出し部112は、静止画用画素に保持されている電荷に応じた画素信号を読み出す。
このように読み出された(N+2)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
このように読み出された(N+2)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
図4(e)に示す動画像の(N+3)フレームでは、動画用読み出し部111は、Nフレームと同様にブロックBL内で1行目2列目の太枠で囲んだR画素を動画用画素として選択し、その画素信号を読み出す。静止画用読み出し部112は、2つの静止画用画素、即ちブロックBL内の2行目2列目の丸で囲んだ遮光状態のG画素と3行目2列目の丸で囲んだ遮光状態のR画素の各々から、それぞれの光電変換部34に保持されていた電荷に基づく画素信号を読み出す。このように、動画像の(N+3)フレームでも、動画用読み出し部111は、露光されて新たに生成された太枠のR画素の画素信号を読み出し、静止画用読み出し部112は、静止画用画素に保持されている電荷に応じた画素信号を読み出す。
このように読み出された(N+3)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
このように読み出された(N+3)フレームの動画用画素の画素信号は、図1の動画像生成部4aにおいて、動画像データの生成に用いられる。また、読み出された静止画用画素の画素信号は、図1のメモリ5又は制御部4内の不図示のメモリに一時的に記憶される。
Nフレーム~(N+3)フレームの間に、静止画用画素の画素信号として読み出され、メモリに一時的に記憶されていた画素信号は、静止画像生成部4bによって、静止画像データの生成に用いられる。
このように、撮像素子3は、動画撮影時のN~(N+3)フレームのそれぞれにおいて、動画用画素から光電変換された電荷に基づく画素信号を読み出す。また、撮像素子3は、N~(N+3)の4つのフレームおいて、静止画用画素のうち異なる一部の画素10から光電変換部34に保持された電荷に応じた画素信号を読み出す。
撮像素子3の動画像生成部4aは、動画撮影のフレーム毎に順次出力される動画用の画素信号に基づいて動画像データを生成する。撮像素子3の静止画像生成部4bは、複数のフレームに渡って出力される静止画用の画素信号に基づいて静止画像データを生成する。具体的には、静止画像生成部4bは、フレーム毎に出力された静止画用の画素信号を合成することにより、全ての画素の画素信号を用いた静止画像データを生成する。
本実施の形態による撮像素子3では、複数フレームに渡って静止画用の画素信号を分けて読み出すことによって、動画撮影と並行して静止画撮影を行うことができる。また、撮像素子3は、フレーム毎に同じ数の画素から画素信号の読み出しを行うため、動画撮影のフレームレートが低下することを防止しつつ、全ての静止画用画素からの画素信号の読み出しを行うことができる。すなわち、時間的な解像度が高い動画像データを生成することができる。また、全画素の画素信号を読み出して静止画像データを生成することができるため、空間的な解像度が高い静止画像データを生成することができる。さらに、撮像素子3は、全画素で同じタイミングに光電変換して生成された電荷に基づく画素信号を用いて、静止画像データを生成することができる。この結果、例えば動く被写体についての静止画の画質を向上させることができる。
また、本実施の形態による撮像素子3は、フィルタ部35を制御して画素10を遮光状態にすることにより、光電変換部34に光電変換により生成された電荷を保持させる。すなわち、光電変換部34を、信号(電荷)を記憶する記憶部として機能させる。このため、画素毎に別途記憶素子を設ける場合と比較して、撮像素子の面積を低減させることができる。また、別途記憶素子を配置して光電変換部34の面積が小さくなってしまうことを回避することができる。
なお、4フレームに限らず、もっと少ないフレーム数で、またはもっと多くのフレーム数において、静止画用画素から画素信号を読み出しても良い。また、本実施の形態では、全画素を静止画用画素として選択して全画素から画素信号を読み出したが、例えば撮像素子3の画素数が非常に多い場合には、撮像素子3の一部の画素を静止画用画素として選択して一部の画素から画素信号を読み出しても良い。この場合には、例えば、図4の太枠で囲まれた動画用画素は、動画専用とし、残りを静止画用画素としてもよく、この残りの静止画用画素の全てについて、遮光状態の画素としてもよい。
図5は、第1の実施の形態に係る撮像素子3の信号の読み出し方法の具体例を説明するための図である。図5(a)~(e)では、図4(a)~(e)の場合と同様に、N-1~N+3フレームまでの動画撮影のフレーム毎に、動画用画素および静止画用画素から画素信号を読み出す例を示している。以下では、図5を参照して、画素信号を読み出す方法の具体例について説明する。
図5に示すように、撮像素子3には、第2方向である列方向、すなわち縦方向に並んだ複数の画素10の列毎に垂直信号線30(垂直信号線30a~垂直信号線30c)が設けられる。全ての画素10には、スイッチSW1(図6の符号M4)が設けられる。また、撮像素子3には、座標(2,2)の画素10と垂直信号線30cとを接続するスイッチSW2と、座標(3,2)の画素10と垂直信号線30aとを接続するスイッチSW3とが設けられる。動画用画素の画素信号は、動画撮影の各フレームにおいて常に垂直信号線30b(だけ)を介して読み出される。詳述すると、動画用画素は、全画素のうち行方向および列方向に間引かれた残りの画素である。よって、動画用画素から画素信号が読み出される垂直信号線は、動画用画素が接続される垂直信号線であり、一部の垂直信号線である。
そこで、撮像素子3は、動画撮影の各フレームにおいて、動画用画素の画素信号が出力されない垂直信号線30a、30cを介して静止画用画素の画素信号の読み出しを行う。このため、撮像素子3は、動画用の画素信号の読み出しと、静止画用の画素信号の読み出しとを同時に行うことができる。以下に詳細に説明する。
そこで、撮像素子3は、動画撮影の各フレームにおいて、動画用画素の画素信号が出力されない垂直信号線30a、30cを介して静止画用画素の画素信号の読み出しを行う。このため、撮像素子3は、動画用の画素信号の読み出しと、静止画用の画素信号の読み出しとを同時に行うことができる。以下に詳細に説明する。
図5(a)に示す(N-1)フレームにおいて、座標(1,2)の画素10のスイッチSW1がオン状態となる。座標(1,2)の動画用画素は、画素信号を垂直信号線30bに出力する。他の画素のスイッチSW1、スイッチSW2、およびスイッチSW3は、オフ状態となっている。
図5(b)に示すNフレームでは、座標(1,1)、(1,2)、(1,3)の各画素のスイッチSW1がオン状態となる。座標(1,2)の動画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30bに出力する。なお、Nフレームにおいて読み出された動画用画素の画素信号は、動画用の画素信号および静止画用の画素信号として用いられる。また、座標(1,1)の静止画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30aに出力する。さらに、座標(1,3)の静止画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30cに出力する。また、Nフレームでは、撮像素子3は、Nフレームにおいて読み出し対象ではない画素を遮光状態にする。すなわち、図5に示す領域240の画素10は、遮光状態の画素となり、光電変換により生成された電荷を光電変換部34に蓄積(保持)する。
図5(c)に示す(N+1)フレームでは、座標(1,2)、(2,1)、(2,3)の各画素10のスイッチSW1がオン状態となる。動画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30bに出力する。座標(2,1)、(2,3)の静止画用画素は、それぞれの光電変換部34に保持されていた電荷に基づく画素信号を、それぞれ垂直信号線30a、30cに出力する。
図5(d)に示す(N+2)フレームでは、座標(1,2)、(3,1)、(3,3)の各画素10のスイッチSW1がオン状態となる。動画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30bに出力する。座標(3,1)、(3,3)の静止画用画素は、それぞれの光電変換部34に保持されていた電荷に基づく画素信号を、それぞれ垂直信号線30a、30cに出力する。
図5(e)に示す(N+3)フレームでは、座標(1,2)の動画用画素のスイッチSW1がオン状態となることにより、動画用画素は、光電変換により生成された電荷に基づく画素信号を垂直信号線30bに出力する。また、スイッチSW2がオン状態となることにより、座標(2,2)の静止画用画素は、光電変換部34に保持されていた電荷に基づく画素信号を、垂直信号線30cに出力する。さらに、スイッチSW3がオン状態となることにより、座標(3,2)の静止画用画素は、光電変換部34に保持されていた電荷に基づく画素信号を、垂直信号線30aに出力する。
本実施の形態による撮像素子3は、全画素のうち行方向および列方向の画素を間引いて動画用画素を選択し、動画用画素から画素信号の読み出しを行う。このため、動画用画素から高速に画素信号を読み出すことができる。この結果、撮像素子3は、動画撮影のフレームレートを向上させることができる。また、撮像素子3は、垂直信号線30bを介して動画用の画素信号の読み出しを行い、動画用の画素信号の読み出しには用いない垂直信号線30a、30cを介して静止画用の画素信号の読み出しを行う。このため、N~(N+3)フレームまでの動画撮影のフレーム毎に、動画用の画素信号の読み出しと静止画用の画素信号の読み出しとを同時に行うことができる。この結果、撮像素子3は、動画撮影中に静止画撮影を行う場合に、動画撮影のフレームレートが低下することを防ぐことができる。
図6~図8を参照して、第1の実施の形態に係る撮像素子3の回路構成及び動作について説明する。図6は、第1の実施の形態に係る撮像素子3の画素10の構成を示す回路図である。図7は、第1の実施の形態に係る撮像素子3の一部の構成を示す回路図である。図8は、第1の実施の形態に係る撮像素子3の動作例を示すタイミングチャートである。
図6に示すように、画素10は、光電変換部34および読み出し部20を有する。光電変換部34は、入射した光を電荷に変換し、光電変換された電荷を蓄積する機能を有する。読み出し部20は、転送部25と、リセット部26と、フローティングディフュージョン27と、増幅部28と、選択部29とを有する。
転送部25は、信号TXにより制御され、光電変換部34で光電変換された電荷をフローティングディフュージョン27に転送する。すなわち、転送部25は、光電変換部34およびフローティングディフュージョン27の間に電荷転送路を形成する。フローティングディフュージョン27の容量FDは、電荷を蓄積する。増幅部28は、容量FDに蓄積された電荷による信号を増幅した画素信号を出力する。図6に示す例では、増幅部28は、ドレイン端子、ゲート端子およびソース端子がそれぞれ、電源VDD、フローティングディフュージョン27および選択部29に接続されるトランジスタM3により構成される。増幅部28のソース端子は、選択部29を介して垂直信号線30に接続される。増幅部28は、垂直信号線30に接続される不図示の電流源を負荷電流源としてソースフォロワ回路の一部として機能する。
リセット部26は、信号RSTにより制御され、容量FDの電荷をリセットし、フローティングディフュージョン27の電位をリセット電位(基準電位)にリセットする。選択部29は、信号SELにより制御され、増幅部28からの画素信号を垂直信号線30に出力する。転送部25、リセット部26、および選択部29は、例えば、それぞれトランジスタM1、トランジスタM2、トランジスタM4により構成される。トランジスタM4は、上述した図5におけるスイッチSW1である。増幅部28および選択部29は、光電変換部34で生成された電荷に基づく信号を出力する出力部を構成する。
図7に示すように、撮像素子3は、上述したように、行列状に配置される複数の画素10と、垂直信号線30a~30cとを有する。各画素10に入力される信号TX、信号RST、信号SELは、画素垂直駆動部70(図2参照)により供給される。また、スイッチSW2およびスイッチSW3は、画素垂直駆動部70から制御信号が供給されて、オンオフ制御される。なお、図7に示す例では、説明を簡略化するために、図4および図5の場合と同様に画素10(1、1)から画素10(3、3)までの9画素を図示している。
図8に示すタイミングチャートにおいて、横軸は時刻を示している。また、図8において、制御信号がハイレベル(例えば電源電位)の場合に制御信号が入力されるトランジスタまたはスイッチがオン状態となり、制御信号がローレベル(例えば接地電位)の場合に制御信号が入力されるトランジスタまたはスイッチがオフ状態となる。
時刻t1から時刻t2までの期間では、信号RST1~RST9が順次ハイレベルになることで、画素10(1、1)~画素10(3、3)において、それぞれのリセット部26のトランジスタM2がオンになり、フローティングディフュージョン27の電位がリセット電位になる。また、時刻t2では、画素10(1、1)~画素10(3、3)の各フィルタ部35が制御されて、図5(a)を用いて説明したように、各フィルタ部35はベイヤー配列にされる。
時刻t3では、信号TX1~TX3がハイレベルになることで、画素10(1、1)~画素10(1、3)の転送部25のトランジスタM1がオンになる。これにより、時刻t2から時刻t3までの期間にPDで光電変換された電荷が、それぞれフローティングディフュージョン27の容量FDに転送される。また、時刻t3では、信号SEL1および信号SEL2がハイレベルになるため、画素10(1、1)~画素10(1、3)の画素信号が、増幅部28および選択部29により、それぞれ垂直信号線30a~垂直信号線30cに出力される。さらに、時刻t3では、画素10(2、1)~画素10(3、3)のフィルタ部35の透過波長を制御して、画素10(2、1)~画素10(3、3)を遮光状態にする。画素10(2、1)~画素10(3、3)のPDは、光電変換により生成された電荷を蓄積(保持)する。
時刻t4では、信号TX2、TX4、TX6がハイレベルになることで、画素10(1、2)、画素10(2、1)、画素10(2、3)の転送部25のトランジスタM1がオンになる。これにより、画素10(1、2)においては、新たに光電変換された電荷が、フローティングディフュージョン27の容量FDに転送される。また、画素10(2、1)および画素10(2、3)においては、PDに保持された電荷が、それぞれフローティングディフュージョン27の容量FDに転送される。また、時刻t4では、信号SEL2がハイレベルになるため、画素10(1、2)の画素信号が、垂直信号線30bに出力される。さらに、時刻t4では、信号SEL3がハイレベルになるため、画素10(2、1)の画素信号が垂直信号線30aに出力され、画素10(2、3)の画素信号が垂直信号線30cに出力される。
時刻t5では、信号TX2、TX7、TX9がハイレベルになることで、画素10(1、2)、画素10(3、1)、画素10(3、3)の転送部25のトランジスタM1がオンになる。これにより、画素10(1、2)においては、新たに光電変換された電荷が、フローティングディフュージョン27の容量FDに転送される。また、画素10(3、1)および画素10(3、3)においては、PDに保持された電荷が、それぞれフローティングディフュージョン27の容量FDに転送される。また、時刻t5では、信号SEL2がハイレベルになるため、画素10(1、2)の画素信号が、垂直信号線30bに出力される。さらに、時刻t5では、信号SEL6がハイレベルになるため、画素10(3、1)の画素信号が垂直信号線30aに出力され、画素10(3、3)の画素信号が垂直信号線30cに出力される。
時刻t6では、信号TX2、TX5、TX8がハイレベルになることで、画素10(1、2)、画素10(2、2)、画素10(3、2)の転送部25のトランジスタM1がオンになる。これにより、画素10(1、2)においては、新たに光電変換された電荷が、フローティングディフュージョン27の容量FDに転送される。また、画素10(2、2)および画素10(3、2)においては、PDに保持された電荷が、それぞれフローティングディフュージョン27の容量FDに転送される。また、時刻t6では、信号SEL2がハイレベルになるため、画素10(1、2)の画素信号が、垂直信号線30bに出力される。さらに、時刻t6では、信号SEL5がハイレベルになるため、画素10(2、2)の画素信号がスイッチSW2を介して垂直信号線30cに出力される。また、時刻t6では、信号SEL8がハイレベルになるため、画素10(3、2)の画素信号がスイッチSW3を介して垂直信号線30aに出力される。
各フレームにおいて垂直信号線30a~30cに出力される画素信号は、図2に示すカラム回路部80、水平走査部90、および出力部100を介して、電子カメラ1の制御部4に出力される。制御部4の動画像生成部4aは、フレーム毎に順次出力される動画用の画素信号に基づいて動画像データを生成する。また、制御部4の静止画像生成部4bは、複数のフレームに渡って出力される静止画用の画素信号に基づいて静止画像データを生成する。
上述した実施の形態によれば、次の作用効果が得られる。
(1)撮像素子3は、入射光を光電変換して電荷を生成し蓄積する光電変換部34を有し光電変換部34で生成された電荷に基づく信号を出力する第1画素と、入射光を遮光する遮光状態と入射光を透過させる透過状態とを切換えるフィルタ部35と、フィルタ部35を透過した光を光電変換して電荷を生成し蓄積する光電変換部34とを有し光電変換部34で生成された電荷に基づく信号を出力する第2画素と、第2画素のフィルタ部35を透過状態にして第1画素と第2画素に入射した光を光電変換する第1の露光制御と、第2画素のフィルタ部35を遮光状態にして第2画素の光電変換部34に蓄積されていた電荷を保持させて第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部(フィルタ制御部60)と、第1の露光制御を行い第1画素と第2画素の一部とから信号を出力した後、第2の露光制御を行い第1画素と一部の第2画素を除く第2画素とから信号を出力する出力制御部(システム制御部110)と、を備える。このようにしたので、動画撮影のフレームレートが低下することを防止しつつ、全ての静止画用画素からの画素信号の読み出しを行うことができる。
(1)撮像素子3は、入射光を光電変換して電荷を生成し蓄積する光電変換部34を有し光電変換部34で生成された電荷に基づく信号を出力する第1画素と、入射光を遮光する遮光状態と入射光を透過させる透過状態とを切換えるフィルタ部35と、フィルタ部35を透過した光を光電変換して電荷を生成し蓄積する光電変換部34とを有し光電変換部34で生成された電荷に基づく信号を出力する第2画素と、第2画素のフィルタ部35を透過状態にして第1画素と第2画素に入射した光を光電変換する第1の露光制御と、第2画素のフィルタ部35を遮光状態にして第2画素の光電変換部34に蓄積されていた電荷を保持させて第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部(フィルタ制御部60)と、第1の露光制御を行い第1画素と第2画素の一部とから信号を出力した後、第2の露光制御を行い第1画素と一部の第2画素を除く第2画素とから信号を出力する出力制御部(システム制御部110)と、を備える。このようにしたので、動画撮影のフレームレートが低下することを防止しつつ、全ての静止画用画素からの画素信号の読み出しを行うことができる。
(2)電子カメラ1は、入射光を光電変換して電荷を生成し蓄積する光電変換部34を有し光電変換部34で生成された電荷に基づく信号を出力する第1画素と、入射光を遮光する遮光状態と入射光を透過させる透過状態とを切換えるフィルタ部35と、フィルタ部35を透過した光を光電変換して電荷を生成し蓄積する光電変換部34とを有し光電変換部34で生成された電荷に基づく信号を出力する第2画素と、第2画素のフィルタ部35を透過状態にして第1画素と第2画素に入射した光を光電変換する第1の露光制御と、第2画素のフィルタ部35を遮光状態にして第2画素の光電変換部34に蓄積されていた電荷を保持させて第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部(制御部4)と、第1の露光制御を行い第1画素と第2画素の一部とから信号を出力した後、第2の露光制御を行い第1画素と一部の第2画素を除く第2画素とから信号を出力する出力制御部(制御部4)と、を備える。このようにしたので、動画撮影のフレームレートが低下することを防止しつつ、全ての静止画用画素からの画素信号の読み出しを行うことができる。
(3)本実施の形態では、同じタイミングに光電変換して生成された電荷に基づく静止画用の画素信号を、複数フレームに分けて読み出す。このため、同じタイミングに光電変換して生成された電荷に基づく画素信号を用いて、静止画像データを生成することができる。この結果、例えば動く被写体についての静止画の画質を向上させることができる。
(4)本実施の形態では、フィルタ部35を制御して画素10を遮光状態にすることにより、光電変換部34に光電変換により生成された電荷を保持させる。このため、画素毎に別途記憶素子を設ける場合と比較して、撮像素子の面積を低減させることができる。また、別途記憶素子を配置して光電変換部34の面積が小さくなってしまうことを回避することができる。
(4)本実施の形態では、フィルタ部35を制御して画素10を遮光状態にすることにより、光電変換部34に光電変換により生成された電荷を保持させる。このため、画素毎に別途記憶素子を設ける場合と比較して、撮像素子の面積を低減させることができる。また、別途記憶素子を配置して光電変換部34の面積が小さくなってしまうことを回避することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
図9は、変形例1に係る撮像素子の一部の構成を示す回路図である。変形例1による撮像素子3は、2つの画素10で読み出し部20を共有する構成となる。画素10(1,1)~画素10(6,3)は、それぞれPDを含んで構成される。図9において、画素10(1,2)および画素10(4,2)は、それぞれ動画用読み出し部111によって選択された動画用画素である。以下では、画素信号を読み出す方法の一例について説明する。
図9は、変形例1に係る撮像素子の一部の構成を示す回路図である。変形例1による撮像素子3は、2つの画素10で読み出し部20を共有する構成となる。画素10(1,1)~画素10(6,3)は、それぞれPDを含んで構成される。図9において、画素10(1,2)および画素10(4,2)は、それぞれ動画用読み出し部111によって選択された動画用画素である。以下では、画素信号を読み出す方法の一例について説明する。
Nフレームでは、撮像素子3は、画素(1,1)、(1,2)、(1,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。これらの画素信号が読み出された後、撮像素子3は、画素(4,1)、(4,2)、(4,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。また、Nフレームでは、撮像素子3は、Nフレームにおいて読み出し対象ではない画素を遮光状態にして、光電変換により生成された電荷をそれぞれの画素の光電変換部34に蓄積(保持)させる。
(N+1)フレームでは、撮像素子3は、画素(2,1)、(1,2)、(2,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。また、これらの画素信号が読み出された後、撮像素子3は、画素(5,1)、(4,2)、(5,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。(N+2)フレームでは、撮像素子3は、画素(3,1)、(1,2)、(3,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。また、これらの画素信号が読み出された後、撮像素子3は、画素(6,1)、(4,2)、(6,3)の画素信号を、それぞれ垂直信号線30a~30cに読み出す。
(N+3)フレームでは、撮像素子3は、画素(1,2)の画素信号を垂直信号線30bに読み出し、画素(3,2)の画素信号をスイッチSW13を介して垂直信号線30aに読み出し、画素(6,2)の画素信号をスイッチSW16を介して垂直信号線30cに読み出す。画素(1,2)、(3,2)、(6,2)の画素信号が読み出された後、撮像素子3は、画素(4,2)の画素信号を垂直信号線30bに読み出し、画素(2,2)の画素信号を、スイッチSW11を介して垂直信号線30aに読み出し、画素(5,2)の画素信号を、スイッチSW16を介して垂直信号線30cに読み出す。
このように、変形例1では、垂直信号線間に接続されるスイッチSW11~SW16を用いて画素信号の読み出しを行うことにより、動画撮影のフレームレートが低下することを防止しつつ、全ての静止画用画素からの画素信号の読み出しを行うことができる。また、変形例1による撮像素子は、2つの画素10で読み出し部20を共有する構成であるため、撮像素子のチップ面積を低減させることができる。なお、2つの画素に限らず、もっと多くの画素で、1つの読み出し部20を共有する構成としても良い。例えば、図10に示すように、4つの画素10で1つの読み出し部20を共有する構成としても良い。
(変形例2)
上述した実施の形態および変形例では、画素10を遮光状態にして光電変換部34を、信号(電荷)を記憶する記憶部として機能させる例について説明した。しかし、図11に示すように、画素10ごとに容量Cを設けて、この容量Cを記憶部として用いるようにしてもよい。例えば、撮像素子は、各画素10の光電変換部34により生成された電荷を、同じタイミングで第1の転送部25を介して容量Cへ転送して、容量Cに電荷を蓄積(保持)させる。各画素10から画素信号を読み出す場合は、撮像素子は、容量Cに蓄積された電荷を、第2の転送部105を介してフローティングディフュージョン27に転送させる。そして、撮像素子は、信号SELをハイレベルにさせて、画素10の画素信号を、増幅部28および選択部29を介して垂直信号線30に出力させる。
上述した実施の形態および変形例では、画素10を遮光状態にして光電変換部34を、信号(電荷)を記憶する記憶部として機能させる例について説明した。しかし、図11に示すように、画素10ごとに容量Cを設けて、この容量Cを記憶部として用いるようにしてもよい。例えば、撮像素子は、各画素10の光電変換部34により生成された電荷を、同じタイミングで第1の転送部25を介して容量Cへ転送して、容量Cに電荷を蓄積(保持)させる。各画素10から画素信号を読み出す場合は、撮像素子は、容量Cに蓄積された電荷を、第2の転送部105を介してフローティングディフュージョン27に転送させる。そして、撮像素子は、信号SELをハイレベルにさせて、画素10の画素信号を、増幅部28および選択部29を介して垂直信号線30に出力させる。
(変形例3)
上述した実施の形態および変形例では、ローレベルおよびハイレベルの2つの値により駆動制御されるトランジスタを用いて画素10を構成する例について説明した。しかし、3つの値により駆動制御されるトランジスタを用いて画素10を構成するようにしてもよい。
上述した実施の形態および変形例では、ローレベルおよびハイレベルの2つの値により駆動制御されるトランジスタを用いて画素10を構成する例について説明した。しかし、3つの値により駆動制御されるトランジスタを用いて画素10を構成するようにしてもよい。
(変形例4)
上述した実施の形態および変形例では、フィルタ部35は、R(赤)を発色するEC層、G(緑)を発色するEC層、およびB(青)を発色するEC層の3つのフィルタにより構成される例について説明した。しかし、フィルタ部35は、Mg(マゼンタ)を発色するEC層、Ye(イエロー)を発色するEC層、およびCy(シアン)を発色するEC層の3つのフィルタにより構成するようにしてもよい。また、フィルタ部35には液晶を用いた可変フィルタを用いるようにしてもよい。なお、フィルタ部35には可変フィルタではなく、MEMSシャッターのような遮光部材を用いるようにしてもよい。
なお、フィルタ部35は、第1の波長を透過するフィルタと、第1の波長より長い第2の波長を透過するフィルタと、第2の波長より長い第3の波長を透過するフィルタとを有するカラーフィルタと、光を透過する透過状態と光を遮光する遮光状態とを切り替え可能なフィルタとを組み合わせたものを用いてもよい。例えば、フィルタ部35には、互いに異なる波長領域の光を透過するカラーフィルタ(RGBまたはMgYeCyのカラーフィルタ)と透過状態または遮光状態に変更可能な可変フィルタ(液晶フィルタまたはMEMSシャッター)とを組み合わせたものを用いてもよい。また、フィルタ部35には、上述したような透過波長域を変更可能な色可変フィルタと透過状態または遮光状態に変更可能な可変フィルタとを組み合わせたものを用いてもよい。
上述した実施の形態および変形例では、フィルタ部35は、R(赤)を発色するEC層、G(緑)を発色するEC層、およびB(青)を発色するEC層の3つのフィルタにより構成される例について説明した。しかし、フィルタ部35は、Mg(マゼンタ)を発色するEC層、Ye(イエロー)を発色するEC層、およびCy(シアン)を発色するEC層の3つのフィルタにより構成するようにしてもよい。また、フィルタ部35には液晶を用いた可変フィルタを用いるようにしてもよい。なお、フィルタ部35には可変フィルタではなく、MEMSシャッターのような遮光部材を用いるようにしてもよい。
なお、フィルタ部35は、第1の波長を透過するフィルタと、第1の波長より長い第2の波長を透過するフィルタと、第2の波長より長い第3の波長を透過するフィルタとを有するカラーフィルタと、光を透過する透過状態と光を遮光する遮光状態とを切り替え可能なフィルタとを組み合わせたものを用いてもよい。例えば、フィルタ部35には、互いに異なる波長領域の光を透過するカラーフィルタ(RGBまたはMgYeCyのカラーフィルタ)と透過状態または遮光状態に変更可能な可変フィルタ(液晶フィルタまたはMEMSシャッター)とを組み合わせたものを用いてもよい。また、フィルタ部35には、上述したような透過波長域を変更可能な色可変フィルタと透過状態または遮光状態に変更可能な可変フィルタとを組み合わせたものを用いてもよい。
(変形例5)
上述した実施の形態および変形例において、フィルタ部35の「遮光状態」とは、入射光が完全に遮光される状態であることに限られない。各フィルタ部35から僅かな漏れ光がある構成であっても本発明の範疇に含まれる。その場合は、黒レベルを補正する周知の技術を用いることによって、画素信号を補正すればよい。
上述した実施の形態および変形例において、フィルタ部35の「遮光状態」とは、入射光が完全に遮光される状態であることに限られない。各フィルタ部35から僅かな漏れ光がある構成であっても本発明の範疇に含まれる。その場合は、黒レベルを補正する周知の技術を用いることによって、画素信号を補正すればよい。
(変形例6)
上述した実施の形態および変形例では、各画素10のフィルタ部35を制御して、R画素とG画素とB画素とをベイヤー配列に従って配置させる例について説明した。しかし、各画素10のフィルタ部35を制御して、W(白)のフィルタ部35を有するW画素と、BK(黒)のフィルタ部35を有するBK画素とを配置してもよい。この場合、制御部4は、撮像素子3から出力される画素信号に基づいて、モノクロ画像データを生成することができる。
上述した実施の形態および変形例では、各画素10のフィルタ部35を制御して、R画素とG画素とB画素とをベイヤー配列に従って配置させる例について説明した。しかし、各画素10のフィルタ部35を制御して、W(白)のフィルタ部35を有するW画素と、BK(黒)のフィルタ部35を有するBK画素とを配置してもよい。この場合、制御部4は、撮像素子3から出力される画素信号に基づいて、モノクロ画像データを生成することができる。
(変形例7)
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜(有機光電膜)を用いるようにしてもよい。
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜(有機光電膜)を用いるようにしてもよい。
(変形例8)
上述の実施の形態および変形例で説明した撮像素子3は、カメラ、スマートフォン、タブレット、PCに内臓のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
上述の実施の形態および変形例で説明した撮像素子3は、カメラ、スマートフォン、タブレット、PCに内臓のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2016年第192251号(2016年9月29日出願)
日本国特許出願2016年第192251号(2016年9月29日出願)
3 撮像素子、10 画素、4a 動画像生成部、4b 静止画像生成部、35 フィルタ部、60 フィルタ制御部、110 システム制御部
Claims (23)
- 入射した光を光電変換して電荷を生成する光電変換部を有し、前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、
光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部とを有し、前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、
前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、
前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、
を備える撮像素子。 - 請求項1に記載の撮像素子において、
前記第1の露光制御を行い前記第1画素及び前記第2画素の一部から出力される前記信号の数と、前記第2の露光制御を行い前記第1画素及び前記一部の第2画素を除く前記第2画素から出力される前記信号の数とは、同数となる撮像素子。 - 請求項1または請求項2に記載の撮像素子において、
前記出力制御部は、前記第1画素及び前記第2画素の一部から前記信号を出力する動作に関連して、前記第2の露光制御を行う撮像素子。 - 請求項1から請求項3までのいずれか一項に記載の撮像素子と、
前記第1画素の信号に基づいて動画像を生成し、前記第1画素の信号と前記第2画素の信号とに基づいて静止画像を生成する画像生成部と、
を備えるカメラ。 - 入射光を光電変換して電荷を生成し蓄積する光電変換部を有し前記光電変換部で生成された電荷に基づく信号を出力する第1画素と、
入射光を遮光する遮光状態と前記入射光を透過させる透過状態とを切換えるフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成し蓄積する光電変換部とを有し前記光電変換部で生成された電荷に基づく信号を出力する第2画素と、
前記第2画素のフィルタ部を透過状態にして前記第1画素と前記第2画素に入射した光を光電変換する第1の露光制御と、前記第2画素のフィルタ部を遮光状態にして前記第2画素の光電変換部に蓄積されていた電荷を保持させて前記第1画素に入射した光を光電変換する第2の露光制御とを切換える露光制御部と、
前記第1の露光制御を行い前記第1画素と前記第2画素の一部とから前記信号を出力した後、前記第2の露光制御を行い前記第1画素と前記一部の第2画素を除く前記第2画素とから前記信号を出力する出力制御部と、
を備えるカメラ。 - 請求項4または請求項5に記載のカメラにおいて、
前記出力制御部は、動画像の第1のフレームにおいて、前記第1の露光制御を行い、前記第1のフレームに続く前記動画像の第2のフレームにおいて、前記第2の露光制御を行い前記第2画素の前記光電変換部に保持された前記第1のフレームにおいて光電変換された電荷に基づく信号を前記第2画素から出力するカメラ。 - 光電変換部を有する複数の画素と、
前記複数の画素のうちの一部の画素の信号を動画用信号として読み出す第1の読み出し部と、
前記第1の読み出し部による複数回の動画用信号の読み出し動作のうちの一つの読み出し動作に関連して複数の画素の信号を記憶する記憶部と、
前記記憶部に記憶された前記信号を静止画用信号として読み出す第2の読み出し部と、を備える撮像素子。 - 請求項7に記載の撮像素子において、
前記第2の読み出し部は、前記記憶部に記憶された複数の前記信号を、前記第1の読み出し部による複数の読み出し動作毎に複数回に分けて読み出す撮像素子。 - 請求項8に記載の撮像素子において、
前記第2の読み出し部は、前記複数回の各々において同数の信号を読み出す撮像素子。 - 請求項7から請求項9までのいずれか一項に記載の撮像素子において、
前記画素は、マイクロレンズと、前記マイクロレンズを透過した透過光束のうち第1の波長域の光束を透過する状態と前記透過光束を遮光する遮光状態とを少なくとも取り得る可変フィルタ部とを有し、
前記第1の読み出し部によって前記信号が読み出される前記一部の画素を除く複数の画素の前記可変フィルタ部は、前記第1の読み出し部による複数回の動画用信号の読み出し動作のうちの一つの読み出し動作に関連して、前記遮光状態になる撮像素子。 - 請求項10に記載の撮像素子において、
前記記憶部は、前記可変フィルタ部が前記遮光状態になったときの前記光電変換部である撮像素子。 - 請求項7から請求項9までのいずれか一項に記載の撮像素子において、
前記記憶部は、前記光電変換部からの電荷を記憶する容量である撮像素子。 - 請求項7から請求項12までのいずれか一項に記載の撮像素子と、
前記第2の読み出し部によって前記複数回に分けて読み出された複数の信号に基づき、一つの静止画像を生成する静止画像生成部と、を備えるカメラ。 - 光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する複数の画素と、
複数のうち一部の前記画素の前記出力部から信号を出力させた後、前記一部を除く前記画素の前記フィルタ部を遮光状態にして前記出力部から信号を出力させる制御部と、を備える撮像素子。 - 請求項14に記載の撮像素子において、
前記制御部は、前記一部を除く前記画素の前記フィルタ部を遮光状態にして、前記フィルタ部が透過状態である間に前記光電変換部で生成された電荷に基づく信号を、前記一部を除く前記画素の前記出力部から出力させる撮像素子。 - 請求項14または請求項15に記載の撮像素子において、
複数の前記画素は、前記フィルタ部が透過状態である間に前記光電変換部で電荷を生成し、
前記制御部は、前記一部の前記画素の前記出力部から信号を出力させた後、前記一部を除く前記画素の前記フィルタ部を遮光状態にして、前記フィルタ部が透過状態である間に前記光電変換部で生成された電荷に基づく信号を、前記一部を除く前記画素の前記出力部から出力させる撮像素子。 - 請求項14から請求項16までのいずれか一項に記載の撮像素子において、
前記一部の前記画素は、前記一部を除く前記画素の前記出力部から信号が出力されている間に前記光電変換部で電荷を生成する撮像素子。 - 請求項14から請求項17までのいずれか一項に記載の撮像素子と、
前記一部の前記画素の前記出力部から出力された信号に基づいて動画像データを生成し、前記一部を除く前記画素の前記出力部から出力された信号に基づいて静止画像データを生成する生成部と、を備えるカメラ。 - 光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力部する第1画素と、
光を遮光する遮光状態と光を透過する透過状態とを切換可能なフィルタ部と、前記フィルタ部を透過した光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部とを有する第2画素と、
前記第1画素の前記出力部から信号を出力させた後、前記第2画素の前記フィルタ部を遮光状態にして前記第2画素の前記出力部から信号を出力させる制御部と、を備える撮像素子。 - 請求項19に記載の撮像素子において、
前記制御部は、前記第2画素の前記フィルタ部を遮光状態にして、前記フィルタ部が透過状態である間に前記光電変換部で生成された電荷に基づく信号を、前記第2画素の前記出力部から出力させる撮像素子。 - 請求項19または請求項20に記載の撮像素子において、
前記第2画素は、前記フィルタ部が透過状態である間に前記光電変換部で電荷を生成し、
前記制御部は、前記第1画素の前記出力部から信号を出力させた後、前記第2画素の前記フィルタ部を遮光状態にして、前記フィルタ部が透過状態である間に前記第2画素の前記光電変換部で生成された電荷に基づく信号を、前記第2画素の前記出力部から出力させる撮像素子。 - 請求項19から請求項21までのいずれか一項に記載の撮像素子において、
前記第1画素は、前記第2画素の前記出力部から信号が出力されている間に前記光電変換部で電荷を生成する撮像素子。 - 請求項19から請求項22までのいずれか一項に記載の撮像素子と、
前記第1画素の前記出力部から出力された信号に基づいて動画像データを生成し、前記第2画素の前記出力部から出力された信号に基づいて静止画像データを生成する生成部と、を備えるカメラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/332,438 US20190306388A1 (en) | 2016-09-29 | 2017-09-29 | Image sensor and camera |
JP2018542061A JPWO2018062561A1 (ja) | 2016-09-29 | 2017-09-29 | 撮像素子およびカメラ |
CN201780073278.3A CN110036631A (zh) | 2016-09-29 | 2017-09-29 | 摄像元件和相机 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-192251 | 2016-09-29 | ||
JP2016192251 | 2016-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018062561A1 true WO2018062561A1 (ja) | 2018-04-05 |
Family
ID=61760589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/035756 WO2018062561A1 (ja) | 2016-09-29 | 2017-09-29 | 撮像素子およびカメラ |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190306388A1 (ja) |
JP (1) | JPWO2018062561A1 (ja) |
CN (1) | CN110036631A (ja) |
WO (1) | WO2018062561A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3941030B1 (en) | 2020-07-16 | 2023-05-24 | Nokia Technologies Oy | Apparatus, method and computer program for image capturing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005296027A (ja) * | 2004-04-06 | 2005-10-27 | Pentax Corp | 内視鏡用光源装置 |
JP2007150439A (ja) * | 2005-11-24 | 2007-06-14 | Sony Corp | 撮像装置、撮像方法、およびプログラム |
JP2011076372A (ja) * | 2009-09-30 | 2011-04-14 | Fujifilm Corp | 合成画像作成方法ならびにそのプログラムおよび情報処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3666563B2 (ja) * | 1999-09-09 | 2005-06-29 | 松下電器産業株式会社 | 撮像装置 |
US8081837B2 (en) * | 2006-02-07 | 2011-12-20 | Intel Corporation | Image sensor array leakage and dark current compensation |
GB0709026D0 (en) * | 2007-05-10 | 2007-06-20 | Isis Innovation | High speed imaging with slow scan cameras using pixel level dynami shuttering |
JP5036423B2 (ja) * | 2007-06-28 | 2012-09-26 | 株式会社キーエンス | 画像撮像装置 |
JP5637384B2 (ja) * | 2010-12-15 | 2014-12-10 | ソニー株式会社 | 固体撮像素子および駆動方法、並びに電子機器 |
JP2013146001A (ja) * | 2012-01-16 | 2013-07-25 | Olympus Imaging Corp | 撮像装置 |
JP5783929B2 (ja) * | 2012-02-20 | 2015-09-24 | キヤノン株式会社 | 撮像装置 |
JP6104060B2 (ja) * | 2013-06-06 | 2017-03-29 | オリンパス株式会社 | 撮像装置、撮像方法 |
JP2016019161A (ja) * | 2014-07-08 | 2016-02-01 | キヤノン株式会社 | 撮像装置 |
-
2017
- 2017-09-29 JP JP2018542061A patent/JPWO2018062561A1/ja not_active Withdrawn
- 2017-09-29 US US16/332,438 patent/US20190306388A1/en not_active Abandoned
- 2017-09-29 WO PCT/JP2017/035756 patent/WO2018062561A1/ja active Application Filing
- 2017-09-29 CN CN201780073278.3A patent/CN110036631A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005296027A (ja) * | 2004-04-06 | 2005-10-27 | Pentax Corp | 内視鏡用光源装置 |
JP2007150439A (ja) * | 2005-11-24 | 2007-06-14 | Sony Corp | 撮像装置、撮像方法、およびプログラム |
JP2011076372A (ja) * | 2009-09-30 | 2011-04-14 | Fujifilm Corp | 合成画像作成方法ならびにそのプログラムおよび情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110036631A (zh) | 2019-07-19 |
JPWO2018062561A1 (ja) | 2019-07-11 |
US20190306388A1 (en) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10666914B2 (en) | Solid state imaging device and electronic apparatus in which the area of the photodiode may be expanded | |
US11153514B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
US9661306B2 (en) | Solid-state imaging device and camera system | |
KR102136852B1 (ko) | Tfa 기반의 시모스 이미지 센서 및 그 동작방법 | |
US8901696B2 (en) | Solid-state imaging device and electronic apparatus | |
US20220075104A1 (en) | Image sensor and electronic camera | |
US20130341750A1 (en) | Solid-state imaging device, method for controlling the same, and electronic apparatus | |
US20240089629A1 (en) | Image sensor and imaging device | |
CN109983768B (zh) | 摄像装置 | |
KR102276530B1 (ko) | 이면 조사형 이미지 센서, 촬상 장치, 및 전자 기기 | |
WO2018062561A1 (ja) | 撮像素子およびカメラ | |
US11877077B2 (en) | Image sensor with black level correction | |
JP6992877B2 (ja) | 撮像素子および撮像装置 | |
WO2024092503A1 (en) | Imaging device and imaging system | |
JP2022096535A (ja) | 撮像素子、及び、撮像装置 | |
CN112352420A (zh) | 摄像元件及摄像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17856508 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018542061 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17856508 Country of ref document: EP Kind code of ref document: A1 |