WO2021214616A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2021214616A1 WO2021214616A1 PCT/IB2021/053188 IB2021053188W WO2021214616A1 WO 2021214616 A1 WO2021214616 A1 WO 2021214616A1 IB 2021053188 W IB2021053188 W IB 2021053188W WO 2021214616 A1 WO2021214616 A1 WO 2021214616A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- transistor
- wiring
- circuit
- potential
- data
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 238000006243 chemical reaction Methods 0.000 claims description 109
- 239000003990 capacitor Substances 0.000 claims description 95
- 229910052710 silicon Inorganic materials 0.000 claims description 28
- 239000010703 silicon Substances 0.000 claims description 28
- 229910052738 indium Inorganic materials 0.000 claims description 12
- 229910052782 aluminium Inorganic materials 0.000 claims description 11
- 229910052733 gallium Inorganic materials 0.000 claims description 11
- 229910052725 zinc Inorganic materials 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 229910044991 metal oxide Inorganic materials 0.000 claims description 7
- 150000004706 metal oxides Chemical class 0.000 claims description 7
- 229910052719 titanium Inorganic materials 0.000 claims description 7
- 229910052735 hafnium Inorganic materials 0.000 claims description 6
- 229910052746 lanthanum Inorganic materials 0.000 claims description 6
- 229910052726 zirconium Inorganic materials 0.000 claims description 6
- 229910052684 Cerium Inorganic materials 0.000 claims description 5
- 229910052779 Neodymium Inorganic materials 0.000 claims description 5
- 229910052732 germanium Inorganic materials 0.000 claims description 5
- 229910052718 tin Inorganic materials 0.000 claims description 4
- 229910052727 yttrium Inorganic materials 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 22
- 239000010410 layer Substances 0.000 description 536
- 230000000875 corresponding effect Effects 0.000 description 122
- 230000006870 function Effects 0.000 description 111
- 239000004065 semiconductor Substances 0.000 description 104
- 239000010408 film Substances 0.000 description 52
- 230000008878 coupling Effects 0.000 description 50
- 238000010168 coupling process Methods 0.000 description 50
- 238000005859 coupling reaction Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 37
- 239000011701 zinc Substances 0.000 description 34
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 27
- 150000001875 compounds Chemical class 0.000 description 26
- 239000000758 substrate Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000009413 insulation Methods 0.000 description 22
- 229910052751 metal Inorganic materials 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 19
- 239000000463 material Substances 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 18
- 239000002184 metal Substances 0.000 description 16
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 14
- 239000013078 crystal Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 13
- 239000001257 hydrogen Substances 0.000 description 13
- 229910052739 hydrogen Inorganic materials 0.000 description 13
- 229910052711 selenium Inorganic materials 0.000 description 13
- 239000011669 selenium Substances 0.000 description 13
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 12
- 125000004429 atom Chemical group 0.000 description 12
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000011787 zinc oxide Substances 0.000 description 8
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 7
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 7
- 229910052802 copper Inorganic materials 0.000 description 7
- 239000010949 copper Substances 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 238000010030 laminating Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 230000001681 protective effect Effects 0.000 description 7
- 229910052721 tungsten Inorganic materials 0.000 description 7
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 6
- -1 indium-gallium-arsenide compound Chemical class 0.000 description 6
- 239000011229 interlayer Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 229910052814 silicon oxide Inorganic materials 0.000 description 6
- 238000004544 sputter deposition Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 239000010936 titanium Substances 0.000 description 6
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 5
- 206010021143 Hypoxia Diseases 0.000 description 5
- 206010034960 Photophobia Diseases 0.000 description 5
- 229910052581 Si3N4 Inorganic materials 0.000 description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 5
- 239000000969 carrier Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 208000013469 light sensitivity Diseases 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 5
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 5
- 239000010937 tungsten Substances 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 4
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- AJNVQOSZGJRYEI-UHFFFAOYSA-N digallium;oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Ga+3].[Ga+3] AJNVQOSZGJRYEI-UHFFFAOYSA-N 0.000 description 4
- 229910001195 gallium oxide Inorganic materials 0.000 description 4
- 239000010931 gold Substances 0.000 description 4
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 4
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 4
- 229910052749 magnesium Inorganic materials 0.000 description 4
- 239000011777 magnesium Substances 0.000 description 4
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 4
- 229910052757 nitrogen Inorganic materials 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000001004 secondary ion mass spectrometry Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 229910052715 tantalum Inorganic materials 0.000 description 4
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 3
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 3
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 3
- 229910000673 Indium arsenide Inorganic materials 0.000 description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 3
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 229910052790 beryllium Inorganic materials 0.000 description 3
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 3
- ZMIGMASIKSOYAM-UHFFFAOYSA-N cerium Chemical compound [Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce] ZMIGMASIKSOYAM-UHFFFAOYSA-N 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 229910001882 dioxygen Inorganic materials 0.000 description 3
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 3
- 230000005669 field effect Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 229910003437 indium oxide Inorganic materials 0.000 description 3
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 229910052750 molybdenum Inorganic materials 0.000 description 3
- 239000011733 molybdenum Substances 0.000 description 3
- 239000002105 nanoparticle Substances 0.000 description 3
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 3
- 229910052759 nickel Inorganic materials 0.000 description 3
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 3
- 229910052698 phosphorus Inorganic materials 0.000 description 3
- 239000011574 phosphorus Substances 0.000 description 3
- 230000036211 photosensitivity Effects 0.000 description 3
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 3
- 238000005498 polishing Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 238000005477 sputtering target Methods 0.000 description 3
- 229910052720 vanadium Inorganic materials 0.000 description 3
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 3
- YBNMDCCMCLUHBL-UHFFFAOYSA-N (2,5-dioxopyrrolidin-1-yl) 4-pyren-1-ylbutanoate Chemical compound C=1C=C(C2=C34)C=CC3=CC=CC4=CC=C2C=1CCCC(=O)ON1C(=O)CCC1=O YBNMDCCMCLUHBL-UHFFFAOYSA-N 0.000 description 2
- VUFNLQXQSDUXKB-DOFZRALJSA-N 2-[4-[4-[bis(2-chloroethyl)amino]phenyl]butanoyloxy]ethyl (5z,8z,11z,14z)-icosa-5,8,11,14-tetraenoate Chemical group CCCCC\C=C/C\C=C/C\C=C/C\C=C/CCCC(=O)OCCOC(=O)CCCC1=CC=C(N(CCCl)CCCl)C=C1 VUFNLQXQSDUXKB-DOFZRALJSA-N 0.000 description 2
- 239000004925 Acrylic resin Substances 0.000 description 2
- 229920000178 Acrylic resin Polymers 0.000 description 2
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 2
- 229910052688 Gadolinium Inorganic materials 0.000 description 2
- 229910000661 Mercury cadmium telluride Inorganic materials 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 238000002441 X-ray diffraction Methods 0.000 description 2
- 229910052783 alkali metal Inorganic materials 0.000 description 2
- 150000001340 alkali metals Chemical class 0.000 description 2
- 229910052784 alkaline earth metal Inorganic materials 0.000 description 2
- 150000001342 alkaline earth metals Chemical class 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000000231 atomic layer deposition Methods 0.000 description 2
- 229910052796 boron Inorganic materials 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000010894 electron beam technology Methods 0.000 description 2
- 238000002524 electron diffraction data Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 229910001849 group 12 element Inorganic materials 0.000 description 2
- 229910000449 hafnium oxide Inorganic materials 0.000 description 2
- WIHZLLGSGQNAGK-UHFFFAOYSA-N hafnium(4+);oxygen(2-) Chemical compound [O-2].[O-2].[Hf+4] WIHZLLGSGQNAGK-UHFFFAOYSA-N 0.000 description 2
- 230000005525 hole transport Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 2
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011810 insulating material Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 239000013081 microcrystal Substances 0.000 description 2
- 239000002159 nanocrystal Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- SIWVEOZUMHYXCS-UHFFFAOYSA-N oxo(oxoyttriooxy)yttrium Chemical compound O=[Y]O[Y]=O SIWVEOZUMHYXCS-UHFFFAOYSA-N 0.000 description 2
- 229910052697 platinum Inorganic materials 0.000 description 2
- 229920001721 polyimide Polymers 0.000 description 2
- 239000009719 polyimide resin Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- XOLBLPGZBRYERU-UHFFFAOYSA-N tin dioxide Chemical compound O=[Sn]=O XOLBLPGZBRYERU-UHFFFAOYSA-N 0.000 description 2
- 229910001887 tin oxide Inorganic materials 0.000 description 2
- 229910001233 yttria-stabilized zirconia Inorganic materials 0.000 description 2
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 2
- 229910016036 BaF 2 Inorganic materials 0.000 description 1
- XMWRBQBLMFGWIX-UHFFFAOYSA-N C60 fullerene Chemical class C12=C3C(C4=C56)=C7C8=C5C5=C9C%10=C6C6=C4C1=C1C4=C6C6=C%10C%10=C9C9=C%11C5=C8C5=C8C7=C3C3=C7C2=C1C1=C2C4=C6C4=C%10C6=C9C9=C%11C5=C5C8=C3C3=C7C1=C1C2=C4C6=C2C9=C5C3=C12 XMWRBQBLMFGWIX-UHFFFAOYSA-N 0.000 description 1
- 229910004261 CaF 2 Inorganic materials 0.000 description 1
- 229910020156 CeF Inorganic materials 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 229910052777 Praseodymium Inorganic materials 0.000 description 1
- KJTLSVCANCCWHF-UHFFFAOYSA-N Ruthenium Chemical compound [Ru] KJTLSVCANCCWHF-UHFFFAOYSA-N 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- 229910052771 Terbium Inorganic materials 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 229910052787 antimony Inorganic materials 0.000 description 1
- WATWJIUSRGPENY-UHFFFAOYSA-N antimony atom Chemical compound [Sb] WATWJIUSRGPENY-UHFFFAOYSA-N 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 230000003078 antioxidant effect Effects 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 229910052785 arsenic Inorganic materials 0.000 description 1
- RQNWIZPPADIBDY-UHFFFAOYSA-N arsenic atom Chemical compound [As] RQNWIZPPADIBDY-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000002585 base Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052795 boron group element Inorganic materials 0.000 description 1
- 229910052793 cadmium Inorganic materials 0.000 description 1
- BDOSMKKIYDKNTQ-UHFFFAOYSA-N cadmium atom Chemical compound [Cd] BDOSMKKIYDKNTQ-UHFFFAOYSA-N 0.000 description 1
- XQPRBTXUXXVTKB-UHFFFAOYSA-M caesium iodide Inorganic materials [I-].[Cs+] XQPRBTXUXXVTKB-UHFFFAOYSA-M 0.000 description 1
- 229910052800 carbon group element Inorganic materials 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 229910052798 chalcogen Inorganic materials 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- PMHQVHHXPFUNSP-UHFFFAOYSA-M copper(1+);methylsulfanylmethane;bromide Chemical compound Br[Cu].CSC PMHQVHHXPFUNSP-UHFFFAOYSA-M 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 229910021419 crystalline silicon Inorganic materials 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910003472 fullerene Inorganic materials 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 150000002431 hydrogen Chemical class 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 229910052741 iridium Inorganic materials 0.000 description 1
- GKOZUEZYRPOHIO-UHFFFAOYSA-N iridium atom Chemical compound [Ir] GKOZUEZYRPOHIO-UHFFFAOYSA-N 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- WPBNNNQJVZRUHP-UHFFFAOYSA-L manganese(2+);methyl n-[[2-(methoxycarbonylcarbamothioylamino)phenyl]carbamothioyl]carbamate;n-[2-(sulfidocarbothioylamino)ethyl]carbamodithioate Chemical compound [Mn+2].[S-]C(=S)NCCNC([S-])=S.COC(=O)NC(=S)NC1=CC=CC=C1NC(=S)NC(=O)OC WPBNNNQJVZRUHP-UHFFFAOYSA-L 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 229910021424 microcrystalline silicon Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 229910000476 molybdenum oxide Inorganic materials 0.000 description 1
- 229910052758 niobium Inorganic materials 0.000 description 1
- 239000010955 niobium Substances 0.000 description 1
- GUCVJGMIXFAOAE-UHFFFAOYSA-N niobium atom Chemical compound [Nb] GUCVJGMIXFAOAE-UHFFFAOYSA-N 0.000 description 1
- PQQKPALAQIIWST-UHFFFAOYSA-N oxomolybdenum Chemical compound [Mo]=O PQQKPALAQIIWST-UHFFFAOYSA-N 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 229910052696 pnictogen Inorganic materials 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000003870 refractory metal Substances 0.000 description 1
- 229910052707 ruthenium Inorganic materials 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- GGYFMLJDMAMTAB-UHFFFAOYSA-N selanylidenelead Chemical compound [Pb]=[Se] GGYFMLJDMAMTAB-UHFFFAOYSA-N 0.000 description 1
- 229940065287 selenium compound Drugs 0.000 description 1
- 239000010944 silver (metal) Substances 0.000 description 1
- FVAUCKIRQBBSSJ-UHFFFAOYSA-M sodium iodide Inorganic materials [Na+].[I-] FVAUCKIRQBBSSJ-UHFFFAOYSA-M 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 229910052712 strontium Inorganic materials 0.000 description 1
- CIOAGBVUUVVLOB-UHFFFAOYSA-N strontium atom Chemical compound [Sr] CIOAGBVUUVVLOB-UHFFFAOYSA-N 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 229910052714 tellurium Inorganic materials 0.000 description 1
- PORWMNRCUJJQNO-UHFFFAOYSA-N tellurium atom Chemical compound [Te] PORWMNRCUJJQNO-UHFFFAOYSA-N 0.000 description 1
- 238000001771 vacuum deposition Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
- H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
- H01L29/76—Unipolar devices, e.g. field effect transistors
- H01L29/772—Field effect transistors
- H01L29/78—Field effect transistors with field effect produced by an insulated gate
- H01L29/786—Thin film transistors, i.e. transistors with a channel being at least partly a thin film
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
- H01L27/12—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body
- H01L27/1214—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs
- H01L27/1222—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs with a particular composition, shape or crystalline structure of the active layer
- H01L27/1225—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs with a particular composition, shape or crystalline structure of the active layer with semiconductor materials not belonging to the group IV of the periodic table, e.g. InGaZnO
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
- H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
- H01L29/76—Unipolar devices, e.g. field effect transistors
- H01L29/772—Field effect transistors
- H01L29/78—Field effect transistors with field effect produced by an insulated gate
- H01L29/786—Thin film transistors, i.e. transistors with a channel being at least partly a thin film
- H01L29/78645—Thin film transistors, i.e. transistors with a channel being at least partly a thin film with multiple gate
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
- H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
- H01L29/76—Unipolar devices, e.g. field effect transistors
- H01L29/772—Field effect transistors
- H01L29/78—Field effect transistors with field effect produced by an insulated gate
- H01L29/786—Thin film transistors, i.e. transistors with a channel being at least partly a thin film
- H01L29/78696—Thin film transistors, i.e. transistors with a channel being at least partly a thin film characterised by the structure of the channel, e.g. multichannel, transverse or longitudinal shape, length or width, doping structure, or the overlap or alignment between the channel and the gate, the source or the drain, or the contacting structure of the channel
Definitions
- One aspect of the present invention relates to an imaging device.
- one aspect of the present invention is not limited to the above technical fields.
- the technical field of one aspect of the invention disclosed in the present specification and the like relates to a product, a method, or a manufacturing method.
- one aspect of the invention relates to a process, machine, manufacture, or composition of matter. Therefore, as a technical field of one aspect of the present invention disclosed more specifically in the present specification, a semiconductor device, a display device, a liquid crystal display device, a light emitting device, a lighting device, a power storage device, a storage device, an imaging device, and their operations. Methods, or methods of manufacturing them, can be given as an example.
- the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics.
- Transistors and semiconductor circuits are one aspect of semiconductor devices.
- the storage device, the display device, the image pickup device, and the electronic device may have a semiconductor device.
- Patent Document 1 discloses an image pickup apparatus having an oxide semiconductor and using a transistor having an extremely low off-current in a pixel circuit.
- Patent Document 2 discloses a technique for adding a calculation function to an imaging device.
- Imaging devices installed in mobile devices are generally equipped with a function that can acquire high-resolution images. In the next generation, it is required that the image pickup device be equipped with more intelligent functions.
- image data compression, image recognition, etc. are processed by taking out the image data captured by the image pickup device to the outside of the image pickup device. If the processing can be performed in the image pickup apparatus, the cooperation with an external device becomes faster and the convenience of the user is improved. In addition, the load and power consumption of peripheral devices can be reduced.
- one aspect of the present invention is to provide an image pickup apparatus capable of performing image processing. Another object of the present invention is to provide an image pickup apparatus capable of generating an image that interpolates between frames. Another object of the present invention is to provide an imaging device capable of capturing a high-quality moving image. Another object of the present invention is to provide an imaging device that functions as a part of a neural network. Another object of the present invention is to provide an image pickup device having low power consumption. Alternatively, one of the purposes is to provide a highly reliable imaging device. Alternatively, one of the purposes is to provide a new imaging device or the like. Another object of the present invention is to provide a method for driving the image pickup apparatus. Alternatively, one of the purposes is to provide a new semiconductor device or the like.
- One aspect of the present invention is an imaging device having a plurality of pixels.
- Each pixel has a function of giving a first weight to the image data acquired in the nth frame (n is an integer of 2 or more) to generate the first data in the nth frame.
- the pixel has a function of giving a second weight to the image data acquired in the n-1th frame to generate the first data in the n-1th frame.
- the pixel has a function of adding the first data of the n-1th frame and the first data of the nth frame to generate the second data.
- One aspect of the present invention is an imaging device having a plurality of pixels and a plurality of first circuits.
- the pixels are arranged in a matrix.
- the first circuit is electrically connected to a plurality of pixels arranged in the column direction.
- the pixel has a second circuit and a third circuit.
- One of the second circuit and the third circuit gives a first weight to the image data acquired in the nth frame (n is an integer of 2 or more) to generate the first data in the nth frame.
- the second circuit or the other of the third circuit has a function of giving a second weight to the image data acquired in the n-1th frame to generate the first data in the n-1th frame.
- the pixel has a function of adding the first data of the n-1th frame and the first data of the nth frame to generate the second data.
- the first circuit has a function of generating a third data corresponding to the sum of the second data generated by each pixel.
- the pixel has a photoelectric conversion device and a first transistor.
- the second circuit and the third circuit each have a second transistor, a third transistor, a fourth transistor, a fifth transistor, and a first capacitor.
- One electrode of the photoelectric conversion device is electrically connected to one of the source or drain of the second transistor.
- the other of the source or drain of the second transistor is electrically connected to one of the source or drain of the third transistor.
- One of the source or drain of the third transistor is electrically connected to the gate of the fourth transistor.
- the gate of the fourth transistor is electrically connected to one electrode of the first capacitor.
- the other electrode of the first capacitor is electrically connected to one of the source or drain of the fifth transistor.
- One of the source or drain of the fourth transistor is electrically connected to one of the source or drain of the first transistor.
- the other of the source or drain of the first transistor is electrically connected to the first circuit.
- the other end of the fifth transistor is electrically connected to the first wiring.
- the first wiring is supplied with either a potential corresponding to the first weight or a potential corresponding to the second weight.
- the pixel has a photoelectric conversion device and a first transistor.
- the second circuit and the third circuit each have a second transistor, a third transistor, a fourth transistor, and a first capacitor.
- One electrode of the photoelectric conversion device is electrically connected to one of the source or drain of the second transistor.
- the other of the source or drain of the second transistor is electrically connected to one of the source or drain of the third transistor.
- One of the source or drain of the third transistor is electrically connected to the gate of the fourth transistor.
- the gate of the fourth transistor is electrically connected to one electrode of the first capacitor.
- One of the source or drain of the fourth transistor is electrically connected to one of the source or drain of the first transistor.
- the other of the source or drain of the first transistor is electrically connected to the first circuit.
- the fourth transistor has a back gate.
- the back gate is electrically connected to the first wiring.
- the first wiring is supplied with either a potential corresponding to the first weight or a potential corresponding to the second weight.
- the first circuit includes a sixth transistor, a seventh transistor, an eighth transistor, a ninth transistor, a tenth transistor, and a second capacitor.
- One electrode of the second capacitor is electrically connected to the plurality of pixels.
- One electrode of the second capacitor is electrically connected to the sixth transistor.
- the other electrode of the second capacitor is electrically connected to one of the source or drain of the seventh transistor.
- One of the source or drain of the seventh transistor is electrically connected to the gate of the eighth transistor.
- One of the source or drain of the eighth transistor is electrically connected to one of the source or drain of the ninth transistor.
- One of the source or drain of the ninth transistor is electrically connected to one of the source or drain of the tenth transistor.
- any one or more of the pixels and the transistors of the first circuit have a metal oxide in the channel forming region.
- the metal oxide contains In, Zn, and the element M (M is one or more of Al, Ti, Ga, Ge, Sn, Y, Zr, La, Ce, Nd or Hf).
- any one or more of the pixels and the transistors of the first circuit have silicon in the channel forming region.
- an imaging device capable of performing image processing.
- an imaging device capable of generating an image that interpolates between frames.
- an imaging device capable of capturing a high-quality moving image.
- an imaging device that functions as a part of a neural network can be provided.
- a low power consumption imaging device can be provided.
- a highly reliable imaging device can be provided.
- a new imaging device or the like can be provided.
- a method for driving the image pickup apparatus can be provided.
- a new semiconductor device or the like can be provided.
- FIG. 1 is a block diagram illustrating an imaging device.
- FIG. 2 is a diagram illustrating a pixel block and a circuit.
- FIG. 3 is a diagram illustrating a pixel block.
- FIG. 4 is a diagram illustrating pixels.
- FIG. 5 is a schematic view illustrating the operation of the image pickup apparatus.
- FIG. 6 is a schematic view illustrating the operation of the image pickup apparatus.
- FIG. 7 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 8 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 9 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 10 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 10 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 11 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 12 is a timing chart illustrating the operation of the pixel block and the circuit.
- FIG. 13 is a diagram illustrating pixels.
- 14A and 14B are diagrams illustrating a circuit.
- FIG. 15 is a diagram illustrating a memory cell.
- 16A and 16B are diagrams showing a configuration example of a neural network.
- 17A to 17D are diagrams for explaining the configuration of pixels of the image pickup apparatus.
- 18A to 18C are diagrams for explaining the configuration of the photoelectric conversion device.
- FIG. 19 is a cross-sectional view illustrating the pixels.
- 20A to 20C are diagrams for explaining Si transistors.
- FIG. 21 is a cross-sectional view illustrating the pixels.
- FIG. 21 is a cross-sectional view illustrating the pixels.
- FIG. 23 is a cross-sectional view illustrating the pixels.
- 24A to 24D are diagrams illustrating an OS transistor.
- FIG. 25 is a cross-sectional view illustrating the pixels.
- 26A to 26C are perspective views (cross-sectional views) illustrating pixels.
- 27A1 to 27A3 and 27B1 to 27B3 are perspective views of a package and a module containing an imaging device.
- 28A to 28F are diagrams illustrating electronic devices.
- FIG. 29 is a diagram illustrating an automobile.
- the element may be composed of a plurality of elements as long as there is no functional inconvenience.
- a plurality of transistors operating as switches may be connected in series or in parallel.
- the capacitor may be divided and arranged at a plurality of positions.
- One conductor may have a plurality of functions such as wiring, electrodes and terminals, and in the present specification, a plurality of names may be used for the same element. Further, even if the elements are shown to be directly connected on the circuit diagram, the elements may actually be connected via one or a plurality of conductors. , In the present specification, such a configuration is also included in the category of direct connection.
- the imaging device has a function of holding analog data (image data) acquired in an imaging operation in pixels and extracting data obtained by multiplying the analog data by an arbitrary weighting coefficient. It also has a function (product-sum calculation function) of adding the data output from a plurality of pixels.
- processing such as image recognition can be performed by incorporating the data extracted from the pixels into a neural network or the like provided inside or outside the imaging device.
- the image pickup apparatus can hold a huge amount of image data in the state of analog data in the pixels and perform calculations in the pixels, so that processing can be performed efficiently.
- One aspect of the present invention is an imaging device having a function of generating an image (interpolated image) that interpolates between frames.
- the pixel has a function of giving an arbitrary weight to the image data acquired by imaging in the nth frame at the nth frame to generate the first data in the nth frame.
- the pixel has a function of holding the image data acquired by imaging in the n-1th frame, and gives an arbitrary weight to the image data acquired in the n-1th frame in the nth frame. Therefore, it has a function of generating the first data in the n-1th frame.
- the pixel has a function of adding the first data of the n-1th frame and the first data of the nth frame to generate the second data.
- the second data can be suitably used, for example, as image data for interpolating between frames.
- the image pickup apparatus includes a pixel array 300, a circuit 201, a circuit 301, a circuit 302, a circuit 303, a circuit 304, and a circuit 305.
- One or more of the circuit 201, the circuit 301, the circuit 302, the circuit 303, and the circuit 304, and the circuit 305 may have an area overlapping the pixel array 300. With this configuration, the area of the imaging device can be reduced.
- a circuit having two or more functions may be used instead.
- a circuit other than the circuit 201 and the circuit 301 to the circuit 305 may be used.
- one or more of the functions of the circuit 201 and the circuits 301 to 305 may be replaced by the operation by software.
- some of the circuits 201 and the circuits 301 to 305 may be outside the image pickup apparatus.
- the pixel array 300 can have an imaging function and a calculation function.
- Each of the circuit 201 and the circuit 301 can have an arithmetic function.
- the circuit 302 can have an arithmetic function or a data conversion function, and can output data to the wiring 311.
- the circuit 303 and the circuit 304 can each have a selection function.
- the circuit 305 can have a function of supplying an electric potential (weight, etc.) to the pixel.
- a shift register, a decoder, or the like can be used for the circuit having the selection function.
- the pixel array 300 has a plurality of pixel blocks 200 arranged in a matrix.
- the circuit 201 is electrically connected to a plurality of pixel blocks 200 arranged in the column direction.
- Each pixel block 200 is electrically connected to the circuit 201 via wiring 113.
- FIG. 2 also shows a circuit diagram of the circuit 201.
- the pixel block 200 has a plurality of pixels 100 arranged in a matrix, and each pixel 100 is electrically connected to the circuit 201 via wiring 113.
- the circuit 201 can also be provided in the pixel block 200.
- the pixel 100 has a function of acquiring image data and generating data obtained by adding the image data and the weighting coefficient.
- the number of pixels 100 included in the pixel block 200 is 3 rows and 3 columns, but one aspect of the present invention is not limited to this.
- the number of pixels of the pixel block 200 can be, for example, 2 rows, 2 columns, 4 rows, 4 columns, and the like. Alternatively, the number of pixels in the horizontal direction and the number of pixels in the vertical direction may be different. Further, some pixels may be shared by adjacent pixel blocks.
- FIG. 3 shows a plurality of pixels 100 arranged in rows [q-1] to [q + 1] and columns [p-1] to [p + 1] (p and q are integers of 2 or more).
- a selection switch is provided in each pixel 100, and the selection switch is controlled to be “ON” or “OFF” by a selection signal supplied to the row wiring RL [q-1] to RL [q + 1].
- the selection switch is electrically connected to any of the column wirings CL [p-1] to CL [p + 1]. Further, at least one or more of the row wirings are electrically connected to the circuit 201.
- a continuity switch SW [p-1] is provided between the column wiring CL [p-1] and CL [p]
- a continuity switch SW [p-1] is provided between the column wiring CL [p] and CL [p + 1].
- p] is provided.
- the continuity switch is controlled to be “ON” or “OFF” by the selection signals supplied to the signal lines G1 and G2. When the selection switch is "ON”, adjacent row wiring can be made conductive.
- Pixel 100 in 2 rows and 2 columns (pixel 100 [q-1, p-1], pixel 100 [q-1, p], pixel 100 [q, p-1], pixel 100 [q, p]) is selected. Will be done. Further, the row wiring CL [p-1] and the row wiring CL [p] are electrically connected. Therefore, the pixel 100 in the 2 rows and 2 columns and the circuit 201 are electrically connected.
- the pixel block 200 and the circuit 201 can be operated as a product-sum calculation circuit.
- Pixel 100 includes a photoelectric conversion device 101, a circuit 130a, a circuit 130b, and a transistor 108.
- the photoelectric conversion device 101 is electrically connected to the transistor 108 via the circuit 130a. Further, the photoelectric conversion device 101 is electrically connected to the transistor 108 via the circuit 130b.
- a photodiode can be used as the photoelectric conversion device 101.
- an avalanche photodiode can be preferably used.
- Each of the circuit 130a and the circuit 130b has a function of generating the first data by weighting the image data of the image acquired by the photoelectric conversion device 101 using a filter and holding the first data.
- one of the circuit 130a and the circuit 130b weights the image data acquired in the nth frame (n is an integer of 2 or more) using a filter to generate the first data in the nth frame.
- the other of the circuit 130a and the circuit 130b has a function of weighting the held image data of the n-1th frame using a filter and generating the first data of the n-1th frame.
- the imaging apparatus has the first data in the nth frame generated from the image data acquired in the nth frame and the n-1 generated from the image data acquired in the n-1th frame.
- the second data can be generated from the first data in the frame.
- the second data can be suitably used, for example, as image data for interpolating between frames.
- FIG. 5 shows a conceptual diagram of the operation of the image pickup apparatus which is one aspect of the present invention.
- FIG. 5 shows the operation of three frames from the nth frame to the n + 2nd frame as an example.
- the photoelectric conversion device 101 is operated to acquire image data IM n.
- the circuit 130b weights the image data IM n using the second filter FL 21 to generate the first data IM n * FL 21.
- the circuit 130a weights the image data IM n-1 acquired in the held n-1th frame by using the first filter FL11, and the first data IM n-1 *. Generate FL11.
- the first data IM n * FL21 in the nth frame is added to the first data IM n-1 * FL11 in the n-1th frame, and the second data (IM n-1 * FL11) + ( IM n * FL21) is generated.
- the generated second data (IM n-1 * FL11) + (IM n * FL21) is output from the pixel 100.
- the image data IM n acquired in the nth frame is weighted by using the second filter FL21, and the image data IM n-1 acquired in the n-1th frame, which is the previous frame. Is weighted using the first filter FL11.
- the first data generated by giving weight to image data by using a filter may be described by using "*".
- the first data generated by weighting the image data IM n using the first filter FL 11 may be referred to as the first data IM n * FL 11.
- the second data generated from the first data may be described by using "+”.
- the first data IM n * FL11, the second data generated by adding the first data IM n + 1 * FL21, second data (IM n * FL11) + ( IM n + 1 * FL21 ) May be written.
- the photoelectric conversion device 101 is operated to acquire image data IM n + 1.
- the circuit 130a weights the image data IM n + 1 using the second filter FL21 to generate the first data IM n + 1 * FL21.
- the circuit 130b weights the image data IM n acquired at the nth frame held by using the first filter FL11 to generate the first data IM n * FL11.
- the first data IM n + 1 * FL21 in the n + 1 frame is added to the first data IM n * FL11 in the nth frame, and the second data (IM n * FL11) + (IM n + 1 * FL21) is added. Will be generated.
- the generated second data (IM n * FL11) + (IM n + 1 * FL21) is output from the pixel 100.
- the image data IM n + 1 acquired in the n + 1th frame is weighted by using the second filter FL21, and the image data IM n acquired in the nth frame, which is the previous frame, is given the first weight. Weights are given using the filter FL11 of.
- the photoelectric conversion device 101 is operated to acquire the image data IM n + 2.
- the circuit 130b weights the image data IM n + 2 using the second filter FL21 to generate the first data IM n + 2 * FL21.
- the circuit 130a weights the image data IM n + 1 acquired in the held n + 1th frame by using the first filter FL11 to generate the first data IM n + 1 * FL11.
- the first data IM n + 2 * FL21 in the n + 2nd frame is added to the first data IM n + 1 * FL11 in the n + 1th frame, and the second data (IM n + 1 * FL11) + (IM n + 2 * FL21) is added. Will be generated.
- the generated second data (IM n + 1 * FL11) + (IM n + 2 * FL21) is output from the pixel 100.
- the image data IM n + 2 acquired in the n + 2nd frame is weighted by using the second filter FL21, and the image data IM n + 1 acquired in the n + 1th frame, which is the previous frame, is given the first weight. Weights are given using the filter FL11 of.
- the image data acquired in the frame is weighted by using the second filter FL21, and the image data acquired in the previous frame is weighted by using the first filter FL11. ..
- the sizes (number of pixels) of the first filter FL11 and the second filter FL21 can be, for example, 2 rows and 2 columns, 3 rows and 3 columns, and 4 rows and 4 columns, respectively.
- the size (number of pixels) of the first filter FL11 and the second filter FL21 may be different in the horizontal direction and the vertical direction, respectively.
- the size (number of pixels) of the first filter FL11 and the second filter FL21 can be the same as the number of pixels of the pixel block 200. For example, when the number of pixels of the pixel block 200 is 3 rows and 3 columns, the first filter FL11 and the second filter FL21 of 3 rows and 3 columns can be used. Further, the first filter FL11 and the second filter FL21 may have the same element (weight) or different configurations.
- FIG. 5 shows an example in which one type of filter is used in each of the circuit 130a and the circuit 130b, but one aspect of the present invention is not limited to this.
- a plurality of types of filters may be used in the circuit 130a and the circuit 130b, respectively.
- the elements (weights) of each can be configured differently.
- a plurality of types of filters having different elements (weights) a plurality of types of feature quantities can be extracted from the acquired image data, and highly accurate image processing can be performed. For example, by using the second data for image data that interpolates between frames, a smooth moving image can be obtained, and an imaging device capable of capturing a high-quality moving image can be obtained. Especially when the frame frequency is low, a smooth moving image can be obtained.
- FIG. 6 shows an example in which three types of filters are used in the circuit 130a and the circuit 130b, respectively.
- FIG. 6 shows the operation of three frames from the nth frame to the n + 2nd frame as an example.
- the photoelectric conversion device 101 is operated to acquire image data IM n.
- the circuit 130b weights the image data IM n using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, and the first data IM n * FL21, the first.
- the data IM n * FL22 and the first data IM n * FL23 are generated.
- the circuit 130a weights the image data IM n-1 acquired at the n-1th frame held by using the first filter FL11, the third filter FL12, and the fifth filter FL13. Is given to generate the first data IM n-1 * FL11, the first data IM n-1 * FL12, and the first data IM n-1 * FL13.
- the first data IM n * FL21 in the nth frame is added to the first data IM n-1 * FL11 in the n-1th frame, and the second data (IM n-1 * FL11) + (IM n). * FL21) is generated.
- the n-1 th frame of the first data IM n-1 * FL12 is added to the first data IM n * FL22 of the n th frame, the second data (IM n-1 * FL12) + (IM n * FL22) is generated.
- the first data IM n * FL23 in the nth frame is added to the first data IM n-1 * FL13 in the n-1th frame, and the second data (IM n-1 * FL13) + (IM n).
- the generated second data (IM n-1 * FL11) + (IM n * FL21), the second data (IM n-1 * FL12) + (IM n * FL22), and the second data (IM n * FL22).
- n-1 * FL13) + (IM n * FL23) is output from the pixel 100.
- the image data IM n acquired in the nth frame is weighted by using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, which is the previous frame n.
- the image data IM n-1 acquired in the first frame is weighted by using the first filter FL11, the third filter FL12, and the fifth filter FL13.
- the photoelectric conversion device 101 is operated to acquire image data IM n + 1.
- the circuit 130a weights the image data IM n + 1 using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, and the first data IM n + 1 * FL21, the first The data IM n + 1 * FL22 and the first data IM n + 1 * FL23 are generated.
- the circuit 130b weights the image data IM n acquired in the nth frame held by using the first filter FL11, the third filter FL12, and the fifth filter FL13, and the third filter FL11 is used.
- the first data IM n * FL11, the first data IM n * FL12, and the first data IM n * FL13 are generated.
- the first data IM n + 1 * FL21 in the n + 1 frame is added to the first data IM n * FL11 in the nth frame, and the second data (IM n * FL11) + (IM n + 1 * FL21) is generated.
- NS the n th frame first data IM n * FL12, first data IM of the (n + 1) th frame n + 1 * FL22 is added, the second data (IM n * FL12) + ( IM n + 1 * FL22) is generated NS.
- the first data IM n + 1 * FL23 in the n + 1 frame is added to the first data IM n * FL13 in the nth frame, and the second data (IM n * FL13) + (IM n + 1 * FL23) is generated.
- the image data IM n + 1 acquired in the n + 1th frame is weighted by using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, which is the previous frame n.
- the image data IM n acquired at the frame is weighted by using the first filter FL11, the third filter FL12, and the fifth filter FL13.
- the photoelectric conversion device 101 is operated to acquire the image data IM n + 2.
- the circuit 130b weights the image data IM n + 2 with the second filter FL21, the fourth filter FL22, and the sixth filter FL23, and the first data IM n + 2 * FL21, the first data IM n + 2.
- the data IM n + 2 * FL22 and the first data IM n + 2 * FL23 are generated.
- the circuit 130a weights the image data IM n + 1 acquired in the held n + 1th frame by using the first filter FL11, the third filter FL12, and the fifth filter FL13. 1 data IM n + 1 * FL11, 1st data IM n + 1 * FL12, and 1st data IM n + 1 * FL13 are generated.
- the first data IM n + 2 * FL21 in the n + 2nd frame is added to the first data IM n + 1 * FL11 in the n + 1th frame, and the second data (IM n + 1 * FL11) + (IM n + 2 * FL12) is generated.
- the n + 1 th frame of the first data IM n + 1 * FL12, n + 2-th frame of the first data IM n + 2 * FL22 is added, the second data (IM n + 1 * FL12) + (IM n + 2 * FL12) is generated NS.
- the first data IM n + 2 * FL23 in the n + 2nd frame is added to the first data IM n + 1 * FL13 in the n + 1th frame, and the second data (IM n + 1 * FL13) + (IM n + 2 * FL23) is generated.
- the image data IM n + 2 acquired in the n + 2nd frame is weighted by using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, and is the previous frame n + 1.
- the image data IM n + 1 acquired at the frame is weighted by using the first filter FL11, the third filter FL12, and the fifth filter FL13.
- the image data acquired in the frame is weighted by using the second filter FL21, the fourth filter FL22, and the sixth filter FL23, and the image data acquired in the previous frame is weighted. Is weighted using the first filter FL11, the third filter FL12, and the fifth filter FL13.
- circuit 130a The configurations of the circuit 130a and the circuit 130b will be described with reference to FIG.
- the circuit 130a includes a transistor 102a, a transistor 103a, a capacitor 104a, a transistor 105a, and a transistor 106a.
- One electrode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102a.
- the other of the source or drain of the transistor 102a is electrically connected to one of the source or drain of the transistor 103a, one electrode of the capacitor 104a, and the gate of the transistor 105a.
- One of the source or drain of the transistor 105a is electrically connected to one of the source or drain of the transistor 108.
- the other electrode of the capacitor 104a is electrically connected to one of the source or drain of the transistor 106b.
- the other electrode of the photoelectric conversion device 101 is electrically connected to the wiring 114.
- the other of the source or drain of the transistor 108 is electrically connected to the wiring 113.
- the gate of the transistor 108 is electrically connected to the wiring 122.
- the gate of the transistor 102a is electrically connected to the wiring 116a.
- the other of the source or drain of the transistor 103a is electrically connected to the wiring 115a.
- the gate of the transistor 103a is electrically connected to the wiring 117a.
- the other of the source or drain of the transistor 105a is electrically connected to the wiring 119a.
- the other of the source or drain of the transistor 106a is electrically connected to the wiring 111a.
- the gate of the transistor 106a is electrically connected to the wiring 112a.
- a node NDa is an electrical connection point between the other of the source or drain of the transistor 102a, one of the source or drain of the transistor 103a, one electrode of the capacitor 104a, and the gate of the transistor 105a.
- the wiring 114 and the wiring 115a can each have a function as a power supply line.
- the wiring 114 can function as a low-potential power supply line
- the wiring 115a can function as a high-potential power supply line.
- the wiring 112a, the wiring 116a, the wiring 117a, and the wiring 122 can function as signal lines for controlling the continuity of each transistor.
- the wiring 111a can function as a wiring that supplies a potential corresponding to a weighting coefficient to the pixel 100.
- the wiring 113 can function as a wiring that electrically connects the pixel 100 and the circuit 201.
- the wiring 119a can function as a low-potential power supply line (for example, GND wiring).
- An amplifier circuit or a gain adjustment circuit may be electrically connected to the wiring 113.
- the transistor 102a can have a function of controlling the potential of the node NDa.
- the transistor 103a can have a function of initializing the potential of the node NDa.
- the transistor 105a can have a function of controlling the current flowing through the circuit 201 (the current flowing from the wiring 217 to the wiring 119a) according to the potential of the node NDa.
- the transistor 106a can have a function of supplying a potential corresponding to a weighting coefficient to the node NDa.
- the transistor 108 can have a function of selecting pixels.
- the direction of connection of the pair of electrodes of the photoelectric conversion device 101 may be reversed.
- the wiring 114 may function as a high-potential power supply line
- the wiring 115a may function as a low-potential power supply line.
- the transistor 102a and the transistor 103a it is preferable to use a transistor (OS transistor) in which a metal oxide is used in the channel forming region.
- the OS transistor has a characteristic that the off-current is extremely low.
- the period during which the electric charge can be held at the node NDa can be made extremely long. Further, it is possible to apply a global shutter method in which charge accumulation operation is simultaneously performed on all pixels without complicating the circuit configuration and operation method. Further, while holding the image data in the node NDa, it is possible to perform a plurality of operations using the image data.
- the transistor 105a may be desired to have excellent amplification characteristics. Further, as the transistor 106a and the transistor 108, it may be preferable to use a transistor having high mobility capable of high-speed operation. Therefore, a transistor (Si transistor) using silicon in the channel forming region may be applied to the transistor 105a, the transistor 106a, and the transistor 108.
- an OS transistor and a Si transistor may be arbitrarily combined and applied. Moreover, all the transistors may be OS transistors. Alternatively, all the transistors may be Si transistors. Examples of the Si transistor include a transistor having amorphous silicon, a transistor having crystalline silicon (microcrystalline silicon, low temperature polysilicon, single crystal silicon), and the like.
- the potential of the node NDa in the pixel 100 is the potential obtained by subtracting the potential (image data) generated by the photoelectric conversion by the photoelectric conversion device 101 from the reset potential supplied from the wiring 115a. Further, the potential of the node NDa is determined by capacitively coupling the potential corresponding to the weighting coefficient supplied from the wiring 111a. Therefore, the transistor 105a can flow a current corresponding to the data in which an arbitrary weighting factor is added to the image data. When the direction of connection of the pair of electrodes of the photoelectric conversion device 101 is reversed from that of FIG. 4, the potential of the node NDa is generated by photoelectric conversion by the photoelectric conversion device 101 to the reset potential supplied from the wiring 115a. The potential (image data) is determined by the added potential.
- the circuit 130b can use the same configuration as the circuit 130a.
- the circuit 130b includes a transistor 102b, a transistor 103b, a capacitor 104b, a transistor 105b, and a transistor 106b.
- the transistor 102b, the transistor 103b, the capacitor 104b, the transistor 105b, and the transistor 106b the description of the transistor 102a, the transistor 103a, the capacitor 104a, the transistor 105a, and the transistor 106a can be referred to, and detailed description thereof will be omitted.
- the transistor 102a and the transistor 102b may be collectively referred to as the transistor 102.
- the transistor 103a and the transistor 103b may be collectively referred to as a transistor 103.
- Capacitor 104a and capacitor 104b may be collectively referred to as capacitor 104.
- the transistor 105a and the transistor 105b may be collectively referred to as a transistor 105.
- the transistor 106a and the transistor 106b may be collectively referred to as a transistor 106.
- the circuit 130a and the circuit 130b may be collectively referred to as the circuit 130.
- wiring 111b, wiring 112b, wiring 115b, wiring 116b, wiring 117b, and wiring 119b the explanations of wiring 111a, wiring 112a, wiring 115a, wiring 116a, wiring 117a, and wiring 119a can be referred to, and detailed description thereof will be omitted. do.
- the description of the node NDa since the description of the node NDa can be referred to, detailed description thereof will be omitted.
- the wiring 115a and the wiring 115b can be shared.
- the wiring 119a and the wiring 119b can be shared. By sharing the wiring, the number of wirings can be reduced and the area of the wirings occupying the pixels can be reduced, so that a high-definition imaging device can be obtained.
- each pixel 100 is electrically connected to each other by wiring 113.
- the circuit 201 can perform calculations using the sum of the currents flowing through the transistors 105 of each pixel 100.
- the circuit 201 includes a capacitor 202, a transistor 203, a transistor 204, a transistor 205, a transistor 206, and a transistor 207.
- the transistor 207 functions as a voltage conversion circuit.
- An appropriate analog potential (Bias) is applied to the gate of transistor 207.
- One electrode of the capacitor 202 is electrically connected to one of the source or drain of the transistor 203 and the gate of the transistor 204.
- One of the source or drain of transistor 204 is electrically connected to one of the source or drain of transistor 205 and one of the source or drain of transistor 206.
- the other electrode of the capacitor 202 is electrically connected to one of the source or drain of the wiring 113 and the transistor 207.
- a point connecting one electrode of the capacitor 202, one of the source or drain of the transistor 203, and the gate of the transistor 204 is referred to as a node C.
- the other side of the source or drain of the transistor 203 is electrically connected to the wiring 218.
- the other of the source or drain of transistor 204 is electrically connected to wire 219.
- the other of the source or drain of the transistor 205 is electrically connected to a reference power line such as GND wiring.
- the other of the source or drain of the transistor 206 is electrically connected to the wiring 212.
- the other of the source or drain of transistor 207 is electrically connected to wire 217.
- the gate of transistor 203 is electrically connected to wiring 216.
- the gate of the transistor 205 is electrically connected to the wiring 215.
- the gate of the transistor 206 is electrically connected to the wiring 213.
- Wiring 217, wiring 218, and wiring 219 can each have a function as a power supply line.
- the wiring 218 can have a function as a wiring for supplying a reset potential (Vr) for reading.
- the wiring 217 and the wiring 219 can each function as a high-potential power supply line.
- the wiring 213, the wiring 215, and the wiring 216 can function as signal lines for controlling the continuity of each transistor.
- the wiring 212 is an output line and can be electrically connected to, for example, the circuit 301 shown in FIG.
- the transistor 203 can have a function of resetting the potential of the node C to the potential of the wiring 218.
- the transistor 204 and the transistor 205 can have a function as a source follower circuit.
- the transistor 206 can have a function of controlling reading.
- the circuit 201 has a function as a correlated double sampling circuit (CDS circuit), and can be replaced with a circuit having another configuration having the function.
- CDS circuit correlated double sampling circuit
- an offset component other than the product of the image data (X) and the weighting coefficient (W) is removed, and the product (WX) of the image data (X) and the weighting coefficient (W) is extracted.
- WX can be calculated by using the data with exposure (with imaging) and without exposure (without imaging) acquired by the same pixel and the data when weighting is given to each of them.
- the total current (I p ) flowing through the pixel 100 when exposed is k ⁇ ( ⁇ X ⁇ V th ) 2
- the total current (I p ) flowing through the pixel 100 when weighted is k ⁇ (W ⁇ X). ⁇ V th ) 2
- the total current (I ref ) flowing through the pixel 100 without exposure is k ⁇ (0-V th ) 2
- the total current (I ref ) flowing through the pixel 100 when weighted is k ⁇ (W-).
- V th ) 2 is a constant and Vth is the threshold voltage of the transistor 105.
- circuit 201 data A and data B can be read out.
- the difference calculation between the data A and the data B can be performed by, for example, the circuit 301.
- the total current (I p ) flowing through the pixel 100 when exposed is k ⁇ (X-V th ) 2
- the total current (I p ) flowing through the pixel 100 when weighted is k ⁇ (W + X-V th).
- the total current (I ref ) flowing through the pixel 100 without exposure is k ⁇ (0-V th ) 2
- the total current (I ref ) flowing through the pixel 100 when weighted is k ⁇ (W-). V th ) 2 .
- the transistor 203 it is preferable to use a transistor (OS transistor) in which a metal oxide is used in the channel forming region.
- OS transistor a transistor in which a metal oxide is used in the channel forming region.
- the transistor 204 and the transistor 205 it may be preferable to use a transistor having high mobility capable of high-speed operation. Therefore, a Si transistor may be applied to the transistor 204 and the transistor 205.
- an OS transistor and a Si transistor may be arbitrarily combined and applied. Moreover, all the transistors may be OS transistors. Alternatively, all the transistors may be Si transistors.
- FIG. 7 is a timing chart illustrating an operation of calculating the difference (data A) between the exposed data and the weighted data in the pixel block 200 and the circuit 201.
- the timing at which each signal is converted is shown in the figure for convenience, it is actually preferable to shift the signal in consideration of the delay inside the circuit. Further, in the following description, the high potential is represented by “H” and the low potential is represented by "L”.
- the potential of the wiring 116a is set to "H"
- the potential of the wiring 117a is set to "H”
- the node NDa of the pixel 100 is set to the reset potential.
- the potential of the wiring 111a_1 to 111a_3 (wiring 111a in the first to third lines) is set to "L”
- the potential of the wiring 112a_1 to 112a_3 (wiring 112a in the first to third lines) is set to "H”.
- the potential of the wiring 111b_1 to 111b_3 (wiring 111b in the first to third lines) is "L”
- the potential of the wiring 112b_1 to 112b_3 (wiring 112b in the first to third lines) is "H”.
- the potential of the wiring 116a is set to "L”
- the potential of the wiring 117a is set to "L”
- the exposure operation is performed by the photoelectric conversion device 101.
- the potential of the wiring 116a is set to “H”, the potential generated by the photoelectric conversion device 101 is transferred, and the potential X n + 1 (image data) of the n + 1th frame is written to the node NDa.
- the period T11 to the period T13 correspond to the period for acquiring the data with exposure in the n + 1th frame.
- the node NDb holds the potential Xn (image data) of the nth frame, which is the previous frame.
- the wiring 122_1 shows the wiring 122 of the pixel 100 in the first row
- the wiring 122_2 shows the wiring 122 of the pixel 100 in the second row
- the wiring 122_3 shows the wiring 122 of the pixel 100 in the third row.
- a current corresponding to the potential X n + 1 flows through the transistor 105a of each pixel 100.
- a current corresponding to the potential Xn flows through the transistor 105b.
- the potential Vr of the wiring 218 is written to the node C, and the potential of the node C is initialized to the potential Vr.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W11 (the weight added to the pixels in the first row), and the potential of the wiring 112a_1 is set to “H”, so that the node NDa of the pixel 100 in the first row is set.
- the weighting coefficient W11 is added to the capacitance by the capacitive coupling of the capacitor 104a.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the second row.
- the weighting coefficient W12 is added by capacitive coupling.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the third row.
- the weighting coefficient W13 is added by capacitive coupling.
- the weighting coefficient W11, the weighting coefficient W12, and the weighting coefficient W13 are elements of the first filter FL11.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the first row.
- the weighting coefficient W21 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the second row.
- the weighting coefficient W22 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the third row.
- the weighting coefficient W23 is added by capacitive coupling.
- the weighting coefficient W21, the weighting coefficient W22, and the weighting coefficient W23 are elements of the second filter FL21.
- a current corresponding to the potential W11 + X n + 1 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W21 + X n flows through the transistor 105b. Further, a current corresponding to the potential W12 + X n + 1 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W22 + X n flows through the transistor 105b. Further, a current corresponding to the potential W13 + X n + 1 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W23 + X n flows through the transistor 105b.
- the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 113, and the change Y is added to the potential Vr of the node C by capacitive coupling. Therefore, the potential of the node C becomes "Vr + Y".
- Vr 0, Y is the difference itself, which means that the data A has been calculated.
- the circuit 201 is a signal corresponding to the data A of the pixel block 200 in the first row by the source follower operation. It is possible to output the potential (hereinafter, also referred to as reading).
- the wiring 213 included in the circuit 201 electrically connected to the plurality of pixel blocks 200 in the first row is included in the wiring 213A and the circuit 201 electrically connected to the plurality of pixel blocks 200 in the second row.
- Wiring 213 is referred to as wiring 213B.
- the wiring 213A, the wiring 213B, and the like are sequentially set to “H”, and reading is performed from each pixel block 200.
- FIG. 7 shows an example in which the wiring 213A and the wiring 213B are “H” in this order, but one aspect of the present invention is not limited to this.
- Each wiring 213 may be configured to have a period of "H" during the period T15.
- wiring 213A, wiring 213B and the like may be collectively referred to as wiring 213.
- the operation of the period T15 corresponds to the period in which the data A is generated based on the data with imaging and the data A is output (read out) to the circuit 301 in the n + 1th frame.
- the potentials of the wiring 122_1, the wiring 122_2, the wiring 122_3, the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, the wiring 112b_3, the wiring 213A, the wiring 213B, and the wiring 215 are set to “L”.
- n + 2nd frame shown in FIG. 5 will be described with reference to FIG. 7.
- the parts common to the n + 1th frame (period T11 to period T16) described above will be omitted, and the parts different from each other will be mainly described.
- the potential of the wiring 116b is set to "H"
- the potential of the wiring 117b is set to "H”
- the node NDb of the pixel 100 is set to the reset potential.
- the potentials of the wirings 111a_1 to 111a_3 are set to "L”
- the potentials of the wirings 112a_1 to 112a_3 are set to "H”
- the weighting coefficient 0 is written.
- the potential of the wiring 111b_1 to 111b_3 is set to "L”
- the potential of the wiring 112b_1 to 112b_3 is set to "H”
- the weighting coefficient 0 is written.
- the potential of the wiring 116b is set to "L”
- the potential of the wiring 117b is set to "L”
- the exposure operation is performed by the photoelectric conversion device 101.
- the potential of the wiring 116b is set to “H”, the potential generated by the photoelectric conversion device 101 is transferred, and the potential X n + 2 (image data) of the n + 2nd frame is written to the node NDb.
- the period T21 to the period T23 correspond to the period for acquiring the data with exposure in the n + 2nd frame.
- the node NDa holds the potential X n + 1 (image data) of the n + 1th frame, which is the previous frame.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W21 (the weight added to the pixels in the first row), and the potential of the wiring 112a_1 is set to “H”, so that the node NDa of the pixel 100 in the first row is set.
- the weighting coefficient W21 is added to the capacitance by the capacitive coupling of the capacitor 104a.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the second row.
- the weighting coefficient W22 is added by capacitive coupling.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the third row.
- the weighting coefficient W23 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the first row.
- the weighting coefficient W11 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the second row.
- the weighting coefficient W12 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the third row.
- the weighting coefficient W13 is added by capacitive coupling.
- a current corresponding to the potential W21 + X n + 1 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W11 + X n + 2 flows through the transistor 105b.
- a current corresponding to the potential W22 + X n + 1 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W12 + X n + 2 flows through the transistor 105b.
- a current corresponding to the potential W23 + X n + 1 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W13 + X n + 2 flows through the transistor 105b.
- the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 113, and the change Y is added to the potential Vr of the node C by capacitive coupling. Therefore, the potential of the node C becomes "Vr + Y".
- Vr 0, Y is the difference itself, which means that the data A has been calculated.
- the circuit 201 is a signal corresponding to the data A of the pixel block 200 in the first row by the source follower operation.
- the potential can be output.
- the operation of the period T25 corresponds to the period in which the data A is generated based on the data with imaging and the data A is output (read out) to the circuit 301 in the n + 2nd frame.
- the potentials of the wiring 122_1, the wiring 122_2, the wiring 122_3, the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, the wiring 112b_3, the wiring 213A, the wiring 213B, and the wiring 215 are set to “L”.
- FIG. 8 is a timing chart illustrating an operation of calculating the difference (data B) between the unexposed data and the data weighted on the data in the pixel block 200 and the circuit 201.
- the data B may be acquired as needed. For example, if there is no change in the input weight, the acquired data B may be stored in the memory and the data B may be read from the memory. In addition, a plurality of data B corresponding to a plurality of weights may be stored in the memory. Further, either data A or data B may be acquired first.
- the potential of the wiring 116a is set to "H”
- the potential of the wiring 117a is set to "H”
- the node NDa of the pixel 100 is set to the reset potential.
- the potential of the wiring 116b is set to "H”
- the potential of the wiring 117b is set to "H”
- the node NDb of the pixel 100 is set to the reset potential. That is, during the period, the potentials of the node NDa and the node NDb are reset potentials regardless of the operation of the photoelectric conversion device 101, respectively.
- the potentials of the wiring 116a, the wiring 117a, the wiring 116b, and the wiring 117b are set to “L”.
- the potentials of the wiring 111a_1, the wiring 111a_2, and the wiring 111a_3 are set to "L”
- the potentials of the wiring 112a_1, the wiring 112a_2, and the wiring 112a_3 are set to "H”
- the weight coefficient 0 is written.
- the operation may be performed during the period when the potential of the node NDa is the reset potential.
- the potentials of the wiring 111b_1, the wiring 111b_2, and the wiring 111b_3 are set to "L”
- the potentials of the wiring 112b_1, the wiring 112b_2, and the wiring 112b_3 are set to "H”
- the weight coefficient 0 is written. The operation may be performed during the period when the potential of the node NDb is the reset potential.
- period T14 all the pixels 100 in the pixel block 200 are selected with the potentials of the wiring 122_1, the wiring 122_2, and the wiring 122_3 as “H”. At this time, a current corresponding to the reset potential flows through the transistor 105a of each pixel 100. Further, by setting the potential of the wiring 216 to "H", the potential Vr of the wiring 218 is written to the node C.
- the operation of period T14 corresponds to the acquisition of unexposed data, which is initialized to the potential Vr of node C.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W11 (the weight added to the pixels in the first row), and the potential of the wiring 112a_1 is set to “H”.
- the weighting coefficient W11 is added to the capacitance by the capacitive coupling of the capacitor 104a.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the second row.
- the weighting coefficient W12 is added by capacitive coupling.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the third row.
- the weighting coefficient W13 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the first row.
- the weighting coefficient W21 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the second row.
- the weighting coefficient W22 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the third row.
- the weighting coefficient W23 is added by capacitive coupling.
- all the pixels 100 in the pixel block 200 are selected with the potentials of the wiring 122_1, the wiring 122_2, and the wiring 122_3 set to "H".
- a current corresponding to the potential W11 + 0 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W21 + 0 flows through the transistor 105b.
- a current corresponding to the potential W12 + 0 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W22 + 0 flows through the transistor 105b.
- a current corresponding to the potential W13 + 0 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W23 + 0 flows through the transistor 105b.
- the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 113, and the change Z is added to the potential Vr of the node C by capacitive coupling. Therefore, the potential of the node C becomes "Vr + Z".
- Vr 0, Z is the difference itself, and the data B has been calculated.
- the circuit 201 By sequentially setting the potentials of the wiring 213A, the wiring 213B, etc. to "H” and setting the potential of the wiring 215 to an appropriate analog potential (V vias ) or the like, the circuit 201 performs the data of the pixel block 200 in the first line by the source follower operation.
- the signal potential corresponding to B can be output.
- the operation of the period T15 corresponds to a period in which the data B is generated based on the data without imaging and the data B is output (read out) to the circuit 301.
- the potentials of the wiring 122_1, the wiring 122_2, the wiring 122_3, the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, the wiring 112b_3, the wiring 213A, the wiring 213B, and the wiring 215 are set to “L”.
- Data A and data B output from the circuit 201 by the above operation are input to the circuit 301.
- an operation for taking the difference between the data A and the data B is performed, and an unnecessary offset component other than the product of the image data (potential X) and the weighting coefficient (potential W) can be removed.
- the circuit 301 may have a configuration having an arithmetic circuit like the circuit 201, or may have a configuration in which a difference is obtained by using a memory circuit and software processing.
- n + 2nd frame The parts common to the n + 1th frame (period T11 to period T16) described above will be omitted, and the parts different from each other will be mainly described.
- the potential of the wiring 116a is set to "H”
- the potential of the wiring 117a is set to "H”
- the node NDa of the pixel 100 is set to the reset potential.
- the potential of the wiring 116b is set to "H”
- the potential of the wiring 117b is set to "H”
- the node NDb of the pixel 100 is set to the reset potential.
- the potentials of the wiring 116a, the wiring 117a, the wiring 116b, and the wiring 117b are set to “L”.
- the potentials of the wiring 111a_1, the wiring 111a_2, and the wiring 111a_3 are set to "L", the potentials of the wiring 112a_1, the wiring 112a_2, and the wiring 112a_3 are set to "H”, and the weight coefficient 0 is written.
- the potentials of the wiring 111b_1, the wiring 111b_2, and the wiring 111b_3 are set to "L”, the potentials of the wiring 112b_1, the wiring 112b_2, and the wiring 112b_3 are set to "H”, and the weight coefficient 0 is written.
- the period T24 all the pixels 100 in the pixel block 200 are selected with the potentials of the wiring 122_1, the wiring 122_2, and the wiring 122_3 as “H”. At this time, a current corresponding to the reset potential flows through the transistor 105b of each pixel 100. Further, by setting the potential of the wiring 216 to "H", the potential Vr of the wiring 218 is written to the node C.
- the operation of the period T24 corresponds to the acquisition of data without exposure, and the data is initialized to the potential Vr of the node C.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W21, and the potential of the wiring 112a_1 is set to “H”. Is added.
- the weighting coefficient W22 is added to the node NDa of the pixel 100 in the second row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W23 is added to the node NDa of the pixel 100 in the third row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W11 is added to the node NDb of the pixel 100 in the first row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W12 is added to the node NDb of the pixel 100 in the second row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W13 is added to the node NDb of the pixel 100 in the third row by capacitive coupling of the capacitor 104b.
- all the pixels 100 in the pixel block 200 are selected with the potentials of the wiring 122_1, the wiring 122_2, and the wiring 122_3 set to "H".
- a current corresponding to the potential W21 + 0 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W11 + 0 flows through the transistor 105b.
- a current corresponding to the potential W22 + 0 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W12 + 0 flows through the transistor 105b.
- a current corresponding to the potential W23 + 0 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W13 + 0 flows through the transistor 105b.
- the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 113, and the change Z is added to the potential Vr of the node C by capacitive coupling. Therefore, the potential of the node C becomes "Vr + Z".
- Vr 0, Z is the difference itself, and the data B has been calculated.
- the circuit 201 By sequentially setting the potentials of the wiring 213A, the wiring 213B, etc. to "H” and setting the potential of the wiring 215 to an appropriate analog potential (V vias ) or the like, the circuit 201 performs the data of the pixel block 200 in the first line by the source follower operation.
- the signal potential corresponding to B can be output.
- the operation of the period T25 corresponds to a period in which the data B is generated based on the data without imaging and the data B is output (read out) to the circuit 301.
- the potentials of the wiring 122_1, the wiring 122_2, the wiring 122_3, the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, the wiring 112b_3, the wiring 213A, the wiring 213B, and the wiring 215 are set to “L”.
- Data A and data B output from the circuit 201 by the above operation are input to the circuit 301.
- an operation for taking the difference between the data A and the data B is performed, and an unnecessary offset component other than the product of the image data (potential X) and the weighting coefficient (potential W) can be removed.
- the operation corresponds to the initial operation in a neural network that performs inference and the like. Therefore, at least one calculation can be performed in the imaging device before taking out a huge amount of image data to the outside, and the load such as external calculation or data input / output can be reduced, the processing speed can be increased, and the power consumption can be increased. Can be reduced.
- the potential of the node C of the circuit 201 may be initialized to a different potential in the data A acquisition operation and the data B acquisition operation.
- the data A is initialized to the potential “Vr1” during the acquisition operation and the data B is initialized to the potential “Vr2” during the acquisition operation.
- “(Vr1 + Y)-(Vr2 + Z)” "(Vr1-Vr2) + (Y-Z)”.
- “YZ” is extracted as the product of the image data (potential X) and the weighting coefficient (potential W) in the same manner as in the above operation, and “Vr1-Vr2” is further added.
- Vr1-Vr2 corresponds to the bias used as the threshold adjustment in the calculation of the intermediate layer of the neural network.
- the potential of the wiring 215 may be different with and without imaging.
- the potential of the wiring 215 is set to "V bias 1" during the data A acquisition operation, and the potential of the wiring 215 is set to "V bias 2" during the data B acquisition operation.
- the node C is initialized to the same potential “Vr” at the time of the data A acquisition operation and the data B acquisition operation, respectively.
- "(Vr + Y-V bias 1)-(Vr + Z-V bias 2)" "(V bias 2-V bias 1) + (Y-Z)”.
- V bias 2-V bias 1 corresponds to the bias used as the threshold adjustment in the calculation of the intermediate layer of the neural network.
- the weight has, for example, the role of a filter of a convolutional neural network (CNN), but may also have a role of amplifying or attenuating data.
- CNN convolutional neural network
- W weighting coefficient
- the corrected data can be extracted into a bright image.
- the data B is data without imaging, and can be said to be black level data. Therefore, it can be said that the operation of taking the difference between the data A and the data B is an operation for promoting the visualization of the image captured in the dark place. That is, it is possible to correct the brightness using a neural network.
- bias can be generated by the operation of the image pickup apparatus. It is also possible to add functional weights within the imaging device. Therefore, it is possible to reduce the load of external calculation and the like, and it can be used for various purposes. For example, in addition to inferring the subject, resolution correction of image data, brightness correction, generation of color images from monochrome images, generation of 3D images from 2D images, restoration of missing information, generation of moving images from still images, out-of-focus In processing such as image correction, a part of the processing can be performed in the image pickup apparatus.
- FIG. 9 and 10 are timing charts for explaining the operation of calculating the difference (data A) between the exposed data and the weighted data in the pixel block 200 and the circuit 201.
- the parts common to FIG. 7 described above will be omitted, and the parts different from each other will be mainly described.
- FIG. 9 corresponds to the operation of the n + 1th frame shown in FIG. 7.
- the description of the period T14 to the period T15 according to FIG. 7 can be referred to, and detailed description thereof will be omitted.
- the image data IM n + 1 acquired in the n + 1th frame in the circuit 130a is weighted by using the first filter FL11, and is acquired in the nth frame held in the circuit 130b.
- the image data IM n is weighted by using the second filter FL21.
- the data A when the first filter FL11 and the second filter FL21 are used in the n + 1th frame is calculated.
- the potentials of the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, and the wiring 112b_3 are set to “L”.
- a current corresponding to the potential X n + 1 flows through the transistor 105a of each pixel 100.
- a current corresponding to the potential Xn flows through the transistor 105b.
- the potential Vr of the wiring 218 is written to the node C, and the potential of the node C is initialized to the potential Vr.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W31 (the weight added to the pixels in the first row), and the potential of the wiring 112a_1 is set to “H”, so that the node NDa of the pixel 100 in the first row is set.
- the weighting coefficient W31 is added to the capacitance coupling of the capacitor 104a.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the second row.
- the weighting coefficient W32 is added by capacitive coupling.
- the capacitor 104a is connected to the node NDa of the pixel 100 in the third row.
- the weighting coefficient W33 is added by capacitive coupling.
- the weighting coefficient W31, the weighting coefficient W32, and the weighting coefficient W33 are elements of the third filter FL12.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the first row.
- the weighting coefficient W41 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the second row.
- the weighting coefficient W42 is added by capacitive coupling.
- the capacitor 104b is connected to the node NDb of the pixel 100 in the third row.
- the weighting coefficient W43 is added by capacitive coupling.
- the weighting coefficient W41, the weighting coefficient W42, and the weighting coefficient W43 are elements of the fourth filter FL22.
- a current corresponding to the potential W31 + X n + 1 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W41 + X n flows through the transistor 105b. Further, a current corresponding to the potential W32 + X n + 1 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W42 + X n flows through the transistor 105b. Further, a current corresponding to the potential W33 + X n + 1 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W43 + X n flows through the transistor 105b.
- the image data IM n + 1 acquired in the n + 1th frame in the circuit 130a is weighted by using the third filter FL12, and is acquired in the nth frame held in the circuit 130b.
- the image data IM n is weighted by using the fourth filter FL22.
- the data A when the third filter FL12 and the fourth filter FL22 are used is calculated.
- the image data IM n + 1 acquired in the n + 1th frame in the circuit 130a is weighted by using the fifth filter FL13, and is held in the nth frame in the circuit 130b.
- the acquired image data IM n is weighted by using the sixth filter FL23.
- the data A when the fifth filter FL13 and the sixth filter FL23 are used is calculated.
- FIG. 10 corresponds to the operation of the n + 2nd frame shown in FIG.
- the parts common to the n + 1th frame (period T11 to period T16) described above will be omitted, and the parts different from each other will be mainly described.
- the description of the period T24 to the period T25 according to FIG. 7 can be referred to, and detailed description thereof will be omitted.
- the image data IM n + 2 acquired in the n + 2nd frame in the circuit 130b is weighted by using the first filter FL11, and is acquired in the n + 1th frame held in the circuit 130a.
- the image data IM n + 1 is weighted by using the second filter FL21.
- the data A when the first filter FL11 and the second filter FL21 are used in the n + 2nd frame is calculated.
- a current corresponding to the potential X n + 1 flows through the transistor 105a of each pixel 100.
- a current corresponding to the potential X n + 2 flows through the transistor 105b.
- the potential Vr of the wiring 218 is written to the node C, and the potential of the node C is initialized to the potential Vr.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W41, and the potential of the wiring 112a_1 is set to “H”. Is added.
- the weighting coefficient W42 is added to the node NDa of the pixel 100 in the second row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W43 is added to the node NDa of the pixel 100 in the third row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W31 is added to the node NDb of the pixel 100 in the first row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W32 is added to the node NDb of the pixel 100 in the second row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W33 is added to the node NDb of the pixel 100 in the third row by capacitive coupling of the capacitor 104b.
- a current corresponding to the potential W41 + X n + 1 flows through the transistor 105a of the pixel 100 in the first row, and a current corresponding to the potential W31 + X n + 2 flows through the transistor 105b. Further, a current corresponding to the potential W42 + X n + 1 flows through the transistor 105a of the pixel 100 in the second row, and a current corresponding to the potential W32 + X n + 2 flows through the transistor 105b. Further, a current corresponding to the potential W43 + X n + 1 flows through the transistor 105a of the pixel 100 in the third row, and a current corresponding to the potential W33 + X n + 2 flows through the transistor 105b.
- the image data IM n + 2 acquired in the n + 2nd frame in the circuit 130b is weighted by using the third filter FL12, and is acquired in the n + 1 frame held in the circuit 130a.
- the image data IM n + 1 is weighted by using the fourth filter FL22.
- the data A when the third filter FL12 and the fourth filter FL22 are used is calculated.
- the image data IM n + 2 acquired in the n + 2nd frame in the circuit 130b is weighted by using the fifth filter FL13, and is held in the n + 1th frame in the circuit 130a.
- the acquired image data IM n + 1 is weighted by using the sixth filter FL23.
- the data A when the fifth filter FL13 and the sixth filter FL23 are used is calculated.
- 11 and 12 are timing charts for explaining the operation of calculating the difference (data B) between the unexposed data and the data weighted on the data in the pixel block 200 and the circuit 201.
- the parts common to FIG. 8 described above will be omitted, and the parts different from each other will be mainly described.
- FIG. 11 corresponds to the operation of the n + 1th frame shown in FIG.
- the description of the period T14 to the period T15 according to FIG. 8 can be referred to, and detailed description thereof will be omitted.
- the data B when the first filter FL11 and the second filter FL21 are used in the n + 1th frame is calculated.
- the potentials of the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, and the wiring 112b_3 are set to "L”.
- a current corresponding to the reset potential flows through the transistor 105a of each pixel 100.
- the potential Vr of the wiring 218 is written to the node C.
- the operation of period T14 corresponds to the acquisition of unexposed data, which is initialized to the potential Vr of node C.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W31, and the potential of the wiring 112a_1 is set to “H”. Is added.
- the weighting coefficient W32 is added to the node NDa of the pixel 100 in the second row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W33 is added to the node NDa of the pixel 100 in the third row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W41 is added to the node NDb of the pixel 100 in the first row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W42 is added to the node NDb of the pixel 100 in the second row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W43 is added to the node NDb of the pixel 100 in the third row by capacitive coupling of the capacitor 104b.
- the data B when the fifth filter FL13 and the sixth filter FL23 are used is calculated.
- FIG. 12 corresponds to the operation of the n + 2nd frame shown in FIG.
- the description of the period T24 to the period T25 according to FIG. 8 can be referred to, and detailed description thereof will be omitted.
- the data B when the first filter FL11 and the second filter FL21 are used in the n + 2nd frame is calculated.
- the potentials of the wiring 112a_1, the wiring 112a_2, the wiring 112a_3, the wiring 112b_1, the wiring 112b_2, and the wiring 112b_3 are set to “L”.
- a current corresponding to the reset potential flows through the transistor 105a of each pixel 100.
- the potential Vr of the wiring 218 is written to the node C.
- the operation of period T14 corresponds to the acquisition of unexposed data, which is initialized to the potential Vr of node C.
- the potential of the wiring 111a_1 is set to the potential corresponding to the weighting coefficient W41, and the potential of the wiring 112a_1 is set to “H”. Is added.
- the weighting coefficient W42 is added to the node NDa of the pixel 100 in the second row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W43 is added to the node NDa of the pixel 100 in the third row by capacitive coupling of the capacitor 104a.
- the weighting coefficient W31 is added to the node NDb of the pixel 100 in the first row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W32 is added to the node NDb of the pixel 100 in the second row by capacitive coupling of the capacitor 104b.
- the weighting coefficient W33 is added to the node NDb of the pixel 100 in the third row by capacitive coupling of the capacitor 104b.
- the data B when the fifth filter FL13 and the sixth filter FL23 are used is calculated.
- the same operation as described above can be performed for subsequent frames.
- an example in which three types of filters are used in the circuit 130a and the circuit 130b, respectively, has been shown, but one aspect of the present invention is not limited to this.
- the filters used in the circuit 130a and the circuit 130b may be of two types or four or more types, respectively. Further, one type of filter may be used for each of the circuit 130a and the circuit 130b.
- ⁇ Pixel circuit configuration example 2> A configuration example different from the pixel 100 shown in FIG. 4 is shown in FIG.
- the pixel 100 shown in FIG. 13 is mainly different from the pixel 100 shown in FIG. 4 in that the transistor 105a and the transistor 105b each have a back gate and the transistor 106a and the transistor 106b do not have a back gate.
- the back gate of the transistor 105a is electrically connected to the wiring 111a, and a potential corresponding to the weighting coefficient (W) is supplied from the wiring 111a.
- the threshold voltage ( Vth ) of the transistor 105a is shifted to the minus side by the weighting coefficient (W), and the on-current increases as in the case where the weighting coefficient (W) is given to the front gate.
- the back gate of the transistor 105b is electrically connected to the wiring 111b, and a potential corresponding to the weighting coefficient (W) is supplied from the wiring 111b.
- the threshold voltage ( Vth ) of the transistor 105b is shifted to the minus side by the weighting factor (W), and the on-current increases as in the case where the weighting factor (W) is given to the front gate. Also in the pixel 100 shown in FIG. 13, the difference between the data A and the data B is k ⁇ (2W ⁇ X), and the offset component other than the product of the image data (X) and the weighting coefficient (W) can be removed. ..
- An OS transistor can be preferably used for the transistor 105a and the transistor 105b having a back gate.
- the other electrode of the capacitor 104a is electrically connected to the wiring 118a.
- the other electrode of the capacitor 104b is electrically connected to the wiring 118b.
- the wiring 118a and the wiring 118b each have a function of supplying a fixed potential.
- the wiring 118a may be shared with either the wiring 115a or the wiring 119b.
- the other electrode of the capacitor 104a can be electrically connected to the wiring 115a.
- the wiring 118b may be shared with either the wiring 115b or the wiring 119b.
- the other electrode of the capacitor 104b can be electrically connected to the wiring 115b.
- FIG. 14A is a diagram illustrating a circuit 301 and a circuit 302 connected to the circuit 201.
- the product-sum calculation result data output from the circuit 201 is sequentially input to the circuit 301.
- the circuit 301 may have various calculation functions in addition to the above-mentioned function of calculating the difference between the data A and the data B.
- the circuit 301 can have the same configuration as the circuit 201.
- the function of the circuit 301 may be replaced by processing by software.
- the circuit 301 may have a circuit that calculates an activation function.
- a comparator circuit can be used for the circuit.
- the comparator circuit outputs the result of comparing the input data with the set threshold value as binary data. That is, the pixel block 200 and the circuit 301 can act as a part element of the neural network.
- the circuit 301 may have an A / D converter. When the image data is output from the pixel block 200 to the outside regardless of the presence or absence of the product-sum calculation, the circuit 301 can convert the analog data into digital data.
- a pixel block 200 having pixels 100 of 3 rows and 3 columns if the weights supplied to all the pixels 100 are the same (for example, 0) and the transistor 108 of the pixel for which data is to be output is made conductive, the pixels.
- the sum of the image data of the entire block 200, the sum of the image data for each row, the data for each pixel, and the like can be output from the pixel block 200.
- the data output by the pixel block 200 corresponds to a plurality of bits of image data, but if it can be binarized by the circuit 301, it can be said that the image data is compressed.
- the data output from the circuit 301 is sequentially input to the circuit 302.
- the circuit 302 can be configured to include, for example, a latch circuit and a shift register. With this configuration, parallel serial conversion can be performed, and the data input in parallel can be output to the wiring 311 as serial data.
- the circuit 302 may have a neural network.
- the neural network has memory cells arranged in a matrix, and each memory cell holds a weighting coefficient.
- the data output from the circuit 301 is input to each of the memory cells 320, and the product-sum operation can be performed.
- the number of memory cells shown in FIG. 14B is an example, and is not limited to this.
- the data after the product-sum calculation can be output to the wiring 311.
- connection destination of the wiring 311 is not limited.
- it can be connected to a neural network, a storage device, a communication device, or the like.
- the neural network shown in FIG. 14B has a memory cell 320 and a reference memory cell 325 installed in a matrix, a circuit 330, a circuit 350, a circuit 360, and a circuit 370.
- FIG. 15 shows an example of the memory cell 320 and the reference memory cell 325.
- Reference memory cells 325 are provided in an arbitrary row.
- the memory cell 320 and the reference memory cell 325 have a similar configuration and include a transistor 161 and a transistor 162 and a capacitor 163.
- One of the source and drain of transistor 161 is electrically connected to the gate of transistor 162.
- the gate of transistor 162 is electrically connected to one electrode of capacitor 163.
- a node NM is a point where one of the source and drain of the transistor 161, the gate of the transistor 162, and one electrode of the capacitor 163 are connected.
- the gate of the transistor 161 is electrically connected to the wiring WL.
- the other electrode of the capacitor 163 is electrically connected to the wiring RW.
- One of the source and drain of the transistor 162 is electrically connected to a reference potential wiring such as a GND wiring.
- the other side of the source or drain of the transistor 161 is electrically connected to the wiring WD.
- the other of the source or drain of the transistor 162 is electrically connected to the wiring BL.
- the other of the source or drain of the transistor 161 is electrically connected to the wiring WDref.
- the other of the source or drain of the transistor 162 is electrically connected to the wiring BLref.
- the wiring WL is electrically connected to the circuit 330.
- a decoder, a shift register, or the like can be used for the circuit 330.
- the wiring RW is electrically connected to the circuit 301.
- Binary data output from the circuit 301 is written to each memory cell.
- a sequential circuit such as a shift register may be provided between the circuit 301 and each memory cell.
- the wiring WD and the wiring WDref are electrically connected to the circuit 350.
- a decoder, a shift register, or the like can be used for the circuit 350.
- the circuit 350 may have a D / A converter and SRAM.
- the circuit 350 can output the weighting factor written to the node NM.
- the wiring BL and the wiring BLref are electrically connected to the circuit 360.
- the circuit 360 can have the same configuration as the circuit 201.
- the circuit 360 can obtain a signal obtained by removing the offset component from the product-sum calculation result.
- the circuit 360 is electrically connected to the circuit 370.
- the circuit 370 can also be rephrased as an activation function circuit.
- the activation function circuit has a function of performing an operation for converting a signal input from the circuit 360 according to a predefined activation function.
- As the activation function for example, a sigmoid function, a tanh function, a softmax function, a ReLU function, a threshold function, and the like can be used.
- the signal converted by the activation function circuit is output to the outside as output data.
- the neural network NN can be composed of an input layer IL, an output layer OL, and an intermediate layer (hidden layer) HL.
- the input layer IL, the output layer OL, and the intermediate layer HL each have one or more neurons (units).
- the intermediate layer HL may be one layer or two or more layers.
- a neural network having two or more intermediate layers HL can also be called a DNN (deep neural network). Learning using a deep neural network can also be called deep learning.
- Input data is input to each neuron in the input layer IL.
- the output signals of the neurons in the anterior layer or the posterior layer are input to each neuron in the intermediate layer HL.
- the output signal of the presheaf neuron is input to each neuron in the output layer OL.
- Each neuron may be connected to all neurons in the anterior and posterior layers (fully connected), or may be connected to some neurons.
- the intermediate layer HL has a layer for convolution processing (convolutional layer), a layer for pooling processing (pooling layer), and a layer for fully coupling processing (fully connected layer). can do.
- convolution layer feature extraction is performed by performing a convolution process. Further, one or more weight filters can be used for the convolution process.
- the intermediate layer HL may include a normalized layer or the like in addition to the above. In the convolution process, a process such as padding or stride may be combined.
- FIG. 16B shows an example of operation by neurons.
- two neurons in the presheaf layer that output a signal to the neuron N are shown.
- the output x 1 of the presheaf neuron and the output x 2 of the presheaf neuron are input to the neuron N.
- the sum of the multiplication result of the output x 1 and the weight w 1 (x 1 w 1 ) and the multiplication result of the output x 2 and the weight w 2 (x 2 w 2 ) is x 1 w 1 + x 2 w 2.
- the operation by the neuron includes the operation of adding the product of the output of the neuron in the previous layer and the weight, that is, the product-sum operation (x 1 w 1 + x 2 w 2 above ).
- This product-sum operation may be performed by software using a program or by hardware.
- the product-sum calculation is performed using an analog circuit as hardware.
- an analog circuit is used for the product-sum calculation circuit, the processing speed can be improved and the power consumption can be reduced by reducing the circuit scale of the product-sum calculation circuit or reducing the number of times the memory is accessed.
- the product-sum calculation circuit has an OS transistor. Since the OS transistor has an extremely small off-current, it is suitable as a transistor constituting an analog memory of a product-sum calculation circuit.
- the product-sum calculation circuit may be configured by using both the Si transistor and the OS transistor.
- FIG. 17A is a diagram showing an example of the pixel structure of the image pickup apparatus, and can be a laminated structure of layers 561 and 563.
- Layer 561 has a photoelectric conversion device 101.
- the photoelectric conversion device 101 can have a layer 565a and a layer 565b as shown in FIG. 18A. In some cases, the layer may be referred to as an area.
- the photoelectric conversion device 101 shown in FIG. 18A is a pn junction type photodiode.
- a p-type semiconductor can be used for the layer 565a and an n-type semiconductor can be used for the layer 565b.
- an n-type semiconductor may be used for the layer 565a and a p-type semiconductor may be used for the layer 565b.
- the pn junction type photodiode can be typically formed by using single crystal silicon.
- a photodiode having a single crystal silicon as a photoelectric conversion layer has a relatively wide spectral sensitivity characteristic from ultraviolet light to near infrared light, and can detect light of various wavelengths by combining with an optical conversion layer described later. Can be done.
- a compound semiconductor may be used as the photoelectric conversion layer of the pn junction type photodiode.
- the compound semiconductor include gallium-arsenide-phosphorus compound (GaAsP), gallium-phosphorus compound (GaP), indium-gallium-arsenide compound (InGaAs), lead-sulfur compound (PbS), and lead-selenium compound (PbSe).
- Indium-arsenide compound (InAs), indium-antimonide compound (InSb), mercury-cadmium-tellulu compound (HgCdTe) and the like can be used.
- a compound semiconductor having a Group 13 element (aluminum, gallium, indium, etc.) and a Group 15 element (nitrogen, phosphorus, arsenic, antimony, etc.) also referred to as a Group 3-5 compound semiconductor
- a Group 12 element also referred to as a Group 3-5 compound semiconductor
- a Group 12 element It is preferably a compound semiconductor (also referred to as a Group 2-6 compound semiconductor) having Group 16 elements (oxygen, sulfur, selenium, tellurium, etc.) and magnesium, zinc, cadmium, mercury, etc.).
- the band gap of a compound semiconductor can be changed according to the combination of constituent elements and the atomic number ratio thereof, a photodiode having sensitivity in various wavelength ranges from ultraviolet light to infrared light can be formed. ..
- the wavelength of ultraviolet light is around 0.01 ⁇ m to 0.38 ⁇ m
- the wavelength of visible light is around 0.38 ⁇ m to 0.75 ⁇ m
- the wavelength of near infrared light is around 0.75 ⁇ m to 2.5 ⁇ m.
- the wavelength of near-infrared light can be generally defined as 2.5 ⁇ m to 4 ⁇ m
- the wavelength of far-infrared light can be generally defined as 4 ⁇ m to 1000 ⁇ m.
- GaP gallium phosphide
- the photoelectric conversion layer in order to form a photodiode having light sensitivity from ultraviolet light to visible light, GaP or the like can be used for the photoelectric conversion layer.
- the above-mentioned silicon or GaAsP can be used for the photoelectric conversion layer.
- InGaAs or the like in order to form a photodiode having light sensitivity from visible light to mid-infrared light.
- PbS, InAs, or the like can be used for the photoelectric conversion layer.
- PbSe, InSb, HgCdTe or the like can be used for the photoelectric conversion layer.
- the photodiode using the above compound semiconductor may be a pin junction as well as a pn junction. Further, the pn junction and the pin junction are not limited to the homozygous structure, and may be a heterojunction structure.
- a first compound semiconductor can be used for one layer of the pn junction structure, and a second compound semiconductor different from the first compound semiconductor can be used for the other layer.
- a first compound semiconductor can be used for any one or two layers of the pin junction structure, and a second compound semiconductor different from the first compound semiconductor can be used for the other layers.
- One of the first compound semiconductor and the second compound semiconductor may be a single semiconductor such as silicon.
- the photoelectric conversion layer of the photodiode may be formed by using a different material for each pixel.
- an image pickup device having any two types of pixels, such as a pixel for detecting ultraviolet light, a pixel for detecting visible light, and a pixel for detecting infrared light, or three types of pixels can be formed. Can be done.
- the photoelectric conversion device 101 included in the layer 561 may be a laminate of the layer 566a, the layer 566b, the layer 566c, and the layer 566d.
- the photoelectric conversion device 101 shown in FIG. 18B is an example of an avalanche photodiode, in which layers 566a and 566d correspond to electrodes, and layers 566b and 566c correspond to photoelectric conversion units.
- the layer 566a is preferably a low resistance metal layer or the like.
- a low resistance metal layer or the like aluminum, titanium, tungsten, tantalum, silver or a laminate thereof can be used.
- the layer 566d it is preferable to use a conductive layer having high translucency with respect to visible light.
- a conductive layer having high translucency with respect to visible light For example, indium oxide, tin oxide, zinc oxide, indium-tin oxide, gallium-zinc oxide, indium-gallium-zinc oxide, graphene and the like can be used.
- the layer 566d may be omitted.
- the layers 566b and 566c of the photoelectric conversion unit can be configured as a pn junction type photodiode using, for example, a selenium-based material as a photoelectric conversion layer. It is preferable to use a selenium-based material which is a p-type semiconductor for the layer 566b and gallium oxide which is an n-type semiconductor for the layer 566c.
- a photoelectric conversion device using a selenium-based material has a characteristic of high external quantum efficiency with respect to visible light.
- the amplification of electrons with respect to the amount of incident light can be increased by utilizing the avalanche multiplication.
- the selenium-based material has a high light absorption coefficient, it has a production advantage such that the photoelectric conversion layer can be formed of a thin film.
- a thin film of a selenium-based material can be formed by a vacuum deposition method, a sputtering method, or the like.
- Crystalline selenium single crystal selenium, polycrystalline selenium
- amorphous selenium can be used as the selenium-based material. These have photosensitivity from ultraviolet light to visible light.
- a compound of copper, indium and selenium (CIS), a compound of copper, indium, gallium and selenium (CIGS) and the like can be used. These have photosensitivity from ultraviolet light to near infrared light.
- the n-type semiconductor is preferably formed of a material having a wide bandgap and translucency with respect to visible light.
- a material having a wide bandgap and translucency with respect to visible light For example, zinc oxide, gallium oxide, indium oxide, tin oxide, or an oxide in which they are mixed can be used.
- these materials also have a function as a hole injection blocking layer, and can reduce the dark current.
- the photoelectric conversion device 101 included in the layer 561 may be a laminate of the layer 567a, the layer 567b, the layer 567c, the layer 567d, and the layer 567e.
- the photoelectric conversion device 101 shown in FIG. 18C is an example of an organic photoconductive film, layer 567a is a lower electrode, layer 567e is a translucent upper electrode, and layers 567b, 567c, and 567d correspond to a photoelectric conversion unit. ..
- One of the layers 567b and 567d of the photoelectric conversion unit can be a hole transport layer and the other can be an electron transport layer. Further, the layer 567c can be a photoelectric conversion layer.
- the hole transport layer for example, molybdenum oxide or the like can be used.
- the electron transport layer for example, fullerenes such as C 60 and C 70 , or derivatives thereof and the like can be used.
- the photoelectric conversion layer a mixed layer (bulk heterojunction structure) of an n-type organic semiconductor and a p-type organic semiconductor can be used.
- a mixed layer bulk heterojunction structure
- organic semiconductors There are various types of organic semiconductors, and a material having photosensitivity at a target wavelength may be selected for the photoelectric conversion layer.
- a silicon substrate can be used as the layer 563 shown in FIG. 17A.
- the silicon substrate has a Si transistor and the like.
- the Si transistor can be used to form a circuit for driving the pixel circuit, an image signal readout circuit, an image processing circuit, a neural network, a communication circuit, and the like.
- a storage circuit such as a DRAM (Dynamic Random Access Memory), a CPU (Central Processing Unit), an MCU (Micro Controller Unit), or the like may be formed.
- the above circuit excluding the pixel circuit is referred to as a functional circuit.
- a part or all of them are layered. It can be provided at 563.
- Layer 563 may be a stack of a plurality of layers as shown in FIG. 17B. In FIG. 17B, three layers of layer 563a, layer 563b, and layer 563c are illustrated, but two layers may be used. Alternatively, the layer 563 may be a stack of four or more layers. These layers can be laminated by using, for example, a bonding step. With this configuration, the pixel circuit and the functional circuit can be dispersed in a plurality of layers, and the pixel circuit and the functional circuit can be provided in an overlapping manner, so that a compact and highly functional imaging device can be manufactured.
- the pixel may have a laminated structure of layers 561, 562, and 563.
- Layer 562 can have an OS transistor.
- One or more of the above-mentioned functional circuits may be formed of OS transistors.
- one or more functional circuits may be formed by using the Si transistor included in the layer 563 and the OS transistor included in the layer 562.
- the layer 563 may be used as a support substrate such as a glass substrate, and the functional circuit may be formed by the OS transistor included in the layer 562.
- a normally-off CPU (also referred to as "Noff-CPU") can be realized by using an OS transistor and a Si transistor.
- the Nonf-CPU is an integrated circuit including a normally-off type transistor that is in a non-conducting state (also referred to as an off state) even when the gate voltage is 0V.
- the Noff-CPU can stop the power supply to the circuits that do not need to operate in the Noff-CPU and put the circuits in the standby state. No power is consumed in the circuit where the power supply is stopped and the circuit is in the standby state. Therefore, the Nonf-CPU can minimize the amount of power used. Further, the Nonf-CPU can retain information necessary for operation such as setting conditions for a long period of time even if the power supply is stopped. To return from the standby state, it is only necessary to restart the power supply to the circuit, and it is not necessary to rewrite the setting conditions and the like. That is, high-speed recovery from the standby state is possible. In this way, the Nonf-CPU can reduce the power consumption without significantly reducing the operating speed.
- the layer 562 may be a stack of a plurality of layers as shown in FIG. 17D.
- FIG. 17D two layers of layer 562a and layer 562b are illustrated, but three or more layers may be laminated. These layers can be formed so as to be stacked on, for example, layer 563. Alternatively, the layer formed on the layer 563 and the layer formed on the layer 561 may be bonded together.
- a metal oxide having an energy gap of 2 eV or more, preferably 2.5 eV or more, more preferably 3 eV or more can be used.
- a typical example is an oxide semiconductor containing indium, and for example, CAAC-OS or CAC-OS, which will be described later, can be used.
- CAAC-OS is suitable for transistors and the like in which the atoms constituting the crystal are stable and reliability is important. Further, since CAC-OS exhibits high mobility characteristics, it is suitable for a transistor or the like that performs high-speed driving.
- the OS transistor Since the OS transistor has a large energy gap in the semiconductor layer, it exhibits an extremely low off-current characteristic of several yA / ⁇ m (current value per 1 ⁇ m of channel width). Further, the OS transistor has features different from those of the Si transistor such as impact ionization, avalanche breakdown, and short channel effect, and can form a circuit having high withstand voltage and high reliability. In addition, variations in electrical characteristics due to crystallinity non-uniformity, which is a problem with Si transistors, are unlikely to occur with OS transistors.
- the semiconductor layer of the OS transistor includes, for example, indium, zinc and M (one or more selected from metals such as aluminum, titanium, gallium, germanium, yttrium, zirconium, lanthanum, cerium, tin, neodymium or hafnium). It can be a film represented by an In—M—Zn-based oxide containing.
- the In—M—Zn-based oxide can be typically formed by a sputtering method. Alternatively, it may be formed by using an ALD (Atomic layer deposition) method.
- the atomic number ratio of the metal element of the sputtering target used for forming the In-M-Zn-based oxide by the sputtering method preferably satisfies In ⁇ M and Zn ⁇ M.
- the atomic number ratio of the semiconductor layer to be formed includes a variation of plus or minus 40% of the atomic number ratio of the metal element contained in the sputtering target.
- the semiconductor layer has a carrier density of 1 ⁇ 10 17 / cm 3 or less, preferably 1 ⁇ 10 15 / cm 3 or less, more preferably 1 ⁇ 10 13 / cm 3 or less, and more preferably 1 ⁇ 10 11 / cm. 3 or less, more preferably less than 1 ⁇ 10 10 / cm 3, it is possible to use a 1 ⁇ 10 -9 / cm 3 or more oxide semiconductor.
- oxide semiconductors are referred to as high-purity intrinsic or substantially high-purity intrinsic oxide semiconductors. It can be said that the oxide semiconductor is an oxide semiconductor having a low defect level density and stable characteristics.
- a transistor having an appropriate composition may be used according to the required semiconductor characteristics and electrical characteristics (field effect mobility, threshold voltage, etc.) of the transistor. Further, in order to obtain the required semiconductor characteristics of the transistor, it is preferable that the carrier density, impurity concentration, defect density, atomic number ratio of metal element and oxygen, interatomic distance, density and the like of the semiconductor layer are appropriate. ..
- the concentration of silicon or carbon in the semiconductor layer is set to 2 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 17 atoms / cm 3 or less.
- Alkali metals and alkaline earth metals may form carriers when combined with oxide semiconductors, which may increase the off-current of the transistor. Therefore, the concentration of alkali metal or alkaline earth metal in the semiconductor layer (concentration obtained by secondary ion mass spectrometry) is 1 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 16 atoms / cm 3 or less. To.
- the nitrogen concentration in the semiconductor layer is preferably 5 ⁇ 10 18 atoms / cm 3 or less.
- the oxide semiconductor constituting the semiconductor layer When the oxide semiconductor constituting the semiconductor layer contains hydrogen, it reacts with oxygen bonded to a metal atom to become water, which may form an oxygen deficiency in the oxide semiconductor. If the channel formation region in the oxide semiconductor contains oxygen deficiency, the transistor may have a normally-on characteristic. In addition, a defect containing hydrogen in an oxygen deficiency may function as a donor and generate electrons as carriers. In addition, a part of hydrogen may be combined with oxygen that is bonded to a metal atom to generate an electron as a carrier. Therefore, a transistor using an oxide semiconductor containing a large amount of hydrogen tends to have a normally-on characteristic.
- a defect containing hydrogen in an oxygen deficiency can function as a donor of an oxide semiconductor.
- the carrier concentration may be evaluated instead of the donor concentration. Therefore, in the present specification and the like, as a parameter of the oxide semiconductor, a carrier concentration assuming a state in which an electric field is not applied may be used instead of the donor concentration. That is, the "carrier concentration" described in the present specification and the like may be paraphrased as the "donor concentration".
- the hydrogen concentration obtained by secondary ion mass spectrometry is less than 1 ⁇ 10 20 atoms / cm 3 , preferably 1 ⁇ 10 19 atoms / cm. It is less than 3, more preferably less than 5 ⁇ 10 18 atoms / cm 3 , and even more preferably less than 1 ⁇ 10 18 atoms / cm 3 .
- the semiconductor layer may have, for example, a non-single crystal structure.
- the non-single crystal structure includes, for example, a CAAC-OS (C-Axis Aligned Crystalline Oxide Semiconductor) having crystals oriented on the c-axis, a polycrystalline structure, a microcrystal structure, or an amorphous structure.
- CAAC-OS C-Axis Aligned Crystalline Oxide Semiconductor
- the amorphous structure has the highest defect level density
- CAAC-OS has the lowest defect level density.
- an oxide semiconductor film having an amorphous structure has a disordered atomic arrangement and has no crystal component.
- the oxide film having an amorphous structure has, for example, a completely amorphous structure and has no crystal portion.
- the semiconductor layer is a mixed film having two or more of an amorphous structure region, a microcrystal structure region, a polycrystalline structure region, a CAAC-OS region, and a single crystal structure region. good.
- the mixed film may have, for example, a single-layer structure or a laminated structure including any two or more of the above-mentioned regions.
- CAC Cloud-Linked Composite
- CAC-OS is, for example, a composition of a material in which elements constituting an oxide semiconductor are unevenly distributed in a size of 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size close thereto.
- the oxide semiconductor one or more metal elements are unevenly distributed, and the region having the metal elements is 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size in the vicinity thereof.
- the state of being mixed with is also called a mosaic shape or a patch shape.
- the oxide semiconductor preferably contains at least indium. In particular, it preferably contains indium and zinc. Also, in addition to them, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, silicon, titanium, iron, nickel, germanium, zirconium, molybdenum, lanthanum, cerium, neodymium, hafnium, tantalum, tungsten, or magnesium, etc. One or more selected from the above may be included.
- CAC-OS in In-Ga-Zn oxide is indium oxide (hereinafter, InO).
- InO indium oxide
- X1 is a real number greater than 0
- In X2 Zn Y2 O Z2 X2, Y2, and Z2 are real numbers greater than 0
- GaO X3 (X3 is a real number larger than 0)
- gallium zinc oxide hereinafter, Ga X4 Zn Y4 O Z4 (X4, Y4, and Z4 are real numbers larger than 0)
- the material is separated into a mosaic-like structure, and the mosaic-like InO X1 or In X2 Zn Y2 O Z2 is uniformly distributed in the film (hereinafter, also referred to as cloud-like).
- CAC-OS is a composite oxide semiconductor having a structure in which a region containing GaO X3 as a main component and a region containing In X2 Zn Y2 O Z2 or InO X1 as a main component are mixed.
- the atomic number ratio of In to the element M in the first region is larger than the atomic number ratio of In to the element M in the second region. It is assumed that the concentration of In is higher than that of region 2.
- IGZO is a common name, and may refer to one compound consisting of In, Ga, Zn, and O. As a typical example, it is represented by InGaO 3 (ZnO) m1 (m1 is a natural number) or In (1 + x0) Ga (1-x0) O 3 (ZnO) m0 (-1 ⁇ x0 ⁇ 1, m0 is an arbitrary number). Crystalline compounds can be mentioned.
- the crystalline compound has a single crystal structure, a polycrystalline structure, or a CAAC structure.
- the CAAC structure is a crystal structure in which a plurality of IGZO nanocrystals have a c-axis orientation and are connected without being oriented on the ab plane.
- CAC-OS relates to the material composition of oxide semiconductors.
- CAC-OS is a region that is partially observed as nanoparticles containing Ga as a main component and nanoparticles containing In as a main component in a material composition containing In, Ga, Zn, and O.
- the regions observed in a shape refer to a configuration in which the regions are randomly dispersed in a mosaic shape. Therefore, in CAC-OS, the crystal structure is a secondary element.
- CAC-OS does not include a laminated structure of two or more types of films having different compositions. For example, it does not include a structure consisting of two layers, a film containing In as a main component and a film containing Ga as a main component.
- CAC-OS has a region observed in the form of nanoparticles containing the metal element as a main component and a nano having In as a main component.
- the regions observed in the form of particles refer to a configuration in which the regions are randomly dispersed in a mosaic pattern.
- CAC-OS can be formed by a sputtering method, for example, under the condition that the substrate is not intentionally heated.
- a sputtering method one or more selected from an inert gas (typically argon), an oxygen gas, and a nitrogen gas may be used as the film forming gas. good.
- the flow rate ratio of the oxygen gas is preferably 0% or more and less than 30%, preferably 0% or more and 10% or less. ..
- CAC-OS is characterized by the fact that no clear peak is observed when measured using the ⁇ / 2 ⁇ scan by the Out-of-plane method, which is one of the X-ray diffraction (XRD) measurement methods. Have. That is, from the X-ray diffraction measurement, it can be seen that the orientation of the measurement region in the ab plane direction and the c-axis direction is not observed.
- XRD X-ray diffraction
- CAC-OS is an electron diffraction pattern obtained by irradiating an electron beam having a probe diameter of 1 nm (also referred to as a nanobeam electron beam) in a ring-shaped region having high brightness (ring region) and the ring region. Multiple bright spots are observed. Therefore, from the electron diffraction pattern, it can be seen that the crystal structure of CAC-OS has an nc (nano-crystal) structure having no orientation in the planar direction and the cross-sectional direction.
- nc nano-crystal
- the region in which GaO X3 is the main component is determined by EDX mapping obtained by using energy dispersive X-ray spectroscopy (EDX).
- EDX energy dispersive X-ray spectroscopy
- In X2 Zn Y2 O Z2 , or a region containing InO X1 as a main component can be confirmed to have a structure in which they are unevenly distributed and mixed.
- CAC-OS has a structure different from that of the IGZO compound in which metal elements are uniformly distributed, and has properties different from those of the IGZO compound. That is, the CAC-OS is a region in which GaO X3 or the like is the main component and a region in which In X2 Zn Y2 O Z2 or InO X1 is the main component are phase-separated from each other and each element is the main component. Has a mosaic-like structure.
- the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component is a region having higher conductivity than the region in which GaO X3 or the like is the main component. That is, when the carrier flows through the region where In X2 Zn Y2 O Z2 or InO X1 is the main component, the conductivity as an oxide semiconductor is exhibited. Therefore, a high field effect mobility ( ⁇ ) can be realized by distributing the region containing In X2 Zn Y2 O Z2 or InO X1 as the main component in the oxide semiconductor in a cloud shape.
- the region in which GaO X3 or the like is the main component is a region having higher insulating property than the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component. That is, since the region containing GaO X3 or the like as the main component is distributed in the oxide semiconductor, the leakage current can be suppressed and a good switching operation can be realized.
- CAC-OS when CAC-OS is used for a semiconductor element, the insulating property caused by GaO X3 and the like and the conductivity caused by In X2 Zn Y2 O Z2 or InO X1 act complementarily to be high. On current (I on ) and high field effect mobility ( ⁇ ) can be achieved.
- CAC-OS Semiconductor devices using CAC-OS are highly reliable. Therefore, CAC-OS is suitable as a constituent material for various semiconductor devices.
- ⁇ Laminate structure 1> Next, the laminated structure of the image pickup apparatus will be described with reference to a cross-sectional view.
- the elements such as the insulating layer and the conductive layer shown below are examples, and other elements may be included. Alternatively, some of the elements shown below may be omitted.
- the laminated structure shown below can be formed by using a bonding step, a polishing step, or the like, if necessary.
- FIG. 19 is an example of a cross-sectional view of a laminated body having layers 560, 561 and 563 and having a bonding surface between the layers 563a and 563b constituting the layer 563.
- the layer 563b can have a functional circuit provided on the silicon substrate 611.
- the transistor 105 and the transistor 108 included in the circuit 130 are shown as a part of the functional circuit.
- the layer 563b is provided with a silicon substrate 611, an insulating layer 612, an insulating layer 613, an insulating layer 614, an insulating layer 616, an insulating layer 617, an insulating layer 618, and a conductive layer 619.
- the insulating layer 612 has a function as a protective film.
- the insulating layer 613, the insulating layer 614, the insulating layer 616, and the insulating layer 617 have functions as an interlayer insulating film and a flattening film.
- the insulating layer 618 and the conductive layer 619 have a function as a bonding layer.
- the conductive layer 619 is electrically connected to the gate of the transistor 105.
- a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the protective film.
- an inorganic insulating film such as a silicon oxide film or an organic insulating film such as an acrylic resin or a polyimide resin can be used.
- a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the dielectric layer of the capacitor. The bonding layer will be described later.
- the conductors that can be used as wiring, electrodes, and plugs for electrical connections between devices include aluminum, chromium, copper, silver, gold, platinum, tantalum, nickel, titanium, molybdenum, tungsten, and hafnium. , Vanadium, niobium, manganese, magnesium, zirconium, beryllium, indium, ruthenium, iridium, strontium, lanthanum, etc. Etc. may be appropriately selected and used.
- the conductor is not limited to a single layer, and may be a plurality of layers made of different materials.
- Layer 563a has elements of pixel 100. Further, it may have an element of a functional circuit. Here, the transistor 102 and the transistor 103 included in the circuit 130 are shown as the elements of the functional circuit.
- the layer 563a is provided with a silicon substrate 632, an insulating layer 631, an insulating layer 633, an insulating layer 634, an insulating layer 635, an insulating layer 637, and an insulating layer 638. Further, a conductive layer 636 and a conductive layer 639 are provided.
- the insulating layer 631 and the conductive layer 639 have a function as a bonding layer.
- the insulating layers 634, 635, and 637 have a function as an interlayer insulating film and a flattening film.
- the insulating layer 633 has a function as a protective film.
- the insulating layer 638 has a function of insulating the silicon substrate 632 and the conductive layer 639.
- the insulating layer 638 can be formed of the same material as other insulating layers. Further, the insulating layer 638 may be made of the same material as the insulating layer 631.
- the conductive layer 639 is electrically connected to the other of the source or drain of the transistor 102 and one of the source or drain of the transistor 103. Further, the conductive layer 639 is electrically connected to the gate of the transistor 105 and the conductive layer 619. Further, the conductive layer 636 is electrically connected to the wiring 114 (see FIG. 4).
- FIG. 19 shows a fin-type Si transistor having a channel forming region on a silicon substrate (silicon substrate 611, silicon substrate 632).
- a cross section in the channel width direction (cross section of A1-A2 shown in layer 563a of FIG. 19) is shown in FIG. 20A.
- the Si transistor may be a planar type as shown in FIG. 20B.
- the semiconductor layer 545 can be, for example, single crystal silicon (SOI (Silicon on Insulator)) formed on the insulating layer 546 on the silicon substrate 632.
- SOI Silicon on Insulator
- Layer 561 has a photoelectric conversion device 101.
- the photoelectric conversion device 101 can be formed on the layer 563a.
- FIG. 19 shows a configuration in which the organic photoconductive film shown in FIG. 18C is used for the photoelectric conversion layer as the photoelectric conversion device 101.
- the layer 567a is used as a cathode and the layer 567e is used as an anode.
- the layer 561 is provided with an insulating layer 651, an insulating layer 652, an insulating layer 653, an insulating layer 654, and a conductive layer 655.
- the insulating layer 651, the insulating layer 653, and the insulating layer 654 have functions as an interlayer insulating film and a flattening film. Further, the insulating layer 654 is provided so as to cover the end portion of the photoelectric conversion device 101, and has a function of preventing a short circuit between the layer 567e and the layer 567a.
- the insulating layer 652 has a function as an element separation layer. It is preferable to use an organic insulating film or the like as the element separation layer.
- the layer 567a corresponding to the cathode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102 included in the layer 563a.
- the layer 567e corresponding to the anode of the photoelectric conversion device 101 is electrically connected to the conductive layer 636 of the layer 563a via the conductive layer 655.
- Layer 560 is formed on layer 561.
- Layer 560 includes a light-shielding layer 671, an optical conversion layer 672, and a microlens array 673.
- the light-shielding layer 671 can suppress the inflow of light to adjacent pixels.
- a metal layer such as aluminum or tungsten can be used for the light-shielding layer 671. Further, the metal layer and a dielectric film having a function as an antireflection film may be laminated.
- a color filter can be used for the optical conversion layer 672.
- a color image can be obtained by assigning colors such as (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
- colors such as (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
- the color filter 672R (red), the color filter 672G (green), and the color filter 672B (blue) can be assigned to different pixels.
- an image pickup device that can obtain images in various wavelength regions can be obtained.
- the optical conversion layer 672 uses an infrared filter that blocks light below the wavelength of visible light, it can be used as an infrared imaging device. Further, if the optical conversion layer 672 uses a filter that blocks light having a wavelength of near infrared rays or less, a far infrared ray imaging device can be obtained. Further, if the optical conversion layer 672 uses an ultraviolet filter that blocks light having a wavelength equal to or higher than that of visible light, the optical conversion layer 672 can be used as an ultraviolet imaging device.
- the color filter 672R red
- the color filter 672G green
- the color filter 672B blue
- the infrared filter 672IR can be assigned to different pixels. In this configuration, a visible light image and an infrared light image can be acquired at the same time.
- the color filter 672R red
- the color filter 672G green
- the color filter 672B blue
- the ultraviolet filter 672UV can be assigned to different pixels.
- a visible light image and an ultraviolet light image can be acquired at the same time.
- a scintillator is used for the optical conversion layer 672, it can be used as an imaging device for obtaining an image that visualizes the intensity of radiation used in an X-ray imaging device or the like.
- radiation such as X-rays transmitted through a subject
- the scintillator When radiation such as X-rays transmitted through a subject is incident on the scintillator, it is converted into visible light or light (fluorescence) such as ultraviolet light by a photoluminescence phenomenon. Then, the image data is acquired by detecting the light with the photoelectric conversion device 101.
- an imaging device having the above configuration may be used as a radiation detector or the like.
- the scintillator contains a substance that absorbs the energy and emits visible light or ultraviolet light when irradiated with radiation such as X-rays or gamma rays.
- Gd 2 O 2 S Tb
- Gd 2 O 2 S Pr
- Gd 2 O 2 S Eu
- BaFCl Eu
- NaI, CsI, CaF 2 , BaF 2 , CeF 3 LiF, LiI, ZnO, etc.
- Resin or ceramics dispersed can be used.
- imaging with infrared light or ultraviolet light inspection functions, security functions, sensor functions, etc. can be added to the imaging device. For example, by performing imaging with infrared light, non-destructive inspection of products, selection of agricultural products (measurement of sugar content, etc.), vein authentication, medical inspection, etc. can be performed. Further, by performing imaging with ultraviolet light, it is possible to detect ultraviolet light emitted from a light source or a flame, and it is possible to manage a light source, a heat source, a production apparatus, and the like.
- a microlens array 673 is provided on the optical conversion layer 672. Light passing through the individual lenses of the microlens array 673 passes through the optical conversion layer 672 directly below and irradiates the photoelectric conversion device 101. By providing the microlens array 673, the focused light can be incident on the photoelectric conversion device 101, so that photoelectric conversion can be performed efficiently.
- the microlens array 673 is preferably formed of a resin or glass having high translucency with respect to light of a target wavelength.
- the layer 563b is provided with an insulating layer 618 and a conductive layer 619.
- the conductive layer 619 has a region embedded in the insulating layer 618. Further, the surfaces of the insulating layer 618 and the conductive layer 619 are flattened so that their heights match.
- the layer 563a is provided with an insulating layer 631 and a conductive layer 639.
- the conductive layer 639 has a region embedded in the insulating layer 631. Further, the surfaces of the insulating layer 631 and the conductive layer 639 are flattened so that their heights match.
- the conductive layer 619 and the conductive layer 639 are metal elements having the same main components. Further, it is preferable that the insulating layer 618 and the insulating layer 631 are composed of the same components.
- Cu, Al, Sn, Zn, W, Ag, Pt, Au, or the like can be used for the conductive layer 619 and the conductive layer 639.
- Cu, Al, W, or Au is preferably used because of the ease of joining.
- silicon oxide, silicon oxide nitride, silicon nitride oxide, silicon nitride, titanium nitride and the like can be used for the insulating layer 618 and the insulating layer 631.
- the conductive layer 619 and the conductive layer 639 may have a multi-layer structure of a plurality of layers, and in that case, the surface layer (bonding surface) may be the same metal material. Further, the insulating layer 618 and the insulating layer 631 may also have a multi-layer structure of a plurality of layers, in which case, the insulating materials having the same surface layer (bonding surface) may be used.
- a surface-activated bonding method can be used in which the oxide film on the surface and the adsorption layer of impurities are removed by sputtering or the like, and the cleaned and activated surfaces are brought into contact with each other for bonding. ..
- a diffusion bonding method or the like in which surfaces are bonded to each other by using both temperature and pressure can be used. In both cases, bonding at the atomic level occurs, so that excellent bonding can be obtained not only electrically but also mechanically.
- the surfaces treated with hydrophilicity such as oxygen plasma are brought into contact with each other for temporary bonding, and then main bonding is performed by dehydration by heat treatment. Etc. can be used. Since the hydrophilic bonding method also causes bonding at the atomic level, it is possible to obtain mechanically excellent bonding.
- an insulating layer and a metal layer are mixed on each bonding surface, so for example, a surface activation bonding method and a hydrophilic bonding method may be combined.
- a method can be used in which the surface is cleaned after polishing, the surface of the metal layer is subjected to an antioxidant treatment, and then a hydrophilic treatment is performed to join the metal layer.
- the surface of the metal layer may be made of a refractory metal such as Au and subjected to hydrophilic treatment.
- a joining method other than the above-mentioned method may be used.
- the element of the layer 563b and the element of the pixel 100 of the layer 563a can be electrically connected.
- FIG. 21 is a modification of the laminated structure shown in FIG. 19, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 563a are different, and the bonded surface is also formed between the layer 561 and the layer 563a. It is a configuration having.
- the layer 561 has a photoelectric conversion device 101, an insulating layer 661, an insulating layer 662, an insulating layer 664, an insulating layer 665, a conductive layer 685, and a conductive layer 686.
- the photoelectric conversion device 101 is a pn junction type photodiode, and has a layer 565b corresponding to a p-type region and a layer 565a corresponding to an n-type region.
- a pn junction type photodiode is formed on a silicon substrate.
- the photoelectric conversion device 101 is an embedded photodiode, and a thin p-type region (a part of the layer 565b) provided on the surface side (current extraction side) of the layer 565a can suppress dark current and reduce noise. can.
- the insulating layer 661, the conductive layer 685, and the conductive layer 686 have a function as a bonding layer.
- the insulating layer 662 has a function as an interlayer insulating film and a flattening film.
- the insulating layer 664 has a function as an element separation layer.
- the silicon substrate is provided with a groove for separating pixels, and the insulating layer 665 is provided on the upper surface of the silicon substrate and the groove.
- the insulating layer 665 By providing the insulating layer 665, it is possible to prevent the carriers generated in the photoelectric conversion device 101 from flowing out to the adjacent pixels.
- the insulating layer 665 also has a function of suppressing the intrusion of stray light. Therefore, the insulating layer 665 can suppress color mixing.
- An antireflection film may be provided between the upper surface of the silicon substrate and the insulating layer 665.
- the insulating layer 664 can be formed by using the LOCOS (LOCOxidation of Silicon) method. Alternatively, it may be formed by using an STI (Shallow Trench Isolation) method or the like.
- LOCOS LOCxidation of Silicon
- STI Shallow Trench Isolation
- an inorganic insulating film such as silicon oxide or silicon nitride, or an organic insulating film such as a polyimide resin or an acrylic resin can be used.
- the insulating layer 665 may have a multi-layer structure. Further, a space may be provided in a part of the insulating layer 665. The space may have air or a gas such as an inert gas. Further, the space may be in a decompressed state.
- the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 101 is electrically connected to the conductive layer 685.
- the layer 565b (p-type region, corresponding to the anode) is electrically connected to the conductive layer 686.
- the conductive layer 685 and the conductive layer 686 have a region embedded in the insulating layer 661. Further, the surfaces of the insulating layer 661, the conductive layer 685, and the conductive layer 686 are flattened so that their heights match.
- an insulating layer 638 is formed on the insulating layer 637. Further, a conductive layer 683 that is electrically connected to one of the source and drain of the transistor 102 and a conductive layer 684 that is electrically connected to the conductive layer 636 are formed.
- the insulating layer 638, the conductive layer 683, and the conductive layer 684 have a function as a bonding layer.
- the conductive layer 683 and the conductive layer 684 have a region embedded in the insulating layer 638. Further, the surfaces of the insulating layer 638, the conductive layer 683, and the conductive layer 684 are flattened so that their heights match.
- the conductive layer 683, the conductive layer 684, the conductive layer 685, and the conductive layer 686 are the same bonded layers as the conductive layer 619 and the conductive layer 639 described above. Further, the insulating layer 638 and the insulating layer 661 are the same bonded layers as the insulating layer 618 and the insulating layer 631 described above.
- the conductive layer 683 and the conductive layer 685 one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 101. Further, by laminating the conductive layer 684 and the conductive layer 686, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device 101 and the wiring 114 (see FIG. 4) can be electrically connected. Further, by laminating the insulating layer 638 and the insulating layer 661, the layer 561 and the layer 563a can be electrically and mechanically bonded.
- FIG. 22 is a modification different from the above, and has a configuration in which the transistor 102 is provided on the layer 561.
- one of the source or drain of the transistor 102 is directly connected to the photoelectric conversion device 101, and the other of the source or drain acts as a node FD.
- the insulating layer 663 functions as a protective film for the transistor 102.
- the other side of the source or drain of the transistor 102 included in the layer 561 is electrically connected to the conductive layer 692.
- one of the source and drain of the transistor 103 included in the layer 563a is electrically connected to the conductive layer 691.
- the conductive layer 691 and the conductive layer 692 are the same bonded layers as the conductive layer 619 and the conductive layer 639 described above.
- FIG. 23 is an example of a cross-sectional view of a laminated body having a layer 560, a layer 561, a layer 562, and a layer 563 and having no bonding surface.
- a Si transistor is provided on the layer 563.
- An OS transistor is provided on the layer 562. Since the configurations of the layers 563, 561 and 560 are the same as those shown in FIG. 19, the description thereof will be omitted here.
- Layer 562 is formed on layer 563.
- Layer 562 has an OS transistor.
- the transistor 102 and the transistor 103 are shown.
- the electrical connection between the two is not shown.
- the layer 562 is provided with an insulating layer 621, an insulating layer 622, an insulating layer 623, an insulating layer 624, an insulating layer 625, an insulating layer 626, and an insulating layer 628. Further, a conductive layer 627 is provided. The conductive layer 627 can be electrically connected to the wiring 114 (see FIG. 4).
- the insulating layer 621 has a function as a blocking layer.
- the insulating layer 622, the insulating layer 623, the insulating layer 625, the insulating layer 626, and the insulating layer 628 have functions as an interlayer insulating film and a flattening film.
- the insulating layer 624 has a function as a protective film.
- the blocking layer it is preferable to use a film having a function of preventing the diffusion of hydrogen.
- hydrogen is required to terminate dangling bonds, but hydrogen in the vicinity of the OS transistor becomes one of the factors that generate carriers in the oxide semiconductor layer, which reduces reliability. .. Therefore, it is preferable to provide a hydrogen blocking film between the layer on which the Si device is formed and the layer on which the OS transistor is formed.
- the blocking film for example, aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
- aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
- the other side of the source or drain of the transistor 103 is electrically connected to the gate of the transistor 105 via a plug. Further, the conductive layer 627 is electrically connected to the wiring 114 (see FIG. 4).
- One of the source and drain of the transistor 102 is electrically connected to the cathode of the photoelectric conversion device 101 included in the layer 561.
- the conductive layer 627 is electrically connected to the anode of the photoelectric conversion device 101 included in the layer 561.
- FIG. 24A shows the details of the OS transistor.
- the OS transistor shown in FIG. 24A is a self-aligned type in which an insulating layer is provided on a laminate of an oxide semiconductor layer and a conductive layer, and an opening reaching the oxide semiconductor layer is provided to form a source electrode 705 and a drain electrode 706. It is the composition of.
- the OS transistor may have a channel forming region 708, a source region 703, and a drain region 704 formed in the oxide semiconductor layer, as well as a gate electrode 701 and a gate insulating film 702. At least the gate insulating film 702 and the gate electrode 701 are provided in the opening. An oxide semiconductor layer 707 may be further provided in the opening.
- the OS transistor may have a self-aligned configuration in which the source region 703 and the drain region 704 are formed in the semiconductor layer using the gate electrode 701 as a mask.
- FIG. 24C it may be a non-self-aligned top gate type transistor having a region where the source electrode 705 or the drain electrode 706 and the gate electrode 701 overlap.
- the OS transistor shows a structure having a back gate 735, it may have a structure without a back gate.
- the back gate 735 may be electrically connected to the front gate of the transistor provided opposite to each other as shown in the cross-sectional view of the transistor in the channel width direction shown in FIG. 24D.
- FIG. 24D shows a cross section of the transistor B1-B2 of FIG. 24A as an example, but the same applies to transistors having other structures.
- the back gate 735 may be configured to be able to supply a fixed potential different from that of the front gate.
- FIG. 25 is a modification of the laminated structure shown in FIG. 23, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 562 are different, and a bonded surface is formed between the layer 561 and the layer 562. It is a structure to have.
- the photoelectric conversion device 101 included in the layer 561 is a pn junction type photodiode, and has the same configuration as that shown in FIG.
- an insulating layer 648 is formed on the insulating layer 628. Further, a conductive layer 688 electrically connected to one of the source or drain of the transistor 102 and a conductive layer 689 electrically connected to the conductive layer 627 are formed.
- the insulating layer 648, the conductive layer 688, and the conductive layer 689 have a function as a bonding layer.
- the conductive layers 688 and 689 have a region embedded in the insulating layer 648. Further, the surfaces of the insulating layer 648 and the conductive layers 683 and 684 are flattened so that their heights match.
- the conductive layer 688 and the conductive layer 689 are the same bonded layers as the conductive layer 619 and the conductive layer 639 described above.
- the insulating layer 648 is the same bonded layer as the above-mentioned insulating layer 618 and insulating layer 631.
- the conductive layer 688 and the conductive layer 685 by laminating the conductive layer 688 and the conductive layer 685, one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device. Further, by laminating the conductive layer 689 and the conductive layer 686, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device and the wiring 114 (see FIG. 4) can be electrically connected. Further, by laminating the insulating layer 648 and the insulating layer 661, the layer 561 and the layer 562a can be electrically and mechanically bonded.
- the polishing process and the bonding process are required multiple times. Therefore, there are problems such as a large number of processes, a need for a dedicated device, a low yield, and a high manufacturing cost. Since the OS transistor can be formed by laminating on the semiconductor substrate on which the device is formed, the bonding process can be reduced.
- the transistor 102 may be provided on the layer 561 as shown in FIG.
- FIG. 27A1 is an external perspective view of the upper surface side of the package containing the image sensor chip.
- the package has a package substrate 410 for fixing the image sensor chip 450 (see FIG. 27A3), a cover glass 420, an adhesive 430 for adhering both, and the like.
- FIG. 27A2 is an external perspective view of the lower surface side of the package.
- BGA Ball grid array
- solder balls are bumps 440.
- LGA Land grid array
- PGA Peripheral Component Interconnect
- FIG. 27A3 is a perspective view of the package shown by omitting a part of the cover glass 420 and the adhesive 430.
- An electrode pad 460 is formed on the package substrate 410, and the electrode pad 460 and the bump 440 are electrically connected via a through hole.
- the electrode pad 460 is electrically connected to the image sensor chip 450 by a wire 470.
- FIG. 27B1 is an external perspective view of the upper surface side of the camera module in which the image sensor chip is housed in a lens-integrated package.
- the camera module has a package substrate 411 for fixing the image sensor chip 451 (see FIG. 27B3), a lens cover 421, a lens 435, and the like.
- an IC chip 490 (see FIG. 27B3) having functions such as a drive circuit for an image pickup device and a signal conversion circuit is also provided between the package substrate 411 and the image sensor chip 451 as a SiP (System in package). It has a configuration.
- FIG. 27B2 is an external perspective view of the lower surface side of the camera module.
- the lower surface and the side surface of the package substrate 411 have a QFN (Quad flat no-lead package) configuration in which a land 441 for mounting is provided.
- the configuration is an example, and QFP (Quad flat package) or the above-mentioned BGA may be provided.
- FIG. 27B3 is a perspective view of the module shown by omitting a part of the lens cover 421 and the lens 435.
- the land 441 is electrically connected to the electrode pad 461, and the electrode pad 461 is electrically connected to the image sensor chip 451 or the IC chip 490 by a wire 471.
- the image sensor chip By housing the image sensor chip in the above-mentioned package, it becomes easy to mount it on a printed circuit board or the like, and the image sensor chip can be incorporated into various semiconductor devices and electronic devices.
- Electronic devices that can use the imaging device according to one aspect of the present invention include a display device, a personal computer, an image storage device or image reproduction device provided with a recording medium, a mobile phone, a game machine including a portable type, and a portable data terminal.
- Electronic book terminals video cameras, cameras such as digital still cameras, goggles type displays (head mount displays), navigation systems, sound reproduction devices (car audio, digital audio players, etc.), copiers, facsimiles, printers, multifunction printers , Automatic cash deposit / payment machine (ATM), vending machine, etc. Specific examples of these electronic devices are shown in FIGS. 28A to 28F.
- FIG. 28A is an example of a portable information terminal, which includes a housing 981, a display unit 982, an operation button 983, an external connection port 984, a speaker 985, a microphone 986, a camera 987, and the like.
- the portable information terminal includes a touch sensor on the display unit 982. All operations such as making a phone call or inputting characters can be performed by touching the display unit 982 with a finger or a stylus.
- An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the portable information terminal.
- the camera 987 has an imaging device according to one aspect of the present invention, and can acquire distance information of a subject from an image acquired by the camera 987. Based on the distance information, a part of the image acquired by the camera 987 can be processed. For example, image processing that blurs the front and back of the main subject can be performed.
- FIG. 28B is an information terminal, which includes a housing 911, a display unit 912, a speaker 913, a camera 919, and the like. Information can be input and output by the touch panel function of the display unit 912. In addition, characters and the like can be recognized from the image acquired by the camera 919, and the characters can be output as voice by the speaker 913.
- An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the portable data terminal.
- FIG. 28C is a surveillance camera, which has a support base 951, a camera unit 952, a protective cover 953, and the like.
- the camera unit 952 is provided with a rotation mechanism or the like, and by installing it on the ceiling, it is possible to take an image of the entire surroundings.
- An image pickup apparatus according to an aspect of the present invention and an operation method thereof can be applied to an element for image acquisition in the camera unit.
- the surveillance camera is an idiomatic name and does not limit its use.
- a device having a function as a surveillance camera is also called a camera or a video camera.
- FIG. 28D is a video camera, which includes a first housing 971, a second housing 972, a display unit 973, an operation key 974, a lens 975, a connection unit 976, a speaker 977, a microphone 978, and the like.
- the operation key 974 and the lens 975 are provided in the first housing 971, and the display unit 973 is provided in the second housing 972.
- An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the video camera.
- FIG. 28E is a digital camera, which includes a housing 961, a shutter button 962, a microphone 963, a light emitting unit 967, a lens 965, and the like.
- An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the digital camera.
- FIG. 28F is a wristwatch-type information terminal, which has a display unit 932, a housing / wristband 933, a camera 939, and the like.
- the display unit 932 includes a touch panel for operating the information terminal.
- the display unit 932 and the housing / wristband 933 have flexibility and are excellent in wearability to the body.
- An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the information terminal.
- FIG. 29A illustrates an external view of an automobile as an example of a moving body.
- the automobile 890 has a plurality of cameras 891 and the like, and can acquire information on the front, rear, left, right, and above of the automobile 890.
- An image pickup apparatus according to an aspect of the present invention and an operation method thereof can be applied to the camera 891.
- the automobile 890 is equipped with various sensors (not shown) such as an infrared radar, a millimeter wave radar, and a laser radar.
- the automobile 890 can analyze the images acquired by the camera 891 in a plurality of imaging directions 892, determine the surrounding traffic conditions such as the presence or absence of guardrails and pedestrians, and perform automatic driving. It can also be used in systems for road guidance, danger prediction, and the like.
- the obtained image data is subjected to arithmetic processing such as a neural network to increase the resolution of the image, reduce image noise, face recognition (for security purposes, etc.), and object recognition. It can perform processing such as (purpose of automatic operation, etc.), image compression, image correction (wide dynamic range), image restoration of lensless image sensor, positioning, character recognition, and reduction of reflection reflection.
- arithmetic processing such as a neural network to increase the resolution of the image, reduce image noise, face recognition (for security purposes, etc.), and object recognition. It can perform processing such as (purpose of automatic operation, etc.), image compression, image correction (wide dynamic range), image restoration of lensless image sensor, positioning, character recognition, and reduction of reflection reflection.
- the automobile is described as an example of the moving body, but the automobile may be an automobile having an internal combustion engine, an electric vehicle, a hydrogen vehicle, or the like.
- the moving body is not limited to the automobile.
- moving objects trains, monorails, ships, flying objects (helicopters, unmanned aerial vehicles (drones), airplanes, rockets) and the like can be mentioned, and the computer of one aspect of the present invention is applied to these moving objects.
- a system using artificial intelligence can be added.
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Ceramic Engineering (AREA)
- Electromagnetism (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
画像処理機能を有する撮像装置を提供する。 複数の画素を有する撮像装置とする。画素は、nフレーム目(nは2以上の整数)に取得された画像データに第1の重みを与えて、nフレーム目の第1のデータを生成する機能を有する。画素は、n-1フレーム目に取得された画像データに第2の重みを与えて、n-1フレーム目の第1のデータを生成する機能を有する。また、画素は、n-1フレーム目の第1のデータと、nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有する。
Description
本発明の一態様は、撮像装置に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野として、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの動作方法、または、それらの製造方法、を一例として挙げることができる。
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献1に開示されている。
撮像装置に演算機能を付加する技術が特許文献2に開示されている。
携帯機器などに搭載される撮像装置では、高解像度の画像を取得できる機能が一般的に備えられている。次世代においては、撮像装置にさらに知的な機能を搭載することが求められている。
画像データの圧縮、画像認識などは、現状では撮像装置で撮像された画像データが、撮像装置の外部に取り出されて処理が行われる。当該処理を撮像装置内で行うことができれば、外部の機器との連携がより高速となり、使用者の利便性が向上する。また、周辺装置などの負荷および消費電力も低減することができる。
動画で滑らかな動きを表現するには、フレームレートを高めることが好ましい。一方で、画素数が多いほど水平期間が短くなるため、単純にフレームレートを高めることは困難である。そのため、実画像のフレーム間を補間する画像(補間画像)を生成する技術が用いられることがある。ただし、実画像を取得するフレームレートがある程度高い場合は、補間画像を生成する時間の確保が困難となりやすい。
上記に鑑み、本発明の一態様では、画像処理を行うことができる撮像装置を提供することを目的の一つとする。または、フレーム間を補間する画像を生成することができる撮像装置を提供することを目的の一つとする。または、高品質な動画を撮像することができる撮像装置を提供することを目的の一つとする。または、ニューラルネットワークの一部の要素として機能する撮像装置を提供することを目的の一つとする。または、低消費電力の撮像装置を提供することを目的の一つとする。または、信頼性の高い撮像装置を提供することを目的の一つとする。または、新規な撮像装置などを提供することを目的の一つとする。または、上記撮像装置の駆動方法を提供することを目的の一つとする。または、新規な半導体装置などを提供することを目的の一つとする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、複数の画素を有する撮像装置である。それぞれの画素は、nフレーム目(nは2以上の整数)に取得された画像データに第1の重みを与えて、nフレーム目の第1のデータを生成する機能を有する。画素は、n−1フレーム目に取得された画像データに第2の重みを与えて、n−1フレーム目の第1のデータを生成する機能を有する。また、画素は、n−1フレーム目の第1のデータと、nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有する。
本発明の一態様は、複数の画素と、複数の第1の回路と、を有する撮像装置である。画素は、マトリクス状に配置される。第1の回路は、列方向に配置される複数の画素と電気的に接続される。画素は、第2の回路と、第3の回路と、を有する。第2の回路または第3の回路の一方は、nフレーム目(nは2以上の整数)に取得された画像データに第1の重みを与えて、nフレーム目の第1のデータを生成する機能を有する。第2の回路または第3の回路の他方は、n−1フレーム目に取得された画像データに第2の重みを与えて、n−1フレーム目の第1のデータを生成する機能を有する。さらに、画素は、n−1フレーム目の第1のデータと、nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有する。第1の回路は、画素がそれぞれ生成する第2のデータの和に相当する第3のデータを生成する機能を有する。
前述の撮像装置において、画素は、光電変換デバイスと、第1のトランジスタと、を有することが好ましい。第2の回路及び第3の回路はそれぞれ、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第5のトランジスタと、第1のキャパシタと、を有する。光電変換デバイスの一方の電極は、第2のトランジスタのソースまたはドレインの一方と電気的に接続される。第2のトランジスタのソースまたはドレインの他方は、第3のトランジスタのソースまたはドレインの一方と電気的に接続される。第3のトランジスタのソースまたはドレインの一方は、第4のトランジスタのゲートと電気的に接続される。第4のトランジスタのゲートは、第1のキャパシタの一方の電極と電気的に接続される。第1のキャパシタの他方の電極は、第5のトランジスタのソースまたはドレインの一方と電気的に接続される。第4のトランジスタのソースまたはドレインの一方は、第1のトランジスタのソースまたはドレインの一方と電気的に接続される。第1のトランジスタのソースまたはドレインの他方は、第1の回路と電気的に接続される。
前述の撮像装置において、第5のトランジスタの他方は、第1の配線と電気的に接続されることが好ましい。第1の配線は、第1の重みに相当する電位または第2の重みに相当する電位のいずれかが供給される。
前述の撮像装置において、画素は、光電変換デバイスと、第1のトランジスタと、を有することが好ましい。第2の回路及び第3の回路はそれぞれ、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第1のキャパシタと、を有する。光電変換デバイスの一方の電極は、第2のトランジスタのソースまたはドレインの一方と電気的に接続される。第2のトランジスタのソースまたはドレインの他方は、第3のトランジスタのソースまたはドレインの一方と電気的に接続される。第3のトランジスタのソースまたはドレインの一方は、第4のトランジスタのゲートと電気的に接続される。第4のトランジスタのゲートは、第1のキャパシタの一方の電極と電気的に接続される。第4のトランジスタのソースまたはドレインの一方は、第1のトランジスタのソースまたはドレインの一方と電気的に接続される。第1のトランジスタのソースまたはドレインの他方は、第1の回路と電気的に接続される。第4のトランジスタは、バックゲートを有する。
前述の撮像装置において、バックゲートは、第1の配線と電気的に接続されることが好ましい。第1の配線は、第1の重みに相当する電位または第2の重みに相当する電位のいずれかが供給される。
前述の撮像装置において、第1の回路は、第6のトランジスタと、第7のトランジスタと、第8のトランジスタと、第9のトランジスタと、第10のトランジスタと、第2のキャパシタと、を有することが好ましい。第2のキャパシタの一方の電極は、複数の画素と電気的に接続される。第2のキャパシタの一方の電極は、第6のトランジスタと電気的に接続される。第2のキャパシタの他方の電極は、第7のトランジスタのソースまたはドレインの一方と電気的に接続される。第7のトランジスタのソースまたはドレインの一方は、第8のトランジスタのゲートと電気的に接続される。第8のトランジスタのソースまたはドレインの一方は、第9のトランジスタのソースまたはドレインの一方と電気的に接続される。第9のトランジスタのソースまたはドレインの一方は、第10のトランジスタのソースまたはドレインの一方と電気的に接続される。
前述の撮像装置において、画素および第1の回路が有するトランジスタのいずれか一または複数は、チャネル形成領域に金属酸化物を有することが好ましい。金属酸化物は、Inと、Znと、元素M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有する。
前述の撮像装置において、画素および第1の回路が有するトランジスタのいずれか一または複数は、チャネル形成領域にシリコンを有することが好ましい。
本発明の一態様を用いることで、画像処理を行うことができる撮像装置を提供することができる。または、フレーム間を補間する画像を生成することができる撮像装置を提供することができる。または、高品質な動画を撮像することができる撮像装置を提供することができる。または、ニューラルネットワークの一部の要素として機能する撮像装置を提供することができる。または、低消費電力の撮像装置を提供することができる。または、信頼性の高い撮像装置を提供することができる。または、新規な撮像装置などを提供することができる。または、上記撮像装置の駆動方法を提供することができる。または、新規な半導体装置などを提供することができる。
図1は、撮像装置を説明するブロック図である。
図2は、画素ブロックおよび回路を説明する図である。
図3は、画素ブロックを説明する図である。
図4は、画素を説明する図である。
図5は、撮像装置の動作を説明する概要図である。
図6は、撮像装置の動作を説明する概要図である。
図7は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図8は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図9は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図10は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図11は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図12は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図13は、画素を説明する図である。
図14A、図14Bは、回路を説明する図である。
図15は、メモリセルを説明する図である。
図16A、図16Bは、ニューラルネットワークの構成例を示す図である。
図17A乃至図17Dは、撮像装置の画素の構成を説明する図である。
図18A乃至図18Cは、光電変換デバイスの構成を説明する図である。
図19は、画素を説明する断面図である。
図20A乃至図20Cは、Siトランジスタを説明する図である。
図21は、画素を説明する断面図である。
図21は、画素を説明する断面図である。
図23は、画素を説明する断面図である。
図24A乃至図24Dは、OSトランジスタを説明する図である。
図25は、画素を説明する断面図である。
図26A乃至図26Cは、画素を説明する斜視図(断面図)である。
図27A1乃至図27A3、図27B1乃至図27B3は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図28A乃至図28Fは、電子機器を説明する図である。
図29は、自動車を説明する図である。
図2は、画素ブロックおよび回路を説明する図である。
図3は、画素ブロックを説明する図である。
図4は、画素を説明する図である。
図5は、撮像装置の動作を説明する概要図である。
図6は、撮像装置の動作を説明する概要図である。
図7は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図8は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図9は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図10は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図11は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図12は、画素ブロックおよび回路の動作を説明するタイミングチャートである。
図13は、画素を説明する図である。
図14A、図14Bは、回路を説明する図である。
図15は、メモリセルを説明する図である。
図16A、図16Bは、ニューラルネットワークの構成例を示す図である。
図17A乃至図17Dは、撮像装置の画素の構成を説明する図である。
図18A乃至図18Cは、光電変換デバイスの構成を説明する図である。
図19は、画素を説明する断面図である。
図20A乃至図20Cは、Siトランジスタを説明する図である。
図21は、画素を説明する断面図である。
図21は、画素を説明する断面図である。
図23は、画素を説明する断面図である。
図24A乃至図24Dは、OSトランジスタを説明する図である。
図25は、画素を説明する断面図である。
図26A乃至図26Cは、画素を説明する斜視図(断面図)である。
図27A1乃至図27A3、図27B1乃至図27B3は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図28A乃至図28Fは、電子機器を説明する図である。
図29は、自動車を説明する図である。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略することがある。なお、図を構成する同じ要素のハッチングを異なる図面間で適宜省略または変更する場合もある。
回路図上では単一の要素として図示されている場合であっても、機能的に不都合がなければ、当該要素が複数で構成されてもよい。例えば、スイッチとして動作するトランジスタは、複数が直列または並列に接続されてもよい場合がある。また、キャパシタを分割して複数の位置に配置する場合もある。
一つの導電体が、配線、電極および端子のような複数の機能を併せ持っている場合があり、本明細書においては、同一の要素に対して複数の呼称を用いる場合がある。また、回路図上で要素間が直接接続されているように図示されている場合であっても、実際には当該要素間が一つまたは複数の導電体を介して接続されている場合があり、本明細書ではこのような構成でも直接接続の範疇に含める。
(実施の形態1)
本実施の形態では、画像処理を行うことができる撮像装置について、図面を参照して説明する。
本実施の形態では、画像処理を行うことができる撮像装置について、図面を参照して説明する。
本発明の一態様は、画像処理などの付加機能を備えた撮像装置である。当該撮像装置は、撮像動作で取得したアナログデータ(画像データ)を画素に保持し、当該アナログデータと任意の重み係数とを乗じたデータを取り出す機能を有する。また、複数の画素から出力される当該データを加算する機能(積和演算機能)を有する。
さらに、画素から取り出した当該データを撮像装置の内部または外部に設けられたニューラルネットワークなどに取り込むことで、画像認識などの処理を行うことができる。本発明の一態様である撮像装置は、膨大な画像データをアナログデータの状態で画素に保持し、かつ画素内で演算することができるため、効率良く処理を行うことができる。
本発明の一態様は、フレーム間を補間する画像(補間画像)を生成する機能を備えた撮像装置である。当該撮像装置において、画素は、nフレーム目において、nフレーム目に撮像することで取得された画像データに任意の重みを与えて、nフレーム目の第1のデータを生成する機能を有する。また、画素は、n−1フレーム目に撮像することで取得された画像データを保持する機能を有し、nフレーム目において、n−1フレーム目に取得された画像データに任意の重みを与えて、n−1フレーム目の第1のデータを生成する機能を有する。さらに、画素は、n−1フレーム目の第1のデータと、nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有する。第2のデータは、例えば、フレーム間を補間する画像データとして好適に用いることができる。
<撮像装置>
本発明の一態様である撮像装置のブロック図を、図1に示す。撮像装置は、画素アレイ300と、回路201と、回路301と、回路302と、回路303と、回路304と、回路305と、を有する。なお、回路201、回路301、回路302、回路303、および回路304、および回路305の一以上は、画素アレイ300と重なる領域を有していてもよい。当該構成とすることで、撮像装置の面積を小さくすることができる。
本発明の一態様である撮像装置のブロック図を、図1に示す。撮像装置は、画素アレイ300と、回路201と、回路301と、回路302と、回路303と、回路304と、回路305と、を有する。なお、回路201、回路301、回路302、回路303、および回路304、および回路305の一以上は、画素アレイ300と重なる領域を有していてもよい。当該構成とすることで、撮像装置の面積を小さくすることができる。
なお、本発明の一態様の撮像装置では、回路201および回路301乃至回路305が有する機能のうち、2つ以上の機能を有する回路を代替して用いてもよい。また、回路201および回路301乃至回路305以外の回路を用いてもよい。また、回路201および回路301乃至回路305が有する機能のうち、一つ以上がソフトウェアによる動作で置き換えられてもよい。また、回路201および回路301乃至回路305のうち、一部の回路は、撮像装置の外部にあってもよい。
画素アレイ300は、撮像機能および演算機能を有することができる。回路201及び回路301はそれぞれ、演算機能を有することができる。回路302は、演算機能またはデータ変換機能を有することができ、データを配線311に出力することができる。回路303及び回路304はそれぞれ、選択機能を有することができる。回路305は、画素に電位(重みなど)を供給する機能を有することができる。なお、選択機能を有する回路には、シフトレジスタまたはデコーダなどを用いることができる。
画素アレイ300は、マトリクス状に配置された複数の画素ブロック200を有する。回路201は、列方向に配置される複数の画素ブロック200と電気的に接続される。それぞれの画素ブロック200は配線113を介して回路201と電気的に接続される。
画素ブロック200のブロック図を、図2に示す。図2では、回路201の回路図も併せて示している。画素ブロック200は、マトリクス状に配置された複数の画素100を有し、それぞれの画素100は、配線113を介して回路201と電気的に接続される。なお、回路201は画素ブロック200内に設けることもできる。
画素100は、画像データの取得および画像データと重み係数とを加算したデータを生成する機能を有する。なお、図2では、画素ブロック200が有する画素100の数を3行3列としているが、本発明の一態様はこれに限らない。画素ブロック200が有する画素数は、例えば、2行2列、4行4列などとすることができる。または、水平方向と垂直方向の画素数が異なっていてもよい。また、一部の画素を隣り合う画素ブロックで共有してもよい。
例えば、図3に示す構成とすれば、画素ブロック200が有する画素100の数を可変させることができる。図3は、[q−1]行乃至[q+1]行、[p−1]列乃至[p+1]列(p、qは2以上の整数)に配置された複数の画素100を示している。各画素100内には選択スイッチが設けられ、当該選択スイッチは、行配線RL[q−1]乃至RL[q+1]に供給される選択信号によって“ON”、“OFF”が制御される。当該選択スイッチは、列配線CL[p−1]乃至CL[p+1]のいずれかと電気的に接続される。また、少なくとも列配線のいずれか一つ以上は、回路201と電気的に接続される。
列配線CL[p−1]とCL[p]との間には導通スイッチSW[p−1]が設けられ、列配線CL[p]とCL[p+1]との間には導通スイッチSW[p]が設けられる。当該導通スイッチは、信号線G1、信号線G2に供給される選択信号によって“ON”、“OFF”が制御される。当該選択スイッチが“ON”することにより、隣り合う列配線を導通させることができる。
例えば、行配線RL[q−1]、RL[q]に選択スイッチを“ON”する信号を供給し、信号線G1に導通スイッチSW[p−1]を“ON”する信号を供給すると、2行2列の画素100(画素100[q−1,p−1]、画素100[q−1,p]、画素100[q,p−1]、画素100[q,p])が選択される。また、列配線CL[p−1]と、列配線CL[p]が導通する。したがって、上記2行2列の画素100と回路201が電気的に接続されることになる。
さらに、行配線RL[q+1]に選択スイッチを“ON”する信号を供給し、信号線G2に導通スイッチSW[p]を“ON”する信号を供給すると、3行3列の画素100が回路201に電気的に接続されることになる。
画素ブロック200および回路201は、積和演算回路として動作させることができる。
<画素回路の構成例1>
画素100の回路図を、図4に示す。画素100は、光電変換デバイス101と、回路130a、回路130b及びトランジスタ108を有する。光電変換デバイス101は、回路130aを介して、トランジスタ108と電気的に接続される。また、光電変換デバイス101は、回路130bを介して、トランジスタ108と電気的に接続される。
画素100の回路図を、図4に示す。画素100は、光電変換デバイス101と、回路130a、回路130b及びトランジスタ108を有する。光電変換デバイス101は、回路130aを介して、トランジスタ108と電気的に接続される。また、光電変換デバイス101は、回路130bを介して、トランジスタ108と電気的に接続される。
光電変換デバイス101は、フォトダイオードを用いることができる。低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを好適に用いることができる。
回路130a及び回路130bはそれぞれ、光電変換デバイス101で取得された画像の画像データにフィルタを用いて重みを与えることで第1のデータを生成し、第1のデータを保持する機能を有する。nフレーム目において、回路130a及び回路130bの一方は、nフレーム目(nは2以上の整数)に取得された画像データにフィルタを用いて重みを与え、nフレーム目の第1のデータを生成する機能を有する。nフレーム目において、回路130a及び回路130bの他方は、保持しているn−1フレーム目の画像データにフィルタを用いて重みを与え、n−1フレーム目の第1のデータを生成する機能を有する。
本発明の一態様である撮像装置は、nフレーム目に取得された画像データから生成したnフレーム目の第1のデータと、n−1フレーム目に取得された画像データから生成したn−1フレーム目の第1のデータから、第2のデータを生成できる。第2のデータは、例えば、フレーム間を補間する画像データとして好適に用いることができる。
本発明の一態様である撮像装置の動作の概念図を、図5に示す。図5では、一例としてnフレーム目乃至n+2フレーム目の3フレーム分の動作を示している。
nフレーム目において、光電変換デバイス101を動作させ、画像データIMnを取得する。nフレーム目において、回路130bは、画像データIMnに第2のフィルタFL21を用いて重みを与え、第1のデータIMn*FL21を生成する。nフレーム目において、回路130aは、保持しているn−1フレーム目に取得された画像データIMn−1に第1のフィルタFL11を用いて重みを与え、第1のデータIMn−1*FL11を生成する。そして、n−1フレーム目の第1のデータIMn−1*FL11に、nフレーム目の第1のデータIMn*FL21が加算され、第2のデータ(IMn−1*FL11)+(IMn*FL21)が生成される。生成された第2のデータ(IMn−1*FL11)+(IMn*FL21)は、画素100から出力される。
nフレーム目において、nフレーム目に取得した画像データIMnには第2のフィルタFL21を用いて重みを与え、1つ前のフレームであるn−1フレーム目に取得した画像データIMn−1には第1のフィルタFL11を用いて重みを与える。
なお、本明細書等において、画像データにフィルタを用いて重みを与えることで生成される第1のデータを、“*”を用いて記す場合がある。例えば、画像データIMnに第1のフィルタFL11を用いて重みを与えることにより生成した第1のデータを、第1のデータIMn*FL11と記す場合がある。また、第1のデータから生成される第2のデータを、“+”を用いて記す場合がある。例えば、第1のデータIMn*FL11に、第1のデータIMn+1*FL21を加算することにより生成される第2のデータを、第2のデータ(IMn*FL11)+(IMn+1*FL21)と記す場合がある。
n+1フレーム目において、光電変換デバイス101を動作させ、画像データIMn+1を取得する。n+1フレーム目において、回路130aは、画像データIMn+1に第2のフィルタFL21を用いて重みを与え、第1のデータIMn+1*FL21を生成する。n+1フレーム目において、回路130bは、保持しているnフレーム目に取得された画像データIMnに第1のフィルタFL11を用いて重みを与え、第1のデータIMn*FL11を生成する。そして、nフレーム目の第1のデータIMn*FL11に、n+1フレーム目の第1のデータIMn+1*FL21が加算され、第2のデータ(IMn*FL11)+(IMn+1*FL21)が生成される。生成された第2のデータ(IMn*FL11)+(IMn+1*FL21)は、画素100から出力される。
n+1フレーム目において、n+1フレーム目に取得した画像データIMn+1には第2のフィルタFL21を用いて重みを与え、1つ前のフレームであるnフレーム目に取得した画像データIMnには第1のフィルタFL11を用いて重みを与える。
n+2フレーム目において、光電変換デバイス101を動作させ、画像データIMn+2を取得する。n+2フレーム目において、回路130bは、画像データIMn+2に第2のフィルタFL21を用いて重みを与え、第1のデータIMn+2*FL21を生成する。n+2フレーム目において、回路130aは、保持しているn+1フレーム目に取得された画像データIMn+1に第1のフィルタFL11を用いて重みを与え、第1のデータIMn+1*FL11を生成する。そして、n+1フレーム目の第1のデータIMn+1*FL11に、n+2フレーム目の第1のデータIMn+2*FL21が加算され、第2のデータ(IMn+1*FL11)+(IMn+2*FL21)が生成される。生成された第2のデータ(IMn+1*FL11)+(IMn+2*FL21)は、画素100から出力される。
n+2フレーム目において、n+2フレーム目に取得した画像データIMn+2には第2のフィルタFL21を用いて重みを与え、1つ前のフレームであるn+1フレーム目に取得した画像データIMn+1には第1のフィルタFL11を用いて重みを与える。
いずれのフレームにおいても、当該フレームで取得した画像データには第2のフィルタFL21を用いて重みを与え、1つ前のフレームで取得した画像データには第1のフィルタFL11を用いて重みを与える。
以降のフレームについても、前述と同様の動作を行うことができる。
ここで、第1のフィルタFL11及び第2のフィルタFL21のサイズ(画素数)はそれぞれ、例えば、2行2列、3行3列また4行4列とすることができる。第1のフィルタFL11及び第2のフィルタFL21のサイズ(画素数)はそれぞれ、水平方向と垂直方向で異なっていてもよい。第1のフィルタFL11及び第2のフィルタFL21のサイズ(画素数)は、画素ブロック200が有する画素数と同じとすることができる。例えば、画素ブロック200が有する画素数を3行3列とする場合は、3行3列の第1のフィルタFL11及び第2のフィルタFL21を用いることができる。また、第1のフィルタFL11と第2のフィルタFL21は、それぞれが有する要素(重み)を同じ構成としてもよく、異なる構成としてもよい。
図5では、回路130a及び回路130bでそれぞれ、1種類のフィルタを用いる例を示したが、本発明の一態様はこれに限られない。回路130a及び回路130bでそれぞれ、複数種類のフィルタを用いてもよい。複数種類のフィルタを用いる場合は、それぞれが有する要素(重み)を異なる構成とすることができる。要素(重み)が異なる複数種類のフィルタを用いることにより、取得した画像データに対して複数種類の特徴量を抽出でき、高精度な画像処理を行うことができる。例えば、第2のデータを、フレーム間を補間する画像データに用いることで、滑らかな動画とすることができ、高品質な動画を撮像できる撮像装置とすることができる。特にフレーム周波数が低い場合においても、滑らかな動画とすることができる。
回路130a及び回路130bでそれぞれ3種類のフィルタを用いる例を、図6に示す。図6では、一例としてnフレーム目乃至n+2フレーム目の3フレーム分の動作を示している。
nフレーム目において、光電変換デバイス101を動作させ、画像データIMnを取得する。nフレーム目において、回路130bは、画像データIMnに第2のフィルタFL21、第4のフィルタFL22及び第6のフィルタFL23を用いて重みを与え、第1のデータIMn*FL21、第1のデータIMn*FL22、及び第1のデータIMn*FL23を生成する。nフレーム目において、回路130aは、保持しているn−1フレーム目に取得された画像データIMn−1に第1のフィルタFL11、第3のフィルタFL12及び第5のフィルタFL13を用いて重みを与え、第1のデータIMn−1*FL11、第1のデータIMn−1*FL12、及び第1のデータIMn−1*FL13を生成する。
n−1フレーム目の第1のデータIMn−1*FL11に、nフレーム目の第1のデータIMn*FL21が加算され、第2のデータ(IMn−1*FL11)+(IMn*FL21)が生成される。n−1フレーム目の第1のデータIMn−1*FL12に、nフレーム目の第1のデータIMn*FL22が加算され、第2のデータ(IMn−1*FL12)+(IMn*FL22)が生成される。n−1フレーム目の第1のデータIMn−1*FL13に、nフレーム目の第1のデータIMn*FL23が加算され、第2のデータ(IMn−1*FL13)+(IMn*FL23)が生成される。生成された第2のデータ(IMn−1*FL11)+(IMn*FL21)、第2のデータ(IMn−1*FL12)+(IMn*FL22)、及び第2のデータ(IMn−1*FL13)+(IMn*FL23)は、画素100から出力される。
nフレーム目において、nフレーム目に取得した画像データIMnには第2のフィルタFL21、第4のフィルタFL22、及び第6のフィルタFL23を用いて重みを与え、1つ前のフレームであるn−1フレーム目に取得した画像データIMn−1には第1のフィルタFL11、第3のフィルタFL12、及び第5のフィルタFL13を用いて重みを与える。
n+1フレーム目において、光電変換デバイス101を動作させ、画像データIMn+1を取得する。n+1フレーム目において、回路130aは、画像データIMn+1に第2のフィルタFL21、第4のフィルタFL22及び第6のフィルタFL23を用いて重みを与え、第1のデータIMn+1*FL21、第1のデータIMn+1*FL22、及び第1のデータIMn+1*FL23を生成する。n+1フレーム目において、回路130bは、保持しているnフレーム目に取得された画像データIMnに第1のフィルタFL11、第3のフィルタFL12及び第5のフィルタFL13を用いて重みを与え、第1のデータIMn*FL11、第1のデータIMn*FL12、及び第1のデータIMn*FL13を生成する。
nフレーム目の第1のデータIMn*FL11に、n+1フレーム目の第1のデータIMn+1*FL21が加算され、第2のデータ(IMn*FL11)+(IMn+1*FL21)が生成される。nフレーム目の第1のデータIMn*FL12に、n+1フレーム目の第1のデータIMn+1*FL22が加算され、第2のデータ(IMn*FL12)+(IMn+1*FL22)が生成される。nフレーム目の第1のデータIMn*FL13に、n+1フレーム目の第1のデータIMn+1*FL23が加算され、第2のデータ(IMn*FL13)+(IMn+1*FL23)が生成される。生成された第2のデータ(IMn*FL11)+(IMn+1*FL21)、第2のデータ(IMn*FL12)+(IMn+1*FL22)、及び第2のデータ(IMn*FL13)+(IMn+1*FL23)は、画素100から出力される。
n+1フレーム目において、n+1フレーム目に取得した画像データIMn+1には第2のフィルタFL21、第4のフィルタFL22、及び第6のフィルタFL23を用いて重みを与え、1つ前のフレームであるnフレーム目に取得した画像データIMnには第1のフィルタFL11、第3のフィルタFL12、及び第5のフィルタFL13を用いて重みを与える。
n+2フレーム目において、光電変換デバイス101を動作させ、画像データIMn+2を取得する。n+2フレーム目において、回路130bは、画像データIMn+2に第2のフィルタFL21、第4のフィルタFL22及び第6のフィルタFL23を用いて重みを与え、第1のデータIMn+2*FL21、第1のデータIMn+2*FL22、及び第1のデータIMn+2*FL23を生成する。n+2フレーム目において、回路130aは、保持しているn+1フレーム目に取得された画像データIMn+1に第1のフィルタFL11、第3のフィルタFL12及び第5のフィルタFL13を用いて重みを与え、第1のデータIMn+1*FL11、第1のデータIMn+1*FL12、及び第1のデータIMn+1*FL13を生成する。
n+1フレーム目の第1のデータIMn+1*FL11に、n+2フレーム目の第1のデータIMn+2*FL21が加算され、第2のデータ(IMn+1*FL11)+(IMn+2*FL12)が生成される。n+1フレーム目の第1のデータIMn+1*FL12に、n+2フレーム目の第1のデータIMn+2*FL22が加算され、第2のデータ(IMn+1*FL12)+(IMn+2*FL12)が生成される。n+1フレーム目の第1のデータIMn+1*FL13に、n+2フレーム目の第1のデータIMn+2*FL23が加算され、第2のデータ(IMn+1*FL13)+(IMn+2*FL23)が生成される。生成された第2のデータ(IMn+1*FL11)+(IMn+2*FL21)、第2のデータ(IMn+1*FL12)+(IMn+2*FL22)、及び第2のデータ(IMn+1*FL13)+(IMn+2*FL23)は、画素100から出力される。
n+2フレーム目において、n+2フレーム目に取得した画像データIMn+2には第2のフィルタFL21、第4のフィルタFL22、及び第6のフィルタFL23を用いて重みを与え、1つ前のフレームであるn+1フレーム目に取得した画像データIMn+1には第1のフィルタFL11、第3のフィルタFL12、及び第5のフィルタFL13を用いて重みを与える。
いずれのフレームにおいても、当該フレームで取得した画像データには第2のフィルタFL21、第4のフィルタFL22、及び第6のフィルタFL23を用いて重みを与え、1つ前のフレームで取得した画像データには第1のフィルタFL11、第3のフィルタFL12、及び第5のフィルタFL13を用いて重みを与える。
以降のフレームについても、前述と同様の動作を行うことができる。
回路130a及び回路130bの構成について、図4を用いて説明する。
回路130aは、トランジスタ102aと、トランジスタ103aと、キャパシタ104aと、トランジスタ105aと、トランジスタ106aと、を有する。光電変換デバイス101の一方の電極は、トランジスタ102aのソースまたはドレインの一方と電気的に接続される。トランジスタ102aのソースまたはドレインの他方は、トランジスタ103aのソースまたはドレインの一方、キャパシタ104aの一方の電極、およびトランジスタ105aのゲートと電気的に接続される。トランジスタ105aのソースまたはドレインの一方は、トランジスタ108のソースまたはドレインの一方と電気的に接続される。キャパシタ104aの他方の電極は、トランジスタ106bのソースまたはドレインの一方と電気的に接続される。
光電変換デバイス101の他方の電極は、配線114と電気的に接続される。トランジスタ108のソースまたはドレインの他方は、配線113と電気的に接続される。トランジスタ108のゲートは、配線122と電気的に接続される。
トランジスタ102aのゲートは、配線116aと電気的に接続される。トランジスタ103aのソースまたはドレインの他方は、配線115aに電気的に接続される。トランジスタ103aのゲートは、配線117aと電気的に接続される。トランジスタ105aのソースまたはドレインの他方は、配線119aと電気的に接続される。トランジスタ106aのソースまたはドレインの他方は、配線111aと電気的に接続される。トランジスタ106aのゲートは、配線112aと電気的に接続される。
ここで、トランジスタ102aのソースまたはドレインの他方と、トランジスタ103aのソースまたはドレインの一方と、キャパシタ104aの一方の電極と、トランジスタ105aのゲートとの電気的な接続点をノードNDaとする。
配線114及び配線115aはそれぞれ、電源線としての機能を有することができる。例えば、配線114は低電位電源線、配線115aは高電位電源線として機能させることができる。配線112a、配線116a、配線117a、配線122は、各トランジスタの導通を制御する信号線として機能させることができる。配線111aは、画素100に重み係数に相当する電位を供給する配線として機能させることができる。配線113は、画素100と回路201とを電気的に接続する配線として機能させることができる。配線119aは、低電位電源線(例えば、GND配線)として機能させることができる。
なお、配線113には、増幅回路、またはゲイン調整回路が電気的に接続されていてもよい。
トランジスタ102aは、ノードNDaの電位を制御する機能を有することができる。トランジスタ103aは、ノードNDaの電位を初期化する機能を有することができる。トランジスタ105aは、ノードNDaの電位に応じて回路201が流す電流(配線217から配線119aへ流れる電流)を制御する機能を有することができる。トランジスタ106aは、ノードNDaに重み係数に相当する電位を供給する機能を有することができる。トランジスタ108は、画素を選択する機能を有することができる。
図4において、光電変換デバイス101が有する一対の電極の接続の向きを逆にしてもよい。この場合、配線114は高電位電源線、配線115aは低電位電源線として機能させればよい。
トランジスタ102a、トランジスタ103aには、チャネル形成領域に金属酸化物を用いたトランジスタ(OSトランジスタ)を用いることが好ましい。OSトランジスタは、オフ電流が極めて低い特性を有する。トランジスタ102a、トランジスタ103aにOSトランジスタを用いることによって、ノードNDaで電荷を保持できる期間を極めて長くすることができる。また、回路構成、及び動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードNDaに画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
一方、トランジスタ105aは、増幅特性が優れていることが望まれる場合がある。また、トランジスタ106a、トランジスタ108は、高速動作が可能な移動度が高いトランジスタを用いることが好ましい場合がある。したがって、トランジスタ105a、トランジスタ106a、トランジスタ108には、シリコンをチャネル形成領域に用いたトランジスタ(Siトランジスタ)を適用してもよい。
なお、上記に限らず、OSトランジスタおよびSiトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをOSトランジスタとしてもよい。または、全てのトランジスタをSiトランジスタとしてもよい。Siトランジスタとして、アモルファスシリコンを有するトランジスタ、結晶性のシリコン(微結晶シリコン、低温ポリシリコン、単結晶シリコン)を有するトランジスタなどが挙げられる。
画素100におけるノードNDaの電位は、配線115aから供給されるリセット電位から光電変換デバイス101による光電変換で生成される電位(画像データ)が減算された電位となる。また、ノードNDaの電位は、さらに配線111aから供給される重み係数に相当する電位が容量結合されて確定される。したがって、トランジスタ105aは、画像データに任意の重み係数が加わったデータに応じた電流を流すことができる。なお、光電変換デバイス101が有する一対の電極の接続の向きを図4と逆にする場合は、ノードNDaの電位は、配線115aから供給されるリセット電位に光電変換デバイス101による光電変換で生成される電位(画像データ)が加算された電位で確定される。
回路130bは、回路130aと同じ構成を用いることができる。回路130bは、トランジスタ102bと、トランジスタ103bと、キャパシタ104bと、トランジスタ105bと、トランジスタ106bと、を有する。トランジスタ102b、トランジスタ103b、キャパシタ104b、トランジスタ105b、及びトランジスタ106bについてはそれぞれ、トランジスタ102a、トランジスタ103a、キャパシタ104a、トランジスタ105a、及びトランジスタ106aの説明を参照できるため、詳細な説明は省略する。
なお、本明細書等において、トランジスタ102aとトランジスタ102bをまとめて、トランジスタ102と記す場合がある。トランジスタ103aとトランジスタ103bをまとめて、トランジスタ103と記す場合がある。キャパシタ104aとキャパシタ104bをまとめて、キャパシタ104と記す場合がある。トランジスタ105aとトランジスタ105bをまとめて、トランジスタ105と記す場合がある。トランジスタ106aとトランジスタ106bをまとめて、トランジスタ106と記す場合がある。回路130aと回路130bをまとめて、回路130と記す場合がある。
配線111b、配線112b、配線115b、配線116b、配線117b及び配線119bについてはそれぞれ、配線111a、配線112a、配線115a、配線116a、配線117a及び配線119aの説明を参照できるため、詳細な説明は省略する。同様に、ノードNDbについても、ノードNDaの説明を参照できるため、詳細な説明は省略する。なお、配線115aと配線115bを共通とすることができる。また、配線119aと配線119bを共通とすることができる。配線を共通とすることにより配線の数が減り、画素に占める配線の面積を小さくできることから、高精細な撮像装置とすることができる。
<回路201>
図2に示すように、各画素100は、配線113で互いに電気的に接続される。回路201は、各画素100のトランジスタ105に流れる電流の和を用いて演算を行うことができる。
図2に示すように、各画素100は、配線113で互いに電気的に接続される。回路201は、各画素100のトランジスタ105に流れる電流の和を用いて演算を行うことができる。
回路201は、キャパシタ202と、トランジスタ203と、トランジスタ204と、トランジスタ205と、トランジスタ206と、トランジスタ207を有する。トランジスタ207は、電圧変換回路として機能する。トランジスタ207のゲートには、適切なアナログ電位(Bias)が印加される。
キャパシタ202の一方の電極は、トランジスタ203のソースまたはドレインの一方、およびトランジスタ204のゲートと電気的に接続される。トランジスタ204のソースまたはドレインの一方は、トランジスタ205のソースまたはドレインの一方、およびトランジスタ206のソースまたはドレインの一方と電気的に接続される。キャパシタ202の他方の電極は、配線113およびトランジスタ207のソースまたはドレインの一方と電気的に接続される。
ここで、キャパシタ202の一方の電極、トランジスタ203のソースまたはドレインの一方、およびトランジスタ204のゲートを接続する点をノードCとする。
トランジスタ203のソースまたはドレインの他方は、配線218と電気的に接続される。トランジスタ204のソースまたはドレインの他方は、配線219と電気的に接続される。トランジスタ205のソースまたはドレインの他方は、GND配線などの基準電源線と電気的に接続される。トランジスタ206のソースまたはドレインの他方は、配線212と電気的に接続される。トランジスタ207のソースまたはドレインの他方は、配線217と電気的に接続される。トランジスタ203のゲートは、配線216と電気的に接続される。トランジスタ205のゲートは、配線215と電気的に接続される。トランジスタ206のゲートは、配線213と電気的に接続される。
配線217、配線218、及び配線219はそれぞれ、電源線としての機能を有することができる。例えば、配線218は、読み出し用のリセット電位(Vr)を供給する配線としての機能を有することができる。配線217、及び配線219はそれぞれ、高電位電源線として機能させることができる。配線213、配線215、及び配線216は、各トランジスタの導通を制御する信号線として機能させることができる。配線212は出力線であり、例えば、図1に示す回路301と電気的に接続することができる。
トランジスタ203は、ノードCの電位を配線218の電位にリセットする機能を有することができる。トランジスタ204、トランジスタ205は、ソースフォロア回路としての機能を有することができる。トランジスタ206は、読み出しを制御する機能を有することができる。なお、回路201は、相関二重サンプリング回路(CDS回路)としての機能を有し、当該機能を有する他の構成の回路に置き換えることもできる。
本発明の一態様では、画像データ(X)と重み係数(W)との積以外のオフセット成分を除去し、画像データ(X)と重み係数(W)との積(WX)を抽出する。WXは、同じ画素で取得される露光あり(撮像あり)、露光なし(撮像なし)のデータと、そのそれぞれに対して、重みを与えたときのデータを利用して算出することができる。
露光ありのときに画素100に流れる電流(Ip)の合計はkΣ(−X−Vth)2、重みを与えたときに画素100に流れる電流(Ip)の合計はkΣ(W−X−Vth)2となる。また、露光なしのときに画素100に流れる電流(Iref)の合計はkΣ(0−Vth)2、重みを与えたときに画素100に流れる電流(Iref)の合計はkΣ(W−Vth)2となる。ここで、kは定数、Vthはトランジスタ105のしきい値電圧である。
まず、露光ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する。kΣ((−X−Vth)2−(W−X−Vth)2)=kΣ(−W2+2W・X+2W・Vth)となる。
次に、露光なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する。kΣ((0−Vth)2−(W−Vth)2)=kΣ(−W2+2W・Vth)となる。
そして、データAとデータBとの差分をとる。kΣ(−W2+2W・X+2W・Vth−(−W2+2W・Vth))=kΣ(2W・X)となる。すなわち、画像データ(X)と重み係数(W)との積以外のオフセット成分を除去することができる。
回路201では、データAおよびデータBを読み出すことができる。なお、データAとデータBとの差分演算は、例えば回路301で行うことができる。
光電変換デバイス101が有する一対の電極の接続の向きを図4と逆にする場合についいて、説明する。
露光ありのときに画素100に流れる電流(Ip)の合計はkΣ(X−Vth)2、重みを与えたときに画素100に流れる電流(Ip)の合計はkΣ(W+X−Vth)2となる。また、露光なしのときに画素100に流れる電流(Iref)の合計はkΣ(0−Vth)2、重みを与えたときに画素100に流れる電流(Iref)の合計はkΣ(W−Vth)2となる。
まず、露光ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する。kΣ((X−Vth)2−(W+X−Vth)2)=kΣ(−W2−2W・X+2W・Vth)となる。
次に、露光なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する。kΣ((0−Vth)2−(W−Vth)2)=kΣ(−W2+2W・Vth)となる。
そして、データAとデータBとの差分をとる。kΣ(−W2−2W・X+2W・Vth−(−W2+2W・Vth))=kΣ(−2W・X)となる。光電変換デバイス101が有する一対の電極の接続の向きを図4と逆にする場合においても、画像データ(X)と重み係数(W)との積以外のオフセット成分を除去することができる。
トランジスタ203には、チャネル形成領域に金属酸化物を用いたトランジスタ(OSトランジスタ)を用いることが好ましい。トランジスタ203にOSトランジスタを用いることによって、ノードCで電荷を保持できる期間を極めて長くすることができる。
トランジスタ204、及びトランジスタ205は、高速動作が可能な移動度が高いトランジスタを用いることが好ましい場合がある。したがって、トランジスタ204、及びトランジスタ205には、Siトランジスタを適用してもよい。
なお、上記に限らず、OSトランジスタおよびSiトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをOSトランジスタとしてもよい。または、全てのトランジスタをSiトランジスタとしてもよい。
<撮像動作1>
図7は、画素ブロック200および回路201において、露光ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する動作を説明するタイミングチャートである。なお、便宜的に各信号が変換するタイミングをあわせて図示しているが、実際には回路内部の遅延を考慮してずらすことが好ましい。また、以下の説明においては、高電位を“H”、低電位を“L”で表している。
図7は、画素ブロック200および回路201において、露光ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する動作を説明するタイミングチャートである。なお、便宜的に各信号が変換するタイミングをあわせて図示しているが、実際には回路内部の遅延を考慮してずらすことが好ましい。また、以下の説明においては、高電位を“H”、低電位を“L”で表している。
ここでは、図5に示したn+1フレーム目の動作を、図7を用いて説明する。
まず、期間T11に、配線116aの電位を“H”、配線117aの電位を“H”とし、画素100のノードNDaをリセット電位とする。また、配線111a_1乃至配線111a_3(1行目乃至3行目の配線111a)の電位を“L”、配線112a_1乃至配線112a_3(1行目乃至3行目の配線112a)の電位を“H”とし、重み係数0を書き込む。同様に、配線111b_1乃至配線111b_3(1行目乃至3行目の配線111b)の電位を“L”、配線112b_1乃至配線112b_3(1行目乃至3行目の配線112b)の電位を“H”とし、重み係数0を書き込む。
期間T12に、配線116aの電位を“L”、配線117aの電位を“L”とし、光電変換デバイス101で露光動作を行う。
期間T13に、配線116aの電位を“H”とし、光電変換デバイス101で生成した電位を転送し、ノードNDaにn+1フレーム目の電位Xn+1(画像データ)を書き込む。期間T11乃至期間T13は、n+1フレーム目の露光ありのデータを取得する期間に相当する。なお、ノードNDbには、1つ前のフレームであるnフレーム目の電位Xn(画像データ)が保持されている。
期間T14に、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック内の全ての画素100を選択する。ここで、配線122_1は1行目の画素100の配線122を示し、配線122_2は2行目の画素100の配線122を示し、配線122_3は3行目の画素100の配線122を示している。このとき、各画素100のトランジスタ105aには、電位Xn+1に応じた電流が流れる。トランジスタ105bには、電位Xnに応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込み、ノードCの電位が電位Vrに初期化される。
期間T15に、配線111a_1の電位を重み係数W11(1行目の画素に加える重み)に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W11を加算する。
配線111a_2の電位を重み係数W12(2行目の画素に加える重み)に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W12を加算する。
配線111a_3の電位を重み係数W13(3行目の画素に加える重み)に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W13を加算する。なお、重み係数W11、重み係数W12、及び重み係数W13は、第1のフィルタFL11の要素である。
配線111b_1の電位を重み係数W21(1行目の画素に加える重み)に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W21を加算する。
配線111b_2の電位を重み係数W22(2行目の画素に加える重み)に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W22を加算する。
配線111b_3の電位を重み係数W23(3行目の画素に加える重み)に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W23を加算する。なお、重み係数W21、重み係数W22、及び重み係数W23は、第2のフィルタFL21の要素である。
期間T14から引き続き、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、1行目の画素100のトランジスタ105aには、電位W11+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W21+Xnに応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W12+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W22+Xnに応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W13+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W23+Xnに応じた電流が流れる。
ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Yが容量結合によってノードCの電位Vrに加算される。したがって、ノードCの電位は、“Vr+Y”になる。ここで、Vr=0と考えると、Yは差分そのものであり、データAが算出されたことになる。
配線213の電位を“H”、配線215の電位を“Vbias”などの適切なアナログ電位とすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータAに応じた信号電位を出力する(以下、読み出しを行うとも記す)ことができる。
図7では、1列目の複数の画素ブロック200と電気的に接続される回路201が有する配線213を配線213A、2列目の複数の画素ブロック200と電気的に接続される回路201が有する配線213を配線213Bと記している。3列目以降も同様であるため、図示していない。期間T15において、配線213A、配線213B等を順次“H”とし、それぞれの画素ブロック200から読み出しを行う。図7では、配線213A、配線213Bの順に“H”となる例を示しているが、本発明の一態様はこれに限られない。それぞれの配線213は、期間T15の間に“H”となる期間を有する構成とすればよい。
なお、本明細書等において、配線213A、配線213B等をまとめて、配線213と記す場合がある。
期間T15の動作は、n+1フレーム目において、撮像ありのデータをもとにデータAを生成し、データAを回路301に出力する(読み出しを行う)期間に相当する。
期間T16に、配線122_1、配線122_2、配線122_3、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3、配線213A、配線213B、及び配線215の電位を“L”とする。
ここまでが、n+1フレーム目の動作の説明である。
次に、図5に示したn+2フレーム目の動作を、図7を用いて説明する。なお、前述のn+1フレーム目(期間T11乃至期間T16)と共通する部分については説明を省略し、相違する部分について主に説明する。
まず、期間T21に、配線116bの電位を“H”、配線117bの電位を“H”とし、画素100のノードNDbをリセット電位とする。また、配線111a_1乃至配線111a_3の電位を“L”、配線112a_1乃至配線112a_3の電位を“H”とし、重み係数0を書き込む。同様に、配線111b_1乃至配線111b_3の電位を“L”、配線112b_1乃至配線112b_3の電位を“H”とし、重み係数0を書き込む。
期間T22に、配線116bの電位を“L”、配線117bの電位を“L”とし、光電変換デバイス101で露光動作を行う。
期間T23に、配線116bの電位を“H”とし、光電変換デバイス101で生成した電位を転送し、ノードNDbにn+2フレーム目の電位Xn+2(画像データ)を書き込む。期間T21乃至期間T23は、n+2フレーム目の露光ありのデータを取得する期間に相当する。なお、ノードNDaには、1つ前のフレームであるn+1フレーム目の電位Xn+1(画像データ)が保持されている。
期間T24に、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック内の全ての画素100を選択する。このとき、各画素100のトランジスタ105aには、電位Xn+1に応じた電流が流れる。トランジスタ105bには、電位Xn+2に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込み、ノードCの電位が電位Vrに初期化される。
期間T25に、配線111a_1の電位を重み係数W21(1行目の画素に加える重み)に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W21を加算する。
配線111a_2の電位を重み係数W22(2行目の画素に加える重み)に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W22を加算する。
配線111a_3の電位を重み係数W23(3行目の画素に加える重み)に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W23を加算する。
配線111b_1の電位を重み係数W11(1行目の画素に加える重み)に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W11を加算する。
配線111b_2の電位を重み係数W12(2行目の画素に加える重み)に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W12を加算する。
配線111b_3の電位を重み係数W13(3行目の画素に加える重み)に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W13を加算する。
期間T24から引き続き、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、1行目の画素100のトランジスタ105aには、電位W21+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W11+Xn+2に応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W22+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W12+Xn+2に応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W23+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W13+Xn+2に応じた電流が流れる。
ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Yが容量結合によってノードCの電位Vrに加算される。したがって、ノードCの電位は、“Vr+Y”になる。ここで、Vr=0と考えると、Yは差分そのものであり、データAが算出されたことになる。
配線213の電位を“H”、配線215の電位を“Vbias”などの適切なアナログ電位とすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータAに応じた信号電位を出力することができる。
期間T25の動作は、n+2フレーム目において、撮像ありのデータをもとにデータAを生成し、データAを回路301に出力する(読み出しを行う)期間に相当する。
期間T26に、配線122_1、配線122_2、配線122_3、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3、配線213A、配線213B、及び配線215の電位を“L”とする。
ここまでが、n+2フレーム目の動作の説明である。
以降のフレームについても、前述と同様の動作を行うことができる。
図8は、画素ブロック200および回路201において、露光なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する動作を説明するタイミングチャートである。なお、データBは、必要に応じて取得すればよい。例えば、入力する重みに変更がなければ、取得したデータBをメモリに格納し、当該メモリからデータBを読み出してもよい。なお、複数の重みに対応した複数のデータBを当該メモリに格納させてもよい。また、データAとデータBは、どちらを先に取得してもよい。
ここでは、n+1フレーム目の動作を、図8を用いて説明する。なお、前述の図7と共通する部分については説明を省略し、相違する部分について主に説明する。
まず、期間T11乃至T13に、配線116aの電位を“H”、配線117aの電位を“H”とし、画素100のノードNDaをリセット電位とする。同様に、配線116bの電位を“H”、配線117bの電位を“H”とし、画素100のノードNDbをリセット電位とする。すなわち、当該期間中において、ノードNDa及びノードNDbの電位はそれぞれ、光電変換デバイス101の動作にかかわらずリセット電位である。期間T13の終わりには、配線116a、配線117a、配線116b、及び配線117bの電位を“L”とする。
期間T11では、配線111a_1、配線111a_2、配線111a_3の電位を“L”、配線112a_1、配線112a_2、配線112a_3を“H”とし、重み係数0を書き込む。当該動作は、ノードNDaの電位がリセット電位である期間中に行えばよい。
同様に、配線111b_1、配線111b_2、配線111b_3の電位を“L”、配線112b_1、配線112b_2、配線112b_3を“H”とし、重み係数0を書き込む。当該動作は、ノードNDbの電位がリセット電位である期間中に行えばよい。
期間T14に、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、各画素100のトランジスタ105aには、リセット電位に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込む。期間T14の動作は露光なしのデータの取得に相当し、当該データは、ノードCの電位Vrに初期化される。
期間T15に、配線111a_1の電位を重み係数W11(1行目の画素に加える重み)に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W11を加算する。
配線111a_2の電位を重み係数W12(2行目の画素に加える重み)に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W12を加算する。
配線111a_3の電位を重み係数W13(3行目の画素に加える重み)に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W13を加算する。
配線111b_1の電位を重み係数W21(1行目の画素に加える重み)に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W21を加算する。
配線111b_2の電位を重み係数W22(2行目の画素に加える重み)に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W22を加算する。
配線111b_3の電位を重み係数W23(3行目の画素に加える重み)に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W23を加算する。
期間T14から引き続き、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、1行目の画素100のトランジスタ105aには、電位W11+0に応じた電流が流れ、トランジスタ105bには、電位W21+0に応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W12+0に応じた電流が流れ、トランジスタ105bには、電位W22+0に応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W13+0に応じた電流が流れ、トランジスタ105bには、電位W23+0に応じた電流が流れる。
ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Zが容量結合によってノードCの電位Vrに加算される。したがって、ノードCの電位は、“Vr+Z”になる。ここで、Vr=0と考えると、Zは差分そのものであり、データBが算出されたことになる。
配線213A、配線213B等の電位を順次“H”とし、配線215の電位を適切なアナログ電位(Vbias)などとすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータBに応じた信号電位を出力することができる。
期間T15の動作は、撮像無しのデータをもとにデータBを生成し、データBを回路301に出力する(読み出しを行う)期間に相当する。
期間T16に、配線122_1、配線122_2、配線122_3、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3、配線213A、配線213B、及び配線215の電位を“L”とする。
上記動作によって回路201から出力されるデータAおよびデータBは、回路301に入力される。回路301では、データAとデータBの差分をとる演算が行われ、画像データ(電位X)と重み係数(電位W)との積以外の不要なオフセット成分を除去することができる。回路301は、回路201のような演算回路を有する構成のほか、メモリ回路およびソフトウェア処理を利用して差分をとる構成としてもよい。
なお、上記動作において、回路201のノードCの電位は、データAの取得動作およびデータBの取得動作ともに同じ電位“Vr”に初期化している。そして、その後の差分演算で、“(Vr+Y)−(Vr+Z)”=“Y−Z”となり、電位“Vr”の成分は除去される。また、前述したように、その他の不要なオフセット成分も除去されるため、画像データ(電位X)と重み係数(電位W)との積を抽出することができる。
ここまでが、n+1フレーム目の動作の説明である。
次に、n+2フレーム目の動作を、図8を用いて説明する。なお、前述のn+1フレーム目(期間T11乃至期間T16)と共通する部分については説明を省略し、相違する部分について主に説明する。
まず、期間T21乃至T23に、配線116aの電位を“H”、配線117aの電位を“H”とし、画素100のノードNDaをリセット電位とする。同様に、配線116bの電位を“H”、配線117bの電位を“H”とし、画素100のノードNDbをリセット電位とする。期間T23の終わりには、配線116a、配線117a、配線116b、及び配線117bの電位を“L”とする。
期間T21では、配線111a_1、配線111a_2、配線111a_3の電位を“L”、配線112a_1、配線112a_2、配線112a_3を“H”とし、重み係数0を書き込む。同様に、配線111b_1、配線111b_2、配線111b_3の電位を“L”、配線112b_1、配線112b_2、配線112b_3を“H”とし、重み係数0を書き込む。
期間T24に、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、各画素100のトランジスタ105bには、リセット電位に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込む。期間T24の動作は露光なしのデータの取得に相当し、当該データは、ノードCの電位Vrに初期化される。
期間T25に、配線111a_1の電位を重み係数W21に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W21を加算する。
配線111a_2の電位を重み係数W22に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W22を加算する。
配線111a_3の電位を重み係数W23に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W23を加算する。
配線111b_1の電位を重み係数W11に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W11を加算する。
配線111b_2の電位を重み係数W12に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W12を加算する。
配線111b_3の電位を重み係数W13に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W13を加算する。
期間T24から引き続き、配線122_1、配線122_2、配線122_3の電位を“H”として画素ブロック200内の全ての画素100を選択する。このとき、1行目の画素100のトランジスタ105aには、電位W21+0に応じた電流が流れ、トランジスタ105bには、電位W11+0に応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W22+0に応じた電流が流れ、トランジスタ105bには、電位W12+0に応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W23+0に応じた電流が流れ、トランジスタ105bには、電位W13+0に応じた電流が流れる。
ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Zが容量結合によってノードCの電位Vrに加算される。したがって、ノードCの電位は、“Vr+Z”になる。ここで、Vr=0と考えると、Zは差分そのものであり、データBが算出されたことになる。
配線213A、配線213B等の電位を順次“H”とし、配線215の電位を適切なアナログ電位(Vbias)などとすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータBに応じた信号電位を出力することができる。
期間T25の動作は、撮像無しのデータをもとにデータBを生成し、データBを回路301に出力する(読み出しを行う)期間に相当する。
期間T26に、配線122_1、配線122_2、配線122_3、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3、配線213A、配線213B、及び配線215の電位を“L”とする。
上記動作によって回路201から出力されるデータAおよびデータBは、回路301に入力される。回路301では、データAとデータBの差分をとる演算が行われ、画像データ(電位X)と重み係数(電位W)との積以外の不要なオフセット成分を除去することができる。
ここまでが、n+2フレーム目の動作の説明である。
以降のフレームについても、前述と同様の動作を行うことができる。
当該動作は、推論などを行うニューラルネットワークにおいて、始めの動作に相当する。したがって、膨大な画像データを外部に取り出す前に撮像装置内で少なくとも一つの演算を行うことができ、外部での演算、またはデータの入出力などの負荷の低減、処理の高速化、および消費電力を低減させることができる。
上記とは異なる動作として、データAの取得動作とデータBの取得動作で、回路201のノードCの電位を異なる電位に初期化してもよい。例えば、データAの取得動作時に電位“Vr1”に初期化し、データBに取得動作時に電位“Vr2”に初期化したとする。この場合、その後の差分演算では、“(Vr1+Y)−(Vr2+Z)”=“(Vr1−Vr2)+(Y−Z)”となる。“Y−Z”は前述の動作と同様に画像データ(電位X)と重み係数(電位W)との積として抽出され、さらに、“Vr1−Vr2”が加わる。ここで、“Vr1−Vr2”は、ニューラルネットワークの中間層の演算でしきい値調整として用いられるバイアスに相当する。
上記とは異なる動作として、撮像ありと撮像無しで配線215の電位を異ならせてもよい。例えば、データAの取得動作時に配線215の電位を“Vbias1”とし、データBの取得動作時に配線215の電位を“Vbias2”とする。また、データAの取得動作時、およびデータBの取得動作時のそれぞれにおいて、ノードCを同じ電位“Vr”に初期化したとする。この場合、その後の差分演算では、“(Vr+Y−Vbias1)−(Vr+Z−Vbias2)”=“(Vbias2−Vbias1)+(Y−Z)”となる。“Y−Z”は前述の動作と同様に画像データ(電位X)と重み係数(電位W)との積として抽出され、さらに、“Vbias2−Vbias1”が加わる。ここで、“Vbias2−Vbias1”は、ニューラルネットワークの中間層の演算でしきい値調整として用いられるバイアスに相当する。
重みは、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)のフィルタの役割を有するが、それ以外にデータの増幅または減衰を行う役割を有していてもよい。例えば、データAの取得動作時の重み係数(W)をフィルタ処理分と増幅分の積とすれば、明るい画像に補正されたデータを抽出することができる。また、データBは撮像無しのデータであり、黒レベルのデータであるということもできる。したがって、データAとデータBの差分をとる動作は、暗所で撮像した画像の可視化を助長するための動作といえる。すなわち、ニューラルネットワークを用いた輝度補正が可能となる。
上述したように、本発明の一態様では、撮像装置の動作でバイアスの生成が可能である。また、撮像装置内で機能的な重みを付加することもできる。したがって、外部での演算などの負荷を低減できるとともに、様々な用途に用いることができる。例えば、被写体の推論のほか、画像データの解像度補正、輝度補正、モノクロ画像からのカラー画像の生成、2次元画像からの3次元画像の生成、欠損情報の復元、静止画から動画の生成、ピンボケ画像の修正などの処理において、その一部の処理を撮像装置内で行うことができる。
<撮像動作2>
回路130a及び回路130bでそれぞれ3種類のフィルタを用いる例を、図9乃至図12を用いて説明する。
回路130a及び回路130bでそれぞれ3種類のフィルタを用いる例を、図9乃至図12を用いて説明する。
図9及び図10は、画素ブロック200および回路201において、露光ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する動作を説明するタイミングチャートである。なお、前述の図7と共通する部分については説明を省略し、相違する部分について主に説明する。
n+1フレーム目の動作を、図9を用いて説明する。なお、図9は、図7に示したn+1フレーム目の動作に相当する。
期間T11乃至期間T13については、図7に係る記載を参照できるため、詳細な説明は省略する。
期間T14_1乃至期間T15_1についてはそれぞれ、図7に係る期間T14乃至期間T15の記載を参照できるため、詳細な説明は省略する。期間T14_1乃至期間T15_1では、回路130aにおいて、n+1フレーム目に取得された画像データIMn+1に第1のフィルタFL11を用いて重みを与え、回路130bにおいて、保持しているnフレーム目に取得された画像データIMnに第2のフィルタFL21を用いて重みを与える。期間T14_1乃至期間T15_1では、n+1フレーム目において第1のフィルタFL11及び第2のフィルタFL21を用いた場合のデータAが算出されたことになる。
期間T14_2に、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3の電位を“L”とする。このとき、各画素100のトランジスタ105aには、電位Xn+1に応じた電流が流れる。トランジスタ105bには、電位Xnに応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込み、ノードCの電位が電位Vrに初期化される。
期間T15_2に、配線111a_1の電位を重み係数W31(1行目の画素に加える重み)に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W31を加算する。
配線111a_2の電位を重み係数W32(2行目の画素に加える重み)に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W32を加算する。
配線111a_3の電位を重み係数W33(3行目の画素に加える重み)に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W33を加算する。なお、重み係数W31、重み係数W32、及び重み係数W33は、第3のフィルタFL12の要素である。
配線111b_1の電位を重み係数W41(1行目の画素に加える重み)に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W41を加算する。
配線111b_2の電位を重み係数W42(2行目の画素に加える重み)に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W42を加算する。
配線111b_3の電位を重み係数W43(3行目の画素に加える重み)に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W43を加算する。なお、重み係数W41、重み係数W42、及び重み係数W43は、第4のフィルタFL22の要素である。
1行目の画素100のトランジスタ105aには、電位W31+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W41+Xnに応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W32+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W42+Xnに応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W33+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W43+Xnに応じた電流が流れる。
期間T14_2乃至期間T15_2では、回路130aにおいて、n+1フレーム目に取得された画像データIMn+1に第3のフィルタFL12を用いて重みを与え、回路130bにおいて、保持しているnフレーム目に取得された画像データIMnに第4のフィルタFL22を用いて重みを与える。期間T14_2乃至期間T15_2では、第3のフィルタFL12及び第4のフィルタFL22を用いた場合のデータAが算出されたことになる。
同様に、期間T14_3乃至期間T15_3に、回路130aにおいて、n+1フレーム目に取得された画像データIMn+1に第5のフィルタFL13を用いて重みを与え、回路130bにおいて、保持しているnフレーム目に取得された画像データIMnに第6のフィルタFL23を用いて重みを与える。期間T14_3乃至期間T15_3では、第5のフィルタFL13及び第6のフィルタFL23を用いた場合のデータAが算出されたことになる。
期間T16については、図7に係る記載を参照できるため、詳細な説明は省略する。
ここまでが、n+1フレーム目の動作の説明である。
n+2フレーム目の動作を、図10を用いて説明する。なお、図10は、図7に示したn+2フレーム目の動作に相当する。なお、前述のn+1フレーム目(期間T11乃至期間T16)と共通する部分については説明を省略し、相違する部分について主に説明する。
期間T21乃至期間T23については、図7に係る記載を参照できるため、詳細な説明は省略する。
期間T24_1乃至期間T25_1についてはそれぞれ、図7に係る期間T24乃至期間T25の記載を参照できるため、詳細な説明は省略する。期間T24_1乃至期間T25_1では、回路130bにおいて、n+2フレーム目に取得された画像データIMn+2に第1のフィルタFL11を用いて重みを与え、回路130aにおいて、保持しているn+1フレーム目に取得された画像データIMn+1に第2のフィルタFL21を用いて重みを与える。期間T24_1乃至期間T25_1では、n+2フレーム目において第1のフィルタFL11及び第2のフィルタFL21を用いた場合のデータAが算出されたことになる。
期間T24_2において、各画素100のトランジスタ105aには、電位Xn+1に応じた電流が流れる。トランジスタ105bには、電位Xn+2に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込み、ノードCの電位が電位Vrに初期化される。
期間T25_2に、配線111a_1の電位を重み係数W41に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W41を加算する。
配線111a_2の電位を重み係数W42に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W42を加算する。
配線111a_3の電位を重み係数W43に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W43を加算する。
配線111b_1の電位を重み係数W31に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W31を加算する。
配線111b_2の電位を重み係数W32に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W32を加算する。
配線111b_3の電位を重み係数W33に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W33を加算する。
1行目の画素100のトランジスタ105aには、電位W41+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W31+Xn+2に応じた電流が流れる。また、2行目の画素100のトランジスタ105aには、電位W42+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W32+Xn+2に応じた電流が流れる。また、3行目の画素100のトランジスタ105aには、電位W43+Xn+1に応じた電流が流れ、トランジスタ105bには、電位W33+Xn+2に応じた電流が流れる。
期間T24_2乃至期間T25_2では、回路130bにおいて、n+2フレーム目に取得された画像データIMn+2に第3のフィルタFL12を用いて重みを与え、回路130aにおいて、保持しているn+1フレーム目に取得された画像データIMn+1に第4のフィルタFL22を用いて重みを与える。期間T24_2乃至期間T25_2では、第3のフィルタFL12及び第4のフィルタFL22を用いた場合のデータAが算出されたことになる。
同様に、期間T24_3乃至期間T25_3では、回路130bにおいて、n+2フレーム目に取得された画像データIMn+2に第5のフィルタFL13を用いて重みを与え、回路130aにおいて、保持しているn+1フレーム目に取得された画像データIMn+1に第6のフィルタFL23を用いて重みを与える。期間T24_3乃至期間T25_3では、第5のフィルタFL13及び第6のフィルタFL23を用いた場合のデータAが算出されたことになる。
期間T26については、図7に係る記載を参照できるため、詳細な説明は省略する。
ここまでが、n+2フレーム目の動作の説明である。
以降のフレームについても、前述と同様の動作を行うことができる。
図11及び図12は、画素ブロック200および回路201において、露光なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する動作を説明するタイミングチャートである。なお、前述の図8と共通する部分については説明を省略し、相違する部分について主に説明する。
n+1フレーム目の動作を、図11を用いて説明する。なお、図11は、図8に示したn+1フレーム目の動作に相当する。
期間T11乃至期間T13については、図8に係る記載を参照できるため、詳細な説明は省略する。
期間T14_1乃至期間T15_1についてはそれぞれ、図8に係る期間T14乃至期間T15の記載を参照できるため、詳細な説明は省略する。期間T14_1乃至期間T15_1では、n+1フレーム目において第1のフィルタFL11及び第2のフィルタFL21を用いた場合のデータBが算出されたことになる。
期間T14_2に、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3の電位を“L”とする。このとき、各画素100のトランジスタ105aには、リセット電位に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込む。期間T14の動作は露光なしのデータの取得に相当し、当該データは、ノードCの電位Vrに初期化される。
期間T15_2に、配線111a_1の電位を重み係数W31に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W31を加算する。
配線111a_2の電位を重み係数W32に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W32を加算する。
配線111a_3の電位を重み係数W33に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W33を加算する。
配線111b_1の電位を重み係数W41に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W41を加算する。
配線111b_2の電位を重み係数W42に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W42を加算する。
配線111b_3の電位を重み係数W43に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W43を加算する。
期間T14_2乃至期間T15_2では、第3のフィルタFL12及び第4のフィルタFL22を用いた場合のデータBが算出されたことになる。
同様に、期間T14_3乃至期間T15_3では、第5のフィルタFL13及び第6のフィルタFL23を用いた場合のデータBが算出されたことになる。
期間T16については、図8に係る記載を参照できるため、詳細な説明は省略する。
ここまでが、n+1フレーム目の動作の説明である。
n+2フレーム目の動作を、図12を用いて説明する。なお、図12は、図8に示したn+2フレーム目の動作に相当する。
期間T21乃至期間T23については、図8に係る記載を参照できるため、詳細な説明は省略する。
期間T24_1乃至期間T25_1についてはそれぞれ、図8に係る期間T24乃至期間T25の記載を参照できるため、詳細な説明は省略する。期間T24_1乃至期間T25_1では、n+2フレーム目において第1のフィルタFL11及び第2のフィルタFL21を用いた場合のデータBが算出されたことになる。
期間T24_2に、配線112a_1、配線112a_2、配線112a_3、配線112b_1、配線112b_2、配線112b_3の電位を“L”とする。このとき、各画素100のトランジスタ105aには、リセット電位に応じた電流が流れる。また、配線216の電位を“H”とすることで、ノードCに配線218の電位Vrを書き込む。期間T14の動作は露光なしのデータの取得に相当し、当該データは、ノードCの電位Vrに初期化される。
期間T25_2に、配線111a_1の電位を重み係数W41に相当する電位とし、配線112a_1の電位を“H”とすることで、1行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W41を加算する。
配線111a_2の電位を重み係数W42に相当する電位とし、配線112a_2の電位を“H”とすることで、2行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W42を加算する。
配線111a_3の電位を重み係数W43に相当する電位とし、配線112a_3の電位を“H”とすることで、3行目の画素100のノードNDaにキャパシタ104aの容量結合で重み係数W43を加算する。
配線111b_1の電位を重み係数W31に相当する電位とし、配線112b_1の電位を“H”とすることで、1行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W31を加算する。
配線111b_2の電位を重み係数W32に相当する電位とし、配線112b_2の電位を“H”とすることで、2行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W32を加算する。
配線111b_3の電位を重み係数W33に相当する電位とし、配線112b_3の電位を“H”とすることで、3行目の画素100のノードNDbにキャパシタ104bの容量結合で重み係数W33を加算する。
期間T24_2乃至期間T25_2では、第3のフィルタFL12及び第4のフィルタFL22を用いた場合のデータBが算出されたことになる。
同様に、期間T24_3乃至期間T25_3では、第5のフィルタFL13及び第6のフィルタFL23を用いた場合のデータBが算出されたことになる。
期間T26については、図8に係る記載を参照できるため、詳細な説明は省略する。
ここまでが、n+2フレーム目の動作の説明である。
以降のフレームについても、前述と同様の動作を行うことができる。なお、ここでは、回路130a及び回路130bにおいてそれぞれ、3種類のフィルタを用いる例を示したが、本発明の一態様はこれに限られない。回路130a及び回路130bで用いるフィルタはそれぞれ2種類でもよく、4種類以上でもよい。また、回路130a及び回路130bで用いるフィルタはそれぞれ1種類でもよい。
<画素回路の構成例2>
図4に示した画素100と異なる構成例を、図13に示す。
図4に示した画素100と異なる構成例を、図13に示す。
図13に示す画素100は、トランジスタ105a及びトランジスタ105bがそれぞれバックゲートを有する点、トランジスタ106a及びトランジスタ106bを有さない点で、図4に示した画素100と主に異なる。
図13に示す画素100において、トランジスタ105aのバックゲートは、配線111aと電気的に接続され、配線111aから重み係数(W)に相当する電位が供給される。トランジスタ105aのしきい値電圧(Vth)は、重み係数(W)の分、マイナス側にシフトし、フロントゲートに重み係数(W)を与えた場合と同様にオン電流が増加する。トランジスタ105bのバックゲートは、配線111bと電気的に接続され、配線111bから重み係数(W)に相当する電位が供給される。トランジスタ105bのしきい値電圧(Vth)は、重み係数(W)の分、マイナス側にシフトし、フロントゲートに重み係数(W)を与えた場合と同様にオン電流が増加する。図13に示す画素100においても、データAとデータBとの差分はkΣ(2W・X)となり、画像データ(X)と重み係数(W)との積以外のオフセット成分を除去することができる。バックゲートを有するトランジスタ105a及びトランジスタ105bには、OSトランジスタを好適に用いることができる。
図13に示す画素100において、キャパシタ104aの他方の電極は、配線118aと電気的に接続される。キャパシタ104bの他方の電極は、配線118bと電気的に接続される。配線118a及び配線118bはそれぞれ、固定電位を供給する機能を有する。なお、配線118aは、配線115aまたは配線119bの一方と共通としてもよい。例えば、キャパシタ104aの他方の電極が、配線115aに電気的に接続される構成とすることができる。同様に、配線118bは、配線115bまたは配線119bの一方と共通としてもよい。例えば、キャパシタ104bの他方の電極が、配線115bに電気的に接続される構成とすることができる。配線を共通とすることにより配線の数が減り、画素に占める配線の面積を小さくできることから、高精細な撮像装置とすることができる。
撮像動作については、前述の図7乃至図12に係る記載を参照できるため、詳細な説明は省略する。
<回路301、回路302>
図14Aは、回路201と接続する回路301および回路302を説明する図である。回路201から出力される積和演算結果のデータは、回路301に順次入力される。回路301には、前述したデータAとデータBとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。例えば、回路301は、回路201と同等の構成とすることができる。または、回路301の機能をソフトウェアによる処理で置き換えてもよい。
図14Aは、回路201と接続する回路301および回路302を説明する図である。回路201から出力される積和演算結果のデータは、回路301に順次入力される。回路301には、前述したデータAとデータBとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。例えば、回路301は、回路201と同等の構成とすることができる。または、回路301の機能をソフトウェアによる処理で置き換えてもよい。
回路301は、活性化関数の演算を行う回路を有していてもよい。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を2値データとして出力する。すなわち、画素ブロック200および回路301はニューラルネットワークの一部の要素として作用することができる。
回路301は、A/Dコンバータを有していてもよい。積和演算の有無を問わず、画素ブロック200から画像データを外部に出力するときは、回路301でアナログデータをデジタルデータに変換することができる。
例えば、3行3列の画素100を有する画素ブロック200において、全ての画素100に供給する重みを同じ(例えば、0)とし、データを出力させたい画素が有するトランジスタ108を導通させれば、画素ブロック200全体の画像データの和、行毎の画像データの和、または画素毎のデータなどを画素ブロック200から出力させることができる。
画素ブロック200が出力するデータは複数ビットの画像データに相当するが、回路301で2値化できる場合は、画像データを圧縮しているともいえる。
回路301から出力されたデータは、回路302に順次入力される。回路302は、例えばラッチ回路およびシフトレジスタなどを有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、並行して入力されたデータを配線311にシリアルデータとして出力することができる。
図14Bに示すように、回路302はニューラルネットワークを有していてもよい。当該ニューラルネットワークは、マトリクス状に配置されたメモリセルを有し、各メモリセルには重み係数が保持されている。回路301から出力されたデータはメモリセル320にそれぞれ入力され、積和演算を行うことができる。なお、図14Bに示すメモリセルの数は一例であり、これに限定されない。積和演算後のデータは、配線311に出力することができる。
なお、図14A、および図14Bにおいて、配線311の接続先は限定されない。例えば、ニューラルネットワーク、記憶装置、通信装置などと接続することができる。
図14Bに示すニューラルネットワークは、マトリクス状に設置されたメモリセル320および参照メモリセル325と、回路330と、回路350と、回路360と、回路370を有する。
図15にメモリセル320および参照メモリセル325の一例を示す。参照メモリセル325は、任意の一列に設けられる。メモリセル320および参照メモリセル325は同様の構成を有し、トランジスタ161と、トランジスタ162と、キャパシタ163と、を有する。
トランジスタ161のソースまたはドレインの一方は、トランジスタ162のゲートと電気的に接続される。トランジスタ162のゲートは、キャパシタ163の一方の電極と電気的に接続される。ここで、トランジスタ161のソースまたはドレインの一方、トランジスタ162のゲート、キャパシタ163の一方の電極が接続される点をノードNMとする。
トランジスタ161のゲートは、配線WLと電気的に接続される。キャパシタ163の他方の電極は、配線RWと電気的に接続される。トランジスタ162のソースまたはドレインの一方は、GND配線等の基準電位配線と電気的に接続される。
メモリセル320において、トランジスタ161のソースまたはドレインの他方は、配線WDと電気的に接続される。トランジスタ162のソースまたはドレインの他方は、配線BLと電気的に接続される。
参照メモリセル325において、トランジスタ161のソースまたはドレインの他方は、配線WDrefと電気的に接続される。トランジスタ162のソースまたはドレインの他方は、配線BLrefと電気的に接続される。
配線WLは、回路330と電気的に接続される。回路330にはデコーダまたはシフトレジスタなどを用いることができる。
配線RWは、回路301と電気的に接続される。各メモリセルには、回路301から出力された2値のデータが書き込まれる。なお、回路301と各メモリセルとの間にシフトレジスタなどの順序回路を有していてもよい。
配線WDおよび配線WDrefは、回路350と電気的に接続される。回路350には、デコーダまたはシフトレジスタなどを用いることができる。また、回路350は、D/Aコンバータ、及びSRAMを有していてもよい。回路350は、ノードNMに書き込まれる重み係数を出力することができる。
配線BLおよび配線BLrefは、回路360と電気的に接続される。回路360は、回路201と同等の構成とすることができる。回路360により、積和演算結果からオフセット成分を除いた信号を得ることができる。
回路360は、回路370と電気的に接続される。回路370は、活性化関数回路とも換言できる。活性化関数回路は、回路360から入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数として、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数などを用いることができる。活性化関数回路によって変換された信号は、出力データとして外部に出力される。
図16Aに示すように、ニューラルネットワークNNは、入力層IL、出力層OL、中間層(隠れ層)HLによって構成することができる。入力層IL、出力層OL、中間層HLは、それぞれ1または複数のニューロン(ユニット)を有する。なお、中間層HLは1層であってもよいし2層以上であってもよい。2層以上の中間層HLを有するニューラルネットワークはDNN(ディープニューラルネットワーク)と呼ぶこともできる。また、ディープニューラルネットワークを用いた学習は、深層学習と呼ぶこともできる。
入力層ILの各ニューロンには、入力データが入力される。中間層HLの各ニューロンには、前層または後層のニューロンの出力信号が入力される。出力層OLの各ニューロンには、前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし(全結合)、一部のニューロンと結合されていてもよい。
畳み込みニューラルネットワーク(CNN)の場合は、中間層HLが、畳み込み処理を行う層(畳み込み層)、プーリング処理を行う層(プーリング層)、全結合処理を行う層(全結合層)を有する構成とすることができる。畳み込み層では、畳み込み処理を行うことで特徴抽出を行う。また、畳み込み処理には、一または複数の重みフィルタを用いることができる。なお、中間層HLは、上記以外に正規化層等を含んでもよい。畳み込み処理の際に、パディング、またはストライドといった処理を組み合わせてもよい。
図16Bに、ニューロンによる演算の例を示す。ここでは、ニューロンNと、ニューロンNに信号を出力する前層の2つのニューロンを示している。ニューロンNには、前層のニューロンの出力x1と、前層のニューロンの出力x2が入力される。そして、ニューロンNにおいて、出力x1と重みw1の乗算結果(x1w1)と出力x2と重みw2の乗算結果(x2w2)の総和x1w1+x2w2が計算された後、必要に応じてバイアスbが加算され、値a=x1w1+x2w2+bが得られる。そして、値aは活性化関数hによって変換され、ニューロンNから出力信号y=ahが出力される。
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる(上記のx1w1+x2w2)。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。
本発明の一態様では、ハードウェアとしてアナログ回路を用いて積和演算を行う。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。
積和演算回路は、OSトランジスタを有する構成とすることが好ましい。OSトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、SiトランジスタとOSトランジスタの両方を用いて積和演算回路を構成してもよい。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
(実施の形態2)
本実施の形態では、本発明の一態様の撮像装置の構造例などについて説明する。
本実施の形態では、本発明の一態様の撮像装置の構造例などについて説明する。
<構造例>
図17Aは、撮像装置の画素の構造の一例を示す図であり、層561および層563の積層構造とすることができる。
図17Aは、撮像装置の画素の構造の一例を示す図であり、層561および層563の積層構造とすることができる。
層561は、光電変換デバイス101を有する。光電変換デバイス101は、図18Aに示すように層565aと、層565bを有することができる。なお、場合によって、層を領域と言い換えてもよい。
図18Aに示す光電変換デバイス101はpn接合型フォトダイオードであり、例えば、層565aにp型半導体、層565bにn型半導体を用いることができる。または、層565aにn型半導体、層565bにp型半導体用いてもよい。
上記pn接合型フォトダイオードは、代表的には単結晶シリコンを用いて形成することができる。単結晶シリコンを光電変換層とするフォトダイオードは、紫外光から近赤外光まで比較的広い分光感度特性を有し、後述する光学変換層と組み合わせることで、様々な波長の光を検出することができる。
そのほか、pn接合型フォトダイオードの光電変換層として、化合物半導体を用いてもよい。当該化合物半導体として、例えば、ガリウム−ヒ素−リン化合物(GaAsP)、ガリウム−リン化合物(GaP)、インジウム−ガリウム−ヒ素化合物(InGaAs)、鉛−硫黄化合物(PbS)、鉛−セレン化合物(PbSe)、インジウム−ヒ素化合物(InAs)、インジウム−アンチモン化合物(InSb)、水銀−カドミウム−テルル化合物(HgCdTe)などを用いることができる。
化合物半導体として、13族元素(アルミニウム、ガリウム、インジウムなど)および15族元素(窒素、リン、ヒ素、アンチモンなど)を有する化合物半導体(3−5族化合物半導体とも言う)、または、12族元素(マグネシウム、亜鉛、カドミウム、水銀など)および16族元素(酸素、硫黄、セレン、テルルなど)を有する化合物半導体(2−6族化合物半導体とも言う)であることが好ましい。
化合物半導体は、構成元素の組み合わせ、及びその原子数比に応じてバンドギャップを変化させることができるため、紫外光から赤外光まで様々な波長範囲に感度を有するフォトダイオードを形成することができる。
なお、紫外光の波長は、0.01μm近傍乃至0.38μm近傍、可視光の波長は、0.38μm近傍乃至0.75μm近傍、近赤外光の波長は、0.75μm近傍乃至2.5μm近傍、中赤外光の波長は、2.5μm近傍乃至4μm近傍、遠赤外光の波長は、4μm近傍乃至1000μm近傍、と一般的に定義することができる。
例えば、紫外光から可視光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にGaPなどを用いることができる。また、紫外光から近赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層に前述したシリコンまたはGaAsPなどを用いることができる。また、可視光から中赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にInGaAsなどを用いることができる。また、近赤外光から中赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にPbSまたはInAsなどを用いることができる。また、中赤外光から遠赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にPbSe、InSbまたはHgCdTeなどを用いることができる。
なお、上記化合物半導体を用いたフォトダイオードは、pn接合だけでなく、pin接合であってもよい。また、pn接合およびpin接合は、ホモ接合構造に限らず、ヘテロ接合構造であってもよい。
例えば、ヘテロ接合では、pn接合構造の一方の層に第1の化合物半導体を用い、他方の層に第1の化合物半導体とは異なる第2の化合物半導体を用いることができる。また、pin接合構造のいずれか1層または2層に第1の化合物半導体を用い、その他の層に第1の化合物半導体とは異なる第2の化合物半導体を用いることができる。なお、第1の化合物半導体または第2の化合物半導体の一方は、シリコンなどの単体の半導体であってもよい。
なお、画素毎に異なる材料を用いて、フォトダイオードの光電変換層を形成してもよい。当該構成を用いることで、紫外光を検出する画素、可視光を検出する画素、赤外光を検出する画素などのいずれか2種類の画素、または3種類の画素を有する撮像装置を形成することができる。
層561が有する光電変換デバイス101は、図18Bに示すように、層566aと、層566bと、層566cと、層566dとの積層としてもよい。図18Bに示す光電変換デバイス101はアバランシェフォトダイオードの一例であり、層566a、層566dは電極に相当し、層566b、566cは光電変換部に相当する。
層566aは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
層566dは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェンなどを用いることができる。なお、層566dを省く構成とすることもできる。
光電変換部の層566b、層566cは、例えばセレン系材料を光電変換層としたpn接合型フォトダイオードの構成とするができる。層566bにp型半導体であるセレン系材料を用い、層566cにn型半導体であるガリウム酸化物などを用いることが好ましい。
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。
セレン系材料として、結晶性セレン(単結晶セレン、多結晶セレン)、非晶質セレンを用いることができる。これらは、紫外光から可視光にかけて光感度を有する。また、銅、インジウム、セレンの化合物(CIS)、または、銅、インジウム、ガリウム、セレンの化合物(CIGS)などを用いることができる。これらは、紫外光から近赤外光にかけて光感度を有する。
n型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
層561が有する光電変換デバイス101は、図18Cに示すように、層567aと、層567bと、層567cと、層567dと、層567eとの積層としてもよい。図18Cに示す光電変換デバイス101は有機光導電膜の一例であり、層567aは下部電極、層567eは透光性を有する上部電極であり、層567b、567c、567dは光電変換部に相当する。
光電変換部の層567b、567dのいずれか一方はホール輸送層、他方は電子輸送層とすることができる。また、層567cは光電変換層とすることができる。
ホール輸送層として、例えば酸化モリブデンなどを用いることができる。電子輸送層として、例えば、C60、C70などのフラーレン、またはそれらの誘導体などを用いることができる。
光電変換層として、n型有機半導体およびp型有機半導体の混合層(バルクヘテロ接合構造)を用いることができる。有機半導体には様々な種類があり、目的の波長に光感度を有する材料を光電変換層に選べばよい。
図17Aに示す層563として、例えばシリコン基板を用いることができる。当該シリコン基板は、Siトランジスタ等を有する。当該Siトランジスタを用いて、画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路、ニューラルネットワーク、通信回路等を形成することができる。また、DRAM(Dynamic Random Access Memory)などの記憶回路、CPU(Central Processing Unit)、MCU(Micro Controller Unit)などを形成してもよい。なお、画素回路を除く上記回路を本実施の形態では、機能回路と呼ぶ。
例えば、実施の形態1で説明した画素回路(画素100)および機能回路(回路201、回路301、回路302、回路303、回路304、回路305など)が有するトランジスタにおいて、その一部または全てを層563に設けることができる。
層563は、図17Bに示すように複数の層の積層であってもよい。図17Bでは、層563a、層563b、及び層563cの三層を例示しているが、二層であってもよい。または、層563は四層以上の積層であってもよい。これらの層は、例えば貼り合わせ工程などを用いて積層することができる。当該構成とすることで、画素回路と機能回路を複数の層に分散させ、画素回路と機能回路を重ねて設けることができるため、小型で高機能の撮像装置を作製することができる。
画素は、図17Cに示すように層561、層562および層563の積層構造を有していてもよい。
層562は、OSトランジスタを有することができる。前述した機能回路の一つ以上をOSトランジスタで形成してもよい。または、層563が有するSiトランジスタと層562が有するOSトランジスタを用いて、機能回路の一つ以上を形成してもよい。または、層563をガラス基板などの支持基板とし、層562が有するOSトランジスタで機能回路を形成してもよい。
例えば、OSトランジスタおよびSiトランジスタを用いて、ノーマリーオフCPU(「Noff−CPU」ともいう)を実現することができる。なお、Noff−CPUとは、ゲート電圧が0Vであっても非導通状態(オフ状態ともいう)であるノーマリーオフ型のトランジスタを含む集積回路である。
Noff−CPUは、Noff−CPU内の動作不要な回路への電力供給を停止し、当該回路を待機状態にすることができる。電力供給が停止され、待機状態になった回路では電力が消費されない。よって、Noff−CPUは、電力使用量を最小限にすることができる。また、Noff−CPUは、電力供給が停止されても設定条件などの動作に必要な情報を長期間保持することができる。待機状態からの復帰は当該回路への電力供給を再開するだけでよく、設定条件などの再書き込みが不要である。すなわち、待機状態からの高速復帰が可能である。このように、Noff−CPUは、動作速度を大きく落とすことなく消費電力を低減できる。
層562は、図17Dに示すように複数の層の積層であってもよい。図17Dでは、層562a、層562bの二層を例示しているが、三層以上の積層であってもよい。これらの層は、例えば層563上に積み上げるように形成することができる。または、層563上に形成した層と、層561上に形成した層とを貼り合わせて形成してもよい。
OSトランジスタに用いる半導体材料として、エネルギーギャップが2eV以上、好ましくは2.5eV以上、より好ましくは3eV以上である金属酸化物を用いることができる。代表的には、インジウムを含む酸化物半導体などであり、例えば、後述するCAAC−OSまたはCAC−OSなどを用いることができる。CAAC−OSは結晶を構成する原子が安定であり、信頼性を重視するトランジスタなどに適する。また、CAC−OSは、高移動度特性を示すため、高速駆動を行うトランジスタなどに適する。
OSトランジスタは半導体層のエネルギーギャップが大きいため、数yA/μm(チャネル幅1μmあたりの電流値)という極めて低いオフ電流特性を示す。また、OSトランジスタは、インパクトイオン化、アバランシェ降伏、および短チャネル効果などが生じないなどSiトランジスタとは異なる特徴を有し、高耐圧で信頼性の高い回路を形成することができる。また、Siトランジスタでは問題となる結晶性の不均一性に起因する電気特性のばらつきもOSトランジスタでは生じにくい。
OSトランジスタが有する半導体層は、例えばインジウム、亜鉛およびM(アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属から選ばれた一つ、または複数)を含むIn−M−Zn系酸化物で表記される膜とすることができる。In−M−Zn系酸化物は、代表的には、スパッタリング法で形成することができる。または、ALD(Atomic layer deposition)法を用いて形成してもよい。
In−M−Zn系酸化物をスパッタリング法で形成するために用いるスパッタリングターゲットの金属元素の原子数比は、In≧M、Zn≧Mを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、In:M:Zn=1:1:1、In:M:Zn=1:1:1.2、In:M:Zn=3:1:2、In:M:Zn=4:2:3、In:M:Zn=4:2:4.1、In:M:Zn=5:1:6、In:M:Zn=5:1:7、In:M:Zn=5:1:8等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス40%の変動を含む。
半導体層として、キャリア密度の低い酸化物半導体を用いる。例えば、半導体層は、キャリア密度が1×1017/cm3以下、好ましくは1×1015/cm3以下、さらに好ましくは1×1013/cm3以下、より好ましくは1×1011/cm3以下、さらに好ましくは1×1010/cm3未満であり、1×10−9/cm3以上の酸化物半導体を用いることができる。そのような酸化物半導体を、高純度真性または実質的に高純度真性な酸化物半導体と呼ぶ。当該酸化物半導体は欠陥準位密度が低く、安定な特性を有する酸化物半導体であるといえる。
なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性(電界効果移動度、しきい値電圧等)に応じて適切な組成のものを用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度、不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
半導体層を構成する酸化物半導体において、第14族元素の一つであるシリコン、または炭素が含まれると、酸素欠損が増加し、n型化してしまう。このため、半導体層におけるシリコン、または炭素の濃度(二次イオン質量分析法により得られる濃度)を、2×1018atoms/cm3以下、好ましくは2×1017atoms/cm3以下とする。
アルカリ金属およびアルカリ土類金属は、酸化物半導体と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため、半導体層におけるアルカリ金属またはアルカリ土類金属の濃度(二次イオン質量分析法により得られる濃度)を、1×1018atoms/cm3以下、好ましくは2×1016atoms/cm3以下にする。
半導体層を構成する酸化物半導体に窒素が含まれていると、キャリアである電子が生じてキャリア密度が増加し、n型化しやすい。この結果、窒素が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における窒素濃度(二次イオン質量分析法により得られる濃度)は、5×1018atoms/cm3以下にすることが好ましい。
半導体層を構成する酸化物半導体に水素が含まれていると、金属原子と結合する酸素と反応して水になるため、酸化物半導体中に酸素欠損を形成する場合がある。酸化物半導体中のチャネル形成領域に酸素欠損が含まれていると、トランジスタはノーマリーオン特性となる場合がある。さらに、酸素欠損に水素が入った欠陥はドナーとして機能し、キャリアである電子が生成されることがある。また、水素の一部が金属原子と結合する酸素と結合して、キャリアである電子を生成する場合がある。したがって、水素が多く含まれている酸化物半導体を用いたトランジスタは、ノーマリーオン特性となりやすい。
酸素欠損に水素が入った欠陥は、酸化物半導体のドナーとして機能しうる。しかしながら、当該欠陥を定量的に評価することは困難である。そこで、酸化物半導体においては、ドナー濃度ではなく、キャリア濃度で評価される場合がある。よって、本明細書等では、酸化物半導体のパラメータとして、ドナー濃度ではなく、電界が印加されない状態を想定したキャリア濃度を用いる場合がある。つまり、本明細書等に記載の「キャリア濃度」は、「ドナー濃度」と言い換えることができる場合がある。
よって、酸化物半導体中の水素はできる限り低減されていることが好ましい。具体的には、酸化物半導体において、二次イオン質量分析法(SIMS:Secondary Ion Mass Spectrometry)により得られる水素濃度を、1×1020atoms/cm3未満、好ましくは1×1019atoms/cm3未満、より好ましくは5×1018atoms/cm3未満、さらに好ましくは1×1018atoms/cm3未満とする。水素などの不純物が十分に低減された酸化物半導体をトランジスタのチャネル形成領域に用いることで、安定した電気特性を付与することができる。
半導体層は、例えば非単結晶構造でもよい。非単結晶構造は、例えば、c軸に配向した結晶を有するCAAC−OS(C−Axis Aligned Crystalline Oxide Semiconductor)、多結晶構造、微結晶構造、または非晶質構造を含む。非単結晶構造において、非晶質構造は最も欠陥準位密度が高く、CAAC−OSは最も欠陥準位密度が低い。
非晶質構造の酸化物半導体膜は、例えば、原子配列が無秩序であり、結晶成分を有さない。または、非晶質構造の酸化物膜は、例えば、完全な非晶質構造であり、結晶部を有さない。
なお、半導体層が、非晶質構造の領域、微結晶構造の領域、多結晶構造の領域、CAAC−OSの領域、単結晶構造の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
以下では、非単結晶の半導体層の一態様であるCAC(Cloud−Aligned Composite)−OSの構成について説明する。
CAC−OSとは、例えば、酸化物半導体を構成する元素が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれていてもよい。
例えば、In−Ga−Zn酸化物におけるCAC−OS(CAC−OSの中でもIn−Ga−Zn酸化物を、特にCAC−IGZOと呼称してもよい。)とは、インジウム酸化物(以下、InOX1(X1は0よりも大きい実数)とする。)、またはインジウム亜鉛酸化物(以下、InX2ZnY2OZ2(X2、Y2、およびZ2は0よりも大きい実数)とする。)と、ガリウム酸化物(以下、GaOX3(X3は0よりも大きい実数)とする。)、またはガリウム亜鉛酸化物(以下、GaX4ZnY4OZ4(X4、Y4、およびZ4は0よりも大きい実数)とする。)などと、に材料が分離することでモザイク状となり、モザイク状のInOX1、またはInX2ZnY2OZ2が、膜中に均一に分布した構成(以下、クラウド状ともいう。)である。
つまり、CAC−OSは、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第1の領域の元素Mに対するInの原子数比が、第2の領域の元素Mに対するInの原子数比よりも大きいことを、第1の領域は、第2の領域と比較して、Inの濃度が高いとする。
なお、IGZOは通称であり、In、Ga、Zn、およびOによる1つの化合物をいう場合がある。代表例として、InGaO3(ZnO)m1(m1は自然数)、またはIn(1+x0)Ga(1−x0)O3(ZnO)m0(−1≦x0≦1、m0は任意数)で表される結晶性の化合物が挙げられる。
上記結晶性の化合物は、単結晶構造、多結晶構造、またはCAAC構造を有する。なお、CAAC構造とは、複数のIGZOのナノ結晶がc軸配向を有し、かつa−b面においては配向せずに連結した結晶構造である。
一方、CAC−OSは、酸化物半導体の材料構成に関する。CAC−OSとは、In、Ga、Zn、およびOを含む材料構成において、一部にGaを主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。したがって、CAC−OSにおいて、結晶構造は副次的な要素である。
なお、CAC−OSは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Inを主成分とする膜と、Gaを主成分とする膜との2層からなる構造は、含まない。
なお、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とは、明確な境界が観察できない場合がある。
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、CAC−OSは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
CAC−OSは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、CAC−OSをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス(代表的にはアルゴン)、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を0%以上30%未満、好ましくは0%以上10%以下とすることが好ましい。
CAC−OSは、X線回折(XRD:X−ray diffraction)測定法のひとつであるOut−of−plane法によるθ/2θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、X線回折測定から、測定領域のa−b面方向、およびc軸方向の配向は見られないことが分かる。
CAC−OSは、プローブ径が1nmの電子線(ナノビーム電子線ともいう。)を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域(リング領域)と、該リング領域に複数の輝点が観測される。したがって、電子線回折パターンから、CAC−OSの結晶構造が、平面方向、および断面方向において、配向性を有さないnc(nano−crystal)構造を有することがわかる。
例えば、In−Ga−Zn酸化物におけるCAC−OSでは、エネルギー分散型X線分光法(EDX:Energy Dispersive X−ray spectroscopy)を用いて取得したEDXマッピングにより、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
CAC−OSは、金属元素が均一に分布したIGZO化合物とは異なる構造であり、IGZO化合物と異なる性質を有する。つまり、CAC−OSは、GaOX3などが主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
ここで、InX2ZnY2OZ2、またはInOX1が主成分である領域は、GaOX3などが主成分である領域と比較して、導電性が高い領域である。つまり、InX2ZnY2OZ2、またはInOX1が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。したがって、InX2ZnY2OZ2、またはInOX1が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度(μ)が実現できる。
一方、GaOX3などが主成分である領域は、InX2ZnY2OZ2、またはInOX1が主成分である領域と比較して、絶縁性が高い領域である。つまり、GaOX3などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
したがって、CAC−OSを半導体素子に用いた場合、GaOX3などに起因する絶縁性と、InX2ZnY2OZ2、またはInOX1に起因する導電性とが、相補的に作用することにより、高いオン電流(Ion)、および高い電界効果移動度(μ)を実現することができる。
CAC−OSを用いた半導体素子は、信頼性が高い。したがって、CAC−OSは、様々な半導体装置の構成材料として適している。
<積層構造1>
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層および導電層などの要素は一例であり、さらに他の要素が含まれていてもよい。または、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程などを用いて形成することができる。
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層および導電層などの要素は一例であり、さらに他の要素が含まれていてもよい。または、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程などを用いて形成することができる。
図19は、層560、561、層563を有し、層563を構成する層563aと層563bの間に貼り合わせ面を有する積層体の断面図の一例である。
<層563b>
層563bは、シリコン基板611に設けられた機能回路を有することができる。ここでは、機能回路の一部として、回路130が有するトランジスタ105およびトランジスタ108を示している。
層563bは、シリコン基板611に設けられた機能回路を有することができる。ここでは、機能回路の一部として、回路130が有するトランジスタ105およびトランジスタ108を示している。
層563bには、シリコン基板611、絶縁層612、絶縁層613、絶縁層614、絶縁層616、絶縁層617、絶縁層618、導電層619が設けられる。絶縁層612は保護膜としての機能を有する。絶縁層613、絶縁層614、絶縁層616、絶縁層617は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層618および導電層619は、貼り合わせ層としての機能を有する。導電層619は、トランジスタ105のゲートと電気的に接続される。
保護膜として、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。層間絶縁膜および平坦化膜として、例えば、酸化シリコン膜などの無機絶縁膜、アクリル樹脂、ポリイミド樹脂などの有機絶縁膜を用いることができる。キャパシタの誘電体層として、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。貼り合わせ層に関しては後述する。
なお、デバイス間の電気的な接続に用いられる配線、電極およびプラグとして用いることのできる導電体には、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタンなどから選ばれた金属元素、または上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
<層563a>
層563aは、画素100の要素を有する。また、機能回路の要素を有していてもよい。ここでは、機能回路の要素として、回路130が有するトランジスタ102およびトランジスタ103を示している。
層563aは、画素100の要素を有する。また、機能回路の要素を有していてもよい。ここでは、機能回路の要素として、回路130が有するトランジスタ102およびトランジスタ103を示している。
層563aには、シリコン基板632、絶縁層631、絶縁層633、絶縁層634、絶縁層635、絶縁層637、絶縁層638が設けられる。また、導電層636、導電層639が設けられる。
絶縁層631および導電層639は、貼り合わせ層としての機能を有する。絶縁層634、635、637は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層633は、保護膜としての機能を有する。絶縁層638は、シリコン基板632と導電層639を絶縁する機能を有する。絶縁層638は、他の絶縁層と同様の材料で形成することができる。また、絶縁層638は、絶縁層631と同一の材料で形成されていてもよい。
導電層639は、トランジスタ102のソースまたはドレインの他方、およびトランジスタ103のソースまたはドレインの一方と電気的に接続される。また、導電層639は、トランジスタ105のゲートおよび導電層619と電気的に接続される。また、導電層636は、配線114(図4参照)と電気的に接続される。
図19には、シリコン基板(シリコン基板611、シリコン基板632)にチャネル形成領域を有するフィン型のSiトランジスタを示している。チャネル幅方向の断面(図19の層563aに示すA1−A2の断面)を図20Aに示す。なお、Siトランジスタは、図20Bに示すようにプレーナー型であってもよい。
または、図20Cに示すように、シリコン薄膜の半導体層545を有するトランジスタであってもよい。半導体層545は、例えば、シリコン基板632上の絶縁層546上に形成された単結晶シリコン(SOI(Silicon on Insulator))とすることができる。
<層561>
層561は、光電変換デバイス101を有する。光電変換デバイス101は、層563a上に形成することができる。図19では、光電変換デバイス101として、図18Cに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層567aをカソード、層567eをアノードとする。
層561は、光電変換デバイス101を有する。光電変換デバイス101は、層563a上に形成することができる。図19では、光電変換デバイス101として、図18Cに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層567aをカソード、層567eをアノードとする。
層561には、絶縁層651、絶縁層652、絶縁層653、絶縁層654、および導電層655が設けられる。
絶縁層651、絶縁層653、絶縁層654は、層間絶縁膜および平坦化膜としての機能を有する。また、絶縁層654は光電変換デバイス101の端部を覆って設けられ、層567eと層567aとの短絡を防止する機能も有する。絶縁層652は、素子分離層としての機能を有する。素子分離層として、有機絶縁膜などを用いることが好ましい。
光電変換デバイス101のカソードに相当する層567aは、層563aが有するトランジスタ102のソースまたはドレインの一方と電気的に接続される。光電変換デバイス101のアノードに相当する層567eは、導電層655を介して、層563aが有する導電層636と電気的に接続される。
<層560>
層560は、層561上に形成される。層560は、遮光層671、光学変換層672およびマイクロレンズアレイ673を有する。
層560は、層561上に形成される。層560は、遮光層671、光学変換層672およびマイクロレンズアレイ673を有する。
遮光層671は、隣接する画素への光の流入を抑えることができる。遮光層671には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
光電変換デバイス101が可視光に感度を有するとき、光学変換層672にカラーフィルタを用いることができる。カラーフィルタに(赤)、G(緑)、B(青)、Y(黄)、C(シアン)、M(マゼンタ)などの色を画素別に割り当てることにより、カラー画像を得ることができる。例えば、図26Aの斜視図(断面を含む)に示すように、カラーフィルタ672R(赤)、カラーフィルタ672G(緑)、カラーフィルタ672B(青)をそれぞれ異なる画素に割り当てることができる。
光電変換デバイス101と光学変換層672との適切な組み合わせにおいて、光学変換層672に波長カットフィルタを用いれば、様々な波長領域における画像が得られる撮像装置とすることができる。
例えば、光学変換層672に可視光線の波長以下の光を遮る赤外線フィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層672に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層672に可視光線の波長以上の光を遮る紫外線フィルタを用いれば、紫外線撮像装置とすることができる。
なお、一つの撮像装置内に異なる光学変換層を複数配置してもよい。例えば、図26Bに示すように、カラーフィルタ672R(赤)、カラーフィルタ672G(緑)、カラーフィルタ672B(青)、赤外線フィルタ672IRをそれぞれ異なる画素に割り当てることができる。当該構成では、可視光画像および赤外光画像を同時に取得することができる。
または、図26Cに示すように、カラーフィルタ672R(赤)、カラーフィルタ672G(緑)、カラーフィルタ672B(青)、紫外線フィルタ672UVをそれぞれ異なる画素に割り当てることができる。当該構成では、可視光画像および紫外光画像を同時に取得することができる。
光学変換層672にシンチレータを用いれば、X線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したX線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線、または紫外光線などの光(蛍光)に変換される。そして、当該光を光電変換デバイス101で検出することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
シンチレータは、X線、またはガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光、または紫外光を発する物質を含む。例えば、Gd2O2S:Tb、Gd2O2S:Pr、Gd2O2S:Eu、BaFCl:Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnOなどを樹脂、またはセラミクスに分散させたものを用いることができる。
赤外光または紫外光による撮像を行うことで、検査機能、セキュリティ機能、センサ機能などを撮像装置に付与することができる。例えば、赤外光による撮像を行うことで、生産物の非破壊検査、農産物の選別(糖度の計測など)、静脈認証、医療検査などを行うことができる。また、紫外光による撮像を行うことで、光源、または火炎から放出される紫外光を検出することができ、光源、熱源、生産装置等の管理などを行うことができる。
光学変換層672上にはマイクロレンズアレイ673が設けられる。マイクロレンズアレイ673が有する個々のレンズを通る光が直下の光学変換層672を通り、光電変換デバイス101に照射されるようになる。マイクロレンズアレイ673を設けることにより、集光した光を光電変換デバイス101に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ673は、目的の波長の光に対して透光性の高い樹脂またはガラスなどで形成することが好ましい。
<貼り合わせ>
次に、層563bと層563aの貼り合わせについて説明する。
次に、層563bと層563aの貼り合わせについて説明する。
層563bには、絶縁層618および導電層619が設けられる。導電層619は、絶縁層618に埋設された領域を有する。また、絶縁層618および導電層619の表面は、それぞれ高さが一致するように平坦化されている。
層563aには、絶縁層631および導電層639が設けられる。導電層639は、絶縁層631に埋設された領域を有する。また、絶縁層631および導電層639の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層619および導電層639は、主成分が同一の金属元素であることが好ましい。また、絶縁層618および絶縁層631は、同一の成分で構成されていることが好ましい。
例えば、導電層619、導電層639には、Cu、Al、Sn、Zn、W、Ag、PtまたはAuなどを用いることができる。接合のしやすさから、好ましくはCu、Al、W、またはAuを用いる。また、絶縁層618、絶縁層631には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。
つまり、導電層619および導電層639のそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層618および絶縁層631のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層563bと層563aの境を接合位置とする、貼り合わせを行うことができる。
なお、導電層619および導電層639は複数の層の多層構造であってもよく、その場合は、表層(接合面)が同一の金属材料であればよい。また、絶縁層618および絶縁層631も複数の層の多層構造であってもよく、その場合は、表層(接合面)が同一の絶縁材料であればよい。
当該貼り合わせによって、導電層619および導電層639の電気的な接続を得ることができる。また、絶縁層618および絶縁層631の機械的な強度を有する接続を得ることができる。
金属層同士の接合には、表面の酸化膜および不純物の吸着層などをスパッタリング処理などで除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
層563bと層563aを貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をAuなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
上記の貼り合わせにより、層563bが有する要素と、層563aが有する画素100の要素を電気的に接続することができる。
<積層構造1の変形例>
図21は、図19に示す積層構造の変形例であり、層561が有する光電変換デバイス101の構成、および層563aの一部構成が異なり、層561と層563aとの間にも貼り合わせ面を有する構成である。
図21は、図19に示す積層構造の変形例であり、層561が有する光電変換デバイス101の構成、および層563aの一部構成が異なり、層561と層563aとの間にも貼り合わせ面を有する構成である。
層561は、光電変換デバイス101、絶縁層661、絶縁層662、絶縁層664、絶縁層665および導電層685、導電層686を有する。
光電変換デバイス101はpn接合型のフォトダイオードであり、p型領域に相当する層565bおよびn型領域に相当する層565aを有する。なお、ここでは、pn接合型のフォトダイオードがシリコン基板に形成された例を示す。光電変換デバイス101は埋め込み型フォトダイオードであり、層565aの表面側(電流の取り出し側)に設けられた薄いp型の領域(層565bの一部)によって暗電流を抑えノイズを低減させることができる。
絶縁層661、導電層685、導電層686は、貼り合わせ層としての機能を有する。絶縁層662は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層664は、素子分離層としての機能を有する。
シリコン基板には画素を分離する溝が設けられ、絶縁層665はシリコン基板上面および当該溝に設けられる。絶縁層665が設けられることにより、光電変換デバイス101内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層665は、迷光の侵入を抑制する機能も有する。したがって、絶縁層665により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層665との間に反射防止膜が設けられていてもよい。
絶縁層664は、LOCOS(LOCal Oxidation of Silicon)法を用いて形成することができる。または、STI(Shallow Trench Isolation)法等を用いて形成してもよい。絶縁層665として、例えば、酸化シリコン、窒化シリコンなどの無機絶縁膜、ポリイミド樹脂、アクリル樹脂などの有機絶縁膜を用いることができる。なお、絶縁層665は多層構成であってもよい。また、絶縁層665の一部に空間を設けてもよい。当該空間は空気、または不活性ガスなどの気体を有していてもよい。また、当該空間は減圧状態であってもよい。
光電変換デバイス101の層565a(n型領域、カソードに相当)は、導電層685と電気的に接続される。層565b(p型領域、アノードに相当)は、導電層686と電気的に接続される。導電層685、導電層686は、絶縁層661に埋設された領域を有する。また、絶縁層661および導電層685、導電層686の表面は、それぞれ高さが一致するように平坦化されている。
層563aにおいて、絶縁層637上には、絶縁層638が形成される。また、トランジスタ102のソースまたはドレインの一方と電気的に接続される導電層683、および導電層636と電気的に接続される導電層684が形成される。
絶縁層638、導電層683、導電層684は、貼り合わせ層としての機能を有する。導電層683、導電層684は、絶縁層638に埋設された領域を有する。また、絶縁層638および導電層683、導電層684の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層683、導電層684、導電層685、導電層686は、前述した導電層619、導電層639と同じ貼り合わせ層である。また、絶縁層638、絶縁層661は、前述した絶縁層618、絶縁層631と同じ貼り合わせ層である。
したがって、導電層683と導電層685を貼り合わせることで、光電変換デバイス101の層565a(n型領域、カソードに相当)とトランジスタ102のソースまたはドレインの一方を電気的に接続することができる。また、導電層684と導電層686を貼り合わせることで、光電変換デバイス101の層565b(p型領域、アノードに相当)と配線114(図4参照)を電気的に接続することができる。また、絶縁層638と絶縁層661を貼り合わせることで、層561と層563aの電気的な接合および機械的な接合を行うことができる。
図22は上記とは異なる変形例であり、トランジスタ102が層561に設けられる構成である。当該構成では、トランジスタ102のソースまたはドレインの一方は、光電変換デバイス101と直結され、ソースまたはドレインの他方は、ノードFDとして作用する。当該構成では、光電変換デバイス101で蓄積した電荷の完全転送が可能であり、ノイズの少ない撮像装置とすることができる。絶縁層663は、トランジスタ102の保護膜として機能する。
ここで、層561が有するトランジスタ102のソースまたはドレインの他方は、導電層692と電気的に接続される。また、層563aが有するトランジスタ103のソースまたはドレインの一方は、導電層691と電気的に接続される。導電層691、導電層692は、前述した導電層619、導電層639と同じ貼り合わせ層である。
<積層構造2>
図23は、層560、層561、層562、層563を有し、貼り合わせ面を有さない積層体の断面図の一例である。層563には、Siトランジスタが設けられる。層562には、OSトランジスタが設けられる。なお、層563、層561および層560の構成は、図19に示す構成と同一であるため、ここでは説明を省略する。
図23は、層560、層561、層562、層563を有し、貼り合わせ面を有さない積層体の断面図の一例である。層563には、Siトランジスタが設けられる。層562には、OSトランジスタが設けられる。なお、層563、層561および層560の構成は、図19に示す構成と同一であるため、ここでは説明を省略する。
<層562>
層562は、層563上に形成される。層562は、OSトランジスタを有する。ここでは、トランジスタ102およびトランジスタ103を示している。図23に示す断面図では、両者の電気的な接続は図示されていない。
層562は、層563上に形成される。層562は、OSトランジスタを有する。ここでは、トランジスタ102およびトランジスタ103を示している。図23に示す断面図では、両者の電気的な接続は図示されていない。
層562には、絶縁層621、絶縁層622、絶縁層623、絶縁層624、絶縁層625、絶縁層626、絶縁層628が設けられる。また、導電層627が設けられる。導電層627は、配線114(図4参照)と電気的に接続することができる。
絶縁層621は、ブロッキング層としての機能を有する。絶縁層622、絶縁層623、絶縁層625、絶縁層626、絶縁層628は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層624は、保護膜としての機能を有する。
ブロッキング層として、水素の拡散を防止する機能を有する膜を用いることが好ましい。Siデバイスにおいて、水素はダングリングボンドを終端するために必要とされるが、OSトランジスタの近傍にある水素は、酸化物半導体層中にキャリアを生成する要因の一つとなり、信頼性を低下させる。したがって、Siデバイスが形成される層とOSトランジスタが形成される層との間には、水素のブロッキング膜が設けられることが好ましい。
当該ブロッキング膜として、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア(YSZ)等を用いることができる。
トランジスタ103のソースまたはドレインの他方は、プラグを介してトランジスタ105のゲートと電気的に接続される。また、導電層627は、配線114(図4参照)と電気的に接続される。
トランジスタ102のソースまたはドレインの一方は、層561が有する光電変換デバイス101のカソードと電気的に接続される。導電層627は、層561が有する光電変換デバイス101のアノードと電気的に接続される。
図24AにOSトランジスタの詳細を示す。図24Aに示すOSトランジスタは、酸化物半導体層および導電層の積層上に絶縁層を設け、当該酸化物半導体層に達する開口部を設けることでソース電極705およびドレイン電極706を形成するセルフアライン型の構成である。
OSトランジスタは、酸化物半導体層に形成されるチャネル形成領域708、ソース領域703およびドレイン領域704のほか、ゲート電極701、ゲート絶縁膜702を有する構成とすることができる。当該開口部には少なくともゲート絶縁膜702およびゲート電極701が設けられる。当該開口部には、さらに酸化物半導体層707が設けられていてもよい。
OSトランジスタは、図24Bに示すように、ゲート電極701をマスクとして半導体層にソース領域703およびドレイン領域704を形成するセルフアライン型の構成としてもよい。
または、図24Cに示すように、ソース電極705またはドレイン電極706とゲート電極701とが重なる領域を有するノンセルフアライン型のトップゲート型トランジスタであってもよい。
OSトランジスタはバックゲート735を有する構造を示しているが、バックゲートを有さない構造であってもよい。バックゲート735は、図24Dに示すトランジスタのチャネル幅方向の断面図のように、対向して設けられるトランジスタのフロントゲートと電気的に接続してもよい。なお、図24Dは図24AのトランジスタのB1−B2の断面を例として示しているが、その他の構造のトランジスタも同様である。また、バックゲート735にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
<積層構造2の変形例>
図25は、図23に示す積層構造の変形例であり、層561が有する光電変換デバイス101の構成、および層562の一部構成が異なり、層561と層562との間に貼り合わせ面を有する構成である。
図25は、図23に示す積層構造の変形例であり、層561が有する光電変換デバイス101の構成、および層562の一部構成が異なり、層561と層562との間に貼り合わせ面を有する構成である。
層561が有する光電変換デバイス101は、pn接合型のフォトダイオードであり、図21に示す構成と同様である。
層562において、絶縁層628上には、絶縁層648が形成される。また、トランジスタ102のソースまたはドレインの一方と電気的に接続される導電層688、および導電層627と電気的に接続される導電層689が形成される。
絶縁層648、導電層688、導電層689は、貼り合わせ層としての機能を有する。導電層688、689は、絶縁層648に埋設された領域を有する。また、絶縁層648および導電層683、684の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層688、導電層689は、前述した導電層619、導電層639と同じ貼り合わせ層である。また、絶縁層648は、前述した絶縁層618、絶縁層631と同じ貼り合わせ層である。
したがって、導電層688と導電層685を貼り合わせることで、光電変換デバイスの層565a(n型領域、カソードに相当)とトランジスタ102のソースまたはドレインの一方を電気的に接続することができる。また、導電層689と導電層686を貼り合わせることで、光電変換デバイスの層565b(p型領域、アノードに相当)と配線114(図4参照)を電気的に接続することができる。また、絶縁層648と絶縁層661を貼り合わせることで、層561と層562aの電気的な接合および機械的な接合を行うことができる。
Siデバイスを複数積層する場合、研磨工程、及び貼り合わせ工程が複数回必要になる。そのため、工程数が多い、専用の装置が必要、低歩留まりなどの課題があり、製造コストも高い。OSトランジスタは、デバイスが形成された半導体基板上に積層して形成することができるため、貼り合わせ工程を削減することができる。
なお、当該構成において、図22に示すように、層561にトランジスタ102を設けてもよい。
<パッケージ、モジュール>
図27A1は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ450(図27A3参照)を固定するパッケージ基板410、カバーガラス420および両者を接着する接着剤430等を有する。
図27A1は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ450(図27A3参照)を固定するパッケージ基板410、カバーガラス420および両者を接着する接着剤430等を有する。
図27A2は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ440としたBGA(Ball grid array)を有する。なお、BGAに限らず、LGA(Land grid array)、またはPGA(Pin Grid Array)などを有していてもよい。
図27A3は、カバーガラス420および接着剤430の一部を省いて図示したパッケージの斜視図である。パッケージ基板410上には電極パッド460が形成され、電極パッド460およびバンプ440はスルーホールを介して電気的に接続されている。電極パッド460は、イメージセンサチップ450とワイヤ470によって電気的に接続されている。
図27B1は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ451(図27B3参照)を固定するパッケージ基板411、レンズカバー421、およびレンズ435等を有する。また、パッケージ基板411およびイメージセンサチップ451の間には撮像装置の駆動回路および信号変換回路などの機能を有するICチップ490(図27B3参照)も設けられており、SiP(System in package)としての構成を有している。
図27B2は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板411の下面および側面には、実装用のランド441が設けられたQFN(Quad flat no−lead package)の構成を有する。なお、当該構成は一例であり、QFP(Quad flat package)、または前述したBGAが設けられていてもよい。
図27B3は、レンズカバー421およびレンズ435の一部を省いて図示したモジュールの斜視図である。ランド441は電極パッド461と電気的に接続され、電極パッド461はイメージセンサチップ451またはICチップ490とワイヤ471によって電気的に接続されている。
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
(実施の形態3)
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM)、自動販売機などが挙げられる。これら電子機器の具体例を図28A乃至図28Fに示す。
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM)、自動販売機などが挙げられる。これら電子機器の具体例を図28A乃至図28Fに示す。
図28Aは携帯型情報端末の一例であり、筐体981、表示部982、操作ボタン983、外部接続ポート984、スピーカ985、マイク986、カメラ987等を有する。当該携帯型情報端末は、表示部982にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指、またはスタイラスなどで表示部982に触れることで行うことができる。当該携帯型情報端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
カメラ987は本発明の一態様の撮像装置を有し、カメラ987で取得した画像から被写体の距離情報を取得することができる。当該距離情報に基づいて、カメラ987で取得した画像の一部を加工することができる。例えば、主の被写体の前後をぼかす画像処理などを行うことができる。
図28Bは情報端末であり、筐体911、表示部912、スピーカ913、カメラ919等を有する。表示部912が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ919で取得した画像から文字等を認識し、スピーカ913で当該文字を音声出力することができる。当該携帯データ端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図28Cは監視カメラであり、支持台951、カメラユニット952、保護カバー953等を有する。カメラユニット952には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
図28Dはビデオカメラであり、第1筐体971、第2筐体972、表示部973、操作キー974、レンズ975、接続部976、スピーカ977、マイク978等を有する。操作キー974およびレンズ975は第1筐体971に設けられており、表示部973は第2筐体972に設けられている。当該ビデオカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図28Eはデジタルカメラであり、筐体961、シャッターボタン962、マイク963、発光部967、レンズ965等を有する。当該デジタルカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図28Fは腕時計型の情報端末であり、表示部932、筐体兼リストバンド933、カメラ939等を有する。表示部932は、情報端末の操作を行うためのタッチパネルを備える。表示部932および筐体兼リストバンド933は可撓性を有し、身体への装着性が優れている。当該情報端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図29Aは、移動体の一例として自動車の外観図を図示している。自動車890は、複数のカメラ891等を有し、自動車890の前後左右および上方の情報を取得することができる。カメラ891には、本発明の一態様の撮像装置およびその動作方法を適用することができる。また、自動車890は、赤外線レーダー、ミリ波レーダー、レーザーレーダーなど各種センサ(図示せず)などを備える。自動車890は、複数の撮像方向892に対してカメラ891が取得した画像の解析を行い、ガードレール、及び歩行者の有無など、周囲の交通状況を判断し、自動運転を行うことができる。また、道路案内、危険予測などを行うシステムに用いることができる。
本発明の一態様の撮像装置では、得られた画像データをニューラルネットワークなどの演算処理を行うことで、例えば、画像の高解像度化、画像ノイズの低減、顔認識(防犯目的など)、物体認識(自動運転の目的など)、画像圧縮、画像補正(広ダイナミックレンジ化)、レンズレスイメージセンサの画像復元、位置決め、文字認識、反射映り込み低減などの処理を行うことができる。
なお、上述では、移動体の一例として自動車について説明しているが、自動車は、内燃機関を有する自動車、電気自動車、水素自動車など、いずれであってもよい。また、移動体は自動車に限定されない。例えば、移動体として、電車、モノレール、船、飛行体(ヘリコプター、無人航空機(ドローン)、飛行機、ロケット)なども挙げることができ、これらの移動体に本発明の一態様のコンピュータを適用して、人工知能を利用したシステムを付与することができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
FL11:第1のフィルタ、FL12:第3のフィルタ、FL13:第5のフィルタ、FL21:第2のフィルタ、FL22:第4のフィルタ、FL23:第6のフィルタ、100:画素、101:光電変換デバイス、102:トランジスタ、102a:トランジスタ、102b:トランジスタ、103:トランジスタ、103a:トランジスタ、103b:トランジスタ、104:キャパシタ、104a:キャパシタ、104b:キャパシタ、105:トランジスタ、105a:トランジスタ、105b:トランジスタ、106:トランジスタ、106a:トランジスタ、106b:トランジスタ、108:トランジスタ、111a:配線、111a_1:配線、111a_2:配線、111a_3:配線、111b:配線、111b_1:配線、111b_2:配線、111b_3:配線、112a:配線、112a_1:配線、112a_2:配線、112a_3:配線、112b:配線、112b_1:配線、112b_2:配線、112b_3:配線、113:配線、114:配線、115a:配線、115b:配線、116a:配線、116b:配線、117a:配線、117b:配線、118a:配線、118b:配線、119a:配線、119b:配線、122:配線、122_1:配線、122_2:配線、122_3:配線、130a:回路、130b:回路、161:トランジスタ、162:トランジスタ、163:キャパシタ、200:画素ブロック、201:回路、202:キャパシタ、203:トランジスタ、204:トランジスタ、205:トランジスタ、206:トランジスタ、207:トランジスタ、212:配線、213:配線、213A:配線、213B:配線、215:配線、216:配線、217:配線、218:配線、219:配線、300:画素アレイ、301:回路、302:回路、303:回路、304:回路、305:回路、311:配線、320:メモリセル、325:参照メモリセル、330:回路、350:回路、360:回路、370:回路、410:パッケージ基板、411:パッケージ基板、420:カバーガラス、421:レンズカバー、430:接着剤、435:レンズ、440:バンプ、441:ランド、450:イメージセンサチップ、451:イメージセンサチップ、460:電極パッド、461:電極パッド、470:ワイヤ、471:ワイヤ、490:ICチップ、545:半導体層、546:絶縁層、560:層、561:層、562:層、562a:層、562b:層、563:層、563a:層、563b:層、563c:層、565a:層、565b:層、566a:層、566b:層、566c:層、566d:層、567a:層、567b:層、567c:層、567d:層、567e:層、611:シリコン基板、612:絶縁層、613:絶縁層、614:絶縁層、616:絶縁層、617:絶縁層、618:絶縁層、619:導電層、621:絶縁層、622:絶縁層、623:絶縁層、624:絶縁層、625:絶縁層、626:絶縁層、627:導電層、628:絶縁層、631:絶縁層、632:シリコン基板、633:絶縁層、634:絶縁層、635:絶縁層、636:導電層、637:絶縁層、638:絶縁層、639:導電層、648:絶縁層、651:絶縁層、652:絶縁層、653:絶縁層、654:絶縁層、655:導電層、661:絶縁層、662:絶縁層、663:絶縁層、664:絶縁層、665:絶縁層、671:遮光層、672:光学変換層、672B:カラーフィルタ、672G:カラーフィルタ、672IR:赤外線フィルタ、672R:カラーフィルタ、672UV:紫外線フィルタ、673:マイクロレンズアレイ、683:導電層、684:導電層、685:導電層、686:導電層、688:導電層、689:導電層、691:導電層、692:導電層、701:ゲート電極、702:ゲート絶縁膜、703:ソース領域、704:ドレイン領域、705:ソース電極、706:ドレイン電極、707:酸化物半導体層、708:チャネル形成領域、735:バックゲート、890:自動車、891:カメラ、892:撮像方向、911:筐体、912:表示部、913:スピーカ、919:カメラ、932:表示部、933:筐体兼リストバンド、939:カメラ、951:支持台、952:カメラユニット、953:保護カバー、961:筐体、962:シャッターボタン、963:マイク、965:レンズ、967:発光部、971:筐体、972:筐体、973:表示部、974:操作キー、975:レンズ、976:接続部、977:スピーカ、978:マイク、981:筐体、982:表示部、983:操作ボタン、984:外部接続ポート、985:スピーカ、986:マイク、987:カメラ
Claims (9)
- 複数の画素を有し、
前記画素は、nフレーム目(nは2以上の整数)に取得された画像データに第1の重みを与えて、nフレーム目の第1のデータを生成する機能を有し、
前記画素は、n−1フレーム目に取得された画像データに第2の重みを与えて、n−1フレーム目の第1のデータを生成する機能を有し、
前記画素は、前記n−1フレーム目の第1のデータと、前記nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有する撮像装置。 - 複数の画素と、複数の第1の回路と、を有し、
前記画素は、マトリクス状に配置され、
前記第1の回路は、列方向に配置される複数の前記画素と電気的に接続され、
前記画素は、第2の回路と、第3の回路と、を有し、
前記第2の回路または前記第3の回路の一方は、nフレーム目(nは2以上の整数)に取得された画像データに第1の重みを与えて、nフレーム目の第1のデータを生成する機能を有し、
前記第2の回路または前記第3の回路の他方は、n−1フレーム目に取得された画像データに第2の重みを与えて、n−1フレーム目の第1のデータを生成する機能を有し、
前記画素は、前記n−1フレーム目の第1のデータと、前記nフレーム目の第1のデータを足し合わせて第2のデータを生成する機能を有し、
前記第1の回路は、前記画素がそれぞれ生成する前記第2のデータの和に相当する第3のデータを生成する機能を有する撮像装置。 - 請求項2において、
前記画素は、光電変換デバイスと、第1のトランジスタと、を有し、
前記第2の回路及び前記第3の回路はそれぞれ、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第5のトランジスタと、第1のキャパシタと、を有し、
前記光電変換デバイスの一方の電極は、前記第2のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2のトランジスタのソースまたはドレインの他方は、前記第3のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第3のトランジスタのソースまたはドレインの一方は、前記第4のトランジスタのゲートと電気的に接続され、
前記第4のトランジスタのゲートは、前記第1のキャパシタの一方の電極と電気的に接続され、
前記第1のキャパシタの他方の電極は、前記第5のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第4のトランジスタのソースまたはドレインの一方は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1のトランジスタのソースまたはドレインの他方は、前記第1の回路と電気的に接続される撮像装置。 - 請求項3において、
前記第5のトランジスタの他方は、第1の配線と電気的に接続され、
前記第1の配線は、前記第1の重みに相当する電位または前記第2の重みに相当する電位のいずれかが供給される撮像装置。 - 請求項2において、
前記画素は、光電変換デバイスと、第1のトランジスタと、を有し、
前記第2の回路及び前記第3の回路はそれぞれ、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第1のキャパシタと、を有し、
前記光電変換デバイスの一方の電極は、前記第2のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2のトランジスタのソースまたはドレインの他方は、前記第3のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第3のトランジスタのソースまたはドレインの一方は、前記第4のトランジスタのゲートと電気的に接続され、
前記第4のトランジスタのゲートは、前記第1のキャパシタの一方の電極と電気的に接続され、
前記第4のトランジスタのソースまたはドレインの一方は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1のトランジスタのソースまたはドレインの他方は、前記第1の回路と電気的に接続され、
前記第4のトランジスタは、バックゲートを有する撮像装置。 - 請求項5において、
前記バックゲートは、第1の配線と電気的に接続され、
前記第1の配線は、前記第1の重みに相当する電位または前記第2の重みに相当する電位のいずれかが供給される撮像装置。 - 請求項2乃至請求項6のいずれか一において、
前記第1の回路は、第6のトランジスタと、第7のトランジスタと、第8のトランジスタと、第9のトランジスタと、第10のトランジスタと、第2のキャパシタと、を有し、
前記第2のキャパシタの一方の電極は、前記複数の画素と電気的に接続され、
前記第2のキャパシタの一方の電極は、前記第6のトランジスタと電気的に接続され、
前記第2のキャパシタの他方の電極は、前記第7のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第7のトランジスタのソースまたはドレインの一方は、前記第8のトランジスタのゲートと電気的に接続され、
前記第8のトランジスタのソースまたはドレインの一方は、前記第9のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第9のトランジスタのソースまたはドレインの一方は、前記第10のトランジスタのソースまたはドレインの一方と電気的に接続される撮像装置。 - 請求項2乃至請求項7のいずれか一において、
前記画素および前記第1の回路が有するトランジスタのいずれか一または複数は、チャネル形成領域に金属酸化物を有し、
前記金属酸化物は、Inと、Znと、元素M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有する撮像装置。 - 請求項2乃至請求項8のいずれか一において、
前記画素および前記第1の回路が有するトランジスタのいずれか一または複数は、チャネル形成領域にシリコンを有する撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180029111.3A CN115443648A (zh) | 2020-04-24 | 2021-04-19 | 摄像装置 |
JP2022516467A JPWO2021214616A1 (ja) | 2020-04-24 | 2021-04-19 | |
US17/912,560 US20230133706A1 (en) | 2020-04-24 | 2021-04-19 | Imaging device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020077098 | 2020-04-24 | ||
JP2020-077098 | 2020-04-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021214616A1 true WO2021214616A1 (ja) | 2021-10-28 |
Family
ID=78270329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/IB2021/053188 WO2021214616A1 (ja) | 2020-04-24 | 2021-04-19 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230133706A1 (ja) |
JP (1) | JPWO2021214616A1 (ja) |
CN (1) | CN115443648A (ja) |
WO (1) | WO2021214616A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011119711A (ja) * | 2009-11-06 | 2011-06-16 | Semiconductor Energy Lab Co Ltd | 半導体装置 |
JP2016123087A (ja) * | 2014-12-10 | 2016-07-07 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
JP2016219977A (ja) * | 2015-05-19 | 2016-12-22 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
-
2021
- 2021-04-19 JP JP2022516467A patent/JPWO2021214616A1/ja active Pending
- 2021-04-19 WO PCT/IB2021/053188 patent/WO2021214616A1/ja active Application Filing
- 2021-04-19 US US17/912,560 patent/US20230133706A1/en active Pending
- 2021-04-19 CN CN202180029111.3A patent/CN115443648A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011119711A (ja) * | 2009-11-06 | 2011-06-16 | Semiconductor Energy Lab Co Ltd | 半導体装置 |
JP2016123087A (ja) * | 2014-12-10 | 2016-07-07 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
JP2016219977A (ja) * | 2015-05-19 | 2016-12-22 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115443648A (zh) | 2022-12-06 |
US20230133706A1 (en) | 2023-05-04 |
JPWO2021214616A1 (ja) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7467587B2 (ja) | 撮像装置及び電子機器 | |
JP7322239B2 (ja) | 撮像装置および電子機器 | |
WO2022023859A1 (ja) | 撮像装置、電子機器および移動体 | |
WO2020222059A1 (ja) | 撮像装置、その動作方法、および電子機器 | |
WO2021191719A1 (ja) | 撮像装置および電子機器 | |
WO2021033065A1 (ja) | 撮像装置および電子機器 | |
JP7480137B2 (ja) | 撮像装置および電子機器 | |
WO2021214616A1 (ja) | 撮像装置 | |
WO2021209868A1 (ja) | 撮像装置および電子機器 | |
WO2021165781A1 (ja) | 撮像装置、電子機器および移動体 | |
WO2021053449A1 (ja) | 撮像システムおよび電子機器 | |
WO2022018561A1 (ja) | 撮像装置および電子機器 | |
WO2022064307A1 (ja) | 撮像装置および電子機器 | |
WO2021176295A1 (ja) | 撮像装置および電子機器 | |
WO2021028754A1 (ja) | 撮像装置、または撮像システム | |
JP2018164139A (ja) | 撮像装置および電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21792570 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022516467 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21792570 Country of ref document: EP Kind code of ref document: A1 |