CN110832845B - 摄像装置及电子设备 - Google Patents

摄像装置及电子设备 Download PDF

Info

Publication number
CN110832845B
CN110832845B CN201880045145.XA CN201880045145A CN110832845B CN 110832845 B CN110832845 B CN 110832845B CN 201880045145 A CN201880045145 A CN 201880045145A CN 110832845 B CN110832845 B CN 110832845B
Authority
CN
China
Prior art keywords
transistor
signal line
circuit
signal
electrically connected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880045145.XA
Other languages
English (en)
Other versions
CN110832845A (zh
Inventor
山本朗央
福留贵浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN110832845A publication Critical patent/CN110832845A/zh
Application granted granted Critical
Publication of CN110832845B publication Critical patent/CN110832845B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Metal-Oxide And Bipolar Metal-Oxide Semiconductor Integrated Circuits (AREA)
  • Thin Film Transistor (AREA)

Abstract

降低使用晶体管的乘法运算中的偏置成分。一种摄像装置，包括像素区域、第一电路、第二电路、第三电路及第四电路。像素区域包括多个像素，像素包括第一晶体管。对由第一电路和第二电路选择的像素供应偏置电位及权重电位。像素通过对光进行光电转换取得第一信号，第一晶体管对第一信号和权重电位进行乘法运算。第一晶体管使用第一信号和权重电位的乘法项以及偏置电位生成第一偏置项及第二偏置项。第三电路减去第一偏置项，第四电路减去第二偏置项。第四电路判定乘法项，并且通过第四电路所包括的神经网络接口输出判定结果。

Description

摄像装置及电子设备
技术领域
本发明的一个方式涉及一种摄像装置及电子设备。
注意，本发明的一个方式不局限于上述技术领域。本说明书等所公开的发明的一个方式的技术领域涉及一种物体、方法或制造方法。尤其是，本发明的一个方式涉及一种半导体装置、显示装置、发光装置、蓄电装置、存储装置、它们的驱动方法或它们的制造方法。
另外，在本说明书等中，半导体装置是指通过利用半导体特性而能够工作的元件、电路或装置等。作为一个例子，晶体管和二极管等半导体元件是半导体装置。作为另一个例子，包含半导体元件的电路是半导体装置。作为另一个例子，具备包含半导体元件的电路的装置是半导体装置。
背景技术
随着IoT(Internet of things：物联网)及AI(Artificial Intelligence：人工智能)等信息技术的发展，被处理的数据量有增大的倾向。为了在电子设备中利用IoT及AI等信息技术，需要分散地管理大量数据。
随着显示装置的高清晰度化、高灰度级化，图像数据的数据量增加，因此需要高效率的管理方法。另外，数据量的增加导致用来处理图像数据的运算量的增加，因此功耗及运算处理时间也增加。
在车载用电子设备的图像***及监视移动的对象物的图像***等中，利用AI的图像识别的精度提高受到关注。例如，专利文献1公开了对摄像装置赋予运算功能的技术。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2016-123087号公报
发明内容
发明所要解决的技术问题
随着技术的发展，在包括CMOS图像传感器等固态摄像元件的摄像装置中，能够容易拍摄高品质的图像。需要在下一代摄像装置中还安装更高智能性的功能。
为了从图像数据识别对象物，需要高度图像处理。在高度图像处理中，使用滤波处理、比较运算处理等用来分析图像的各种分析处理。在用来进行图像处理的分析处理中，处理的像素数越多，运算量越多，并且运算量越多，处理时间越长。例如，在车载用图像***等中，有处理时间的增大影响到安全性的问题。此外，在图像***中，有运算量越多，功耗越大的问题。
鉴于上述问题，本发明的一个方式的目的之一是提供一种具有新颖结构的摄像装置。此外，本发明的一个方式的目的之一是提供一种具有神经网络的池化层的摄像装置。此外，本发明的一个方式的目的之一是提供一种能够抑制运算量而缩短处理时间的具有新颖结构的摄像装置。此外，本发明的一个方式的目的之一是提供一种能够减少功耗的具有新颖结构的摄像装置。
注意，这些目的的记载不妨碍其他目的的存在。此外，本发明的一个方式并不需要实现所有上述目的。上述目的以外的目的从说明书、附图、权利要求书等的记载中看来是显而易见的，并且可以从说明书、附图、权利要求书等的记载中抽取上述目的以外的目的。
注意，本发明的一个方式的目的不局限于上述目的。上述目的并不妨碍其他目的的存在。此外，其他目的是上面没有提到而将在下面的记载中进行说明的目的。所属技术领域的普通技术人员可以从说明书或附图等的记载中导出并适当抽出该上面没有提到的目的。此外，本发明的一个方式实现上述记载及/或其他目的中的至少一个目的。
解决技术问题的手段
本发明的一个方式是一种包括神经网络接口的摄像装置，该摄像装置包括像素区域(10)、第一电路(11)、第二电路(12)、第三电路(13)、第四电路(14)及第一信号线Wx，像素区域包括多个像素(P)，像素包括第一晶体管(25)，第四电路包括神经网络接口。像素通过第一信号线Wx与第三电路电连接，第三电路与第四电路电连接，第一电路具有对像素供应扫描信号的功能，第二电路具有对由扫描信号选择的像素供应权重电位的功能。像素具有通过对光进行光电转换取得第一信号的功能，像素具有通过第一晶体管对第一信号和权重电位进行乘法运算的功能，第一晶体管具有生成第一信号与权重电位的乘法项、第一偏置项(C4)及第二偏置项(C6)的功能。第三电路具有减去第一偏置项的功能，第四电路具有减去第二偏置项的功能。第四电路具有判定乘法项的功能，第四电路通过神经网络接口输出判定结果。
在上述各结构的摄像装置中，优选的是，第二电路还具有对由扫描信号选择的像素供应偏置电位的功能，像素具有通过对第一信号加上偏置电位生成第二信号的功能，像素具有对偏置电位加上权重电位生成第三信号的功能，像素具有对第一信号加上偏置电位及权重电位生成第四信号的功能。第一晶体管具有以任意倍率对第二信号进行乘法运算生成第五信号的功能，第一晶体管具有以任意倍率对第三信号进行乘法运算生成第六信号的功能，第一晶体管具有以任意倍率对第四信号进行乘法运算生成第七信号的功能。第三电路具有储存第二信号的功能，第三电路具有通过对第七信号和第五信号进行运算生成第八信号的功能。第四电路具有储存第八信号的功能，第四电路具有通过对第八信号和第六信号进行运算生成第九信号的功能，第九信号被输出第一信号和权重电位的乘法项，第四电路具有判定第九信号的功能，第四电路通过神经网络接口输出判定结果。
在上述各结构的摄像装置中，优选的是，摄像装置还包括模拟数字转换电路(15)、信号线Pio及布线VRS，像素具有通过信号线Pio将第一数据输出到模拟数字转换电路的功能，像素具有通过信号线Pio被输入供应给布线VRS的第一电位的功能，像素当通过信号线Pio被输入供应给布线VRS的第一电位时被用作神经网络的神经元。
在上述各结构的摄像装置中，优选的是，摄像装置还包括布线VPD、布线VDM、信号线G1、信号线G2、信号线G3、信号线Tx、信号线Res、信号线S1及信号线S2，像素包括光电转换元件(50)、第一晶体管(21)、第二晶体管(22)、第三晶体管(23)、第四晶体管(24)、第五晶体管(25)、第六晶体管(26)、第七晶体管(27)、第一电容器(C1)、第二电容器(C2)及第三电容器(C3)。第一电路(11)通过信号线G1与像素电连接，第一电路通过信号线G2与像素电连接，第一电路通过信号线G3与像素电连接，第二电路(12)通过信号线S1与像素电连接，第二电路通过信号线S2与像素电连接。光电转换元件的电极中的一个与布线VPD电连接，光电转换元件的电极中的另一个与第一晶体管的源极和漏极中的一个电连接，第一晶体管的栅极与信号线Tx电连接，第一晶体管的源极和漏极中的另一个与第二晶体管的源极和漏极中的一个、第三晶体管的栅极及第一电容器的电极中的一个电连接，第二晶体管的源极和漏极中的另一个与布线VRS电连接，第二晶体管的栅极与信号线Res电连接，第三晶体管的源极和漏极中的一个与布线VDM电连接，第三晶体管的源极和漏极中的另一个与第四晶体管的源极和漏极中的一个及第二电容器的电极中的一个电连接，第四晶体管的源极和漏极中的另一个与布线Pio电连接，第四晶体管的栅极与信号线G3电连接，第二电容器的另一个电极与第五晶体管的栅极、第六晶体管的源极和漏极中的一个及第三电容器的电极中的一个电连接，第五晶体管的源极和漏极中的一个与第一信号线Wx电连接，第六晶体管的源极和漏极中的另一个与信号线S1电连接，第六晶体管的栅极与信号线G1电连接，第三电容器的另一个电极与第七晶体管的源极和漏极中的一个电连接，第七晶体管的源极和漏极中的另一个与信号线S2电连接，第七晶体管的栅极与信号线G2电连接。
在上述各结构的摄像装置中，优选的是，摄像装置还包括信号线Csw、信号线Cswb、信号线Eabs、信号线Osp、信号线Ewx、信号线Mac及布线VIV，第三电路包括电流镜电路、存储电路及输出电路，电流镜电路包括第八晶体管(31)、第九晶体管(32)、第十晶体管(33)、第十一晶体管(34)及第十二晶体管(35)，存储电路包括第十三晶体管(36)、第十四晶体管(37)、第十五晶体管(38)及第四电容器(C4)，输出电路包括第十六晶体管(39)及电阻器R1。布线VDM与第八晶体管(31)的源极和漏极中的一个及第九晶体管(32)的源极和漏极中的一个电连接，第八晶体管(31)的栅极与第九晶体管(32)的栅极、第十晶体管(33)的源极和漏极中的一个及第十一晶体管(34)的源极和漏极中的一个电连接，第八晶体管(31)的源极和漏极中的另一个与第十晶体管(33)的源极和漏极中的另一个及第十二晶体管(35)的源极和漏极中的一个电连接，第十晶体管(33)的栅极与信号线Cswb电连接，第十一晶体管(34)的栅极与信号线Csw电连接，第十二晶体管(35)的栅极与信号线Eabs电连接，第十二晶体管(35)的源极和漏极中的另一个与第一信号线Wx及第十六晶体管(36)的源极和漏极中的一个电连接，第九晶体管(32)的源极和漏极中的另一个与第十一晶体管(34)的源极和漏极中的另一个、第十三晶体管(36)的源极和漏极中的一个及第十四晶体管(37)的源极和漏极中的一个电连接，第十四晶体管(37)的栅极与信号线Osp电连接，第十四晶体管(37)的源极和漏极中的另一个与第十五晶体管(38)的源极和漏极中的一个、第四电容器(C4)的电极中的一个及第十三晶体管(36)的栅极电连接，第十五晶体管(38)的栅极与信号线Res电连接，第十六晶体管(39)的源极和漏极中的另一个与电阻器R1的电极中的一个及信号线Mac电连接，第十六晶体管(39)的栅极与信号线Ewx电连接，电阻器R1的电极中的另一个与布线VIV电连接。
在上述各结构的摄像装置中，优选的是，摄像装置还包括信号线Sh、信号线CL、信号线Out、布线VCDS及布线JD，第四电路包括CDS电路及判定电路，CDS电路包括第五电容器(C5)、第六电容器(C6)、运算放大器OP1及第十七晶体管(41)，判定电路包括第七电容器(C7)、运算放大器OP2及第十八晶体管(41)。信号线Mac与第五电容器(C5)的电极中的一个电连接，运算放大器OP1的第一输入端子与第五电容器(C5)的电极中的另一个、第六电容器(C6)的电极中的一个及第十七晶体管(41)的源极和漏极中的一个电连接，第十七晶体管(41)的栅极与信号线CL电连接，运算放大器OP1的第二输入端子与布线VCDS电连接，运算放大器OP1的输出端子与第六电容器(C6)的电极中的另一个、第十七晶体管(41)的源极和漏极中的另一个及第十八晶体管(42)的源极和漏极中的一个电连接，第十八晶体管的栅极与信号线Sh电连接，第十八晶体管的源极和漏极中的另一个与运算放大器OP2的第一输入端子及第七电容器(C7)的电极中的一个电连接，运算放大器OP2的第二输入端子与布线JD电连接，运算放大器OP2的输出端子与信号线Out电连接，信号线Out与神经网络连接。
在上述各结构的摄像装置中，优选的是，摄像装置还包括第二信号线Wx、信号线Bsel1及开关Bsw。开关Bsw具有根据供应给布线Bsel的信号使第一信号线Wx与第二信号线Wx电连接的功能，第三电路具有从与第一信号线Wx连接的多个像素及与第二信号线Wx连接的多个像素被供应多个第五信号、多个第六信号及多个第七信号的功能，第三电路具有将从各像素供应的第五信号、第六信号、第七信号加在一起，然后减去第一偏置项的功能。摄像装置具有根据供应给开关Bsw的信号可以选择多个像素的选择范围的功能，摄像装置进行对应于像素的选择范围的池化处理。
在上述各结构的摄像装置中，优选的是，光电转换元件包括硒或包含硒的化合物。
在上述各结构的摄像装置中，优选的是，第一晶体管(21)、第二晶体管(22)、第四晶体管(24)、第六晶体管(26)及第七晶体管(27)中的一个或多个在沟道形成区域中包含金属氧化物。
在上述各结构的摄像装置中，优选的是，第十三晶体管(36)具有与第五晶体管(25)相同的沟道长度及沟道宽度。
在上述各结构的摄像装置中，优选的是，供应给布线VIV的第二电压小于供应给布线VDM的第三电压。
在上述各结构的摄像装置中，优选的是，金属氧化物包含In、Zn和M(M为Al、Ti、Ga、Sn、Y、Zr、La、Ce、Nd或Hf)。
包括上述中的任一个所记载的摄像装置及显示装置的电子设备是优选的。
发明效果
鉴于上述问题，本发明的一个方式可以提供一种具有新颖结构的摄像装置。此外，本发明的一个方式可以提供一种具有神经网络的池化层的摄像装置。此外，本发明的一个方式可以提供一种能够抑制运算量而缩短处理时间的具有新颖结构的摄像装置。此外，本发明的一个方式的目的之一是提供一种能够减少功耗的具有新颖结构的摄像装置。
注意，本发明的一个方式的效果不局限于上述效果。上述效果并不妨碍其他效果的存在。此外，其他效果是上面没有提到而将在下面的记载中进行说明的效果。所属技术领域的普通技术人员可以从说明书或附图等的记载中导出并适当抽出该上面没有提到的效果。此外，本发明的一个方式实现上述效果及/或其他效果中的至少一个效果。由此，本发明的一个方式根据情况有时不具有以上举出的效果。
附图简要说明
[图1]是说明摄像装置的方框图。
[图2]是说明摄像装置的电路图。
[图3]是说明摄像装置的电路图。
[图4]是说明摄像装置的工作的时序图。
[图5]是说明摄像装置的电路图。
[图6]是说明摄像装置的工作的时序图。
[图7]是说明摄像装置的像素的结构的图。
[图8]是说明摄像装置的像素的结构的图。
[图9]是说明摄像装置的像素的结构的图。
[图10]是说明摄像装置的像素的结构的图。
[图11]是说明摄像装置的像素的结构的图。
[图12]是收纳摄像装置的封装及模块的立体图。
[图13]是说明电子设备的方框图。
[图14]是示出电子设备的结构例子的图。
[图15]是示出电子设备的结构例子的图。
实施发明的方式
(实施方式1)
在本实施方式中，参照图1至图6说明减小使用晶体管进行乘法运算时生成的偏置成分的摄像装置。
首先，参照图1说明摄像装置100的方框图。摄像装置100与神经网络17及处理器18连接。摄像装置100可以通过神经网络接口对神经网络17输出数据并且对处理器18输出摄像数据。此外，处理器18可以控制摄像装置100及神经网络。
摄像装置100包括像素区域10、电路11、电路12、电路13(1)至电路13(m/2)、电路14(1)至电路14(m/2)、模拟数字转换电路15(1)至模拟数字转换电路15(m)、开关模块16(1)至开关模块16(m/2)。当没有特别的坐标指定时，以电路13、电路14、模拟数字转换电路15及开关模块16为对象进行说明。m、n是1以上的正整数。
另外，摄像装置100包括信号线Pio(1)至信号线Pio(m)、第一信号线Wx至信号线Wx(m/2)、信号线Out、信号线IOsel、布线VRS、多个开关Bsw、多个开关Bsw2及多个信号线Bsel1。此外，虽然在图1中未图示，但是摄像装置100包括信号线G1(1)至信号线G1(n)、信号线G2(1)至信号线G2(n)、信号线G3(1)至信号线G3(n)、信号线S1(1)至信号线S1(m)、信号线S2(1)至信号线S2(m)。
像素区域10包括像素P(1，1)至像素P(m，n)。在像素区域10中，可以以任意选择范围将像素P分组。选择范围可以利用开关Bsw、开关Bsw2、信号线Bsel1及信号线Bsel2而决定。因此，优选根据选择范围配置开关Bsw、开关Bsw2、信号线Bsel1及信号线Bsel2。下面，当没有像素的坐标指定时，以像素P或者像素区域的第i列第j行的像素P(i，j)为对象进行说明。i是m以下的正整数，j是n以下的正整数。
在图1中，范围AG1、范围AG2或范围AG3表示包括个数不同的像素的可选范围。但是，可选范围不局限于上述例子，优选可以选择不同于它们的范围的像素。可选范围相当于神经网络中的池化处理的选择范围。在神经网络中，通过利用选择范围不同的池化处理，可以减小运算量，并可以进一步容易获取特征。因此，摄像装置100通过将经过池化处理的摄像数据输出到神经网络，可以减小神经网络的运算量，而可以减小功耗及处理时间。
虽然在图1中未图示，但是电路11通过信号线G1与在列方向上延伸配置的像素电连接，并且电路11通过信号线G2与在列方向上延伸配置的像素电连接，并且电路11通过信号线G3与在列方向上延伸配置的像素电连接。电路12通过信号线S1与在行方向上延伸配置的像素电连接，并且电路12通过信号线S2与在行方向上延伸配置的像素电连接。
作为一个例子，在范围AG2中，像素P(1，1)至像素P(2，n)通过第一信号线Wx与电路13(1)电连接，电路13(1)与电路14(1)电连接。电路14(1)的输出通过信号线Out与神经网络电连接。
电路11具有通过信号线G1(j)至信号线G3(j)对像素P(i，j)供应扫描信号的功能，电路12可以对由扫描信号选择的像素P(i，j)供应偏置电位W及权重电位w(i，j)。
像素P(i，j)可以通过对光进行光电转换取得第一信号。此外，像素P(i，j)可以通过对第一信号加上偏置电位生成第二信号。此外，像素P(i，j)可以通过对偏置电位加上权重电位生成第三信号。此外，像素P(i，j)可以通过对第一信号加上偏置电位及权重电位生成第四信号。
像素P(i，j)可以以任意倍率对第二信号进行乘法运算生成第五信号。此外，像素P(i，j)可以以任意倍率对第三信号进行乘法运算生成第六信号。此外，像素P(i，j)可以以任意倍率对第四信号进行乘法运算生成第七信号。
电路13可以储存第二信号。此外，电路13可以通过对第七信号和第五信号进行运算生成第八信号。
电路14可以储存第八信号。此外，电路14可以通过对第八信号和第六信号进行运算生成第九信号。第九信号被输出第一信号和权重电位的乘法项。因此，电路14可以将第九信号的判定结果输出到神经网络。也就是说，电路14具有神经网络接口的功能。
另外，作为一个例子，在图1中，像素P(1，1)通过信号线Pio(1)与开关模块16(1)电连接。开关模块(1)可以根据供应给信号线IOsel的信号使信号线Pio(1)连接到模拟数字转换电路15(1)或布线VRS。当第一数据通过信号线Pio供应给模拟数字转换电路15(1)时，像素P(1，1)被用作摄像元件。此外，在供应给布线VRS的复位电位通过信号线Pio(1)输入到像素P(1，1)的情况下，像素P(1，1)被用作神经网络的神经元。
在图2中，参照电路图说明像素P(i，j)、电路13及电路14的详细内容。
摄像装置100还包括信号线Tx、信号线Res、信号线Csw、信号线Cswb、信号线Eabs、信号线Osp、信号线Ewx、信号线Mac、信号线Sh、信号线CL、信号线Out、布线VPD、布线VDM、布线VRS、布线VIV、布线VCDS、布线JD及布线GND。
像素P(i，j)包括光电转换元件50、晶体管21、晶体管22、晶体管23、晶体管24、晶体管25、晶体管26、晶体管27、电容器C1、电容器C2、电容器C3、节点FN1、节点FN2及节点FN3。
光电转换元件50的电极中的一个与布线VPD电连接，光电转换元件50的电极中的另一个与晶体管21的源极和漏极中的一个电连接，晶体管21的栅极与信号线Tx电连接。
晶体管21的源极和漏极中的另一个与晶体管22的源极和漏极中的一个、晶体管23的栅极及电容器C1的电极中的一个电连接，晶体管22的源极和漏极中的另一个与布线VRS电连接，晶体管22的栅极与信号线Res电连接。晶体管23的源极和漏极中的一个与布线VDM电连接，晶体管23的源极和漏极中的另一个与晶体管24的源极和漏极中的一个及电容器C2的电极中的一个电连接。晶体管24的源极和漏极中的另一个与布线Pio(i)电连接，晶体管24的栅极与信号线G3电连接。
电容器C2的另一个电极与晶体管25的栅极、晶体管26的源极和漏极中的一个及电容器C3的电极中的一个电连接。晶体管25的源极和漏极中的一个与信号线Wx电连接。晶体管25的源极和漏极中的另一个与布线GND电连接。
晶体管26的源极和漏极中的另一个与信号线S1(i)电连接，晶体管26的栅极与信号线G1(j)电连接。电容器C3的另一个电极与晶体管27的源极和漏极中的一个电连接，晶体管27的源极和漏极中的另一个与信号线S2(i)电连接，晶体管27的栅极与信号线G2(j)电连接。
节点FN1由晶体管21的源极和漏极中的另一个、晶体管22的源极和漏极中的一个、晶体管23的栅极、电容器C1的电极中的一个的连接而形成。节点FN2由晶体管23的源极和漏极中的另一个、晶体管24的源极和漏极中的一个、电容器C2的电极中的一个的连接而形成。节点FN3由电容器C2的另一个电极、晶体管25的栅极、晶体管26的源极和漏极中的一个、电容器C3的电极中的一个的连接而形成。
电路13包括电流镜电路、存储电路及输出电路，电流镜电路包括晶体管31、晶体管32、晶体管33、晶体管34及晶体管35。
存储电路包括晶体管36、晶体管37、晶体管38及电容器C4。
输出电路包括晶体管39及电阻器R1。
布线VDM与晶体管31的源极和漏极中的一个及晶体管32的源极和漏极中的一个电连接，晶体管31的栅极与晶体管32的栅极、晶体管33的源极和漏极中的一个及晶体管34的源极和漏极中的一个电连接。晶体管31的源极和漏极中的另一个与晶体管33的源极和漏极中的另一个及晶体管35的源极和漏极中的一个电连接。
晶体管33的栅极与信号线Cswb电连接，晶体管34的栅极与信号线Csw电连接，晶体管35的栅极与信号线Eabs电连接。晶体管35的源极和漏极中的另一个与信号线Wx及晶体管39的源极和漏极中的一个电连接。
晶体管32的源极和漏极中的另一个与晶体管34的源极和漏极中的另一个、晶体管36的源极和漏极中的一个及晶体管37的源极和漏极中的一个电连接。晶体管36的源极和漏极中的另一个与布线GND电连接。
晶体管37的栅极与信号线Osp电连接，晶体管37的源极和漏极中的另一个与晶体管38的源极和漏极中的一个、电容器C4的电极中的一个及晶体管36的栅极电连接，晶体管38的栅极与信号线Res电连接。晶体管38的源极和漏极中的另一个与电容器C4的电极中的另一个及布线GND电连接。
晶体管39的源极和漏极中的另一个与电阻器R1的电极中的一个及信号线Mac电连接，晶体管39的栅极与信号线Ewx电连接，电阻器R1的电极中的另一个与布线VIV电连接。
电路14包括CDS电路及判定电路。
CDS电路包括电容器C5、电容器C6、运算放大器OP1及晶体管41。
判定电路包括电容器C7、运算放大器OP2及晶体管42。
信号线Mac与电容器C5的电极中的一个电连接。运算放大器OP1的第一输入端子与电容器C5的电极中的另一个、电容器C6的电极中的一个及晶体管41的源极和漏极中的一个电连接。晶体管41的栅极与信号线CL电连接。运算放大器OP1的第二输入端子与布线VCDS电连接，运算放大器OP1的输出端子与电容器C6的电极中的另一个、晶体管41的源极和漏极中的另一个及晶体管42的源极和漏极中的一个电连接。
晶体管42的栅极与信号线Sh电连接。晶体管42的源极和漏极中的另一个与运算放大器OP2的第一输入端子及电容器C7的电极中的一个电连接，运算放大器OP2的第二输入端子与布线JD电连接。运算放大器OP1的输出端子与信号线Out电连接，信号线Out与神经网络连接。
像素P(i，j)优选具有两种功能。第一功能是摄像元件的功能。第二功能是被用作神经元且对摄像数据和权重系数进行乘法运算的功能。权重系数优选作为权重电位以电压被供应。
当像素P(i，j)被用作摄像元件时，通过晶体管24将摄像数据vi(i，j)输出到信号线Pio(i)。摄像数据vi(i，j)通过开关模块16(i/2)供应给模拟数字转换电路15(i)，模拟数字转换电路(i)可以将经过数字转换的摄像数据vi(i，j)输出到处理器18。
首先，详细地说明像素P(i，j)被用作摄像元件的情况。布线VPD被供应光电转换元件50的电源的电位，布线VRS被供应用来通过晶体管22使节点FN1复位的复位电位。晶体管21根据供应给信号线Tx的信号成为开启状态，而可以将光电转换元件50通过光电转换生成的光电流供应给电容器C1。供应到电容器C1的光电流通过电容器C1被转换为电压而更新节点FN1。节点FN2被供应从节点FN1的电位减去晶体管23的阈值电压Vth23的电压作为摄像数据vi(i，j)。摄像数据vi(i，j)通过晶体管24输出到信号线Pio(i)，并通过信号线Pio(i)供应给模拟数字转换电路15(i)。摄像数据vi(i，j)相当于第一信号。
接着，说明像素P(i，j)、电路13及电路14被用作神经元的情况。像素P(i，j)可以具有神经元所具有的积和运算功能中的乘法运算功能。在像素P(i，j)中，通过利用电容器C2、电容器C3、晶体管25至晶体管27控制节点FN3，可以进行使用晶体管的乘法运算。也就是说，像素P(i，j)可以将节点FN3的电位变化作为晶体管25的漏极电流的变化而得到乘法运算结果。
首先，详细地说明像素P(i，j)被用作神经元的情况。晶体管25的漏极电流Id可以由算式(1)表示。
[算式1]
Figure GDA0003510177810000161
在此，变数β可以由算式(2)表示。因此，可知变数β为晶体管25所具有的变数。
[算式2]
Figure GDA0003510177810000162
在使用晶体管25进行乘法运算的情况下，节点FN3通过晶体管26从信号线S1(i)被供应权重电位w(i，j)。此时，节点FN2优选为如下摄像数据vi(i，j)，即，通过晶体管22被供应对布线VRS供应的复位电位而节点FN1被供应复位电位时的摄像数据vi(i，j)。
接着，通过光电转换元件50生成的摄像数据vi(i，j)供应给节点FN2。因此，作为晶体管25的Vgs的电位，储存在节点FN3的权重电位w(i，j)通过电容器C2被施加摄像数据vi(i，j)。因此，晶体管25的漏极电流Id由算式(3)表示。算式(3)中的阈值Vth表示晶体管25的阈值。
[算式3]
Figure GDA0003510177810000171
另外，节点FN3的电位由电容器C2、电容器C3、晶体管25的栅极电容的容量比A而换算。但是，为了简化计算式的说明，对容量比A为1的情况进行说明。为了正确地算出容量比A，不仅考虑晶体管25的栅极电容，优选还考虑电容器C2、电容器C3、晶体管26的源极和漏极中的一个与栅极间形成的容量以及寄生电容等。当A＝1时，漏极电流Id可以由算式(3.1)表示。
[算式4]
Figure GDA0003510177810000172
算式(4)可以通过展开且整理算式(3.1)来获得。算式(4)可以整理为使用晶体管25的摄像数据和权重电位的乘法项以及该乘法项以外的偏置项A1(算式(4.1))。
[算式5]
Id＝βw(i，j)v(i，j)+A1 ...(4)
Figure GDA0003510177810000173
如算式(4)所示，在使用晶体管25的乘法中，优选降低偏置项A1的影响。由此，优选在电路中减小偏置项A1。因此，在算式(5)中，为了减小偏置项A1，优选从算式(3.1)减去依赖于摄像数据vi(i，j)的算式(5.1)所示的偏置项A2以及依赖于权重电位的算式(5.2)所示的偏置项A3。
[算式6]
Figure GDA0003510177810000181
Figure GDA0003510177810000182
Figure GDA0003510177810000183
算式(5.3)可以通过展开算式(5)来获得。
[算式7]
Figure GDA0003510177810000184
算式(6)可以通过整理各项来获得。因此，通过从算式3.1减去偏置项A2、偏置项A3，偏置项A1可以减小到可以仅由晶体管25的阈值Vth表示的大小。
[算式8]
Figure GDA0003510177810000185
在此，补充地说明权重电位w(i，j)。权重电位w(i，j)可以换称为权重系数。权重系数既可以设定为正值，又可以设定为负值。注意，即使权重系数为负值，权重电位w(i，j)优选为正电位。因此，为了即使权重系数为负值也使权重电位w(i，j)为正电位，优选对权重电位w(i，j)加上偏置电位W。因此，在算式(5.4)中，对算式(5)的各项加上偏置电位W。
[算式9]
Figure GDA0003510177810000191
算式(7)可以通过展开且整理算式(5.4)来获得。因此，偏置项A1的偏置成分可以减小到偏置电位W和晶体管25的阈值Vth。
[算式10]
Figure GDA0003510177810000192
另外，在像素P(i，j)中难以减去算式(5.1)、算式(5.2)所示的偏置成分，所以优选使用电路13及电路14减去偏置成分。电路13可以减去算式(5.1)所示的依赖于摄像数据vi(i，j)的偏置项A2，电路14可以减去算式(5.2)所示的依赖于权重电位w(i，j)的偏置项A3。
接着，参照图2说明减去算式(5.1)、算式(5.2)所示的偏置成分的方法。节点FN3通过晶体管26从信号线S1(i)被供应偏置电位W。此外，电容器C3的电极中的另一个通过晶体管27从信号线S2(i)被供应偏置电位W。因此，在电容器C3中，电容器C3的两个电极都被供应相同的偏置电位W。节点FN2通过晶体管24被供应对布线VRS供应的复位电位。并且，优选根据供应给信号线Res的信号，节点FN1通过晶体管22被供应复位电位。此外，根据供应给信号线Res的信号，电容器C4通过晶体管38被供应对布线GND供应的电位。复位电位既可以相同于供应给布线VRS的电位，又可以为摄像装置100的基准电位。此外，供应给布线GND的电位也可以相同于摄像装置100的基准电位。
另外，在电路14中，当晶体管41由供应给信号线CL的信号成为开启状态时，运算放大器OP1形成电压跟随器。因此，供应给与运算放大器OP1的第二输入端子连接的布线VCDS的电位输出到运算放大器OP1的输出端子。由此，与运算放大器OP1的第一输入端子连接的节点Cdsin通过晶体管41被供应对布线VCDS供应的电位。也就是说，电容器C6由供应给布线VCDS的电位被复位。再者，晶体管42由供应给信号线Sh的信号成为开启状态，运算放大器OP2的第一输入端子被供应输出到运算放大器OP1的输出端子的供应给布线VCDS的电位。电容器C7由供应给布线VCDS的电位被复位。
接着，通过光电转换元件生成的摄像数据vi(i，j)供应给节点FN2。由此，晶体管25的Vgs成为对储存在节点FN3的偏置电位W加上通过电容器C2输出到节点FN2的摄像数据vi(i，j)的电压。也就是说，第二信号通过对摄像数据vi(i，j)加上偏置电位W而生成。
晶体管25将根据供应给晶体管25的栅极的第二信号而进行乘法运算的结果作为漏极电流供应给信号线Wx。此时，供应给信号线Wx的信号可以为第五信号。
另外，根据供应给信号线Eabs、信号线Cswb及信号线Osp的信号，晶体管33、晶体管35及晶体管37成为开启状态。通过使晶体管33、晶体管35成为开启状态，晶体管31、晶体管32及晶体管33形成电流镜电路。流过晶体管31的第五信号复制于晶体管32，并通过晶体管37供应给电容器C4。晶体管36优选具有与晶体管25相同大小的沟道长度及沟道宽度。通过晶体管36使相同于在晶体管25中流过的电流相同大小的电流流过，节点FN4可以储存与节点FN3相同大小的第二信号。
接着，使晶体管33及晶体管37处于非导通状态。并且，电容器C3的电极中的另一个通过晶体管27被供应权重电位w(i，j)。在节点FN3生成对第二信号加上权重电位w(i，j)的第四信号。晶体管25将根据供应给晶体管25的栅极的信号而进行乘法运算的结果作为漏极电流供应给信号线Wx。此时，供应给信号线Wx的信号可以为第七信号。
另外，根据供应给信号线Eabs、信号线Csw及信号线Ewx的信号，晶体管34、晶体管35及晶体管39成为开启状态。通过使晶体管34、晶体管35成为开启状态，晶体管31、晶体管32及晶体管34形成电流镜电路。流过晶体管32的第五信号复制于晶体管31，而可以从流过信号线Wx的第七信号减去第五信号。因此，在信号线Wx，从第七信号减去依赖于摄像数据vi(i，j)的偏置项A2。
电阻器R1通过晶体管39与信号线Wx连接。第八信号通过使用电阻器R1将从第七信号减去第五信号的电流转换为电压而生成。供应给布线VIV的电位优选小于供应给布线VDM的电流镜电路的电源电压。作为一个例子，当将布线VDM与电路的基准电位GND的中间电位供应给布线VIV时，可以获得适合于运算的正值或负值的权重系数。
第八信号供应给信号线Mac。供应给布线Mac的第八信号通过电路14所包括的电容器C5供应给节点Cdsin。然后，晶体管41由供应给信号线CL的信号成为非导通状态。节点Cdsin成为浮动节点，由此可以储存第八信号。并且，晶体管35由供应给信号线Eabs的信号成为非导通状态。
接着，节点FN2通过晶体管24被供应复位电位。在节点FN3生成对偏置电位W加上权重电位w(i，j)的第三信号。晶体管25将根据供应给栅极的信号而进行乘法运算的结果作为漏极电流供应给信号线Wx。信号线Mac被供应通过电阻器R1将信号线Wx的电位转换为电压而生成的第六信号。
第六信号通过电容器C5供应给节点Cdsin。与运算放大器OP1的输出端子连接的节点Cdsout被供应从第八信号减去第六信号而生成的第九信号。由此，在供应给节点Cdsout的第九信号中，从第八信号减去依赖于权重电位w(i，j)的偏置项A3。因此，如算式(7)所示，第九信号为摄像数据vi(i，j)和权重电位w(i，j)的乘法项，而可以将偏置成分减小到依赖于偏置电位W和晶体管25的阈值Vth的偏置项。
第九信号通过晶体管42供应给运算放大器OP2的第一输入端子。将第九信号供应给运算放大器OP2的时序可以根据供应给信号线Sh的信号而控制。运算放大器OP2的第二输入端子从布线JD被供应判定电压。判定结果从运算放大器OP2的输出端子供应给信号线Out。
作为晶体管21、晶体管22、晶体管24、晶体管26及晶体管27，优选使用关态电流小的晶体管。通过作为晶体管21、晶体管22及晶体管24使用关态电流小的晶体管，可以抑制储存在节点FN1及节点FN2的摄像数据的劣化。此外，通过作为晶体管26及晶体管27使用关态电流小的晶体管，可以抑制储存在节点FN3的第二信号、第三信号及第四信号的劣化。在实施方式2中详细地说明关态电流小的晶体管。
图3示出多个像素P(i，j)至像素P(i+1，j+1)通过信号线Wx与电路13连接的例子。但是，对与信号线Wx连接的像素P的个数没有限制。如图1所示那样在池化处理中选择的范围AG所包括的多个像素P可以连接到电路13。
像素P具有对摄像数据vi(i，j)、权重电位w(i，j)及偏置电位W进行乘法运算的功能，电路13及电路14具有减去在像素P中进行乘法运算时生成的偏置项的功能。在图3中，通过信号线Wx与多个像素P连接，由此信号线Wx具有对多个像素P的输出进行加法运算的功能。因此，多个像素P、电路13及电路14可以具有神经网络的神经元所具有的积和运算的功能。由此，由多个像素P、电路13及电路14进行的积和运算可以由算式(8)表示。
[算式11]
Figure GDA0003510177810000231
接着，参照图4的时序图说明图2的摄像装置100的工作。
在T1，对信号线Res、信号线CL、信号线Sh及信号线G3供应“H”的信号，由此节点FN1、节点FN2及节点FN4都被供应复位电位(＊1)。节点Cdsin、节点Cdsout都由供应给布线VCDS的电位被复位。此外，通过对信号线G1(j)及信号线G2(j)供应“H”的信号，可以对节点FN3及与节点FN3连接的电容器C3的电极中的另一个通过信号线S1(i)及信号线S2(i)供应偏置电位W。
在T2，通过对信号线Tx供应“H”的信号，可以使用光电转换元件50通过晶体管21输出的摄像数据data(i，j)(＊2)更新节点FN1。节点FN2被供应比摄像数据data(i，j)低晶体管23的阈值电压Vth23的摄像数据vi(i，j)(＊3)。在此，摄像数据vi(i，j)意味着第一数据。在节点FN3储存摄像数据vi(i，j)与偏置电位加在一起的第二信号。
在T3，通过对信号线Cswb及信号线Eabs供应“L”的信号，启动图13的电流镜电路，并且通过对信号线Osp供应“H”的信号，可以将节点FN3所储存的第二信号复制于节点FN4并储存。
在T4，通过对信号线G2供应“H”的信号，可以对与节点FN3连接的电容器C3的电极中的另一个通过信号线S2(i)供应偏置电位W和权重电位w(i，j)加在一起的第三信号(＊5)。因此，在节点FN3储存摄像数据vi(i，j)、偏置电位和权重电位w(i，j)加在一起的第四信号(＊6)。
在T5，通过对信号线Csw供应“L”的信号，可以从使用晶体管25生成的第七信号减去使用晶体管36生成的第五信号。再者，在T5，通过对信号线Ewx供应“H”的信号，可以使用电阻器R1生成第八信号，并供应对电路14的节点Cdsin供应的第八信号(＊7)。
在T6，通过对信号线Csw及信号线Eabs供应“H”的信号，停止电路13的电流镜电路。此外，通过对信号线CL供应“L”的信号，可以在节点Cdsin储存第八信号(＊7)。再者，通过对信号线G3(j)供应“H”的信号，由复位电位更新节点FN2。由此，节点FN3被更新为第三信号(＊5)，在电路14的节点Cdsin生成第九信号(＊8)。
在T7，通过对信号线Sh供应“H”的信号，可以根据供应给布线JD的判定电压判定第九信号(＊8)，运算放大器OP2可以对信号线Out供应判定结果Result(＊9)。
虽然图4所示的时序图中示出使用图2的像素P(i，j)、电路13及电路14的例子，但是如图3所示也可以使用多个像素P。此外，当使用多个像素P进行池化处理时，优选调整驱动时机。此外，摄像装置100优选采用全局快门方式以一次摄像进行池化处理。当摄像装置100具备输出池化处理后的数据的神经网络接口时，可以减小功耗及处理时间。此外，摄像装置100可以减小通过像素P的摄像数据vi(i，j)和权重电位w(i，j)的乘法运算而生成的偏置项。
图5示出包括与图2不同的像素的摄像装置100。关于图5，对与图2不同之处进行说明。图5与图2的不同之处在于图5所示的像素P(i，j)还包括信号线Res2(j)，并不包括图2的像素P(i，j)所包括的晶体管27及电容器C3。
参照图6的时序图说明图5的摄像装置100的工作。
在T11，通过对信号线Res、信号线Res2、信号线CL、信号线Sh及信号线G3供应“H”的信号，可以对节点FN1、节点FN2及节点FN4供应复位电位(＊1)。节点Cdsin、节点Cdsout都由供应给布线VCDS的电位被复位。此外，通过对信号线G1(j)供应“H”的信号，可以对节点FN3通过信号线S1(i)供应偏置电位W。
在T12，通过对信号线Tx供应“H”的信号，可以使用光电转换元件50通过晶体管21输出的摄像数据data(i，j)(＊2)更新节点FN1。节点FN2被供应比摄像数据data(i，j)低晶体管23的阈值电压Vth23的摄像数据vi(i，j)(＊3)。在此，摄像数据vi(i，j)意味着第一数据。在节点FN3储存摄像数据vi(i，j)与偏置电位加在一起的第二信号。
在T13，通过对信号线Cswb及信号线Eabs供应“L”的信号，启动图13的电流镜电路，并且通过对信号线Osp供应“H”的信号，可以将节点FN3所储存的第二信号复制于节点FN4并储存。
在T14，通过对信号线Res、信号线CL、信号线Sh及信号线G3供应“H”的信号，可以对节点FN1、节点FN2及节点FN4供应复位电位(＊1)。再者，通过对信号线G1(j)供应“H”的信号，可以对节点FN3通过信号线S1(i)供应偏置电位W和权重电位w(i，j)加在一起的第三信号(＊5)。
在T15，通过对信号线Tx供应“H”的信号，可以使用光电转换元件50通过晶体管21输出的摄像数据data(i，j)(＊2)更新节点FN1。节点FN2被输出摄像数据vi(i，j)(＊3)。因此，在节点FN3储存摄像数据vi(i，j)、偏置电位和权重电位w(i，j)加在一起的第四信号(＊6)。
另外，在T5，通过对信号线Csw供应“L”的信号，可以从使用晶体管25生成的第七信号减去使用晶体管36生成的第五信号。再者，在T15，通过对信号线Ewx供应“H”的信号，可以使用电阻器R1生成第八信号，并供应对电路14的节点Cdsin供应的第八信号(＊7)。
在T16，通过对信号线Csw及信号线Eabs供应“H”的信号，停止电路13的电流镜电路。此外，通过对信号线CL供应“L”的信号，可以在节点Cdsin储存第八信号(＊7)。再者，通过对信号线G3(j)供应“H”的信号，由复位电位更新节点FN2。由此，节点FN3由第三信号(＊5)被更新，在电路14的节点Cdsin生成第九信号(＊8)。
在T17，通过对信号线Sh供应“H”的信号，可以根据供应给布线JD的判定电压判定第九信号(＊8)，运算放大器OP2可以对信号线Out供应判定结果Result(＊9)。
图6所示的时序图的特征在于图5的像素P(i，j)进行两次摄像。例如，包括图5所示的像素P的摄像装置100适合于如工厂的检查过程那样始终在稳定的光源下被使用。通过减少像素P的构成要素，摄像装置100可以包括更多的像素P。因此，可以在检查过程等中进行清晰度更高的详细检查。
本实施方式所示的结构及方法可以与其他实施方式所示的结构及方法适当地组合而使用。
(实施方式2)
在本实施方式中，参照附图说明摄像装置的一个例子。
<像素电路的结构实例>
图7A例示出具有在实施方式1中说明的像素电路的像素的结构。图7A示出像素具有层261及层262的叠层结构的例子。
层261包括光电转换元件50。如图7C所示，光电转换元件50可以为层265a、层265b与层265c的叠层。
图7C所示的光电转换元件50是pn结型光电二极管，例如，作为层265a使用p+型半导体，作为层265b使用n型半导体，作为层265c使用n+型半导体。或者，也可以作为层265a使用n+型半导体，作为层265b使用p型半导体，作为层265c使用p+型半导体。另外，光电转换元件50也可以使用作为层265b使用i型半导体的pin结型光电二极管。
上述pn结型光电二极管或pin结型光电二极管可以使用单晶硅而形成。另外，pin结型光电二极管可以使用非晶硅、微晶硅、多晶硅等薄膜而形成。
另外，如图7D所示，层261所包括的光电转换元件50也可以为层266a、层266b、层266c与层266d的叠层。图7D所示的光电转换元件50是雪崩光电二极管的一个例子，层266a、层266d相当于电极，层266b、层266c相当于光电转换部。
层266a优选使用低电阻的金属层等。例如，可以使用铝、钛、钨、钽、银或其叠层。
层266d优选使用对可见光具有高透光性的导电层。例如，可以使用铟氧化物、锡氧化物、锌氧化物、铟锡氧化物、镓锌氧化物、铟镓锌氧化物或石墨烯等。另外，可以省略层266d。
光电转换部的层266b、层266c例如可以具有硒类材料作为光电转换层的pn结型光电二极管的结构。优选的是，作为层266b使用p型半导体的硒类材料，作为层266c使用n型半导体的镓氧化物等。
使用硒类材料的光电转换元件对可见光具有高外部量子效率。该光电转换元件可以利用雪崩倍增而增加相对于入射光量的载流子放大量。另外，硒类材料具有高光吸收系数，所以例如可以以薄膜制造光电转换层，因此从生产的观点来看有利。硒类材料的薄膜可以通过真空蒸镀法或溅射法等形成。
作为硒类材料可以使用单晶硒及多晶硒等结晶性硒、非晶硒、铜、铟、硒的化合物(CIS)或者铜、铟、镓、硒的化合物(CIGS)等。
n型半导体优选由带隙宽且对可见光具有透光性的材料形成。例如，可以使用锌氧化物、镓氧化物、铟氧化物、锡氧化物或者上述物质混在一起的氧化物等。另外，这些材料也具有空穴注入阻挡层的功能，可以减少暗电流。
作为图7A所示的层262，例如可以使用硅衬底。该硅衬底上设置有Si晶体管等，除了上述像素电路以外还可以设置用来驱动该像素电路的电路、图像信号的读出电路、图像处理电路等。
另外，如图7B所示，像素也可以具有层261、层263与层262的叠层结构。
层263可以包括OS晶体管(例如，像素电路的晶体管21、22)。此时，层262优选包括Si晶体管(例如，像素电路的晶体管23、25)。
通过采用该结构，可以使构成像素电路的要素分散到多个层，并且将该要素重叠而设置，所以可以减小摄像装置的面积。另外，在图7B的结构中，也可以将层262作为支撑衬底且在层261及层263设置像素电路。
图8A是说明图7A所示的像素的截面的一个例子的图。作为光电转换元件50，层261包括以硅用作光电转换层的pn结型光电二极管。层262包括构成像素电路的Si晶体管等。
在光电转换元件50中，可以将层265a为p+型区域、将层265b为n型区域且将层265c为n+型区域。另外，层265b设置有使电源线与层265c连接的区域236。例如，区域236可以为p+型区域。
在图8A中，示出Si晶体管具有在硅衬底240具有沟道形成区域的平面型结构，但是如图10A、图10B所示，也可以采用在硅衬底240包括鳍型半导体层的结构。图10A相当于沟道长度方向的截面，图10B相当于沟道宽度方向的截面。
另外，如图10C所示，也可以采用包括硅薄膜的半导体层245的晶体管。例如，半导体层245可以使用在硅衬底240上的绝缘层246上形成的单晶硅(SOI(Silicon onInsulator：绝缘体上硅))。
在此，图8A示出通过贴合技术使层261的构成要素与层262的构成要素电连接的例子。
层261上设置有绝缘层242、导电层233及导电层234。导电层233及导电层234具有埋入绝缘层242的区域。导电层233与层265a电连接。导电层234与区域236电连接。另外，以其高度都一致的方式绝缘层242、导电层233以及导电层234的表面被平坦化。
层262上设置有绝缘层241、导电层231及导电层232。导电层231及导电层232具有埋入绝缘层241的区域。导电层232与电源线电连接。导电层231与晶体管21的源极和漏极中的一个电连接。另外，以其高度都一致的方式绝缘层241、导电层231以及导电层232的表面被平坦化。
在此，导电层231及导电层233的主要成分优选为相同的金属元素。导电层232及导电层234的主要成分优选为相同的金属元素。另外，绝缘层241及绝缘层242优选由相同的成分构成。
例如，作为导电层231、232、233、234可以使用Cu、Al、Sn、Zn、W、Ag、Pt或Au等。从接合的容易性的观点来看，优选使用Cu、Al、W或Au。另外，绝缘层241、242可以使用氧化硅、氧氮化硅、氮氧化硅、氮化硅、氮化钛等。
换言之，优选的是，作为导电层231和导电层233的组合以及导电层232和导电层234的组合都使用与上述金属材料相同的金属材料。另外，优选的是，作为绝缘层241及绝缘层242都使用与上述绝缘材料相同的绝缘材料。通过采用上述结构，可以进行以层261和层262的边界为贴合位置的贴合。
通过上述贴合工序，可以获得导电层231与导电层233的组合及导电层232与导电层234的组合的各电连接。另外，可以获得绝缘层241与绝缘层242的有机械强度的连接。
当接合金属层时，可以利用表面活化接合法。在该方法中，通过溅射处理等去除表面的氧化膜及杂质吸附层等并使清洁化且活化了的表面接触而接合。或者，可以利用并用温度及压力使表面接合的扩散接合法等。上述方法都可以发生原子级的结合，因此可以获得电气上和机械上都优异的接合。
另外，当接合绝缘层时，可以利用亲水性接合法等，在该方法中，在通过抛光等获得高平坦性之后，使利用氧等离子体等进行过亲水性处理的表面接触而暂时接合，利用热处理进行脱水，由此进行正式接合。亲水性接合法也发生原子级的结合，因此可以获得机械上优异的接合。
在贴合层261与层262的情况下，由于在各接合面绝缘层与金属层是混合的，所以，例如，组合表面活化接合法及亲水性接合法即可。
例如，可以采用在进行抛光之后使表面清洁化，对金属层的表面进行防氧化处理，然后进行亲水性处理来进行接合的方法等。另外，也可以作为金属层的表面使用Au等难氧化性金属，进行亲水性处理。另外，也可以使用上述方法以外的接合方法。
图8B是作为图7A所示的像素的层261使用以硒类材料用作光电转换层的pn结型光电二极管时的截面图。作为一个电极包括层266a，作为光电转换层包括层266b、266c，作为另一个电极包括层266d。
在此情况下，层261可以直接设置在层262上。层266a与晶体管21的源极或漏极电连接。层266d通过导电层237与电源线电连接。
图9A是说明图7B所示的像素的截面的一个例子的图。作为光电转换元件50，层261包括以硅用作光电转换层的pn结型光电二极管。层262包括Si晶体管等。层263包括OS晶体管等。示出贴合层261和层263来电连接的结构实例。
在图9A中，OS晶体管具有自对准结构，但是如图10D所示，也可以为非自对准结构的顶栅型晶体管。
虽然示出晶体管21包括背栅极235的结构，但是也可以采用不包括背栅极的结构。如图10E所示，背栅极235有时电连接于与其相对的晶体管的前栅极。或者，也可以采用可以对背栅极235供应与前栅极不同的固定电位的结构。
电容器C2可以使用设置在形成背栅极235的导电层与导电层231之间的绝缘层251、252、253形成。
在形成OS晶体管的区域和形成Si晶体管的区域之间设置具有防止氢的扩散的功能的绝缘层243。设置在晶体管23、25的沟道形成区域附近的绝缘层中的氢使硅的悬空键终结。另一方面，设置在晶体管21的沟道形成区域附近的绝缘层中的氢有可能成为在氧化物半导体层中生成载流子的原因之一。
通过设置绝缘层243将氢封闭在一个层中，可以提高晶体管23、25的可靠性。同时，由于能够抑制氢从一个层扩散到另一个层，所以可以提高晶体管21的可靠性。
绝缘层243例如可以使用氧化铝、氧氮化铝、氧化镓、氧氮化镓、氧化钇、氧氮化钇、氧化铪、氧氮化铪、氧化钇稳定氧化锆(YSZ)等。
图9B是说明作为图7B所示的像素的层261使用以硒类材料用作光电转换层的pn结型光电二极管的情况的截面图。层261可以直接形成在层263上。层261、262、263的详细内容可以参照上述说明。
<像素的其他构成要素>
图11A是示出在本发明的一个方式的摄像装置的像素上附加滤色片等的例子的立体图。该立体图还示出多个像素的截面。在形成光电转换元件50的层261上形成绝缘层280。绝缘层280可以使用对可见光具有高透光性的氧化硅膜等。此外，也可以作为钝化层采用层叠氮化硅膜的结构。另外，也可以作为抗反射层采用层叠氧化铪等的介电膜的结构。
在绝缘层280上也可以形成有遮光层281。遮光层281具有防止透过上部的滤色片的光的混合的功能。作为遮光层281，可以使用铝、钨等金属膜。另外，也可以层叠该金属膜与具有抗反射层的功能的介电膜。
在绝缘层280及遮光层281上也可以设置被用作平坦化膜的有机树脂层282。另外，在每个像素中形成滤色片283(滤色片283a、283b、283c)。例如，使滤色片283a、283b及283c具有R(红色)、G(绿色)、B(蓝色)、Y(黄色)、C(青色)和M(品红色)等的颜色，由此可以获得彩色图像。
在滤色片283上也可以设置对可见光具有透光性的绝缘层286等。
此外，如图11B所示，也可以使用光学转换层285代替滤色片283。通过采用这种结构，可以形成能够获得各种各样的波长区域内的图像的摄像装置。
例如，当作为光学转换层285使用阻挡可见光线的波长以下的光的滤光片时，可以获得红外线摄像装置。当作为光学转换层285使用阻挡近红外线的波长以下的光的滤光片时，可以获得远红外线摄像装置。另外，当作为光学转换层285使用阻挡可见光线的波长以上的光的滤光片，可以获得紫外线摄像装置。可以组合可见光的滤色片与红外线或紫外线的滤光片。
另外，通过将闪烁体用于光学转换层285，可以形成用于X射线摄像装置等的获得使辐射强度可视化的图像的摄像装置。当透过拍摄对象的X射线等辐射入射到闪烁体时，由于光致发光现象而转换为可见光线或紫外光线等的光(荧光)。通过由光电转换元件50检测该光来获得图像数据。此外，也可以将该结构的摄像装置用于辐射探测器等。
闪烁体含有：当被照射X射线或伽马射线等放射线时吸收放射线的能量而发射可见光或紫外线的物质。例如，可以使用将Gd2O2S：Tb、Gd2O2S：Pr、Gd2O2S：Eu、BaFCl：Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnO等分散到树脂或陶瓷中的材料。
另外，在使用硒类材料的光电转换元件50中，由于可以将X射线等辐射直接转换为电荷，因此可以不使用闪烁体。
另外，如图11C所示，在滤色片283上也可以设置有微透镜阵列284。透过微透镜阵列284所具有的各透镜的光经由设置在其下的滤色片283而照射到光电转换元件50。此外，也可以在图11B所示的光学转换层285上设置有微透镜阵列284。
<封装、模块的结构实例>
以下，说明收纳图像传感器芯片的封装及相机模块的一个例子。作为该图像传感器芯片可以使用上述摄像装置的结构。
图12A1是收纳图像传感器芯片的封装的顶面一侧的外观立体图。该封装包括使图像传感器芯片450固定的封装衬底410、玻璃盖板420及贴合它们的粘合剂430等。
图12A2是该封装的底面一侧的外观立体图。在封装的底面包括以焊球为凸块440的BGA(Ball grid array；球栅阵列)。注意，不局限于BGA，也可以包括LGA(Land gridarray：地栅阵列)、PGA(Pin Grid Array：针栅阵列)等。
图12A3是省略玻璃盖板420及粘合剂430的一部分而图示的封装的立体图。在封装衬底410上形成电极焊盘460，电极焊盘460通过通孔与凸块440电连接。电极焊盘460通过引线470与图像传感器芯片450电连接。
另外，图12B1是将图像传感器芯片收纳在透镜一体型封装的相机模块的顶面一侧的外观立体图。该相机模块包括使图像传感器芯片451固定的封装衬底411、透镜盖421及透镜435等。另外，在封装衬底411与图像传感器芯片451之间设置有具有摄像装置的驱动电路及信号转换电路等的功能的IC芯片490，具有作为SiP(System in package：***封装)的结构。
图12B2是该相机模块的底面一侧的外观立体图。封装衬底411的底面及侧面具有设置有收纳用连接盘441的QFN(Quad flat no-lead package：四侧无引脚扁平封装)的结构。注意，该结构是一个例子，也可以设置QFP(Quad flat package：四侧引脚扁平封装)或上述BGA。
图12B3是省略透镜盖421及透镜435的一部分而图示的模块的立体图。连接盘441与电极焊盘461电连接，电极焊盘461通过引线471与图像传感器芯片451或IC芯片490电连接。
通过将图像传感器芯片收纳在上述那样的方式的封装，容易安装在印刷电路板等，由此可以将图像传感器芯片组装在各种半导体装置、电子设备。
(实施方式3)
作为可以使用根据本发明的一个方式的摄像装置的电子设备，可以举出显示装置、个人计算机、具备记录媒体的图像存储装置及图像再现装置、移动电话、包括便携式的游戏机、便携式数据终端、电子书阅读器、拍摄装置诸如视频摄像机或数码照相机等、护目镜型显示器(头戴式显示器)、导航***、音频再现装置(汽车音响***、数字音频播放器等)、复印机、传真机、打印机、多功能打印机、自动柜员机(ATM)以及自动售货机等。
这些电子设备优选具备本发明的一个方式的摄像装置。此外，电子设备优选具备神经网络17。在图像识别中，与利用处理器的特征检出相比，通过利用神经网络17可以减小运算处理，并可以降低功耗。因此，本发明的一个方式的摄像装置具备对神经网络17输出经过池化处理的数据的神经网络接口。
作为一个例子，图13示出电子设备间共通的控制部。电子设备的控制部优选具备本发明的一个方式的摄像装置、神经网络17、处理器18、通信模块19。摄像装置包括被用作神经网络接口的电路14以及作为图像输出摄像数据的模拟数字转换电路15。神经网络17包括GPU(Graphics Processing Unit：图形处理器)17a、存储装置17b及多个传感器17c。
电路14的输出优选直接连接于GPU17a。或者，电路14的输出也可以连接于神经网络17的公共总线。作为传感器，可以具备加速度传感器、方位传感器、压力传感器、温度传感器、湿度传感器、照度传感器、定位传感器(例如，GPS(全球定位***))等中的一个或多个。电子设备通过管理摄像装置所取得的数据和从传感器取得的数据，可以管理或监视电子设备被使用的状态、电子设备要管理的对象物的状态。
图14示出这些电子设备的具体例子。
图14A是监控摄像机，该监控摄像机包括支架951、照相单元952及保护罩953等。在照相单元952中设置旋转机构等，通过设置在天花板可以拍摄周围。作为在该照相单元中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。注意，“监控摄像机”是一般名称，该名称不限制其用途。例如，具有监控摄像机的功能的装置被称为摄影机或视频摄像机。
图14B是视频摄像机，该视频摄像机包括第一外壳971、第二外壳972、显示部973、操作键974、透镜975、连接部976等。操作键974及透镜975设置在第一外壳971中，显示部973设置在第二外壳972中。作为在该视频摄像机中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。
图14C是数码照相机，包括外壳961、快门按钮962、麦克风963、发光部967以及透镜965等。作为在该数码照相机中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。
图14D是手表型信息终端，该手表型信息终端包括、显示部932、外壳兼腕带933以及照相机939等。显示部932包括用来进行信息终端的操作的触摸面板。显示部932及外壳兼腕带933具有柔性，并且适合佩戴于身体。作为在该信息终端中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。
图14E是移动电话机的一个例子，包括外壳981、显示部982、操作按钮983、外部连接接口984、扬声器985、麦克风986、照相机987等。该移动电话机在显示部982具有触摸传感器。通过用手指或触屏笔等触摸显示部982可以进行打电话或输入文字等各种操作。作为在该移动电话机中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。
图14F是便携式数据终端，包括外壳911、显示部912、照相机919等。通过显示部912所具有的触摸面板功能可以输入且输出信息。作为在该便携式数据终端中用来取得图像的构件中的一个，可以具备本发明的一个方式的摄像装置。
另外，在本说明书等中，显示元件、作为包括显示元件的装置的显示装置、发光元件以及作为包括发光元件的装置的发光装置可以采用各种方式或者包括各种元件。显示元件、显示装置、发光元件或发光装置例如包括EL(电致发光)元件(包含有机物及无机物的EL元件、有机EL元件、无机EL元件)、LED芯片(白色LED芯片、红色LED芯片、绿色LED芯片、蓝色LED芯片等)、晶体管(根据电流而发光的晶体管)、等离子体显示器面板(PDP)、电子发射元件、使用碳纳米管的显示元件、液晶元件、电子墨水、电润湿元件、电泳元件、使用MEMS(微电子机械***)的显示元件(例如，光栅光阀(GLV)、数字微镜装置(DMD)、DMS(数字微镜设备)、MIRASOL(注册商标)、IMOD(干涉调制)元件、快门方式的MEMS显示元件、光干涉方式的MEMS显示元件、压电陶瓷显示器等)和量子点等中的至少一个。除此以外，显示元件、显示装置、发光元件或发光装置也可以具有其对比度、亮度、反射率、透射率等因电或磁作用而变化的显示媒体。作为使用EL元件的显示装置的例子，有EL显示器等。作为使用电子发射元件的显示装置的例子，有场致发射显示器(FED)或SED方式平面型显示器(SED：Surface-conduction Electron-emitter Display：表面传导电子发射显示器)等。作为使用液晶元件的显示装置的例子，有液晶显示器(透射式液晶显示器、半透射式液晶显示器、反射式液晶显示器、直观式液晶显示器、投射式液晶显示器)等。作为使用电子墨水、电子粉流体(注册商标)或电泳元件的显示装置的例子，有电子纸等。作为在各像素中使用量子点的显示装置的一个例子，有量子点显示器等。量子点可以不用作显示元件而用作背光的一部分。通过使用量子点，可以进行色纯度高的显示。注意，当实现半透射型液晶显示器或反射式液晶显示器时，使像素电极的一部分或全部具有作为反射电极的功能即可。例如，使像素电极的一部分或全部包含铝、银等即可。并且，此时也可以将SRAM等存储电路设置在反射电极下方。由此，可以进一步降低功耗。注意，当使用LED芯片时，也可以在LED芯片的电极或氮化物半导体下配置石墨烯或石墨。石墨烯或石墨也可以为层叠有多个层的多层膜。如此，通过设置石墨烯或石墨，可以更容易地在其上形成氮化物半导体，如具有结晶的n型GaN半导体层等。并且，在其上设置具有结晶的p型GaN半导体层等，由此能够构成LED芯片。另外，也可以在石墨烯或石墨与具有结晶的n型GaN半导体层之间设置AlN层。此外，LED芯片所包括的GaN半导体层也可以通过MOCVD形成。注意，也可以通过设置石墨烯，以溅射法形成LED芯片所包括的GaN半导体层。另外，在使用MEMS的显示元件中，通过在显示元件被密封的空间(例如，设置有显示元件的元件衬底与对置于元件衬底的对置衬底之间)中配置干燥剂，可以防止MEMS等由于水分导致发生故障或劣化。
另外，参照图15A及图15B说明将本发明的一个方式的显示***安装在车辆的例子。
图15A示出车辆5000的外观。车辆5000包括多个照相机5005(图15A中的照相机5005a、照相机5005b、照相机5005c、照相机5005d、照相机5005e及照相机5005f)。例如，照相机5005a、照相机5005b、照相机5005c、照相机5005d、照相机5005e及照相机5005f分别具有拍摄前面的情况、后面的情况、右前面的情况、左前面的情况、右后面的情况以及左后面的情况的功能。注意，拍摄车辆周围的照相机的数量及功能不局限于此。例如，在车辆的前面设置有拍摄车辆后面的照相机等。
图15B示出车辆5000的室内。车辆5000包括显示部5001、显示面板5008a、显示面板5008b及显示面板5009。可以将本发明的一个方式的显示***的显示部适用于显示部5001、显示面板5008a、显示面板5008b以及显示面板5009中的一个或多个。注意，图15B示出将显示部5001安装在右侧驾驶车辆上的例子，但是不局限于此，也可以将其安装在左侧驾驶车辆上。此时，图15B所示的结构的配置左右互换。
在图15B中示出配置在驾驶员座位和前排乘客座位的周围的仪表盘5002、方向盘5003、挡风玻璃5004等。显示部5001配置在仪表盘5002的指定的位置(具体而言，驾驶员的周围)，并具有大致T字型的形状。图15B示出使用多个显示面板5007(显示面板5007a、5007b、5007c、5007d)而形成的一个显示部5001沿着仪表盘5002设置的例子，但是显示部5001也可以在多个部分上分别配置。
另外，多个显示面板5007也可以具有柔性。此时，可以将显示部5001加工为复杂的形状，容易实现：将显示部5001沿着仪表盘5002等的曲面设置的结构；在方向盘连接部分、仪表的显示部、送风口5006等上不设置有显示部5001的显示区域的结构等。
显示面板5008a、5008b分别设置在立柱部分。可以通过将设置在车体内的成像单元(例如图15A所示的照相机5005)的图像显示在显示面板5008a、5008b，可以补充被立柱遮蔽的视界。例如，将以照相机5005d拍摄的图像作为图像5008c显示在显示面板5008a上。同样地，优选将以照相机5005c拍摄的图像显示在显示面板5008b上。
显示面板5009也可以具有显示后面的成像单元(例如，照相机5005b)拍摄的图像的功能。
另外，显示面板5007、5008a、5008b、5009也可以具有显示法定速度及交通信息等的功能。
显示面板5008a、5008b优选具有柔性。由此，可以容易以沿着立柱的曲面的方式设置显示面板5008a、5008b。
另外，有从驾驶员座位看设置在曲面上的显示面板时图像看起来较歪曲的担忧。由此，显示面板优选具有显示以减少图像歪曲的方式校正的图像的功能。作为该图像的校正优选使用利用神经网络的图像处理。
虽然图15A、图15B示出设置照相机5005c、5005d代替后视镜的例子，但是也可以设置后视镜和照相机的双方。
作为照相机5005可以使用CCD照相机或CMOS照相机等。另外，除了上述照相机以外，还可以组合红外线照相机而使用。由于红外线照相机的输出电平会随着被摄体的温度变高而变高，因此可以检测或提取人或动物等生物体。
以照相机5005拍摄的图像可以输出到显示面板5007、显示面板5008a、显示面板5008b以及显示面板5009中的一个或多个。利用上述显示部5001、显示面板5008a、显示面板5008b以及显示面板5009主要辅助车辆的驾驶。通过以照相机5005拍摄车辆周围的广视角图像而将该图像显示在显示面板5007、显示面板5008a、显示面板5008b以及显示面板5009上，可以使驾驶员看到死角区域而防止事故的发生。
另外，通过使用本发明的一个方式的显示***，可以补正显示面板5007a、5007b、5007c及5007d的接缝中的图像的不连续性。由此，可以实现不容易被看到接缝的图像显示而提高驾驶时的显示部5001的可见度。
此外，可以将距离图像传感器设置在车辆的屋顶上等，将由距离图像传感器获得的图像显示在显示部5001上。作为距离图像传感器，可以使用图像传感器或激光雷达(LIDAR：Light Detection and Ranging)等。通过将由图像传感器获得的图像以及由距离图像传感器获得的图像显示在显示部5001上，可以对驾驶员提供更多信息而辅助驾驶。
另外，显示部5001也可以具有将地图信息、交通信息、电视图像、DVD图像等显示的功能。例如，将显示面板5007a、5007b、5007c及5007d作为一个显示屏幕显示地图信息。显示面板5007的数量可以根据所显示的图像增加。
另外，显示在显示面板5007a、5007b、5007c及5007d上的图像根据驾驶员的嗜好自由地设定。例如，将电视图像、DVD图像显示在左侧的显示面板5007d上，将地图信息显示在中央部的显示面板5007b上，将仪表显示在右侧的显示面板5007c上，将音频信息等显示在变速杆附近(或者驾驶座位和前排乘客座位之间)的显示面板5007a上。另外，通过组合多个显示面板5007，对显示部5001附加故障安全的功能。例如，即使某个显示面板5007因某种原因而发生故障，通过改变显示区域，也可以使用另一个显示面板5007进行显示。
另外，挡风玻璃5004包括显示面板5004a。显示面板5004a具有使可见光透过的功能。驾驶员可以通过显示面板5004a看到背景。另外，显示面板5004a具有进行引起驾驶员的注意的显示等。注意，图15B示出在挡风玻璃5004中设置有显示面板5004a的例子，但是不局限于此。例如，可以以显示面板5004a代替挡风玻璃5004。
本实施方式可以与本说明书所示的其他实施方式适当地组合。
(关于本说明书等的记载的附记)
下面，对上述实施方式中的各结构及说明附加注释。
<关于实施方式中所示的本发明的一个方式的附记>
各实施方式所示的结构可以与其他实施方式所示的结构适当地组合而构成本发明的一个方式。另外，当在一个方式中示出多个结构实例时，可以适当地组合结构实例。
另外，可以将某一实施方式中说明的内容(或其一部分)应用/组合/替换成该实施方式中说明的其他内容(或其一部分)和另一个或多个其他实施方式中说明的内容(或其一部分)中的至少一个内容。
注意，实施方式中说明的内容是指各实施方式中利用各种附图所说明的内容或者利用说明书所记载的文章而说明的内容。
另外，通过将某一实施方式中示出的附图(或其一部分)与该附图的其他部分、该实施方式中示出的其他附图(或其一部分)和另一个或多个其他实施方式中示出的附图(或其一部分)中的至少一个附图组合，可以构成更多图。
<关于序数词的附记>
在本说明书等中，“第一”、“第二”、“第三”等序数词是为了避免构成要素的混淆而附加上的。因此，其不是为了限定构成要素的个数而附加上的。此外，其不是为了限定构成要素的顺序而附加上的。另外，例如，本说明书等的实施方式之一中附有“第一”的构成要素有可能在其他的实施方式或权利要求书中附有“第二”的序数词。另外，例如，本说明书等的实施方式之一中附有“第一”的构成要素有可能在其他的实施方式或权利要求书中被省略“第一”。
<关于说明附图的记载的附记>
参照附图对实施方式进行说明。但是，所属技术领域的普通技术人员可以很容易地理解一个事实，就是实施方式可以以多个不同形式来实施，其方式和详细内容可以在不脱离本发明的宗旨及其范围的条件下被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在实施方式所记载的内容中。注意，在实施方式中的发明的结构中，在不同的附图中共同使用相同的附图标记来显示相同的部分或具有相同功能的部分，而省略反复说明。
在本说明书等中，为方便起见，使用了“上”、“下”等显示配置的词句，以参照附图说明构成要素的位置关系。构成要素的位置关系根据描述各构成要素的方向适当地改变。因此，显示配置的词句不局限于本说明书中所示的记载，根据情况可以适当地更换表达方式。
此外，“上”或“下”这样的用语不限定构成要素的位置关系为“正上”或“正下”且直接接触的情况。例如，当记载为“绝缘层X上的电极Y”时，不一定必须在绝缘层X上直接接触地形成有电极Y，也可以包括绝缘层X与电极Y之间包括其他构成要素的情况。
在附图中，为便于清楚地说明，有时夸大显示大小、层的厚度或区域。因此，本发明并不一定限定于上述尺寸。附图是为了明确起见而示出任意的大小的，而不局限于附图所示的形状或数值等。例如，可以包括噪声或定时偏差等所引起的信号、电压或电流的不均匀等。
在立体图等的附图中，为了明确起见，有时省略部分构成要素的图示。
在附图中，有时使用同一附图标记显示同一构成要素、具有相同功能的构成要素、由同一材料构成的构成要素或者同时形成的构成要素等，并且有时省略重复说明。
<关于可以改称的记载的附记>
在本说明书等中，在说明晶体管的连接关系时，使用“源极和漏极中的一个”(第一电极或第一端子)、“源极和漏极中的另一个”(第二电极或第二端子)的记载。这是因为晶体管的源极和漏极根据晶体管的结构或工作条件等而互换的缘故。可以将晶体管的源极和漏极根据情况适当地改称为源极(漏极)端子、源极(漏极)电极等。另外，在本说明书等中，有时将栅极以外的两个端子称为第一端子及第二端子或第三端子及第四端子。另外，在本说明书等中记载的晶体管具有两个以上的栅极时(有时将该结构称为双栅极结构)，有时将该栅极称为第一栅极、第二栅极、前栅极或背栅极。尤其是，可以将“前栅极”只换称为“栅极”。此外，可以将“背栅极”只换称为“栅极”。此外，“底栅极”是指在形成晶体管时在形成沟道形成区域之前形成的端子，“顶栅极”是指在形成晶体管时在形成沟道形成区域之后形成的端子。
晶体管包括栅极、源极以及漏极这三个端子。栅极被用作控制晶体管的导通状态的控制端子。在用作源极或漏极的两个输入输出端子中，根据晶体管的类型或者供应到各端子的电位电平将一个端子用作源极而将另一个端子用作漏极。因此，在本说明书等中，“源极”和“漏极”可以互相调换。
注意，在本说明书等中，“电极”或“布线”这样的词语不在功能上限定其构成要素。例如，有时将“电极”用作“布线”的一部分，反之亦然。再者，“电极”或“布线”这样的词语还包括多个“电极”或“布线”被形成为一体的情况等。
另外，在本说明书等中，可以适当地调换电压和电位。电压是指与基准电位之间的电位差，例如在基准电位为接地电位时，可以将电压换称为电位。接地电位不一定意味着0V。注意，电位是相对的，对布线等供应的电位有时根据基准电位而变化。
在本说明书等中，根据情况或状态，可以互相调换“膜”和“层”等词句。例如，有时可以将“导电层”变换为“导电膜”。此外，有时可以将“绝缘膜”变换为“绝缘层”。另外，根据情况或状态，可以使用其他词句代替“膜”和“层”等词句。例如，有时可以将“导电层”或“导电膜”变换为“导电体”。此外，例如有时可以将“绝缘层”或“绝缘膜”变换为“绝缘体”。
在本说明书等中，根据情况或状态，可以互相调换“布线”、“信号线”及“电源线”等词句。例如，有时可以将“布线”变换为“信号线”。此外，例如有时可以将“布线”变换为“电源线”。反之亦然，有时可以将“信号线”或“电源线”变换为“布线”。有时可以将“电源线”变换为“信号线”。反之亦然，有时可以将“信号线”变换为“电源线”。另外，根据情况或状态，可以互相将施加到布线的“电位”变换为“信号”。反之亦然，有时可以将“信号”变换为“电位”。
<关于词句的定义的附记>
下面，对上述实施方式中涉及到的词句的定义进行说明。
<<关于半导体的杂质>>
半导体的杂质例如是构成半导体层的主要成分之外的物质。例如，浓度低于0.1atomic％的元素是杂质。有时由于包含杂质而例如发生在半导体中形成DOS(Densityof States：态密度)、载流子迁移率降低或结晶性降低等情况。在半导体是氧化物半导体时，作为改变半导体的特性的杂质，例如有第一族元素、第二族元素、第十三族元素、第十四族元素、第十五族元素或主要成分之外的过渡金属等，特别是，例如有氢(也包含在水中)、锂、钠、硅、硼、磷、碳、氮等。在半导体是氧化物半导体时，例如有时氢等杂质的混入导致氧缺陷的产生。此外，在半导体是硅层时，作为改变半导体的特性的杂质，例如有氧、除了氢之外的第一族元素、第二族元素、第十三族元素、第十五族元素等。
<<晶体管>>
在本说明书中，晶体管是指至少包括栅极、漏极以及源极这三个端子的元件。晶体管在漏极(漏极端子、漏区域或漏电极)与源极(源极端子、源区域或源电极)之间具有沟道形成区域。通过对栅极与源极之间供应超过阈值电压的电压，可以在沟道形成区域中形成沟道而使电流流过源极与漏极之间。
另外，在使用极性不同的晶体管的情况或电路工作中的电流方向变化的情况等下，源极及漏极的功能有时相互调换。因此，在本说明书等中，“源极”和“漏极”可以互相调换。
<<开关>>
在本说明书等中，开关是指具有通过变为导通状态(开启状态)或非导通状态(关闭状态)来控制是否使电流流过的功能的元件。或者，开关是指具有选择电流路径的功能的元件。
例如，可以使用电开关或机械开关等。换言之，开关只要可以控制电流就不局限于特定的开关。
电开关的例子包括晶体管(例如双极晶体管或MOS晶体管)、二极管(例如PN二极管、PIN二极管、肖特基二极管、金属-绝缘体-金属(MIM)二极管、金属-绝缘体-半导体(MIS)二极管或者二极管接法的晶体管)或者组合这些元件的逻辑电路。
当作为开关使用晶体管时，晶体管的“导通状态”是指晶体管的源电极与漏电极在电性上短路的状态。另外，晶体管的“非导通状态”是指晶体管的源电极与漏电极在电性上断开的状态。当仅将晶体管用作开关时，对晶体管的极性(导电型)没有特别的限制。
作为机械开关的一个例子，可以举出像数字微镜装置(DMD)那样的利用MEMS(微电子机械***)技术的开关。该开关具有以机械方式可动的电极，并且通过移动该电极来控制导通和非导通而进行工作。
<<连接>>
注意，在本说明书等中，当记载为“X与Y连接”时，包括如下情况：X与Y电连接的情况；X与Y在功能上连接的情况；以及X与Y直接连接的情况。因此，不局限于附图或文中所示的连接关系等规定的连接关系，还包括附图或文中所示的连接关系以外的连接关系。
这里使用的X和Y为对象物(例如，装置、元件、电路、布线、电极、端子、导电膜和层等)。
作为X和Y电连接的情况的一个例子，可以在X和Y之间连接一个以上的能够电连接X和Y的元件(例如开关、晶体管、电容器、电感器、电阻器、二极管、显示元件、发光元件、负载等)。另外，开关具有控制开启和关闭的功能。换言之，通过使开关处于导通状态(开启状态)或非导通状态(关闭状态)来控制是否使电流流过。
作为X和Y在功能上连接的情况的一个例子，可以在X和Y之间连接一个以上的能够在功能上连接X和Y的电路(例如，逻辑电路(反相器、NAND电路、NOR电路等)、信号转换电路(DA转换电路、AD转换电路、γ(伽马)校正电路等)、电位电平转换电路(电源电路(升压电路、降压电路等)、改变信号的电位电平的电平转换器电路等)、电压源、电流源、切换电路、放大电路(能够增大信号振幅或电流量等的电路、运算放大器、差动放大电路、源极跟随电路、缓冲器电路等)、信号产生电路、存储电路、控制电路等)。注意，例如，即使在X与Y之间夹有其他电路，当从X输出的信号传送到Y时，也可以说X与Y在功能上是连接着的。
此外，当明确地记载为“X与Y电连接”时，包括如下情况：X与Y电连接的情况(换言之，以中间夹有其他元件或其他电路的方式连接X与Y的情况)；X与Y在功能上连接的情况(换言之，以中间夹有其他电路的方式在功能上连接X与Y的情况)；以及X与Y直接连接的情况(换言之，以中间不夹有其他元件或其他电路的方式连接X与Y的情况)。换言之，当明确记载有“电连接”时，与只明确记载有“连接”的情况相同。
注意，例如，在晶体管的源极(或第一端子等)通过Z1(或没有通过Z1)与X电连接，晶体管的漏极(或第二端子等)通过Z2(或没有通过Z2)与Y电连接的情况下以及在晶体管的源极(或第一端子等)与Z1的一部分直接连接，Z1的另一部分与X直接连接，晶体管的漏极(或第二端子等)与Z2的一部分直接连接，Z2的另一部分与Y直接连接的情况下，可以显示为如下。
例如，可以表达为“X、Y、晶体管的源极(或第一端子等)及晶体管的漏极(或第二端子等)互相电连接，并按X、晶体管的源极(或第一端子等)、晶体管的漏极(或第二端子等)及Y的顺序电连接”。或者，可以表达为“晶体管的源极(或第一端子等)与X电连接，晶体管的漏极(或第二端子等)与Y电连接，并以X、晶体管的源极(或第一端子等)、晶体管的漏极(或第二端子等)、Y的顺序依次电连接”。或者，可以表达为“X通过晶体管的源极(或第一端子等)及晶体管的漏极(或第二端子等)与Y电连接，X、晶体管的源极(或第一端子等)、晶体管的漏极(或第二端子等)、Y依次设置为相互连接”。通过使用与这种例子相同的表达方法规定电路结构中的连接顺序，可以区别晶体管的源极(或第一端子等)与晶体管的漏极(或第二端子等)而决定技术范围。注意，这些表达方法只是一个例子而已，不局限于上述表达方法。在此，X、Y、Z1及Z2为对象物(例如，装置、元件、电路、布线、电极、端子、导电膜及层等)。
另外，即使在电路图上独立的构成要素彼此电连接，也有时一个构成要素兼有多个构成要素的功能。例如，在布线的一部分用作电极时，一个导电膜兼有布线和电极的两个构成要素的功能。因此，本说明书中的“电连接”的范畴内还包括这种一个导电膜兼有多个构成要素的功能的情况。
<<平行、垂直>>
在本说明书中，“平行”是指两条直线形成的角度为-10°以上且10°以下的状态。因此也包括该角度为-5°以上且5°以下的状态。“大致平行”是指两条直线形成的角度为-30°以上且30°以下的状态。另外，“垂直”是指两条直线形成的角度为80°以上且100°以下的状态。因此也包括该角度为85°以上且95°以下的状态。另外，“大致垂直”是指两条直线形成的角度为60°以上且120°以下的状态。
[符号说明]
Bsw：开关、Bsw2：开关、C1：电容器、C2：电容器、C3：电容器、C4：电容器、C5：电容器、C6：电容器、C7：电容器、FN1：节点、FN2：节点、FN3：节点、FN4：节点、OP1：运算放大器、OP2：运算放大器、R1：电阻器、10：像素区域、11：电路、12：电路、13：电路、14：电路、15：模拟数字转换电路、16：开关模块、17：神经网络、17a：GPU、17b：存储装置、17c：传感器、18：处理器、19：通信模块、21：晶体管、22：晶体管、23：晶体管、24：晶体管、25：晶体管、26：晶体管、27：晶体管、31：晶体管、32：晶体管、33：晶体管、34：晶体管、35：晶体管、36：晶体管、37：晶体管、38：晶体管、39：晶体管、41：晶体管、42：晶体管、50：光电转换元件、100：摄像装置、231：导电层、232：导电层、233：导电层、234：导电层、235：背栅极、236：区域、237：导电层、240：硅衬底、241：绝缘层、242：绝缘层、243：绝缘层、245：半导体层、246：绝缘层、251：绝缘层、252：绝缘层、253：绝缘层、280：绝缘层、281：遮光层、282：有机树脂层、283：滤色片、283a：滤色片、283b：滤色片、283c：滤色片、284：微透镜阵列、285：光学转换层、286：绝缘层、410：封装衬底、411：封装衬底、420：玻璃盖板、421：透镜盖、430：粘合剂、435：透镜、440：凸块、441：连接盘、450：图像传感器芯片、451：图像传感器芯片、460：电极焊盘、461：电极焊盘、470：引线、471：引线、490：IC芯片、911：外壳、912：显示部、919：照相机、932：显示部、933：外壳兼腕带、939：照相机、951：支架、952：照相单元、953：保护罩、961：外壳、963：麦克风、965：透镜、967：发光部、971：外壳、972：外壳、973：显示部、974：操作键、975：透镜、976：连接部、981：外壳、982：显示部、983：操作按钮、984：外部连接接口、985：扬声器、986：麦克风、987：照相机、5000：车辆、5001：显示部、5002：仪表盘、5003：方向盘、5004：挡风玻璃、5004a：显示面板、5005：照相机、5005a：照相机、5005b：照相机、5005c：照相机、5005d：照相机、5005e：照相机、5005f：照相机、5006：送风口、5007：显示面板、5007a：显示面板、5007b：显示面板、5007c：显示面板、5007d：显示面板、5008a：显示面板、5008b：显示面板、5008c：图像、5009：显示面板。

Claims (13)

1.一种包括神经网络接口的摄像装置，
其中，所述摄像装置包括像素区域、第一电路、第二电路、第三电路、第四电路以及第一信号线Wx，
所述像素区域包括多个像素，
所述像素包括第一晶体管，
所述第四电路包括所述神经网络接口，
所述像素通过所述第一信号线Wx与所述第三电路电连接，
所述第三电路与所述第四电路电连接，
所述第一电路具有对所述像素供应扫描信号的功能，
所述第二电路具有对由所述扫描信号选择的所述像素供应权重电位的功能，
所述像素具有通过对光进行光电转换取得第一信号的功能，
所述像素具有利用节点的电位变化作为所述第一晶体管的漏极电流的变化对所述第一信号和所述权重电位进行乘法运算的功能，
所述节点与所述第一晶体管的栅极电连接，
所述第一晶体管的所述漏极电流由所述第一信号与所述权重电位的乘法项、第一偏置项及第二偏置项来表示，
从所述第一晶体管的所述漏极电流中，所述第三电路具有减去依赖于所述第一信号的所述第一偏置项的功能，
所述第四电路具有减去依赖于所述权重电位的所述第二偏置项的功能，
所述第四电路具有在所述第三电路减去所述第一偏置项且所述第四电路减去所述第二偏置项之后判定所述乘法项的功能，
并且，所述第四电路通过所述神经网络接口输出判定结果。
2.根据权利要求1所述的摄像装置，
其中所述第二电路还具有对由所述扫描信号选择的所述像素供应偏置电位的功能，
所述像素具有通过对所述第一信号加上所述偏置电位生成第二信号的功能，
所述像素具有对所述偏置电位加上所述权重电位生成第三信号的功能，
所述像素具有对所述第一信号加上所述偏置电位及所述权重电位生成第四信号的功能，
所述第一晶体管具有以任意倍率对所述第二信号进行乘法运算生成第五信号的功能，
所述第一晶体管具有以任意倍率对所述第三信号进行乘法运算生成第六信号的功能，
所述第一晶体管具有以任意倍率对所述第四信号进行乘法运算生成第七信号的功能，
所述第三电路具有储存所述第二信号的功能，
所述第三电路具有通过对所述第七信号和所述第五信号进行运算生成第八信号的功能，
所述第四电路具有储存所述第八信号的功能，
所述第四电路具有通过对所述第八信号和所述第六信号进行运算生成第九信号的功能，
所述第九信号被输出所述第一信号和所述权重电位的乘法项，
所述第四电路具有判定所述第九信号的功能，
并且所述第四电路通过所述神经网络接口输出判定结果。
3.根据权利要求1或2所述的摄像装置，还包括：
模拟数字转换电路、信号线Pio及布线VRS，
其中所述像素具有通过所述信号线Pio将第一数据输出到所述模拟数字转换电路的功能，
所述像素具有通过所述信号线Pio被输入供应给所述布线VRS的第一电位的功能，
并且所述像素当通过所述信号线Pio被输入供应给所述布线VRS的第一电位时被用作神经网络的神经元。
4.根据权利要求1或2所述的摄像装置，还包括：
布线VPD、布线VDM、信号线G1、信号线G2、信号线G3、信号线Tx、信号线Res、信号线S1及信号线S2，
其中所述像素包括光电转换元件、第二晶体管、第三晶体管、第四晶体管、第五晶体管、第六晶体管、第七晶体管、第一电容器、第二电容器及第三电容器，
所述第一电路通过所述信号线G1与像素电连接，
所述第一电路通过所述信号线G2与像素电连接，
所述第一电路通过所述信号线G3与像素电连接，
所述第二电路通过所述信号线S1与像素电连接，
所述第二电路通过所述信号线S2与像素电连接，
所述光电转换元件的电极中的一个与所述布线VPD电连接，
所述光电转换元件的电极中的另一个与所述第二晶体管的源极和漏极中的一个电连接，
所述第二晶体管的栅极与所述信号线Tx电连接，
所述第二晶体管的源极和漏极中的另一个与所述第三晶体管的源极和漏极中的一个、所述第四晶体管的栅极及所述第一电容器的电极中的一个电连接，
所述第三晶体管的源极和漏极中的另一个与所述布线VRS电连接，
所述第三晶体管的栅极与所述信号线Res电连接，
所述第四晶体管的源极和漏极中的一个与所述布线VDM电连接，
所述第四晶体管的源极和漏极中的另一个与所述第五晶体管的源极和漏极中的一个及所述第二电容器的电极中的一个电连接，
所述第五晶体管的源极和漏极中的另一个与所述布线Pio电连接，
所述第五晶体管的栅极与所述信号线G3电连接，
所述第二电容器的另一个电极与所述第一晶体管的栅极、所述第六晶体管的源极和漏极中的一个及所述第三电容器的电极中的一个电连接，
所述第一晶体管的源极和漏极中的一个与所述第一信号线Wx电连接，
所述第六晶体管的源极和漏极中的另一个与所述信号线S1电连接，
所述第六晶体管的栅极与所述信号线G1电连接，
所述第三电容器的另一个电极与所述第七晶体管的源极和漏极中的一个电连接，
所述第七晶体管的源极和漏极中的另一个与所述信号线S2电连接，
并且所述第七晶体管的栅极与所述信号线G2电连接。
5.根据权利要求4所述的摄像装置，还包括：
信号线Csw、信号线Cswb、信号线Eabs、信号线Osp、信号线Ewx、信号线Mac及布线VIV，
其中所述第三电路包括电流镜电路、存储电路及输出电路，
所述电流镜电路包括第八晶体管、第九晶体管、第十晶体管、第十一晶体管及第十二晶体管，
所述存储电路包括第十三晶体管、第十四晶体管、第十五晶体管及第四电容器，
所述输出电路包括第十六晶体管及电阻器R1，
所述布线VDM与所述第八晶体管的源极和漏极中的一个及所述第九晶体管的源极和漏极中的一个电连接，
所述第八晶体管的栅极与所述第九晶体管的栅极、所述第十晶体管的源极和漏极中的一个及所述第十一晶体管的源极和漏极中的一个电连接，
所述第八晶体管的源极和漏极中的另一个与所述第十晶体管的源极和漏极中的另一个及所述第十二晶体管的源极和漏极中的一个电连接，
所述第十晶体管的栅极与所述布线Cswb电连接，
所述第十一晶体管的栅极与所述信号线Csw电连接，
所述第十二晶体管的栅极与所述信号线Eabs电连接，
所述第十二晶体管的源极和漏极中的另一个与所述第一信号线Wx及所述第十六晶体管的源极和漏极中的一个电连接，
所述第九晶体管的源极和漏极中的另一个与所述第十一晶体管的源极和漏极中的另一个、所述第十三晶体管的源极和漏极中的一个及所述第十四晶体管的源极和漏极中的一个电连接，
所述第十四晶体管的栅极与所述信号线Osp电连接，
所述第十四晶体管的源极和漏极中的另一个与所述第十五晶体管的源极和漏极中的一个、所述第四电容器的电极中的一个及所述第十三晶体管的栅极电连接，
所述第十五晶体管的栅极与所述信号线Res电连接，
所述第十六晶体管的源极和漏极中的另一个与所述电阻器R1的电极中的一个及所述信号线Mac电连接，
所述第十六晶体管的栅极与所述信号线Ewx电连接，
并且所述电阻器R1的电极中的另一个与所述布线VIV电连接。
6.根据权利要求1或2所述的摄像装置，还包括：
信号线Sh、信号线CL、信号线Out、布线VCDS及布线JD，
其中所述第四电路包括CDS电路及判定电路，
所述CDS电路包括第五电容器、第六电容器、运算放大器OP1及第十七晶体管，
所述判定电路包括第七电容器、运算放大器OP2及第十八晶体管，
所述信号线Mac与所述第五电容器的电极中的一个电连接，
所述运算放大器OP1的第一输入端子与所述第五电容器的电极中的另一个、所述第六电容器的电极中的一个及所述第十七晶体管的源极和漏极中的一个电连接，
所述第十七晶体管的栅极与所述信号线CL电连接，
所述运算放大器OP1的第二输入端子与所述布线VCDS电连接，
所述运算放大器OP1的输出端子与所述第六电容器的电极中的另一个、所述第十七晶体管的源极和漏极中的另一个及所述第十八晶体管的源极和漏极中的一个电连接，
所述第十八晶体管的栅极与所述信号线Sh电连接，
所述第十八晶体管的源极和漏极中的另一个与所述运算放大器OP2的第一输入端子及所述第七电容器的电极中的一个电连接，
所述运算放大器OP2的第二输入端子与所述布线JD电连接，
所述运算放大器OP2的输出端子与所述信号线Out电连接，
并且所述信号线Out与所述神经网络连接。
7.根据权利要求1或2所述的摄像装置，还包括：
所述第二信号线Wx、信号线Bsel1及开关Bsw，
其中所述开关Bsw具有根据供应给所述信号线Bsel1的信号使所述第一信号线Wx与所述第二信号线Wx电连接的功能，
所述第三电路具有从与所述第一信号线Wx连接的多个所述像素及与所述第二信号线Wx连接的多个所述像素被供应多个所述第五信号、多个所述第六信号及多个所述第七信号的功能，
第三电路具有将从各像素供应的第五信号、第六信号、第七信号加在一起，然后减去第一偏置项的功能，
所述摄像装置具有根据供应给所述开关Bsw的信号可以选择多个所述像素的选择范围的功能，
并且所述摄像装置进行对应于所述像素的选择范围的池化处理。
8.根据权利要求4所述的摄像装置，
其中所述光电转换元件包括硒或包含硒的化合物。
9.根据权利要求4所述的摄像装置，
其中所述第一晶体管、所述第二晶体管、所述第四晶体管、所述第六晶体管及所述第七晶体管中的一个或多个在沟道形成区域中包含金属氧化物。
10.根据权利要求5所述的摄像装置，
其中所述第十三晶体管具有与所述第五晶体管相同的沟道长度及沟道宽度。
11.根据权利要求5所述的摄像装置，
其中供应给所述布线VIV的第二电位小于供应给所述布线VDM的第三电位。
12.根据权利要求9所述的摄像装置，
其中所述金属氧化物包含In、Zn和M，
其中M为Al、Ti、Ga、Sn、Y、Zr、La、Ce、Nd或Hf。
13.一种包括权利要求1或2所述的摄像装置及显示装置的电子设备。
CN201880045145.XA 2017-07-14 2018-07-02 摄像装置及电子设备 Expired - Fee Related CN110832845B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-137910 2017-07-14
JP2017137910 2017-07-14
PCT/IB2018/054888 WO2019012369A1 (ja) 2017-07-14 2018-07-02 撮像装置、及び電子機器

Publications (2)

Publication Number Publication Date
CN110832845A CN110832845A (zh) 2020-02-21
CN110832845B true CN110832845B (zh) 2022-07-05

Family

ID=65002562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045145.XA Expired - Fee Related CN110832845B (zh) 2017-07-14 2018-07-02 摄像装置及电子设备

Country Status (6)

Country Link
US (1) US10951850B2 (zh)
EP (1) EP3654635A4 (zh)
JP (1) JP7144413B2 (zh)
KR (1) KR20200028967A (zh)
CN (1) CN110832845B (zh)
WO (1) WO2019012369A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109786399B (zh) * 2017-11-13 2022-04-05 睿生光电股份有限公司 检测装置
JP7480137B2 (ja) 2019-06-14 2024-05-09 株式会社半導体エネルギー研究所 撮像装置および電子機器
US20220359592A1 (en) * 2019-08-22 2022-11-10 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
KR20220058590A (ko) * 2019-09-13 2022-05-09 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치 및 그 구동 방법
US11956570B2 (en) 2019-09-20 2024-04-09 Semiconductor Energy Laboratory Co., Ltd. Imaging system and electronic device
CN115136311A (zh) * 2020-02-20 2022-09-30 株式会社半导体能源研究所 摄像装置、电子设备及移动体
KR20220160007A (ko) 2020-03-27 2022-12-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치 및 전자 기기

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084981A (en) * 1994-11-29 2000-07-04 Hitachi Medical Corporation Image processing apparatus for performing image converting process by neural network
CN101232040A (zh) * 2001-09-21 2008-07-30 株式会社半导体能源研究所 发光器件、发光器件驱动方法、以及电子设备
CN104520896A (zh) * 2012-01-27 2015-04-15 韩国科学技术院 视觉神经电路装置、利用视觉神经电路装置的视觉神经模仿***及对象搜索***
JP2016123087A (ja) * 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
JP2017054502A (ja) * 2015-08-31 2017-03-16 株式会社半導体エネルギー研究所 半導体装置、又は該半導体装置を有する電子機器
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7151844B2 (en) * 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
US7215370B2 (en) * 2003-07-23 2007-05-08 Alphaplus Semiconductor Inc. Pseudo-BJT based retinal focal-plane sensing system
US9762834B2 (en) * 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US20160328642A1 (en) * 2015-05-06 2016-11-10 Indiana University Research And Technology Corporation Sensor signal processing using an analog neural network
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US11403833B2 (en) 2017-05-18 2022-08-02 Semiconductor Energy Laboratory Co., Ltd. Image detection module and information management system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084981A (en) * 1994-11-29 2000-07-04 Hitachi Medical Corporation Image processing apparatus for performing image converting process by neural network
CN101232040A (zh) * 2001-09-21 2008-07-30 株式会社半导体能源研究所 发光器件、发光器件驱动方法、以及电子设备
CN104520896A (zh) * 2012-01-27 2015-04-15 韩国科学技术院 视觉神经电路装置、利用视觉神经电路装置的视觉神经模仿***及对象搜索***
JP2016123087A (ja) * 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
JP2017054502A (ja) * 2015-08-31 2017-03-16 株式会社半導体エネルギー研究所 半導体装置、又は該半導体装置を有する電子機器
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置

Also Published As

Publication number Publication date
WO2019012369A1 (ja) 2019-01-17
US20200145600A1 (en) 2020-05-07
CN110832845A (zh) 2020-02-21
US10951850B2 (en) 2021-03-16
EP3654635A1 (en) 2020-05-20
KR20200028967A (ko) 2020-03-17
EP3654635A4 (en) 2020-12-30
JPWO2019012369A1 (ja) 2020-07-27
JP7144413B2 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
CN110832845B (zh) 摄像装置及电子设备
JP7322239B2 (ja) 撮像装置および電子機器
JP7202297B2 (ja) 撮像装置および電子機器
JP7335990B2 (ja) 撮像装置
JP7072016B2 (ja) 撮像装置
JP7217227B2 (ja) 撮像装置、及び電子機器
WO2021014258A1 (ja) 撮像装置および電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
WO2021191719A1 (ja) 撮像装置および電子機器
US20220359592A1 (en) Imaging device and electronic device
JP2018207273A (ja) 撮像装置および電子機器
WO2021214616A1 (ja) 撮像装置
US20230156376A1 (en) Imaging device and electronic device
US20230090488A1 (en) Imaging device, electronic device, and moving object
TW202209659A (zh) 攝像裝置及電子裝置
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705