WO2018163005A1 - タッチパネルシステム、電子機器および半導体装置 - Google Patents
タッチパネルシステム、電子機器および半導体装置 Download PDFInfo
- Publication number
- WO2018163005A1 WO2018163005A1 PCT/IB2018/051174 IB2018051174W WO2018163005A1 WO 2018163005 A1 WO2018163005 A1 WO 2018163005A1 IB 2018051174 W IB2018051174 W IB 2018051174W WO 2018163005 A1 WO2018163005 A1 WO 2018163005A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- transistor
- circuit
- signal line
- current
- potential
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
- G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
- G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
- G06F1/1618—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
- G06F1/1681—Details related solely to hinges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/02—Flexible displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
- G09G3/3648—Control of matrices with row and column drivers using an active matrix
Definitions
- One embodiment of the present invention relates to a touch panel system and an electronic device using the same.
- One embodiment of the present invention relates to a semiconductor device.
- a semiconductor device refers to any device that can function by utilizing semiconductor characteristics.
- a display device, a light-emitting device, a memory device, an electro-optical device, a power storage device, a semiconductor circuit, and an electronic device may include a semiconductor device.
- one embodiment of the present invention is not limited to the above technical field.
- the technical field of the invention disclosed in this specification and the like relates to an object, a method, or a manufacturing method.
- one embodiment of the present invention relates to a process, a machine, a manufacture, or a composition (composition of matter).
- neural networks artificial neural networks
- Patent Document 1 discloses an example in which handwritten characters are recognized by performing machine learning using a neural network using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
- a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
- Patent Document 2 discloses an example in which an OS transistor is used for learning a neural network.
- Machine learning using a neural network requires an enormous amount of calculation. Therefore, when a neural network is constructed using a digital circuit such as a CPU or GPU, the number of necessary transistors becomes enormous, which is inefficient and consumes high power.
- An object of one embodiment of the present invention is to provide a touch panel system capable of efficiently recognizing handwritten characters. Another object of one embodiment of the present invention is to provide a semiconductor device capable of efficiently constructing a neural network. Another object of one embodiment of the present invention is to provide a semiconductor device capable of efficiently performing a product-sum operation. Another object of one embodiment of the present invention is to provide a semiconductor device capable of performing a product-sum operation with high accuracy. Another object of one embodiment of the present invention is to provide a novel semiconductor device.
- Another object of one embodiment of the present invention is to provide an electronic device that can efficiently recognize handwritten characters. Another object is to provide an electronic device that can recognize a handwritten character and has a flexible display portion. Another object is to provide an electronic device that can recognize handwritten characters and can have both portability and excellent listability.
- One embodiment of the present invention is an electronic device including a first circuit, a display portion, and a touch sensor.
- the first circuit has a neural network.
- the display unit has a flexible display.
- the touch sensor has a function of outputting the input handwritten character as image information to the first circuit.
- the first circuit has a function of analyzing image information and converting it into character information, and a function of displaying an image including character information on a display unit. The analysis is performed by inference using a neural network. Is called.
- the electronic device preferably includes a first housing, a second housing, a third housing, and a plurality of hinges.
- the flexible display preferably has a portion held in each of the first housing, the second housing, and the third housing.
- the first housing, the second housing, and the third housing are hinged so as to be reversibly deformed between a state in which the flexible display is opened and a state in which the flexible display is folded into three. It is preferable that it is connected by.
- the first circuit preferably includes a memory capable of holding analog data.
- the first circuit preferably includes a transistor including a metal oxide in a channel formation region.
- a touch panel system capable of efficiently recognizing handwritten characters can be provided.
- a semiconductor device capable of efficiently constructing a neural network can be provided.
- a semiconductor device capable of efficiently performing a product-sum operation can be provided.
- a semiconductor device capable of performing a product-sum operation with high accuracy can be provided.
- a novel semiconductor device can be provided.
- an electronic device that can efficiently recognize a handwritten character can be provided.
- an electronic device that can recognize a handwritten character and has a flexible display portion can be provided.
- An example of an information terminal using a touch panel system An example of an information terminal using a touch panel system.
- An example of an information terminal using a touch panel system The block diagram which shows the structural example of a touchscreen system.
- the flowchart which shows the flow of data of a touch panel system.
- the conceptual diagram which shows the flow of the data in a neural network.
- An example of disassembling an information terminal module The external view of an information terminal and a server.
- An example of an image receiving apparatus using a touch panel system The block diagram which shows the structural example of a touchscreen system.
- Schematic diagram of a neural network A configuration example of a neural network.
- the circuit diagram which shows an example of a product-sum operation circuit.
- the timing chart which shows the operation example of a product-sum operation circuit.
- FIG. 6 is a circuit diagram illustrating a configuration example of a pixel. Sectional drawing which shows the structural example of a display panel. Sectional drawing which shows the structural example of a display panel. 3 is an optical micrograph of the OS-APS chip manufactured in Example 1.
- FIG. The multiplication characteristic of the OS-APS chip made as a prototype in Example 1.
- the multiplication characteristic of the OS-APS chip made as a prototype in Example 1.
- FIG. 6 is a photograph of a display device prototyped in Example 2.
- neural network refers to all models that imitate the neural network of a living organism, determine the connection strength between neurons by learning, and have problem solving ability.
- the neural network has an input layer, an intermediate layer (also referred to as a hidden layer), and an output layer.
- determining the connection strength (also referred to as a weighting factor) between neurons from existing information may be referred to as “learning”.
- the construction of a neural network using the connection strength obtained by learning and deriving a new conclusion therefrom may be referred to as “inference”.
- FIG. 1 is an external view showing an example of use of the information terminal 1.
- the information terminal 1 includes a display unit 2.
- the display unit 2 also has a function as an input unit.
- the information terminal 1 can recognize characters input to the display unit 2 and display the recognition result.
- FIG. 1 shows an example in which a user inputs an alphabet “a” with a finger, the information terminal 1 recognizes the input character, and displays the recognition result on the upper left of the display unit 2 (for example, “Neura”). ing. Note that characters can be input on the display unit 2 using not only a finger but also a stylus.
- a flexible display can also be used as a display unit provided in the information terminal.
- 2A, 2B, and 2C show an information terminal 1a using a flexible display.
- the information terminal 1a includes three housings (a housing 3a, a housing 3b, and a housing 3c) and a display unit 2a.
- the display unit 2a has a flexible display and has a portion held in each of the three housings. Further, the housing 3a and the housing 3b, and the housing 3b and the housing 3c are rotatably connected by a hinge 4, respectively.
- the information terminal 1a is reversibly transformed from the state in which the display unit 2a is opened as shown in FIG. 2 (A) to the state in which the display unit 2a is folded into three as shown in FIG. 2 (C). Can do.
- FIG. 2B shows a state between these two states.
- the information terminal 1a can input handwritten characters (flexible Display a in the figure) in a wide seamless display area and can display the information terminal 1a.
- the information terminal in a state where the display unit 2a is folded into three, the information terminal can be reduced in size and excellent in portability.
- FIG. 2B shows a case where a handwritten character (flexible Display a) is input to the curved display portion 1a. At this time, if the character is input beyond the curved portion, the character may be distorted. However, by using a touch panel system, which will be described later, even when a distorted character input is performed in this way, it can be recognized efficiently.
- a handwritten character flexible Display a
- FIG. 3 is a block diagram illustrating a configuration example of the touch panel system 10 used for the information terminal 1 and the information terminal 1a.
- the touch panel system 10 includes a display panel 20, a touch sensor 15, and a host 25.
- the display panel 20 includes a pixel unit 11, a gate driver 12, a source driver 13, a gate line 21, a source line 22, an I / F (interface) 18, and an NN (neural network) circuit 19.
- the pixel unit 11 includes a plurality of pixels 14 connected to the gate line 21 and the source line 22.
- the touch sensor 15 includes a sensing circuit 16 and an I / F 17.
- the host 25 has a CPU (Central Processing Unit) and has a function of supplying image data to the source driver 13 via the I / F 18.
- the host 25 may have a GPU (Graphics Processing Unit).
- the NN circuit 19 can perform learning or inference using a neural network. More specifically, learning or inference can be performed using a deep neural network, a convolutional neural network, a recursive neural network, a self-encoder, a deep Boltzmann machine, or a deep belief network.
- step S1 the user inputs handwritten characters to the touch sensor 15 (Input by handwriting, step S1).
- the sensing circuit 16 detects handwritten characters (image information) input to the touch sensor 15 and transmits them to the NN circuit 19. Further, the sensing circuit 16 notifies the host 25 through the I / F 17 that the touch has been performed (Touch sensing, step S2).
- the NN circuit 19 analyzes the pattern of the image information (Image information) and converts the image information into character information (Character recognition, step S3).
- Image information image information
- character information character information
- the above analysis is performed by inference using a neural network.
- the NN circuit 19 outputs the character information (Character information) to the source driver 13.
- the source driver 13 synthesizes the image data received from the host 25 and the character information received from the NN circuit 19 and displays them on the pixel unit 11 (Display of input characters, step S4).
- FIG. 5 is a conceptual diagram showing a data flow in the NN circuit 19.
- FIG. 5 constructs a neural network.
- the neural network shown in FIG. 5 has an input layer 31, an intermediate layer 32, and an output layer 33.
- the input layer 31 includes neurons 41_1 to 41_3, the intermediate layer 32 includes neurons 42_1 to 42_3, and the output layer 33 includes neurons 43_1 to 43_3.
- the number of intermediate layers is set to 1, and the number of neurons in each layer is set to 3.
- the present invention is not limited to this, and the NN circuit 19 has a necessary number according to the problem to be handled.
- An intermediate layer and neurons can be provided.
- f (x) is an activation function, and a sigmoid function, a threshold function, or the like can be used.
- the output of the neuron in each layer is a value obtained by calculating the activation function on the product-sum operation result of the output of the neuron in the previous layer and the weight coefficient.
- the connection between layers may be a total connection in which all neurons are connected, or a partial connection in which some neurons are connected.
- FIG. 5 shows an example in which image information representing the number “2” is input to the input layer 31 and a classification result representing “2” is output from the output layer 33.
- the NN circuit 19 is preferably formed on the same substrate as the pixel unit 11 using a technique such as a TFT (Thin Film Transistor). By doing so, the manufacturing cost of the NN circuit 19 can be reduced. Note that details of a substrate that can be used for the display panel 20 will be described in Embodiment 5 described later.
- the NN circuit 19 may be formed of an IC chip and provided on the display panel 20 using a mounting technology such as COG (Chip On Glass), COF (Chip On Film), or TAB (Tape Automated Bonding).
- the source driver 13 may be included in the IC chip.
- the NN circuit 19 may be included in the host 25 outside the display panel 20, but in that case, a delay occurs between the display panel 20 and the host 25, and the host 25 is connected after the touch sensor 15 receives an input. A time lag occurs until the input result is displayed on the pixel unit 11 via the route.
- the delay due to the wiring resistance is improved, and the responsiveness from input to display is improved. Moreover, since the number of wirings is also reduced, the power consumption of the touch panel system 10 is also reduced.
- FIG. 6 shows an example of module disassembly of the information terminal 1.
- the information terminal 1 includes the touch sensor 15, the display panel 20, the backlight unit 87, the frame 89, the printed circuit board 90, and the battery 91 between the upper cover 81 and the lower cover 92.
- the shapes and dimensions of the upper cover 81 and the lower cover 92 can be changed as appropriate in accordance with the sizes of the touch sensor 15 and the display panel 20.
- the backlight unit 87 has a light source 88.
- the light source 88 may be provided at the end of the backlight unit 87 and a light diffusing plate may be used.
- the display panel 20 uses a self-luminous display element such as an LED (Light Emitting Diode) or an organic EL (electroluminescence), the backlight unit 87 may be omitted.
- the frame 89 has a function as an electromagnetic shield for blocking electromagnetic waves generated by the operation of the printed circuit board 90.
- the frame 89 may have a function as a heat sink.
- the information terminal 1 may be additionally provided with a member such as a polarizing plate, a retardation plate, and a prism sheet.
- the printed circuit board 90 includes a power supply circuit, a signal processing circuit for outputting a video signal and a clock signal.
- the host 25 shown in FIG. 3 is provided on the printed circuit board 90.
- the power supply for supplying power to the power supply circuit may be an external commercial power supply or a power supply by the battery 91.
- the battery 91 can be omitted when a commercial power source is used.
- the touch sensor 15 can be used by being superimposed on the display panel 20.
- a resistive film type, a capacitance type, or an optical touch panel can be used.
- the touch sensor 15 can be included in the display panel 20 by providing the display panel 20 with the function of a touch sensor.
- the touch sensor 15 can be included in the display panel 20 by providing the counter substrate (sealing substrate) of the display panel 20 with a touch panel function.
- the touch sensor 15 can be included in the display panel 20 by providing a touch sensor electrode in each pixel of the display panel 20.
- the touch sensor 15 can be included in the display panel 20 by providing an optical sensor in each pixel of the display panel 20.
- the information terminal 1 may include an optical touch sensor including a light emitting unit, a light guide unit, and a light receiving unit around the display panel 20. In that case, the information terminal 1 detects a touch because the light passing through the light guide is blocked by the finger.
- an optical touch sensor including a light emitting unit, a light guide unit, and a light receiving unit around the display panel 20. In that case, the information terminal 1 detects a touch because the light passing through the light guide is blocked by the finger.
- the touch sensor 15 is connected with an FPC (Flexible Printed Circuit) 82 and an FPC 83
- the display panel 20 is connected with an FPC 82 and an FPC 84.
- the FPC 83 and the FPC 84 are connected to the printed circuit board 90.
- the FPC 82 enables electrical connection between the touch sensor 15 and the display panel 20
- the FPC 83 enables electrical connection between the touch sensor 15 and the printed circuit board 90
- the FPC 84 performs electrical connection between the display panel 20 and the printed circuit board 90. Enable. Note that when the touch sensor 15 is included in the display panel 20, the FPC 82 is not necessary.
- the neural network as shown in FIG. 5 is executed by a huge number of product-sum operations.
- the product-sum operation described above is preferably performed by an analog product-sum operation circuit (hereinafter referred to as APS (Analog Product-Sum circuit)), and the APS preferably has an analog memory.
- APS Analog Product-Sum circuit
- the APS can execute a product-sum operation with analog data.
- an APS can efficiently construct a neural network with a small number of transistors.
- an analog memory refers to a storage device capable of storing analog data.
- the analog data refers to data having a resolution of 3 bits (8 values) or more. Multi-value data is sometimes called analog data.
- an OS memory a memory using an OS transistor (hereinafter referred to as an OS memory) can be used.
- an OS memory is preferably used as the analog memory.
- the OS memory consumes less power when writing data than other nonvolatile memories such as flash memory, ReRAM, or MRAM. Further, unlike the flash memory and the ReRAM, the element is not deteriorated when data is written, and the number of times data can be written is not limited.
- OS-APS an analog product-sum operation circuit having an OS memory. Details of the OS-APS will be described in Embodiment 3 and Embodiment 4 described later.
- Learning by a neural network may be performed by the information terminal 1, may be performed by a large computer such as a dedicated server, or may be performed in parallel by a group of computers connected by a network such as a cloud.
- learning by a neural network is preferably performed by a large computer because of the large calculation scale.
- FIG. 7 shows an example in which learning is performed by the server 5.
- the server 5 can transmit the weighting coefficient determined by learning to the information terminal 1.
- the information terminal 1 can perform inference using the weighting coefficient received from the server 5 and can display, for example, Neua's a.
- the server 5 is preferably implemented with software capable of configuring the same neural network as the NN circuit 19. Moreover, it is preferable to have a processor with excellent arithmetic processing capability. By doing so, the information terminal 1 can receive the learning result of the server 5 more efficiently.
- a touch panel system capable of efficiently recognizing handwritten characters can be provided.
- the information terminal which can recognize a handwritten character efficiently can be provided.
- FIG. 8 is an external view showing a specification example of the image receiving device 60.
- the image receiving device 60 is a television and has a function of generating image data from a broadcast signal received by the antenna 64 and displaying an image. Further, the image receiving device 60 can communicate with a server 66 of the broadcasting station via the Internet line 65.
- Examples of the antenna 64 include a UHF (Ultra High Frequency) antenna, a BS / 110 ° CS antenna, and a CS antenna.
- UHF Ultra High Frequency
- communication with the server 66 may be performed using a telephone line or the like instead of the Internet line.
- the image receiving device 60 includes a display unit 61, and all or part of the display unit 61 functions as an input unit. The user can input information to the image receiving device 60 by touching the display unit 61.
- FIG. 8 shows a state in which the image receiving device 60 displays a quiz program being broadcast.
- the problem is displayed on the left side of the display unit 61, and the time limit and the input area 62 are displayed on the right side of the display unit 61.
- the user is required to input an answer by hand in the input area 62 within the time limit.
- the word that comes before the flower from the flower image is answered.
- the image receiving device 60 recognizes a handwritten character (sun in this case) input by the user and displays a recognition result (here sun) in the region 63.
- the time limit expires, the answer is transmitted to the broadcast station server 66 through the Internet line 65.
- FIG. 9 is a block diagram illustrating a configuration example of the touch panel system 70 used in the image receiving device 60.
- the touch panel system 70 includes a display panel 20, a touch sensor 15, a receiving circuit 76, a network I / F 71, and an antenna 64.
- the reception circuit 76 includes an encoder 72, an image processing circuit 73, a decoder 74, and an analog front end 75.
- the analog front end 75 has a function of receiving a broadcast signal input from the antenna 64.
- the decoder 74 has a function of expanding the broadcast signal according to the specifications of the broadcast standard and generating image data.
- Examples of the standard include H.264. H.264, H.C. 265 or the like.
- the image processing circuit 73 has a function of performing image processing on the expanded image data. For example, image processing such as noise removal, seam correction when the screen is divided, image color, fineness correction, dynamic range correction, image sharpening, and filter processing are performed. These image processes are preferably performed using a neural network.
- the image receiving device 60 can display an image that gives the user a more natural impression by image processing using a neural network.
- the encoder 72 has a function of extracting features from the image data subjected to the image processing and compressing the image data.
- the display panel 20 has a decoder 77.
- the decoder 77 is a decoder corresponding to the encoder 72 and has a function of restoring the image data compressed by the encoder 72.
- the encoder 72 and the decoder 77 preferably constitute an auto encoder.
- the encoder 72 has a function of extracting features from image data using a neural network and compressing the image data.
- the decoder 77 has a function of restoring image data from data compressed using a neural network.
- the image data restored by the decoder 77 is input to the source driver 13.
- the display panel 20 and the receiving circuit 76 are electrically connected using a cable such as an FPC.
- a cable such as an FPC.
- an FPC capable of high-speed transmission is required, but there is a limit to the transmission speed of the FPC.
- the physical distance of the cable connecting the receiving circuit 76 and the display panel 20 becomes longer, and the transmission loss of image data increases.
- the image receiving device 60 includes the encoder 72 and the decoder 77, so that the image data can be transmitted from the receiving circuit 76 to the display panel 20 in a compressed state (with a small data size). Therefore, the image receiving device 60 can efficiently transmit the image data to the display panel 20 even for image data having a high resolution such as 8K. Also, if the data size is small, the power required for transmission can be small, so the image receiving device 60 can reduce power consumption.
- the network I / F 71 has a function as an I / F that connects the image receiving device 60 and the Internet line.
- the NN circuit 19 in FIG. 9 can perform learning or inference using a neural network.
- a pattern of image information input by a user by hand is analyzed, and the image information is converted into character information.
- the above analysis is performed by inference using a neural network.
- the character information (answer of the quiz in FIG. 8) is displayed on the pixel unit 11 via the source driver 13 and transmitted to the server of the broadcasting station via the network I / F.
- the NN circuit 19 in FIG. 9 preferably has an analog product-sum operation circuit (APS). It is particularly preferable to have an analog product-sum operation circuit (OS-APS) having an OS memory.
- OS-APS can efficiently execute the product-sum operation process with a small number of transistors. In addition, the product-sum operation process can be executed with less power consumption.
- the decoder 77, the encoder 72, and the image processing circuit 73 can also construct a neural network using OS-APS.
- the decoder 74 performs product-sum operation processing such as discrete cosine transform when decompressing image data.
- product-sum operation processing such as discrete cosine transform when decompressing image data.
- OS-APS may be used for the product-sum operation processing.
- the description of the touch panel system 10 described in the first embodiment may be referred to.
- a touch panel system capable of efficiently recognizing handwritten characters can be provided.
- an image receiving apparatus that can efficiently recognize handwritten characters.
- the operation of the neural network includes the product-sum operation of the output of the neuron and the weighting coefficient stored in the synapse.
- FIG. 10 is a schematic diagram of a neural network.
- the neural network NN illustrated in FIG. 10 includes neuron groups N1 and N2 each including a plurality of neurons, and a synapse SNP in which a weight coefficient between the neurons is stored.
- the neuron group N1 corresponds to an input layer or an intermediate layer
- the neuron group N2 corresponds to an intermediate layer or an output layer.
- the signal output from the neuron group N1 is input to the neuron group N2 via the synapse SNP.
- FIG. 11 shows a specific configuration example of the neural network NN.
- the outputs of the plurality of neurons N 1 having the neuron population N1 via synaptic SNP, are input to a plurality of neurons N 2 having the neuron population N2.
- white circles between neurons represent synapse SNPs.
- Synaptic SNP between groups of neurons N1 and neuron population N2 performs the output of the neuron N 1, multiplies the weight coefficient, and outputting a neuron N 2.
- a signal output from the neuron group N1 is multiplied by a weighting factor by a synapse SNP. That is, the synapse SNP has a function of performing multiplication (MUL).
- MUL multiplication
- the weighting factor is stored in advance in the synapse SNP.
- the signals output from the plurality of synapse SNPs are input to the neuron group N2.
- Each neuron included in the neuron group N2 has a function of calculating the sum of signals input from a plurality of synapse SNPs. That is, the neuron has a function of performing addition (ADD). In this way, product-sum operation (MAD) is performed by synapses and neurons. Then, the signal obtained by the product-sum operation is converted based on the activation function and then output to another neuron.
- ADD addition
- product-sum operation MAD
- the signal obtained by the product-sum operation is converted based on the activation function and then output to another neuron.
- the synapse SNP has a function as an arithmetic circuit that multiplies the output of a neuron and a weighting coefficient, and a function as a memory that stores a weighting coefficient. Therefore, when the neural network NN is configured by hardware, a synapse can be configured by using an arithmetic circuit and a memory. However, if the arithmetic circuit and the memory are formed separately, the circuit scale increases. In addition, each time multiplication is performed, access to the memory is required, which increases power consumption.
- a synapse is formed by a circuit in which a transistor (hereinafter referred to as a Si transistor) using silicon (eg, single crystal silicon) in a channel formation region and an OS transistor are combined.
- a Si transistor a transistor using silicon (eg, single crystal silicon) in a channel formation region and an OS transistor are combined.
- OS-APS analog product-sum operation circuit
- An APS (analog product-sum operation circuit) 50 illustrated in FIG. 12 includes a memory cell array 51, a circuit 52, a circuit 53, and a circuit 54.
- VDD represents a high power supply potential
- VSS represents a low power supply potential.
- the memory cell array 51 includes memory cells MC [1,1] to MC [i, j] arranged in a matrix of i rows and j columns (i and j are integers of 1 or more) and memories arranged in one column.
- Cells MC_R [1] to MC_R [i] are included.
- the memory cell MC and the memory cell MC_R have a function of holding analog data.
- the memory cells MC_R [1] to MC_R [i] have a function as reference memory cells.
- the symbol represents an unspecified one of the array elements.
- the memory cell MC represents one unspecified memory cell among the memory cells MC [1, 1] to MC [i, j].
- the memory cell MC has a function of performing multiplication and a function of storing a weighting coefficient. That is, the memory cell MC has a function as a synapse.
- the memory cell MC and the memory cell MC_R each include a transistor M01, a transistor M02, and a capacitor C0.
- the gate of the transistor M01 is referred to as a node NM.
- the gate of the transistor M01 is referred to as a node NM_R.
- the memory cell MC_R [i] on / off of the transistor M02 is controlled by a signal WW [i].
- the signal BW_R is written to the node NM_R [i] through the transistor M02, and the signal VX [i] is written to the node NM_R [i] through the capacitor C0.
- the transistor M01 passes a current IM_R [i] in accordance with the potential of the node NM_R [i].
- an OS transistor is preferably used as the transistor M02. Since the off-state current of the OS transistor is extremely low, the memory cell MC can hold the potential (analog data) of the node NM by turning off the transistor M02.
- an OS transistor is preferably used as the transistor M02.
- the memory cell MC_R can hold the potential (analog data) of the node NM_R.
- the transistor M01 there is no particular limitation on the transistor that can be used as the transistor M01.
- a Si transistor can be used as the transistor M01.
- the transistor M02 can be stacked above the transistor M01, and a synapse as illustrated in FIG. 10 can be configured.
- the circuit 54 includes circuits CSC [1] to CSC [j] and a circuit CSC_R.
- the circuits CSC and CSC_R include a transistor M11, a transistor M12, and a capacitor C1.
- circuit CSC On / off of the transistor M12 is controlled by a signal CSCS.
- the signal BCSC is written to the gate of the transistor M11 and one terminal of the capacitor C1 through the transistor M12.
- the circuit CSC [j] functions as a current source for the memory cells MC [1, j] to MC [i, j], and flows a current ICSC [j].
- circuit CSC_R On / off of the transistor M12 is controlled by a signal CSCS.
- the signal BCSC_R is written to the gate of the transistor M11 and one terminal of the capacitor C1 through the transistor M12.
- the circuit CSC_R functions as a current source for the memory cells MC_R [1] to MC_R [i], and flows a current ICSC_R.
- the transistor M12 is preferably an OS transistor. Since the off-state current of the OS transistor is extremely low, the circuit CSC can hold the potential (analog data) of the gate of the transistor M11 by turning off the transistor M12.
- an OS transistor is preferably used as the transistor M12. By turning off the transistor M12, the circuit CSC_R can hold the potential (analog data) of the gate of the transistor M11.
- the circuit 52 includes circuits CSK [1] to CSK [j].
- the circuit CSK has a function as a current sink circuit.
- the circuit CSK includes a transistor M21, a transistor M22, a transistor M23, and a capacitor C2. On / off of the transistor M22 is controlled by a signal CSKS, and on / off of the transistor M23 is controlled by a signal CSKR.
- the transistor M22 and the transistor M23 are preferably OS transistors. Since the off-state current of the OS transistor is extremely low, the circuit CSK can hold the gate potential (analog data) of the transistor M21 by turning off the transistor M22 and the transistor M23.
- the wiring BL_R is electrically connected to the memory cells MC_R [1] to MC_R [i] and the circuit CSC_R.
- the wiring BL [j] is electrically connected to the memory cells MC [1, j] to MC [i, j], the circuit CSC [j], and the circuit CSK [j].
- the circuit 53 functions as a current mirror circuit and has a function of copying the current flowing through the wiring BL_R to the wirings BL [1] to BL [j].
- the memory cell MC has a function of holding a potential corresponding to the weight coefficient (W).
- W weight coefficient
- the transistor M01 By applying a potential corresponding to the multiplicand (X) to the signal line VX [i], the transistor M01 causes a current IM corresponding to the product of W and X to flow.
- the APS 50 detects the sum of the current IM (current IWX), thereby executing an analog product-sum operation.
- the memory cell MC can be configured with a small number of elements as shown in FIG. Therefore, the multiplication circuit and the memory can be realized with a relatively simple configuration, and the circuit scale of the neural network NN can be reduced.
- the timing chart shown in FIG. 13 represents an example of the operation of the APS 50.
- FIG. 13 is divided into periods P1 to P4 in order to represent the operation timing.
- period P1 charge is written to the circuit CSC.
- period P2 data corresponding to the weighting factor is written into the memory cell MC.
- period P3 a charge capable of causing an offset current to flow into the circuit CSK is written.
- the result of the analog product-sum operation is output as the current IWX [j] in accordance with the potential of the signal VX [i].
- All transistors used in the APS 50 are n-channel transistors. Therefore, the APS 50 does not need to make an n-channel type and a p-channel type separately, and can greatly reduce the manufacturing cost.
- the APS 50 can be composed of only OS transistors. For example, in the case where the pixel portion 11 in FIGS. 3 and 9 is configured by an OS transistor, the NN circuit 19 and the pixel portion 11 can be manufactured in the same manufacturing process. That is, the pixel portion 11 and the NN circuit 19 can be simultaneously manufactured on the same substrate. As a result, the manufacturing cost of the display panel can be significantly reduced.
- the OS transistor can be manufactured over a large glass substrate, a large-scale product-sum operation circuit can be manufactured.
- a semiconductor device capable of efficiently performing a product-sum operation can be provided.
- Embodiment 4 a specific example of an analog product-sum operation circuit (OS-APS) using the OS memory described in the above embodiment is described with reference to FIGS. In this embodiment, an example different from the analog product-sum operation circuit described in Embodiment 3 will be described.
- the gate indicates a front gate unless otherwise specified.
- FIG. 14 is a diagram illustrating an example of the configuration of an APS (analog product-sum operation circuit) 100.
- the APS 100 includes a current source circuit 130, a memory cell array 120, and an offset circuit 110.
- the current source circuit 130 includes n column output circuits OUT and a reference column output circuit CREF in the row direction.
- the memory cell array 120 includes m ⁇ n memory cells MEM arranged in a matrix of m in the column direction and n in the row direction, and m reference memory cells REF in the column direction.
- the offset circuit 110 has n column input circuits OM in the row direction.
- n is an integer greater than 1
- m is an integer greater than 1.
- I is an integer of 1 to m-1
- j is an integer of 1 to n-1.
- a memory cell arranged in the i-th row and the j-th column is described as MEM [i, j].
- a part of the column output circuit OUT can function as the constant current circuit 131a, and a part of the reference column output circuit can function as the constant current circuit 131b.
- the other part of each column output circuit OUT and the other part of the reference column output circuit CREF can function as a current mirror.
- the signal line B [j] and the signal line B [j + 1] electrically connected to the constant current circuit 131a of the column output circuit OUT are the memory cell MEM in the [j] column and the memory cell MEM in the [j + 1] column, respectively. Electrically connected.
- the signal line BREF electrically connected to the constant current circuit 131b of the reference column output circuit CREF is electrically connected to the reference memory cell REF.
- the column input circuit OM [j] and the column input circuit OM [j + 1] included in the offset circuit 110 are a transistor 111, a transistor 112, a transistor 113, a capacitor 114, a resistor 115, and a holding node O [j] or a holding node, respectively.
- the offset circuit 110 includes a signal line ORP, a signal line OR, a signal line OB, a signal line OREF, and a signal line VO that serves as an output terminal.
- the column input circuit OM [j] and the column input circuit OM [j + 1] are connected to the memory cell MEM in the column [j] and the column [j + 1] through the signal line B [j] and the signal line B [j + 1], respectively. It is electrically connected to the memory cell MEM.
- the first terminal of the transistor 111 is electrically connected to OPR [j]
- the gate of the transistor 111 is electrically connected to the signal line OR
- the second terminal of the transistor 111 is a transistor
- VDD (which may be referred to as a high power supply potential, a first power supply potential, or the like) is supplied to the first terminal of the transistor 112
- the second terminal of the transistor 112 serves as the first terminal and the output terminal of the transistor 113. It is electrically connected to the signal line VO [j].
- the gate of the transistor 113 is electrically connected to the signal line OB, and VSS (which may be referred to as a low power supply potential, a second potential of the power supply, or the like) is applied to the second terminal of the transistor 113.
- VSS which may be referred to as a low power supply potential, a second potential of the power supply, or the like
- a second terminal of the capacitor 114 is electrically connected to the signal line B [j] and the first terminal of the resistor 115.
- a second terminal of the resistance element 115 is electrically connected to the signal line OREF.
- a node electrically connected to the second terminal of the transistor 111, the gate of the transistor 112, and the first terminal of the capacitor 114 may be referred to as a holding node O [j].
- the first terminal of the transistor 111 is electrically connected to OPR [j + 1]
- the gate of the transistor 111 is electrically connected to the signal line OR, and the second terminal of the transistor 111 is connected.
- the terminal is electrically connected to the gate of the transistor 112 and the first terminal of the capacitor 114.
- VDD (which may be referred to as a high power supply potential, a first power supply potential, or the like) is supplied to the first terminal of the transistor 112, and the second terminal of the transistor 112 serves as the first terminal and the output terminal of the transistor 113. It is electrically connected to the signal line VO [j + 1].
- the gate of the transistor 113 is electrically connected to the signal line OB, and VSS (which may be referred to as a low power supply potential, a second potential of the power supply, or the like) is applied to the second terminal of the transistor 113.
- VSS which may be referred to as a low power supply potential, a second potential of the power supply, or the like
- a second terminal of the capacitor 114 is electrically connected to the signal line B [j + 1] and the first terminal of the resistor 115.
- a second terminal of the resistance element 115 is electrically connected to the signal line OREF.
- a node electrically connected to the second terminal of the transistor 111, the gate of the transistor 112, and the first terminal of the capacitor 114 may be referred to as a holding node O [j + 1].
- a control signal can be supplied from the signal line OR.
- preset potentials of the holding node O [j] and the holding node O [j + 1] can be supplied from the signal line OPR [j] and the signal line OPR [j + 1], respectively.
- a bias potential for operating the transistor 113 as a constant current source can be supplied from the signal line OB.
- a reference potential for performing current-voltage conversion by the resistance element 115 can be supplied from the signal line OREF.
- potentials representing the results of product-sum operations on the column [j] and the column [j + 1] can be output from the signal line VO [j] and the signal line VO [j + 1], respectively.
- the memory cell array 120 can function as an analog memory.
- the memory cell array 120 is not limited to the configuration of FIG. Any other configuration may be used as long as it can function as an analog memory.
- the memory cell array 120 illustrated in FIG. 15 includes the memory cell MEM [i, j], the memory cell MEM [i, j + 1], the memory cell MEM [i + 1, j], and the memory cell MEM [i + 1, j + 1]. .
- the memory cell array 120 includes a reference memory cell REF [i] and a reference memory cell REF [i + 1].
- the memory cells MEM [i, j] to MEM [i + 1, j + 1] are respectively connected to the power supply line VR, the signal line WD [j] or the signal line WD [j + 1], the signal line RW [i], or the signal line RW [i + 1]. ], The signal line WW [i] or the signal line WW [i + 1].
- the signal line B [j] and the signal line B [j + 1] are electrically connected.
- the reference memory cells REF [i] and REF [i + 1] have a power supply line VR, a reference signal line WDREF, a signal line RW [i] or a signal line RW [i + 1], a signal line WW [i], or a signal line WW, respectively. [I + 1]. Further, it is electrically connected to the signal line BREF.
- the memory cells MEM [i, j] to MEM [i + 1, j + 1] and the reference memory cells REF [i] and REF [i + 1] each include a transistor 123, a transistor 124, and a capacitor 125.
- the first terminal of the transistor 123 is electrically connected to the signal line WD [j], and the gate of the transistor 123 is electrically connected to the signal line WW [j].
- the second terminal of 123 is electrically connected to the first terminal of the capacitor 125 and the gate of the transistor 124.
- a first terminal of the transistor 124 is electrically connected to the power supply line VR, and a second terminal of the transistor 124 is electrically connected to the signal line B [j].
- a second terminal of the capacitor 125 is electrically connected to the signal line RW [i].
- a node electrically connected to the second terminal of the transistor 123, the first terminal of the capacitor 125, and the gate of the transistor 124 is referred to as a charge holding node N [i, j]. There is.
- a potential (here, a low potential) can be supplied from the power supply line VR.
- Control signals can be supplied from the signal line WW [i], the signal line WW [i + 1], the signal line RW [i], and the signal line RW [i + 1], respectively.
- Data signals can be supplied from the signal line WD [j] and the signal line WD [j + 1], respectively.
- a current corresponding to the data in the memory cells in each column can be output to the signal line B [j] and the signal line B [j + 1].
- a current corresponding to the data in the reference memory cell can be output to the signal line BREF.
- a current (sucked current) flowing through the transistor 124 included in the memory cell MEM [i, j] is referred to as I [i, j].
- the current flowing through the transistor 124 included in the memory cell MEM [i, j + 1] is I [i, j + 1]
- the current flowing through the transistor 124 included in the memory cell MEM [i + 1, j] is I [i + 1, j]
- the memory A current flowing through the transistor 124 included in the cell MEM [i + 1, j + 1] is I [i + 1, j + 1].
- the current flowing through the transistor 124 included in the reference memory cell REF [i] is IREF [i]
- the current flowing through the transistor 124 included in the reference memory cell REF [i + 1] is IREF [i + 1].
- FIG. 15 The description of FIG. 15 and the description of the memory cell MEM [i, j] can be referred to for electrical connection, functions, and the like in other memory cells.
- the current source circuit 130 includes the column output circuit OUT [j], the column output circuit OUT [j + 1], and the reference column output circuit CREF.
- the current source circuit 130 includes a constant current circuit 131a, a constant current circuit 131b, and a current mirror.
- the column output circuit OUT [j] and the column output circuit OUT [j + 1] each include a transistor 132, a transistor 133, a transistor 134, a capacitor 135, and a node NG [j] or a node NG [j + 1].
- the transistor 132 is a dual-gate transistor. In the case of a dual-gate transistor, one gate may be referred to as a first gate, a front gate, or simply a gate, and the other gate may be referred to as a second gate or a back gate.
- the reference column output circuit CREF includes a transistor 136, a transistor 137, a transistor 138, and a capacitor 139.
- the transistor 136 is a dual-gate transistor.
- the column output circuit OUT [j] and the column output circuit OUT [j + 1] include the signal line GW, the signal line FG [j], the signal line FG [j + 1], the signal line B [j], and the signal line B [j + 1]. Have.
- the reference column output circuit CREF includes a signal line GW, a signal line FGREF, and a signal line BREF.
- the front gate of the transistor 132 is electrically connected to the first terminal of the transistor 133 and the first terminal of the capacitor 135.
- the back gate of the transistor 132 is electrically connected to the first terminal of the transistor 132, the second terminal of the capacitor 135, the first terminal of the transistor 134, and the signal line B [j].
- VDD is supplied to the second terminal of the transistor 132.
- the gate of the transistor 133 is electrically connected to the signal line GW, and the second terminal of the transistor 133 is electrically connected to the signal line FG [j].
- the gate of the transistor 134 is the gate of the transistor 134 of the column output circuit OUT [j + 1], the gate of the transistor 138 of the reference column output circuit CREF, the signal line BREF, the first terminal of the transistor 138, the back gate of the transistor 136, and the gate of the transistor 136.
- the second terminal is electrically connected to the second terminal of the capacitor 139.
- VSS is supplied to the second terminal of the transistor 134.
- a node electrically connected to the front gate of the transistor 132, the first terminal of the transistor 133, and the first terminal of the capacitor 135 may be referred to as a node NG [j].
- the front gate of the transistor 132 is electrically connected to the first terminal of the transistor 133 and the first terminal of the capacitor 135.
- the back gate of the transistor 132 is electrically connected to the first terminal of the transistor 132, the second terminal of the capacitor 135, the first terminal of the transistor 134, and the signal line B [j + 1].
- VDD is supplied to the second terminal of the transistor 132.
- the gate of the transistor 133 is electrically connected to the signal line GW, and the second terminal of the transistor 133 is electrically connected to the signal line FG [j + 1].
- VSS is supplied to the second terminal of the transistor 134.
- a node electrically connected to the front gate of the transistor 132, the first terminal of the transistor 133, and the first terminal of the capacitor 135 may be referred to as a node NG [j + 1].
- the front gate of the transistor 136 is electrically connected to the first terminal of the transistor 137 and the first terminal of the capacitor 139.
- the back gate of the transistor 136 includes the first terminal of the transistor 136, the second terminal of the capacitor 139, the gate of the transistor 138, the first terminal of the transistor 138, the column output circuit OUT [j], and the column output circuit OUT.
- the gate of the transistor 134 of [j + 1] is electrically connected to the signal line BREF.
- VDD is supplied to the second terminal of the transistor 136.
- the gate of the transistor 137 is electrically connected to the signal line GW, and the second terminal of the transistor 137 is electrically connected to the signal line FGREF.
- VSS is applied to the second terminal of the transistor 138.
- a node electrically connected to the front gate of the transistor 136, the first terminal of the transistor 137, and the first terminal of the capacitor 139 may be referred to as NGREF.
- a control signal can be supplied from the signal line GW.
- the signal line GW is set to “H”
- the transistor 133 of the column output circuit OUT [j] the transistor 133 of the column output circuit OUT [j + 1]
- the transistor 137 of the reference column output circuit CREF are turned on.
- the front gate that is, the node NG [j] of the transistor 132 of the column output circuit OUT [j] and the column output circuit OUT [j + 1], respectively.
- a current IREF corresponding to the sum of a current (sinking current) ICM flowing through the transistor 138 and a current (discharged current) ICREF flowing through the transistor 136 can be passed through the signal line BREF.
- the source potential of the transistor 136 is determined so that the current IREF is equal to the sum of the currents (currents to be drawn) IREF [i] and IREF [i + 1] flowing through the transistor 124 included in the reference memory cell REF. Further, by making the transistor size (channel length and channel width) of the transistor 134 equal to the transistor size of the transistor 138, the current flowing into the transistor 134 (sucked current) can be ICM.
- the transistor 134 of the column output circuit OUT [j] and the column output circuit OUT [j + 1] and the transistor 138 of the reference column output circuit CREF form a current mirror, the signal line B [j] and the signal line B [j + 1] And the current of the same value can be passed through the signal line FGREF.
- the APS 100 does not need to make an n-channel type and a p-channel type separately, and can greatly reduce the manufacturing cost.
- the APS 100 can be composed of only OS transistors.
- the NN circuit 19 and the pixel portion 11 can be manufactured in the same manufacturing process. That is, the pixel portion 11 and the NN circuit 19 can be simultaneously manufactured on the same substrate. As a result, the manufacturing cost of the display panel can be significantly reduced.
- the OS transistor can be manufactured over a large glass substrate, a large-scale product-sum operation circuit can be manufactured.
- the current source circuit 130 included in the APS 100 is not limited to the configuration shown in FIG.
- the current source circuit 130 may be configured using a p-channel transistor.
- FIG. 17 shows a configuration example of the current source circuit 130 using p-channel transistors.
- the column output circuit OUT [j] and the column output circuit OUT [j + 1] each include a p-channel transistor 140.
- the reference column output circuit CREF has a p-channel transistor 141.
- the column output circuit OUT [j] and the column output circuit OUT [j + 1] include a signal line B [j] and a signal line B [j + 1].
- the reference column output circuit CREF has a signal line BREF.
- the gate of the transistor 140 is the gate of the transistor 140 of the column output circuit OUT [j + 1], the gate of the transistor 141 of the reference column output circuit CREF, the first terminal of the transistor 141, and the signal line BREF. Electrically connected.
- a first terminal of the transistor 140 is electrically connected to the signal line B [j].
- VDD is supplied to the second terminal of the transistor 140.
- the transistor 140 can function as a constant current circuit.
- the first terminal of the transistor 140 is electrically connected to the signal line B [j + 1].
- VDD is supplied to the second terminal of the transistor 140.
- the gate of the transistor 141 is electrically connected to the first terminal of the transistor 141, the signal line BREF, the column output circuit OUT [j], and the gate of the transistor 140 of the column output circuit OUT [j + 1]. Connected to. VDD is supplied to the second terminal of the transistor 141.
- the transistor 141 can function as a constant current circuit.
- the transistor 140 of the column output circuit OUT [j] and the column output circuit OUT [j + 1] and the transistor 141 of the reference column output circuit CREF constitute a current mirror and function as a constant current circuit, respectively, the signal line B [j]
- the current of the same value can be supplied to the signal line B [j + 1] and the signal line BREF.
- the configuration of the current source circuit 130 is not limited to FIGS. 16 and 17, and may be other configurations as long as it can function as a constant current circuit.
- nodes NG [j] and NG [j + 1] electrically connected to the gates of the transistor 132 and the transistor 136 in order to operate the transistor 132 and the transistor 136 as current sources. This corresponds to the operation of applying a voltage to NGREF.
- Time T03 to time T06 correspond to the operation of storing the first analog data in each memory cell.
- Times T07 to T08 correspond to an operation of setting a preset potential in the column input circuit of the offset circuit.
- the power supply line VR has a low potential
- the power supply line VDD has a high potential
- the power supply line VSS has a low potential
- the transistor 112 the transistor 113, the transistor 124, the transistor 132, the transistor 134, the transistor 136, and the transistor 138 operate in a saturation region unless otherwise specified. That is, the gate voltage, the source voltage, and the drain voltage of the transistor are appropriately biased to voltages in a range that operates in the saturation region. Note that even if the operation of the transistor is deviated from the operation in the ideal saturation region, the gate voltage, the source voltage, and the drain voltage of the transistor can be used as long as the accuracy of the output data can be obtained within a desired range. Are considered appropriately biased.
- an OS transistor is preferably used as the other transistors, that is, the transistor 111, the transistor 123, the transistor 133, and the transistor 137. Since the off-state current of the OS transistors is extremely low, these transistors can function as ideal switches. Therefore, the potential stored in the capacitor 114, the capacitor 125, the capacitor 135, and the capacitor 139 can be held for a long time.
- the current I, the current IREF, and the current ICM at times T03 to T08 are respectively represented as a current I0, a current IREF0, and a current ICM0. Further, the current flowing through the signal line B from time T03 to T08 is represented as a current IOF.
- the potential of the signal line GW is “H”
- the potential of the signal line FG [j] is VG [j]
- the potential of the signal line FG [j + 1] is VG [j + 1]
- the signal line FGREF When the potential is VGREF, the potentials of the nodes NG [j], NG [j + 1], and NGREF are VG [j], VG [j + 1], and VGREF, respectively.
- VG [j], VG [j + 1], and VGREF are potentials for causing the transistor 132 and the transistor 136 to operate normally.
- the signal line WW [i] is “H”
- the signal line WW [i + 1] is “L”
- the potential of the signal line WD [j] is VPR ⁇ VX [i, j]
- the signal line WD The potential of [j + 1] is VPR-VX [i, j + 1]
- the potential of the signal line WDREF is VPR
- the potential of the signal line RW [i] is the reference potential
- the potential of the signal line RW [i + 1] is the reference potential.
- VPR-VX [i, j] the potential of the charge holding node N [i, j + 1] is VPR-VX [i, j + 1]
- the charge holding node NREF [ The potential of i] is set to VPR.
- VX [i, j] and VX [i, j + 1] are potentials respectively corresponding to a plurality of first analog data.
- the signal line WW [i] is “L”
- the signal line WW [i + 1] is “H”
- the potential of the signal line WD [j] is VPR ⁇ VX [i + 1, j]
- the signal line WD The potential of [j + 1] is VPR-VX [i + 1, j + 1]
- the potential of the signal line WDREF is VPR
- the potential of the signal line RW [i] is the reference potential
- the potential of the signal line RW [i + 1] is the reference potential.
- VPR-VX [i + 1, j] the potential of the charge holding node N [i + 1, j + 1] is VPR-VX [i + 1, j + 1]
- VPR-VX [i + 1, j + 1] the potential of the charge holding node N [i + 1, j + 1] is VPR-VX [i + 1, j + 1]
- the charge holding node NREF [ The potential of i + 1] is set to VPR.
- VX [i + 1, j] and VX [i + 1, j + 1] are potentials respectively corresponding to a plurality of first analog data.
- k is a coefficient
- Vth is a threshold voltage of the transistor 124.
- the gate potential of the transistor 138 is set so that Here, since the transistor 134 and the transistor 138 form a current mirror, the current ICM0 also flows through the transistor 134.
- the transistor 113 operates as a constant current source when an appropriate bias potential is supplied to the gate from the signal line OB. Since the transistor 112 operates as a source follower, the signal line VO [j] and the signal line VO [j + 1] ], Output voltage VOPR [j] -Vtho and output voltage VOPR [j + 1] -Vtho are output. Note that Vtho is a threshold value of the transistor 112. Therefore, the initial value of the output voltage can be made constant regardless of the value of the initial value IOF [j] of the output current.
- the potential of the signal line RW [i] is set to a potential higher by VW [i] than the reference potential (hereinafter, the potential of the signal line RW [i] is VW [i]. i])).
- VW [i] is a potential corresponding to the second analog data. Note that since the potential of the signal line RW [i] is superimposed on the gate potential of the transistor 124 through the capacitor 125, the potential change of the signal line RW [i] does not directly increase the gate potential of the transistor 124. .
- a potential change obtained by multiplying the potential change of the signal line RW [i] by a capacitance coupling coefficient that can be calculated from the capacitance of the capacitor 125, the gate capacitance of the transistor 124, and the parasitic capacitance increases the gate potential of the transistor 124. Minutes.
- the potential multiplied by the capacitive coupling capacitance coefficient is VW [i]
- the potential actually supplied to the signal line RW [i] uses the capacitive coupling capacitance coefficient. It may be converted as appropriate.
- the transistor 134 and the transistor 138 form a current mirror, the current ICM also flows through the transistor 134.
- the currents (currents discharged) IC [j] and ICREF flowing in the transistor 132 and the transistor 136 may be different as long as they are constant. That is, the signal line FG [j], the signal line B [j + 1], and the signal line FGREF can be set to independent voltages, and the transistor 132 and the transistor 136 can function as constant current sources for supplying an optimum constant current.
- the potentials of the signal line B [j] and the signal line B [j + 1] are R ⁇ ⁇ I [j], R ⁇ ⁇ I [j + 1], R, when the resistance value of the resistance element 115 is R. That is, according to the equation (8), only 2 kR ⁇ (VW [i] ⁇ VX [i, j]) and kR ⁇ (VW [i] ⁇ VX [i, j + 1]) are changed.
- the potentials of the output signal line VO [j] and the output signal line VO [j + 1] are VOPR [j] ⁇ Vtho + CC ⁇ kR ⁇ (VW [i] ⁇ VX [i , J]), VOPR [j + 1] ⁇ Vtho + CC ⁇ kR ⁇ (VW [i] ⁇ VX [i, j + 1]), and VOPR [j] ⁇ Vtho and VOPR [j + 1] ⁇ Vtho are set to “0”.
- VOPR [j] and VOPR [j + 1] can be adjusted within a range in which the transistor 112 operates as a source follower, and can be directly used as an input signal of a circuit in the next stage. That is, offset cancellation and current-voltage conversion are possible at the same time.
- the output current of the memory cell MEM is converted into a voltage and applied to the first terminal of the capacitor 114 included in the offset circuit 110.
- the potential of the second terminal (that is, the node O) of the capacitor 114 can be canceled by offsetting the initial value of the output current by first writing a certain initial value and then setting it as a floating node. Therefore, only the difference from the initial value of the output current can be converted into a voltage and output.
- the output can be set to a certain initial value regardless of the potential representing the weighting coefficient written in each memory cell. Therefore, the product-sum operation can be performed with high accuracy.
- the APS 100 described in this embodiment can perform product-sum operation and current-voltage conversion with almost the same number of elements as compared with the APS 50 described in the third embodiment, with the addition of resistance elements. It is. Therefore, there is little possibility that the area of the board required for the product-sum operation circuit increases, and the productivity is good.
- a semiconductor device capable of efficiently performing a product-sum operation can be provided.
- Embodiment 5 In this embodiment, details of the display panel 20 described in Embodiment 1 will be described.
- a pixel 14 illustrated in FIG. 19A includes a transistor 3431, a capacitor 3233, and a liquid crystal element 3432.
- One of a source electrode and a drain electrode of the transistor 3431 is electrically connected to the source line 22 and the other is electrically connected to a node 3436.
- a gate electrode of the transistor 3431 is electrically connected to the gate line 21.
- the transistor 3431 has a function of controlling writing of a data signal to the node 3436.
- capacitor line CL a wiring to which a specific potential is supplied
- the potential of the capacitor line CL is appropriately set according to the specifications of the pixel 14.
- the capacitor 3233 has a function of holding data written to the node 3436.
- One of the pair of electrodes of the liquid crystal element 3432 is supplied with a common potential (common potential), and the other is electrically connected to the node 3436.
- the alignment state of the liquid crystal included in the liquid crystal element 3432 is determined by the potential written to the node 3436.
- a TN mode for example, a TN mode, an STN mode, a VA mode, an ASM (Axial Symmetrical Aligned Micro-cell) mode, an OCB (Optically Compensated Birefringence) mode, and an FLC (Ferroelectric ALC).
- a Crystal) mode for example, an MVA mode, a PVA (Patterned Vertical Alignment) mode, an IPS mode, an FFS mode, or a TBA (Transverse Bend Alignment) mode may be used.
- ECB Electrode Controlled Birefringence
- PDLC Polymer Dispersed Liquid Crystal
- PNLC Polymer Network Liquid Crystal
- a pixel 14 illustrated in FIG. 19B includes a transistor 3431, a capacitor 3233, a transistor 3232, and a light-emitting element 3125.
- One of a source electrode and a drain electrode of the transistor 3431 is electrically connected to the source line 22 to which a data signal is supplied, and the other is electrically connected to a node 3435.
- the gate electrode of the transistor 3431 is electrically connected to the gate line 21 to which a gate signal is supplied.
- the transistor 3431 has a function of controlling writing of a data signal to the node 3435.
- One of the pair of electrodes of the capacitor 3233 is electrically connected to the node 3435 and the other is electrically connected to the node 3437.
- the capacitor 3233 functions as a storage capacitor that stores data written to the node 3435.
- One of a source electrode and a drain electrode of the transistor 3232 is electrically connected to the potential supply line VL_a, and the other is electrically connected to a node 3437.
- a gate electrode of the transistor 3232 is electrically connected to the node 3435.
- the transistor 3232 has a function of controlling current flowing to the light-emitting element 3125.
- One of an anode and a cathode of the light-emitting element 3125 is electrically connected to the potential supply line VL_b, and the other is electrically connected to a node 3437.
- the light emitting element 3125 for example, an organic EL element or the like can be used. However, it is not limited to this, For example, you may use the inorganic EL element which consists of inorganic materials.
- the potential supply line VL_a has a function of supplying VDD.
- the potential supply line VL_b has a function of supplying VSS.
- a display panel 20 illustrated in FIGS. 20A and 20B includes an electrode 4015, and the electrode 4015 is electrically connected to a terminal included in the FPC 4018 through an anisotropic conductive layer 4019.
- the electrode 4015 is electrically connected to the wiring 4014 in an opening formed in the insulating layer 4112, the insulating layer 4111, and the insulating layer 4110.
- the electrode 4015 is formed from the same conductive layer as the first electrode layer 4030.
- the pixel 14 provided over the first substrate 4001 includes a transistor.
- FIG. 20A illustrates a transistor 3431 included in the pixel 14, and
- FIG. 20B illustrates the pixel 14.
- the included transistor 3232 is illustrated.
- the transistors 3431 and 3232 are provided over the insulating layer 4102.
- the transistors 3431 and 3232 each include an electrode 517 formed over the insulating layer 4102, and the insulating layer 4103 is formed over the electrode 517.
- a semiconductor layer 512 is formed over the insulating layer 4103.
- An electrode 510 and an electrode 511 are formed over the semiconductor layer 512, an insulating layer 4110 and an insulating layer 4111 are formed over the electrode 510 and the electrode 511, and an electrode 516 is formed over the insulating layer 4110 and the insulating layer 4111.
- the electrode 510 and the electrode 511 are formed using the same conductive layer as the wiring 4014.
- the electrode 517 functions as a gate electrode
- the electrode 510 functions as one of a source electrode and a drain electrode
- the electrode 511 functions as another force of the source electrode or the drain electrode.
- the electrode 516 functions as a back gate electrode.
- the transistors 3431 and 3232 have a bottom gate structure and have a back gate, whereby on-state current can be increased.
- the threshold value of the transistor can be controlled. Note that the electrode 516 may be omitted in some cases in order to simplify the manufacturing process.
- the semiconductor layer 512 functions as a channel formation region.
- the semiconductor layer 512 crystalline silicon, polycrystalline silicon, amorphous silicon, metal oxide, an organic semiconductor, or the like may be used. Further, an impurity may be introduced into the semiconductor layer 512 as needed in order to increase the conductivity of the semiconductor layer 512 or to control the threshold value of the transistor.
- the semiconductor layer 512 preferably contains indium (In). In the case where the semiconductor layer 512 is a metal oxide containing indium, the semiconductor layer 512 has high carrier mobility (electron mobility).
- the semiconductor layer 512 is preferably an oxide semiconductor including the element M.
- the element M is preferably aluminum (Al), gallium (Ga), tin (Sn), or the like.
- the element M may be a combination of a plurality of the aforementioned elements.
- the element M is an element having a high binding energy with oxygen, for example. For example, it is an element whose binding energy with oxygen is higher than that of indium.
- the semiconductor layer 512 is preferably a metal oxide containing zinc (Zn). A metal oxide containing zinc may be easily crystallized.
- the semiconductor layer 512 is not limited to a metal oxide containing indium.
- the semiconductor layer 512 may be, for example, a metal oxide containing zinc, a metal oxide containing gallium, a metal oxide containing tin, or the like that does not contain indium, such as zinc tin oxide and gallium tin oxide. .
- the 20A and 20B includes a capacitor 3233.
- the capacitor 3233 has a region where the electrode 511 and the electrode 4021 overlap with each other with the insulating layer 4103 interposed therebetween.
- the electrode 4021 is formed using the same conductive layer as the electrode 517.
- FIG. 20A illustrates an example of a liquid crystal display panel using a liquid crystal element as a display element.
- a liquid crystal element 3432 which is a display element includes a first electrode layer 4030, a second electrode layer 4031, and a liquid crystal layer 4008.
- an insulating layer 4032 and an insulating layer 4033 which function as alignment films are provided so as to sandwich the liquid crystal layer 4008.
- the second electrode layer 4031 is provided on the second substrate 4006 side, and the first electrode layer 4030 and the second electrode layer 4031 overlap with each other with the liquid crystal layer 4008 interposed therebetween.
- the spacer 4035 is a columnar spacer obtained by selectively etching the insulating layer, and is provided to control the distance (cell gap) between the first electrode layer 4030 and the second electrode layer 4031. Yes.
- a spherical spacer may be used.
- thermotropic liquid crystal When a liquid crystal element is used as the display element, a thermotropic liquid crystal, a low molecular liquid crystal, a polymer liquid crystal, a polymer dispersed liquid crystal, a ferroelectric liquid crystal, an antiferroelectric liquid crystal, or the like can be used. These liquid crystal materials exhibit a cholesteric phase, a smectic phase, a cubic phase, a chiral nematic phase, an isotropic phase, and the like depending on conditions.
- the specific resistance of the liquid crystal material is 1 ⁇ 10 9 ⁇ ⁇ cm or more, preferably 1 ⁇ 10 11 ⁇ ⁇ cm or more, and more preferably 1 ⁇ 10 12 ⁇ ⁇ cm or more.
- the value of the specific resistance in this specification shall be the value measured at 20 degreeC.
- the transistor 3431 can reduce a current value in an off state (off-state current value). Therefore, the holding time of an electric signal such as an image signal can be increased, and the writing interval can be set longer in the power-on state. Therefore, since the frequency of the refresh operation can be reduced, there is an effect of suppressing power consumption.
- an optical member such as a black matrix (light shielding layer), a polarizing member, a retardation member, or an antireflection member may be provided as appropriate.
- a black matrix light shielding layer
- a polarizing member such as a polarizing member
- a retardation member such as a retardation member
- an antireflection member such as a polarizing member, a retardation member, or an antireflection member
- circularly polarized light using a polarizing substrate and a retardation substrate may be used.
- a backlight, a sidelight, or the like may be used as the light source.
- FIG. 20B illustrates an example of a display panel using a light-emitting element such as an EL element as a display element.
- EL elements are classified into organic EL elements and inorganic EL elements.
- the organic EL element by applying a voltage, electrons from one electrode and holes from the other electrode are injected into the EL layer. Then, these carriers (electrons and holes) recombine, whereby the light-emitting organic compound forms an excited state, and emits light when the excited state returns to the ground state. Due to such a mechanism, such a light-emitting element is referred to as a current-excitation light-emitting element.
- the EL layer includes a substance having a high hole-injecting property, a substance having a high hole-transporting property, a hole blocking material, a substance having a high electron-transporting property, a substance having a high electron-injecting property, or a bipolar layer.
- Material a material having a high electron transporting property and a high hole transporting property
- the EL layer can be formed by a method such as a vapor deposition method (including a vacuum vapor deposition method), a transfer method, a printing method, an ink jet method, or a coating method.
- Inorganic EL elements are classified into a dispersion-type inorganic EL element and a thin-film inorganic EL element depending on the element structure.
- the dispersion-type inorganic EL element has a light-emitting layer in which particles of a light-emitting material are dispersed in a binder, and the light emission mechanism is donor-acceptor recombination light emission using a donor level and an acceptor level.
- the thin-film inorganic EL element has a structure in which a light emitting layer is sandwiched between dielectric layers and further sandwiched between electrodes, and the light emission mechanism is localized light emission utilizing inner-shell electron transition of metal ions.
- FIG. 20B illustrates an example in which an organic EL element is used as the light-emitting element 3125.
- the light-emitting element 3125 is electrically connected to a transistor 3232 provided in the pixel 14.
- the structure of the light-emitting element 3125 is a stacked structure of the first electrode layer 4030, the light-emitting layer 4511, and the second electrode layer 4031; however, the structure is not limited to this structure.
- the structure of the light-emitting element 3125 can be changed as appropriate depending on the direction in which light is extracted from the light-emitting element 3125, or the like.
- a partition wall 4510 is formed using an organic insulating material or an inorganic insulating material.
- a photosensitive resin material it is preferable to use a photosensitive resin material and form an opening on the first electrode layer 4030 so that the side surface of the opening is an inclined surface formed with a continuous curvature.
- the light emitting layer 4511 may be composed of a single layer or a plurality of layers stacked.
- a protective layer may be formed over the second electrode layer 4031 and the partition wall 4510 so that oxygen, hydrogen, moisture, carbon dioxide, or the like does not enter the light-emitting element 3125.
- the protective layer silicon nitride, silicon nitride oxide, aluminum oxide, aluminum nitride, aluminum oxynitride, aluminum nitride oxide, DLC (Diamond Like Carbon), or the like can be formed.
- a filler 4514 is provided in a space sealed by the first substrate 4001, the second substrate 4006, and the sealant 4005 and sealed.
- the protective film As described above, it is preferable to package (enclose) the protective film with a protective film (bonded film, ultraviolet curable resin film, or the like) or a cover material that has high hermeticity and little degassing so as not to be exposed to the outside air.
- a protective film bonded film, ultraviolet curable resin film, or the like
- a cover material that has high hermeticity and little degassing so as not to be exposed to the outside air.
- an ultraviolet curable resin or a thermosetting resin can be used in addition to an inert gas such as nitrogen or argon.
- PVC polyvinyl chloride
- acrylic resin polyimide
- epoxy resin epoxy resin
- silicone resin silicone resin
- PVB Polyvinyl butyral
- EVA ethylene vinyl acetate
- the filler 4514 may contain a desiccant.
- the sealant 4005 a glass material such as glass frit, or a resin material such as a two-component mixed resin, a curable resin that cures at normal temperature, a photocurable resin, or a thermosetting resin can be used. Further, the sealing material 4005 may contain a desiccant.
- an optical film such as a polarizing plate, a circular polarizing plate (including an elliptical polarizing plate), a retardation plate ( ⁇ / 4 plate, ⁇ / 2 plate), a color filter, or the like is provided on the light emitting element exit surface. You may provide suitably. Further, an antireflection film may be provided on the polarizing plate or the circularly polarizing plate. For example, anti-glare treatment can be performed that diffuses reflected light due to surface irregularities and reduces reflection.
- the light-emitting element has a microcavity structure
- light with high color purity can be extracted.
- the reflection can be reduced and the visibility of the display image can be improved.
- the first electrode layer 4030 and the second electrode layer 4031 include indium oxide containing tungsten oxide, indium zinc oxide containing tungsten oxide, indium oxide containing titanium oxide, indium tin oxide, and indium containing titanium oxide.
- a light-transmitting conductive material such as tin oxide, indium zinc oxide, or indium tin oxide to which silicon oxide is added can be used.
- the first electrode layer 4030 and the second electrode layer 4031 are tungsten (W), molybdenum (Mo), zirconium (Zr), hafnium (Hf), vanadium (V), niobium (Nb), and tantalum (Ta). , Chromium (Cr), cobalt (Co), nickel (Ni), titanium (Ti), platinum (Pt), aluminum (Al), copper (Cu), silver (Ag) and other metals, or alloys thereof, or One or more metal nitrides can be used.
- the first electrode layer 4030 and the second electrode layer 4031 can be formed using a conductive composition including a conductive high molecule (also referred to as a conductive polymer).
- a conductive high molecule also referred to as a conductive polymer.
- a so-called ⁇ -electron conjugated conductive polymer can be used.
- polyaniline or a derivative thereof, polypyrrole or a derivative thereof, polythiophene or a derivative thereof, a copolymer of two or more of aniline, pyrrole, and thiophene or a derivative thereof can be given.
- the first electrode layer 4030 and the second electrode layer 4031 only needs to be transparent.
- Display panels are classified into a top emission (top emission) structure, a bottom emission (bottom emission) structure, and a double emission (dual emission) structure depending on how light is extracted.
- the top emission structure refers to a case where light is extracted from the substrate 4006.
- the bottom emission structure refers to a case where light is extracted from the substrate 4001.
- the dual emission structure refers to a case where light is extracted from both the substrate 4006 and the substrate 4001.
- the second electrode layer 4031 may be transparent.
- the first electrode layer 4030 may be transparent.
- the first electrode layer 4030 and the second electrode layer 4031 may be transparent.
- a material having heat resistance high enough to withstand heat treatment in the manufacturing process can be used for the substrate 4001 or the like.
- a material having a thickness of 0.7 mm or less and 0.1 mm or more can be used for the substrate 4001.
- a material polished to a thickness of about 0.1 mm can be used.
- a large glass substrate can be used for the substrate 4001 or the like. Thus, a large display device can be manufactured.
- An organic material, an inorganic material, a composite material of an organic material and an inorganic material, or the like can be used for the substrate 4001 or the like.
- an inorganic material such as glass, ceramics, or metal can be used for the substrate 4001 or the like.
- alkali-free glass, soda-lime glass, potash glass, crystal glass, aluminosilicate glass, tempered glass, chemically tempered glass, quartz, sapphire, or the like can be used for the substrate 4001 or the like.
- an inorganic oxide film, an inorganic nitride film, an inorganic oxynitride film, or the like can be used for the substrate 4001 or the like.
- a silicon oxide film, a silicon nitride film, a silicon oxynitride film, an aluminum oxide film, or the like can be used for the substrate 4001 or the like.
- Stainless steel, aluminum, or the like can be used for the substrate 4001 or the like.
- a single crystal semiconductor substrate made of silicon or silicon carbide, a polycrystalline semiconductor substrate, a compound semiconductor substrate such as silicon germanium, an SOI substrate, or the like can be used for the substrate 4001 or the like.
- a semiconductor element can be formed over the substrate 4001 or the like.
- an organic material such as a resin, a resin film, or plastic can be used for the substrate 4001 or the like.
- a resin film or a resin plate such as polyester, polyolefin, polyamide, polyimide, polycarbonate, or an acrylic resin can be used for the substrate 4001 or the like.
- a composite material in which a film such as a metal plate, a thin glass plate, or an inorganic material is bonded to a resin film or the like can be used for the substrate 4001 or the like.
- a composite material in which a fibrous or particulate metal, glass, inorganic material, or the like is dispersed in a resin film can be used for the substrate 4001 or the like.
- a composite material in which a fibrous or particulate resin, an organic material, or the like is dispersed in an inorganic material can be used for the substrate 4001 or the like.
- a single layer material or a material in which a plurality of layers are stacked can be used for the substrate 4001 or the like.
- a material in which a base material and an insulating film that prevents diffusion of impurities contained in the base material are stacked can be used for the substrate 4001 or the like.
- a material in which one or a plurality of films selected from a silicon oxide layer, a silicon nitride layer, a silicon oxynitride layer, or the like that prevents diffusion of impurities contained in glass is used for the substrate 4001 or the like. be able to.
- a material in which a silicon oxide film, a silicon nitride film, a silicon oxynitride film, or the like which prevents resin and diffusion of impurities that permeate the resin is stacked can be used for the substrate 4001 or the like.
- a resin film such as polyester, polyolefin, polyamide, polyimide, polycarbonate, or an acrylic resin, a resin plate, a laminated material, or the like can be used for the substrate 4001 or the like.
- a material containing a resin having a siloxane bond such as polyester, polyolefin, polyamide (nylon, aramid, or the like), polyimide, polycarbonate, polyurethane, acrylic resin, epoxy resin, or silicone can be used for the substrate 4001 or the like.
- polyethylene terephthalate (PET), polyethylene naphthalate (PEN), polyethersulfone (PES), acrylic resin, or the like can be used for the substrate 4001 or the like.
- PET polyethylene terephthalate
- PEN polyethylene naphthalate
- PES polyethersulfone
- acrylic resin or the like
- COP cycloolefin polymer
- COC cycloolefin copolymer
- paper, wood, or the like can be used for the substrate 4001 or the like.
- a flexible substrate can be used for the substrate 4001 or the like.
- a method of directly forming a transistor, a capacitor, or the like over a substrate can be used.
- a method can be used in which a transistor, a capacitor, or the like is formed over a substrate for a process that has heat resistance to heat applied during the manufacturing process, and the formed transistor, capacitor, or the like is transferred to the substrate 4001 or the like.
- a transistor or a capacitor can be formed over a flexible substrate.
- a material that can be used for the substrate 4001 can be used for the substrate 4006.
- a material having a light-transmitting property selected from materials that can be used for the substrate 4001 can be used for the substrate 4006.
- a material in which an antireflection film of 1 ⁇ m or less, for example, is formed on one surface can be used for the substrate 4006.
- a material obtained by stacking three or more dielectric layers, preferably five or more layers, more preferably 15 or more layers can be used for the substrate 4006. Thereby, a reflectance can be suppressed to 0.5% or less, preferably 0.08% or less.
- a material in which birefringence is selected from materials that can be used for the substrate 4001 can be used for the substrate 4006.
- aluminosilicate glass, tempered glass, chemically tempered glass, sapphire, or the like can be suitably used for the substrate 4006 disposed on the side closer to the user of the display panel. Thereby, it is possible to prevent the display panel from being damaged or damaged due to use.
- a resin film such as a cycloolefin polymer (COP), a cycloolefin copolymer (COC), or triacetyl cellulose (TAC) can be preferably used for the substrate 4006.
- COP cycloolefin polymer
- COC cycloolefin copolymer
- TAC triacetyl cellulose
- a material with a thickness of 0.7 mm or less and 0.1 mm or more can be used for the substrate 4006.
- a polished substrate can be used to reduce the thickness.
- FIG. 21A illustrates a cross-sectional view in the case where a top-gate transistor is provided in the transistor 3431 illustrated in FIG.
- FIG. 21B is a cross-sectional view in the case where a top-gate transistor is provided in the transistor 3232 illustrated in FIG.
- the electrode 517 functions as a gate electrode
- the electrode 510 functions as one of a source electrode and a drain electrode
- the electrode 511 functions as a source electrode. Alternatively, it functions as the other drain electrode.
- FIGS. 21A and 21B For details of the other components in FIGS. 21A and 21B, the description of FIGS. 20A and 20B may be referred to.
- on-state current refers to drain current when a transistor is in an on state.
- the ON state (sometimes abbreviated as ON) is a state where the voltage between the gate and the source (VG) is equal to or higher than the threshold voltage (Vth) in an n-channel transistor, unless otherwise specified.
- a transistor refers to a state in which VG is equal to or lower than Vth.
- the on-state current of an n-channel transistor refers to a drain current when VG is equal to or higher than Vth.
- the on-state current of the transistor may depend on the voltage (VD) between the drain and the source.
- off-state current refers to drain current when a transistor is off.
- the off state (sometimes abbreviated as off) refers to a state where VG is lower than Vth for an n-channel transistor and a state where VG is higher than Vth for a p-channel transistor, unless otherwise specified.
- the off-state current of an n-channel transistor refers to a drain current when VG is lower than Vth.
- the off-state current of the transistor may depend on VG. Accordingly, the off current of the transistor is less than 10 -21 A, and may refer to the value of VG which off-current of the transistor is less than 10 -21 A are present.
- the off-state current of the transistor may depend on VD.
- the off-state current has an absolute value of VD of 0.1 V, 0.8 V, 1 V, 1.2 V, 1.8 V, 2.5 V, 3 V, 3.3 V, 10 V, It may represent off current at 12V, 16V, or 20V.
- the off-state current in VD used in a semiconductor device or the like including the transistor may be represented.
- one of a source and a drain is referred to as “one of a source and a drain” (or a first electrode or a first terminal), and the source and the drain The other is indicated as “the other of the source and the drain” (or the second electrode or the second terminal).
- the source and drain of a transistor vary depending on the structure or operating conditions of the transistor.
- the names of the source and the drain of the transistor can be appropriately rephrased depending on the situation, such as a source (drain) terminal or a source (drain) electrode.
- X and Y are assumed to be objects (for example, devices, elements, circuits, wirings, electrodes, terminals, conductive films, layers, etc.).
- an element that enables electrical connection between X and Y for example, a switch, a transistor, a capacitor, an inductor, a resistor, a diode, a display, etc.
- X and Y are connected without passing through an element, a light emitting element, a load, or the like.
- an element for example, a switch, a transistor, a capacitive element, an inductor, a resistance element, a diode, a display, etc.
- a switch for example, a switch, a transistor, a capacitive element, an inductor, a resistance element, a diode, a display, etc.
- More than one element, light emitting element, load, etc. can be connected between X and Y.
- the switch is in a conductive state (on state) or a non-conductive state (off state), and has a function of controlling whether or not to pass a current.
- the switch has a function of selecting and switching a path through which a current flows.
- the case where X and Y are electrically connected includes the case where X and Y are directly connected.
- the OS-APS described in Embodiment 3 was prototyped on a glass substrate.
- a simulation was performed on the multiplication characteristics of the OS-APS described in Embodiment 4.
- FIG. 22A An optical micrograph of the prototype OS-APS chip is shown in FIG. 22A is a photograph of the entire OS-APS, and FIG. 22B is an enlarged photograph of the memory cell MC portion.
- FIG. 22A shows portions corresponding to the circuit CSC, the circuit CSK, and the memory cell MC of FIG.
- FIG. 22B illustrates a portion corresponding to the transistor M01, the transistor M02, and the capacitor C0 in the memory cell MC, respectively.
- FIG. 23 and 24 show the simulation results of the multiplication characteristics per OS-APS memory cell MC described in the fourth embodiment.
- FIG. 23 shows the results obtained when the offset circuit is provided according to one embodiment of the present invention.
- FIG. 24 shows the result when there is no offset circuit as a comparative example.
- the multiplication characteristic was calculated by changing the input voltage according to time. 23 and 24, the horizontal axis represents time (seconds), and the vertical axis represents output voltage (V).
- a neural network was constructed with the prototype OS-APS of FIG. 22, and a simulation was performed when learning and inference were performed.
- OS-APS which is an embodiment of the present invention, a neural network is constructed and image recognition can be performed by machine learning.
- a display device to which a flexible touch panel that can be folded in three is applied, and it has been demonstrated that character recognition using a neural network can be performed.
- the flexible touch panel was produced as follows. First, a peeling layer (tungsten film) was formed over one manufacturing substrate (glass substrate), and a layer to be peeled including a transistor and a light-emitting element was formed over the peeling layer, and peeling was performed over the other manufacturing substrate. A layer was formed, and a peeled layer including a touch sensor electrode and a color filter using a conductive oxide film was formed on the peeling layer. Subsequently, the two production substrates were bonded to each other with an adhesive layer, and then each production substrate was peeled off from the layer to be peeled, and a flexible substrate was attached using an adhesive.
- a peeling layer tungsten film
- a top emission type organic EL element was used as the light emitting element.
- a crystalline metal oxide containing In, Ga, and Zn was used for the semiconductor layer where the channel of the transistor was formed.
- the manufactured display device is shown in FIG.
- the display device has a configuration in which a flexible touch panel 5001 is held by three housings 5002.
- FIG. 26 shows a state where the display surface of the flexible touch panel 5001 is curved so that a convex portion and a concave portion are mixed.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Neurology (AREA)
- Thin Film Transistor (AREA)
- Character Input (AREA)
- Controls And Circuits For Display Device (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
要約書 効率的に手書き文字を認識することのできる電子機器を提供する。 電子機器は、第1の回路と、表示部と、タッチセンサと、を有する。第1の回路は、ニューラルネッ トワークを有する。 表示部は、 フレキシブルディスプレイを有する。 タッチセンサは、 入力された手 書き文字を画像情報として、 第1の回路に出力する機能を有する。 また、 第1の回路は、 画像情報を 解析し、 文字情報に変換する機能と、 文字情報を含む画像を表示部に表示させる機能とを有し、 解析 は、ニューラルネットワークを用いた推論により行われる。
Description
本発明の一形態は、タッチパネルシステムおよびそれを用いた電子機器に関する。
また、本発明の一形態は半導体装置に関する。
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。表示装置、発光装置、記憶装置、電気光学装置、蓄電装置、半導体回路及び電子機器は、半導体装置を有する場合がある。
なお、本発明の一形態は上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一形態は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。
近年、人工ニューラルネットワーク(以下、ニューラルネットワークと呼ぶ)などの機械学習技術の開発が盛んに行われ、主に画像認識の分野で成功例が報告されている。
特許文献1には、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサを用いてニューラルネットワークによる機械学習を行い、手書き文字の認識を行う例が開示されている。
また、近年、チャネル形成領域に酸化物半導体または金属酸化物を用いたトランジスタ(Oxide Semiconductorトランジスタ、以下、OSトランジスタと呼ぶ)が注目されている。OSトランジスタはオフ電流が極めて小さい。そのことを利用して、OSトランジスタを用いたアプリケーションが提案されている。例えば、特許文献2では、ニューラルネットワークの学習に、OSトランジスタを用いた例が開示されている。
ニューラルネットワークによる機械学習は、膨大な計算量を必要とする。そのため、CPUやGPUなどのデジタル回路を用いて、ニューラルネットワークを構築する場合、必要となるトランジスタ数が膨大になり、非効率的で消費電力が高い。
本発明の一形態は、効率的に手書き文字を認識することが可能なタッチパネルシステムを提供することを課題の一とする。また、本発明の一形態は、効率的にニューラルネットワークを構築することが可能な半導体装置を提供することを課題の一とする。また、本発明の一形態は、効率的に積和演算を実行することが可能な半導体装置を提供することを課題の一とする。また、本発明の一形態は、高い精度で積和演算を実行することが可能な半導体装置を提供することを課題の一とする。また、本発明の一形態は、新規な半導体装置を提供することを課題の一とする。
また、本発明の一態様は、効率的に手書き文字を認識することのできる電子機器を提供することを課題の一とする。または、手書き文字を認識可能で、可撓性を有する表示部を有する電子機器を提供することを課題の一とする。または、手書き文字を認識可能で、可搬性と優れた一覧性を両立可能な電子機器を提供することを課題の一とする。
なお、複数の課題の記載は、互いの課題の存在を妨げるものではない。なお、本発明の一形態は、これらの課題の全て解決する必要はない。また、列記した以外の課題が、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、これらの課題も、本発明の一形態の課題となり得る。
本発明の一態様は、第1の回路と、表示部と、タッチセンサと、を有する電子機器である。第1の回路は、ニューラルネットワークを有する。表示部は、フレキシブルディスプレイを有する。タッチセンサは、入力された手書き文字を画像情報として、第1の回路に出力する機能を有する。また、第1の回路は、画像情報を解析し、文字情報に変換する機能と、文字情報を含む画像を表示部に表示させる機能とを有し、解析は、ニューラルネットワークを用いた推論により行われる。
また、上記において、電子機器は、第1の筐体、第2の筐体、第3の筐体、及び複数のヒンジを有することが好ましい。ここで、フレキシブルディスプレイは、第1の筐体、第2の筐体、及び第3の筐体のそれぞれに保持される部分を有することが好ましい。また、第1の筐体、第2の筐体、及び第3の筐体は、フレキシブルディスプレイが開いた状態と、3つに折り畳まれた状態との間で可逆的に変形するように、ヒンジによって連結されていることが好ましい。
また、上記において、第1の回路は、アナログデータを保持することが可能なメモリを有することが好ましい。
また、上記において、第1の回路は、チャネル形成領域に金属酸化物を有するトランジスタを含むことが好ましい。
本発明の一形態により、効率的に手書き文字を認識することが可能なタッチパネルシステムを提供することができる。本発明の一形態により、効率的にニューラルネットワークを構築することが可能な半導体装置を提供することができる。また、本発明の一形態により、効率的に積和演算を実行することが可能な半導体装置を提供することができる。また、本発明の一形態により、高い精度で積和演算を実行することが可能な半導体装置を提供することができる。また、本発明の一形態により、新規な半導体装置を提供することができる。
また、本発明の一態様によれば、効率的に手書き文字を認識することのできる電子機器を提供できる。または、手書き文字を認識可能で、可撓性を有する表示部を有する電子機器を提供できる。または、手書き文字を認識可能で、可搬性と優れた一覧性を両立可能な電子機器を提供できる。
なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一形態は、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の効果を抽出することが可能である。
以下、実施の形態について図面を参照しながら説明する。但し、実施の形態は多くの異なる形態で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。
また、図面において、大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状または値などに限定されない。
また、本明細書は、以下の実施の形態を適宜組み合わせることが可能である。また、1つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
なお、本明細書においてニューラルネットワークとは、生物の神経回路網を模し、学習によってニューロンどうしの結合強度を決定し、問題解決能力を持たせるモデル全般を指す。ニューラルネットワークは入力層、中間層(隠れ層ともいう)、出力層を有する。
また、本明細書において、ニューラルネットワークについて述べる際に、既にある情報からニューロンとニューロンの結合強度(重み係数とも言う)を決定することを「学習」と呼ぶ場合がある。
また、本明細書において、学習によって得られた結合強度を用いてニューラルネットワークを構成し、そこから新たな結論を導くことを「推論」と呼ぶ場合がある。
(実施の形態1)
本実施の形態は、本発明の一形態であるタッチパネルシステムとそれを用いた電子機器について説明を行う。なお、本実施の形態では電子機器の例として情報端末について説明を行う。
本実施の形態は、本発明の一形態であるタッチパネルシステムとそれを用いた電子機器について説明を行う。なお、本実施の形態では電子機器の例として情報端末について説明を行う。
図1は、情報端末1の使用例を示す外観図である。情報端末1は表示部2を備えている。表示部2は入力部としての機能も備えている。
情報端末1は表示部2に入力された文字を認識し、認識結果を表示することができる。図1は、使用者が指でアルファベットの「a」を入力し、情報端末1が入力された文字を認識し、表示部2の左上に認識結果を表示する例(例えばNeuraのa)を示している。なお、表示部2における文字の入力は、指だけでなく、スタイラス等を用いて行うこともできる。
また、情報端末に設けられる表示部として、フレキシブルディスプレイを用いることもできる。図2(A)、(B)、(C)には、フレキシブルディスプレイを用いた情報端末1aを示している。
情報端末1aは、3つの筐体(筐体3a、筐体3b、筐体3c)と、表示部2aを有する。表示部2aは、フレキシブルディスプレイを有し、3つの筐体それぞれに保持された部分を有する。また、筐体3aと筐体3b、筐体3bと筐体3cは、それぞれヒンジ4により回転可能に連結されている。
情報端末1aは、図2(A)に示すように表示部2aを開いた状態から、図2(C)に示すように表示部2aを3つに折り畳んだ状態に、可逆的に変形することができる。図2(B)には、これら2つの状態の間の状態を示している。
情報端末1aは、表示部2aが開いた状態では、継ぎ目のない広い表示領域に手書きの文字(図ではFlexible Displaのa)を入力したり、表示を行うことができ、一覧性に優れる。また表示部2aが3つに折り畳まれた状態では、情報端末を小型化することができ、可搬性に優れる。
図2(B)では、湾曲した表示部1aに手書きの文字(Flexible Displaのa)を入力している場合を示している。このとき、湾曲部を超えて文字を入力した場合、文字が歪んでしまう場合がある。しかしながら、後述するタッチパネルシステムを用いることで、このように歪んだ文字入力を行った場合であっても、効率的に認識することができる。
また、手書きの文字を入力する際、指やスタイラスをスライドする速度には、ユーザの個人差が生じる。また、この個人差は、手書きの文字を入力する場合に限らず、タッチ操作を行う際も同様である。しかしながら、後述するタッチパネルシステムを用いることで、スライドの速度に個人差が生じた場合であっても、効率的に認識することができる。
図3は、情報端末1及び情報端末1aに用いられるタッチパネルシステム10の構成例を示すブロック図である。タッチパネルシステム10は、表示パネル20と、タッチセンサ15と、ホスト25を有する。
表示パネル20は、画素部11と、ゲートドライバ12と、ソースドライバ13と、ゲート線21と、ソース線22と、I/F(インターフェース)18と、NN(ニューラルネットワーク)回路19とを有する。画素部11は、ゲート線21およびソース線22に接続された複数の画素14を有する。
タッチセンサ15は、センシング回路16と、I/F17と、を有する。
ホスト25はCPU(Central Processing Unit)を有し、I/F18を介して、ソースドライバ13に画像データを供給する機能を有する。なお、ホスト25は、GPU(Graphics Processing Unit)を有していてもよい。
NN回路19は、ニューラルネットワークを用いた学習または推論を行うことができる。より具体的には、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークを用いた学習または推論を行うことができる。
次に、図4に示すフローチャートを用いて、タッチパネルシステム10の処理の流れを説明する。
まず、使用者がタッチセンサ15に手書き文字を入力する(Input by handwriting, ステップS1)。
センシング回路16は、タッチセンサ15へ入力された手書き文字(画像情報)を検知し、NN回路19に送信する。また、センシング回路16は、タッチが行われたことを、I/F17を介して、ホスト25に知らせる(Touch sensing, ステップS2)。
NN回路19は、上記画像情報(Image information)のパターンを解析し、上記画像情報を文字情報に変換する(Character recognition, ステップS3)。上記解析はニューラルネットワークを用いた推論によって行われる。
NN回路19は、上記文字情報(Character information)をソースドライバ13に出力する。ソースドライバ13は、ホスト25から受信した画像データとNN回路19から受信した文字情報を合成し、画素部11に表示する(Display of input characters, ステップS4)。
図5は、NN回路19におけるデータフローを表す概念図である。図5はニューラルネットワークを構築している。図5に示すニューラルネットワークは、入力層31と、中間層32と、出力層33を有する。入力層31はニューロン41_1乃至41_3を有し、中間層32はニューロン42_1乃至42_3有し、出力層33はニューロン43_1乃至43_3を有する。なお、図5は便宜的に中間層の数を1とし、それぞれの層におけるニューロンの数を3としているが、これに限定されず、NN回路19は、扱う課題に応じて、必要な数の中間層とニューロンを設けることができる。
それぞれの層における演算処理は、前層が有するニューロンの出力と重み係数との積和演算により実行される。例えば、入力層の第iニューロンの出力をxiとし、出力xiと中間層の第jニューロンとの結合強度(重み係数)をwjiとすると、中間層の第jニューロンの出力はyj=f(Σwji・xi)である。なお、i、jは1以上の整数とする。ここで、f(x)は活性化関数でシグモイド関数、閾値関数などを用いることができる。以下、同様に、各層のニューロンの出力は、前段層のニューロンの出力と重み係数の積和演算結果に活性化関数を演算した値となる。また、層と層との結合は、全てのニューロン同士が結合する全結合としてもよいし、一部のニューロン同士が結合する部分結合としてもよい。
図5は、入力層31に数字の「2」を表す画像情報が入力され、出力層33から、「2」を表す分類結果が出力される例を示している。
NN回路19は、TFT(Thin Film Transinstor)などの技術を用いて、画素部11と同じ基板上に形成することが好ましい。そうすることで、NN回路19の製造コストを低減させることができる。なお、表示パネル20に用いることができる基板の詳細は、後述する実施の形態5で説明を行う。
また、NN回路19をICチップで形成し、COG(Chip On Glass)、COF(Chip On Film)またはTAB(Tape Automated Bonding)などの実装技術を用いて、表示パネル20に設けてもよい。なお、上記ICチップにソースドライバ13を含めてもよい。
NN回路19を表示パネル20の外部にあるホスト25に含めてもよいが、その場合、表示パネル20とホスト25との間に遅延が生じ、タッチセンサ15が入力を受け付けてから、ホスト25を経由して画素部11に入力結果を表示させるまでにタイムラグが生じてしまう。
NN回路19を表示パネル20に形成することで、配線抵抗による遅延が改善され、入力から表示までの即応性が改善される。また、配線数も削減されるため、タッチパネルシステム10の消費電力も低減される。
図6に情報端末1のモジュール分解例を示す。情報端末1は、上部カバー81と下部カバー92との間に、タッチセンサ15、表示パネル20、バックライトユニット87、フレーム89、プリント基板90、バッテリー91を有する。
上部カバー81及び下部カバー92は、タッチセンサ15及び表示パネル20のサイズに合わせて、形状や寸法を適宜変更することができる。
バックライトユニット87は、光源88を有する。光源88をバックライトユニット87の端部に設け、光拡散板を用いる構成としてもよい。なお、LED(Light Emitting Diode)や有機EL(エレクトロルミネッセンス)など、表示パネル20が自発光性の表示素子を用いる場合、バックライトユニット87は省略してもよい。
フレーム89は、表示パネル20の保護機能の他、プリント基板90の動作により発生する電磁波を遮断するための電磁シールドとしての機能を有する。またフレーム89は、放熱板としての機能を有していてもよい。
また、情報端末1は、偏光板、位相差板、プリズムシートなどの部材を追加して設けてもよい。
プリント基板90は、電源回路、ビデオ信号及びクロック信号を出力するための信号処理回路を有する。図3に示すホスト25はプリント基板90に設けられている。また、電源回路に電力を供給する電源としては、外部の商用電源であっても良いし、バッテリー91による電源であってもよい。バッテリー91は、商用電源を用いる場合には、省略可能である。
タッチセンサ15は、表示パネル20に重畳して用いることができる。タッチセンサ15としては例えば、抵抗膜方式、静電容量方式または光学式のタッチパネルを用いることができる。
また、表示パネル20にタッチセンサの機能を持たせることで、図6に示すタッチセンサ15を表示パネル20に含めることができる。例えば、表示パネル20の対向基板(封止基板)に、タッチパネル機能を持たせることで、タッチセンサ15を表示パネル20に含めることができる。例えば、表示パネル20の各画素内にタッチセンサ用電極を設けることで、タッチセンサ15を表示パネル20に含めることができる。例えば、表示パネル20の各画素内に光センサを設けることで、タッチセンサ15を表示パネル20に含めることができる。
また、情報端末1は、表示パネル20の周囲に、発光部、導光部および受光部からなる光学式タッチセンサを備えてもよい。その場合、導光部を通る光が指で遮られることで、情報端末1はタッチを検出する。
図6において、タッチセンサ15はFPC(Flexible Printed Circuit)82およびFPC83が接続され、表示パネル20はFPC82およびFPC84が接続されている。また、FPC83およびFPC84はプリント基板90に接続される。FPC82はタッチセンサ15と表示パネル20との電気的接続を可能にし、FPC83はタッチセンサ15とプリント基板90との電気的接続を可能にし、FPC84は表示パネル20とプリント基板90との電気的接続を可能にする。なお、タッチセンサ15が表示パネル20に含まれる場合、FPC82は不要である。
図5に示すようなニューラルネットワークは、膨大な数の積和演算によって実行される。これらの演算処理をデジタル回路で行う場合、必要となるトランジスタ数が膨大になり、非効率的で消費電力が高い。そのため、上述の積和演算はアナログ積和演算回路(以下、APS(Analog Product−Sum circuit)と呼ぶ)で行うことが好ましい、また、APSはアナログメモリを有することが好ましい。学習で得られた重み係数を上記アナログメモリに格納することで、APSは、アナログデータのまま積和演算を実行することができる。その結果、APSは少ないトランジスタで効率的にニューラルネットワークを構築することができる。
なお、本明細書においてアナログメモリはアナログデータを格納することが可能な記憶装置のことを指す。また、本明細書においてアナログデータとは、3ビット(8値)以上の分解能を有するデータのことを指す。多値データのことをアナログデータと呼ぶ場合もある。
上記アナログメモリとして、多値のフラッシュメモリ、ReRAM(Resistive Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)またはOSトランジスタを用いたメモリ(以下、OSメモリ)を用いることができる。
上記アナログメモリとして、特に、OSメモリを用いることが好ましい。OSメモリは、フラッシュメモリ、ReRAMまたはMRAMなどの他の不揮発性メモリと比べて、データを書き込む際の消費電力が小さい。また、フラッシュメモリやReRAMのように、データを書き込む際に素子が劣化することもなく、データの書き込み可能回数に制限が無い。
本明細書において、OSメモリを有するアナログ積和演算回路をOS−APSと呼ぶ。なお、OS−APSの詳細は後述の実施の形態3および実施の形態4で説明を行う。
ニューラルネットワークによる学習は、情報端末1で行ってもよいし、専用サーバーのような大型計算機で行ってもよいし、クラウドのようにネットワークでつながった計算機群で並列に行ってもよい。特に、ニューラルネットワークによる学習は、計算規模が大きいため、大型計算機で行うことが好ましい。図7は、サーバー5で学習を行う例を示している。情報端末1からサーバー5にリクエストを送ると、サーバー5は、学習によって決定された重み係数を、情報端末1に送信することができる。情報端末1は、サーバー5から受け取った重み係数を使って、推論を実行し、例えばNeuraのaを表示することができる。
サーバー5は、NN回路19と同じニューラルネットワークを構成することができるソフトウェアを実装することが好ましい。また、演算処理能力の優れたプロセッサを有することが好ましい。そうすることで、情報端末1は、より効率的にサーバー5の学習結果を受け取ることができる。
以上、本実施の形態に示すタッチパネルシステムを用いることで、効率的に手書き文字を認識することが可能なタッチパネルシステムを提供することができる。また、効率的に手書き文字を認識することが可能な情報端末を提供することができる。
(実施の形態2)
本実施の形態は、本発明の一形態であるタッチパネルシステムとそれを用いた電子機器について説明を行う。なお、本実施の形態では電子機器の例として受像装置について説明を行う。
本実施の形態は、本発明の一形態であるタッチパネルシステムとそれを用いた電子機器について説明を行う。なお、本実施の形態では電子機器の例として受像装置について説明を行う。
図8は、受像装置60の仕様例を示す外観図である。受像装置60は、テレビであり、アンテナ64が受信した放送信号から画像データを生成し、画像を表示する機能を有する。また、受像装置60はインターネット回線65を経由して、放送局のサーバー66と通信することができる。
アンテナ64として、例えば、UHF(Ultra High Frequency)アンテナ、BS・110°CSアンテナ、CSアンテナなどが挙げられる。
また、インターネット回線の代わりに電話回線等を用いて、サーバー66と通信してもよい。
受像装置60が表示部61を備え、表示部61の全部または一部が入力部として機能する。使用者は、表示部61にタッチすることで、受像装置60に情報を入力することができる。
図8は、受像装置60が放送中のクイズ番組を表示しているようすを表している。表示部61の左側には問題が表示され、表示部61の右側には制限時間と入力領域62が表示される。使用者は、制限時間内に入力領域62に手書きで回答を入力することが要求される。図8では、花の画像からflowerの前に入る単語を答えている。受像装置60は、使用者が入力した手書き文字(ここではsun)を認識し、領域63に認識結果(ここではsun)を表示する。制限時間が終了すると、回答はインターネット回線65を通じて放送局のサーバー66へ送信される。
図9は受像装置60に用いられるタッチパネルシステム70の構成例を示すブロック図である。タッチパネルシステム70は表示パネル20と、タッチセンサ15と、受信回路76と、ネットワークI/F71と、アンテナ64を有する。
受信回路76は、エンコーダ72と、画像処理回路73と、デコーダ74と、アナログフロントエンド75を有する。
アナログフロントエンド75は、アンテナ64から入力された放送信号を受信する機能を有する。
デコーダ74は、上記放送信号を放送規格の仕様に従って伸長し、画像データを生成する機能を有する。上記規格として、例えば、H.264、H.265などが挙げられる。
画像処理回路73は、上記伸長された画像データに画像処理を施す機能を有する。例えば、ノイズ除去、画面を分割した際のつなぎ目の補正、画像の色彩、精細さの補正、ダイナミックレンジの補正、画像の先鋭化、フィルタ処理などの画像処理を施す。また、これら画像処理はニューラルネットワークを用いて行われることが好ましい。受像装置60は、ニューラルネットワークを用いた画像処理によって、使用者がより自然な印象を受ける画像を表示することができる。
エンコーダ72は上記画像処理を施された画像データから特徴抽出を行い、画像データを圧縮する機能を有する。
表示パネル20はデコーダ77を有する。デコーダ77はエンコーダ72に対応したデコーダであり、エンコーダ72によって圧縮された画像データを復元する機能を有する。
エンコーダ72とデコーダ77はオートエンコーダを構成することが好ましい。エンコーダ72はニューラルネットワークを用いて画像データから特徴抽出を行い、画像データを圧縮する機能を有する。デコーダ77はニューラルネットワークを用いて圧縮されたデータから画像データを復元する機能を有する。
デコーダ77によって復元された画像データはソースドライバ13に入力される。
表示パネル20と受信回路76との間は、FPCなどのケーブルを用いて電気的に接続されている場合が多い。例えば、8K(7680×4320)放送など、受像装置60が大量のデータを扱う場合、高速伝送が可能なFPCが求められているが、FPCの伝送速度には限界がある。また、表示パネルのサイズが大型化するにつれて、受信回路76と表示パネル20を繋ぐケーブルの物理距離が長くなり、画像データの伝送損失が大きくなる。
受像装置60はエンコーダ72およびデコーダ77を有することで、圧縮された状態で(データサイズが小さい状態で)画像データを受信回路76から表示パネル20へ伝送することができる。そのため、8Kなど、解像度が大きい画像データでも、受像装置60は効率的に画像データを表示パネル20へ伝送することができる。また、データサイズが小さいと、伝送に要する電力も小さくて済むため、受像装置60は消費電力を低減することができる。
ネットワークI/F71は、受像装置60とインターネット回線とを繋ぐI/Fとしての機能を有する。
実施の形態1で示したタッチパネルシステム10と同様に、図9のNN回路19はニューラルネットワークを用いた学習または推論を行うことができる。使用者が手描きで入力した画像情報のパターンを解析し、上記画像情報を文字情報に変換する。上記解析はニューラルネットワークを用いた推論によって行われる。
上記文字情報(図8におけるクイズの回答)は、ソースドライバ13を介して画素部11で表示され、また、ネットワークI/Fを介して放送局のサーバーへ送信される。
実施の形態1で示したタッチパネルシステム10と同様に、図9のNN回路19はアナログ積和演算回路(APS)を有することが好ましい。特にOSメモリを有するアナログ積和演算回路(OS−APS)を有することが好ましい。OS−APSは少ないトランジスタで効率的に積和演算処理を実行することができる。また、少ない消費電力で積和演算処理を実行することができる。
また、デコーダ77、エンコーダ72および画像処理回路73も、OS−APSを用いてニューラルネットワークを構築することができる。
また、デコーダ74は、画像データを伸長する際に、離散コサイン変換などの積和演算処理を行うが、その積和演算処理にOS−APSを用いてもよい。
タッチパネルシステム70のその他の構成要素の詳細は、実施の形態1に示すタッチパネルシステム10の記載を参照すればよい。
以上、本実施の形態に示すタッチパネルシステムを用いることで、効率的に手書き文字を認識することが可能なタッチパネルシステムを提供することができる。また、効率的に手書き文字を認識することが可能な受像装置を提供することができる。
(実施の形態3)
本実施の形態では、ニューラルネットワークの演算に用いることが可能な、アナログ積和演算回路について説明する。
本実施の形態では、ニューラルネットワークの演算に用いることが可能な、アナログ積和演算回路について説明する。
前述の通り、ニューラルネットワークの演算には、ニューロンの出力と、シナプスに格納された重み係数の積和演算が含まれる。図10は、ニューラルネットワークの概略図である。
図10に示すニューラルネットワークNNは、複数のニューロンによって構成されるニューロン群N1、N2と、ニューロン間の重み係数が格納されたシナプスSNPを有する。ニューロン群N1は入力層又は中間層に対応し、ニューロン群N2は中間層又は出力層に対応する。ニューロン群N1から出力された信号は、シナプスSNPを介してニューロン群N2に入力される。
図11に、ニューラルネットワークNNの具体的な構成例を示す。ニューロン群N1が有する複数のニューロンN1の出力はそれぞれ、シナプスSNPを介して、ニューロン群N2が有する複数のニューロンN2に入力される。図11において、ニューロン間の白丸はシナプスSNPを表す。ニューロン群N1とニューロン群N2の間のシナプスSNPは、ニューロンN1の出力と、重み係数との乗算を行い、ニューロンN2に出力する機能を有する。
図10に示すように、ニューロン群N1から出力された信号には、シナプスSNPによって重み係数が乗じられる。すなわち、シナプスSNPは乗算(MUL)を行う機能を有する。なお、重み係数はあらかじめシナプスSNPに格納されている。そして、複数のシナプスSNPから出力された信号は、ニューロン群N2に入力される。
ニューロン群N2に含まれるニューロンはそれぞれ、複数のシナプスSNPから入力された信号の総和を算出する機能を有する。すなわち、ニューロンは加算(ADD)を行う機能を有する。このように、シナプスとニューロンによって積和演算(MAD)が行われる。そして、積和演算によって得られた信号は、活性化関数に基づいて変換された後、他のニューロンに出力される。
上記のように、シナプスSNPは、ニューロンの出力と重み係数との乗算を行う演算回路(arithmetic circuit)としての機能と、重み係数を格納するメモリ(memory)としての機能を有する。そのため、ニューラルネットワークNNをハードウェアによって構成する場合は、演算回路とメモリを用いることによってシナプスを構成することができる。しかしながら、演算回路とメモリを個別に形成すると、回路規模が増大する。また、乗算を行うごとにメモリへのアクセスが必要となり、消費電力が増大する。
ここで、本発明の一態様においては、シナプスを、チャネル形成領域にシリコン(例えば、単結晶シリコンなど)を用いたトランジスタ(以下、Siトランジスタと呼ぶ)と、OSトランジスタと、を組み合わせた回路によって構成する。具体的には、図10に示すように、Siトランジスタを有する層(図中、「Si」の符号を付す)の上方に、OSとランジスタを有する層(図中、「OS」の符号を付す)を設ける。そして、Siトランジスタ及びOSトランジスタを用いて、乗算を行う機能と、重み係数を格納する機能と、が一体化した回路を構成することができる。これにより、回路規模の縮小、又は消費電力の低減を図ることができる。
以下、演算回路としての機能と、メモリとしての機能を有する、アナログ積和演算回路(OS−APS)の具体例について説明を行う。
図12に示すAPS(アナログ積和演算回路)50は、メモリセルアレイ51、回路52、回路53および回路54を有する。なお、図12において、VDDは高電源電位、VSSは低電源電位表す。
メモリセルアレイ51は、i行j列(i、jは1以上の整数)のマトリクス状に配置されたメモリセルMC[1、1]乃至MC[i、j]と、1列に配置されたメモリセルMC_R[1]乃至MC_R[i]を有する。メモリセルMCおよびメモリセルMC_Rはアナログデータを保持する機能を有する。また、メモリセルMC_R[1]乃至MC_R[i]は参照用メモリセルとしての機能を有する。
なお、本明細書において、配列を表す符号の括弧が省略されて記載されている場合、その符号は配列要素のうち、不特定の1つを表す。例えば、メモリセルMCは、メモリセルMC[1、1]乃至MC[i、j]のうち、不特定の1つのメモリセルを表す。
なお、後述の通り、メモリセルMCは、乗算を行う機能と、重み係数を格納する機能と、を有する。すなわち、メモリセルMCはシナプスとしての機能を有する。
メモリセルMCおよびメモリセルMC_Rは、トランジスタM01と、トランジスタM02と、容量素子C0を有する。また、メモリセルMCにおいて、トランジスタM01のゲートをノードNMと呼ぶ。また、メモリセルMC_Rにおいて、トランジスタM01のゲートをノードNM_Rと呼ぶ。
メモリセルMC[i、j]において、トランジスタM02のオン・オフは信号WW[i]によって制御される。信号BW[j]は、トランジスタM02を介して、ノードNM[i、j]に書き込まれ、信号VX[i]は、容量素子C0を介して、ノードNM[i、j]に書き込まれる、トランジスタM01はノードNM[i、j]の電位に応じて、電流IM[i、j]を流す。
メモリセルMC_R[i]において、トランジスタM02のオン・オフは信号WW[i]によって制御される。信号BW_Rは、トランジスタM02を介して、ノードNM_R[i]に書き込まれ、信号VX[i]は、容量素子C0を介して、ノードNM_R[i]に書き込まれる。トランジスタM01はノードNM_R[i]の電位に応じて、電流IM_R[i]を流す。
メモリセルMCにおいて、トランジスタM02はOSトランジスタを用いることが好ましい。OSトランジスタのオフ電流は極めて低いため、トランジスクM02をオフにすることで、メモリセルMCはノードNMの電位(アナログデータ)を保持することができる。
同様に、メモリセルMC_Rにおいて、トランジスタM02はOSトランジスタを用いることが好ましい。トランジスタM02をオフにすることで、メモリセルMC_RはノードNM_Rの電位(アナログデータ)を保持することができる。
なお、トランジスタM01として用いることができるトランジスタは、特に限定されない。例えば、トランジスタM01としてSiトランジスタを用いることができる。この場合、トランジスタM01の上方にトランジスタM02を積層することができ、図10に示すようなシナプスを構成することができる。
回路54は回路CSC[1]乃至CSC[j]および回路CSC_Rを有する。回路CSCおよびCSC_Rは、トランジスタM11、トランジスタM12および容量素子C1を有する。
回路CSCにおいて、トランジスタM12のオン・オフは信号CSCSによって制御される。信号BCSCはトランジスタM12を介して、トランジスタM11のゲートおよび容量素子C1の一方の端子に書き込まれる。回路CSC[j]はメモリセルMC[1、j]乃至MC[i、j]の電流源として機能し、電流ICSC[j]を流す。
回路CSC_Rにおいて、トランジスタM12のオン・オフは信号CSCSによって制御される。信号BCSC_RはトランジスタM12を介して、トランジスタM11のゲートおよび容量素子C1の一方の端子に書き込まれる。回路CSC_RはメモリセルMC_R[1]乃至MC_R[i]の電流源として機能し、電流ICSC_Rを流す。
回路CSCにおいて、トランジスタM12はOSトランジスタを用いることが好ましい。OSトランジスタのオフ電流は極めて低いため、トランジスタM12をオフにすることで、回路CSCはトランジスタM11のゲートの電位(アナログデータ)を保持することができる。
同様に、回路CSC_Rにおいて、トランジスタM12はOSトランジスタを用いることが好ましい。トランジスタM12をオフにすることで、回路CSC_RはトランジスタM11のゲートの電位(アナログデータ)を保持することができる。
回路52は回路CSK[1]乃至CSK[j]を有する。回路CSKはカレントシンク回路としての機能を有する。回路CSKはトランジスタM21、トランジスタM22、トランジスタM23および容量素子C2を有する。トランジスタM22のオン・オフは信号CSKSによって制御され、トランジスタM23のオン・オフは信号CSKRによって制御される。
回路CSKにおいて、トランジスタM22およびトランジスタM23はOSトランジスタを用いることが好ましい。OSトランジスタのオフ電流は極めて低いため、トランジスタM22およびトランジスタM23をオフにすることで、回路CSKはトランジスタM21のゲートの電位(アナログデータ)を保持することができる。
配線BL_Rは、メモリセルMC_R[1]乃至MC_R[i]および回路CSC_Rに、電気的に接続される。配線BL[j]は、メモリセルMC[1、j]乃至MC[i、j]、回路CSC[j]および回路CSK[j]に電気的に接続される。
回路53は、カレントミラー回路としての機能を有し、配線BL_Rに流れる電流を、配線BL[1]乃至BL[j]にコピーする機能を有する。
メモリセルMCは、重み係数(W)に対応した電位を保持する機能を有する。信号線VX[i]に被乗数(X)に対応した電位を与えることで、トランジスタM01は、WとXの積に対応した電流IMを流す。APS50は、電流IMの和(電流IWX)を検出することで、アナログ積和演算を実行する。
なお、メモリセルMCは、図12に示すように少ない素子数で構成することができる。そのため、乗算回路及びメモリを比較的単純な構成で実現することができ、ニューラルネットワークNNの回路規模の縮小を図ることができる。
図13に示すタイミングチャートは、APS50の動作の一例を表す。図13は動作のタイミングを表すために期間P1乃至P4に分割されている。
期間P1において、回路CSCに電荷が書き込まれる。期間P2において、メモリセルMCに重み係数に相当するデータが書き込まれる。期間P3において、回路CSKにオフセット電流を流し得る電荷が書き込まれる。期間P4以降、信号VX[i]の電位に応じて、アナログ積和演算の結果が電流IWX[j]として出力される。
APS50に用いられるトランジスタは全てnチャネル型トランジスタである。そのため、APS50は、nチャネル型とpチャネル型の作り分けが不要になり、製造コストを大幅に下げることができる。また、APS50は、OSトランジスタだけで構成することができる。例えば、図3および図9における、画素部11をOSトランジスタで構成した場合、NN回路19と画素部11と同じ製造工程で作製することができる。すなわち、同一基板上に画素部11とNN回路19を同時に作製することができる。その結果、表示パネルの製造コストを大幅に低減することができる。また、OSトランジスタは、大型のガラス基板に作製することができるため、大規模な積和演算回路を作製することができる。
以上、本実施の形態に示すアナログ積和演算回路を用いることで、効率的に積和演算を実行することが可能な半導体装置を提供することができる。また、効率的にニューラルネットワークを構築することが可能な半導体装置を提供することができる。
(実施の形態4)
本実施の形態は、上記実施の形態に示すOSメモリを用いたアナログ積和演算回路(OS−APS)の具体例について、図14乃至図18を用いて説明する。本実施の形態は実施の形態3に示すアナログ積和演算回路とは異なる例について説明を行う。なお、本実施の形態において、ゲートは特に断りの無い場合はフロントゲートを指すものとする。
本実施の形態は、上記実施の形態に示すOSメモリを用いたアナログ積和演算回路(OS−APS)の具体例について、図14乃至図18を用いて説明する。本実施の形態は実施の形態3に示すアナログ積和演算回路とは異なる例について説明を行う。なお、本実施の形態において、ゲートは特に断りの無い場合はフロントゲートを指すものとする。
<積和演算回路の構成>
図14は、APS(アナログ積和演算回路)100の構成の例を示す図である。APS100は、電流源回路130、メモリセルアレイ120およびオフセット回路110を有する。
図14は、APS(アナログ積和演算回路)100の構成の例を示す図である。APS100は、電流源回路130、メモリセルアレイ120およびオフセット回路110を有する。
電流源回路130は行方向にn個の列出力回路OUTと、参照列出力回路CREFを有する。メモリセルアレイ120は列方向にm個および行方向にn個のマトリクス状に配置されたm×n個のメモリセルMEMと、列方向にm個の参照メモリセルREFを有する。オフセット回路110は行方向にn個の列入力回路OMを有する。ここで、nは1よりも大きい整数であり、mは1よりも大きい整数である。またiは1以上m−1以下の整数であり、jは1以上n−1以下の整数である。たとえばi行目j列目に配置されているメモリセルは、MEM[i,j]と記載することとする。
列出力回路OUTの一部は定電流回路131aとして機能することができ、参照列出力回路の一部は定電流回路131bとして機能することができる。また各列出力回路OUTの他の一部と参照列出力回路CREFの他の一部はカレントミラーとして機能することができる。
列出力回路OUTの定電流回路131aと電気的に接続される信号線B[j]および信号線B[j+1]は、それぞれ[j]列のメモリセルMEMおよび[j+1]列のメモリセルMEMと電気的に接続される。また、参照列出力回路CREFの定電流回路131bと電気的に接続される信号線BREFは、参照メモリセルREFと電気的に接続される。
オフセット回路110が有する列入力回路OM[j]および列入力回路OM[j+1]はそれぞれ、トランジスタ111、トランジスタ112、トランジスタ113、容量素子114、抵抗素子115、および保持ノードO[j]または保持ノードO[j+1]を有する。
またオフセット回路110は、信号線ORP、信号線OR、信号線OB、信号線OREF、出力端子となる信号線VOを有する。また列入力回路OM[j]および列入力回路OM[j+1]は、それぞれ信号線B[j]および信号線B[j+1]を介して、列[j]のメモリセルMEMおよび列[j+1]のメモリセルMEMと電気的に接続される。
列入力回路OM[j]では、トランジスタ111の第1端子はOPR[j]と電気的に接続され、トランジスタ111のゲートは信号線ORと電気的に接続され、トランジスタ111の第2端子はトランジスタ112のゲートおよび容量素子114の第1端子と電気的に接続される。またトランジスタ112の第1端子にはVDD(高電源電位、電源の第1電位等といってもよい)が与えられ、トランジスタ112の第2端子は、トランジスタ113の第1端子および出力端子となる信号線VO[j]と電気的に接続される。またトランジスタ113のゲートは信号線OBと電気的に接続され、トランジスタ113の第2端子にはVSS(低電源電位、電源の第2電位等といってもよい)が与えられる。容量素子114の第2端子は信号線B[j]および抵抗素子115の第1端子と電気的に接続される。抵抗素子115の第2端子は、信号線OREFと電気的に接続される。
また、図14に示すように、トランジスタ111の第2端子、トランジスタ112のゲートおよび容量素子114の第1端子と電気的に接続されているノードを、保持ノードO[j]という場合がある。
同様に、列入力回路OM[j+1]では、トランジスタ111の第1端子はOPR[j+1]と電気的に接続され、トランジスタ111のゲートは信号線ORと電気的に接続され、トランジスタ111の第2端子はトランジスタ112のゲートおよび容量素子114の第1端子と電気的に接続される。またトランジスタ112の第1端子にはVDD(高電源電位、電源の第1電位等といってもよい)が与えられ、トランジスタ112の第2端子は、トランジスタ113の第1端子および出力端子となる信号線VO[j+1]と電気的に接続される。またトランジスタ113のゲートは信号線OBと電気的に接続され、トランジスタ113の第2端子にはVSS(低電源電位、電源の第2電位等といってもよい)が与えられる。容量素子114の第2端子は信号線B[j+1]および抵抗素子115の第1端子と電気的に接続される。抵抗素子115の第2端子は、信号線OREFと電気的に接続される。
また、トランジスタ111の第2端子、トランジスタ112のゲートおよび容量素子114の第1端子と電気的に接続されているノードを、保持ノードO[j+1]という場合がある。
信号線ORから制御信号を供給することができる。また信号線OPR[j]および信号線OPR[j+1]からそれぞれ、保持ノードO[j]および保持ノードO[j+1]のプリセット電位を供給することができる。また信号線OBからトランジスタ113を定電流源として動作させるためのバイアス電位を供給することができる。また信号線OREFから抵抗素子115で電流電圧変換を行うためのリファレンス電位を供給することができる。また信号線VO[j]および信号線VO[j+1]からそれぞれ、列[j]、列[j+1]の積和演算の結果を表す電位を出力することができる。
<メモリセルアレイの例>
次に、図15を用いて、APS100が有するメモリセルアレイ120の構成の例を示す。メモリセルアレイ120はアナログメモリとして機能することができる。ただしメモリセルアレイ120は図15の構成に限らない。アナログメモリとして機能できる回路構成であれば、その他の構成であってもよい。
次に、図15を用いて、APS100が有するメモリセルアレイ120の構成の例を示す。メモリセルアレイ120はアナログメモリとして機能することができる。ただしメモリセルアレイ120は図15の構成に限らない。アナログメモリとして機能できる回路構成であれば、その他の構成であってもよい。
図15に示すメモリセルアレイ120は、上述したようにメモリセルMEM[i,j]、メモリセルMEM[i,j+1]、メモリセルMEM[i+1,j]、メモリセルMEM[i+1,j+1]を有する。またメモリセルアレイ120は参照メモリセルREF[i]、参照メモリセルREF[i+1]を有する。
さらに、メモリセルMEM[i,j]乃至MEM[i+1,j+1]はそれぞれ、電源線VR、信号線WD[j]または信号線WD[j+1]、信号線RW[i]または信号線RW[i+1]、信号線WW[i]または信号線WW[i+1]を有する。また、信号線B[j]および信号線B[j+1]と電気的に接続される。また、参照メモリセルREF[i]およびREF[i+1]はそれぞれ、電源線VR、参照信号線WDREF、信号線RW[i]または信号線RW[i+1]、信号線WW[i]または信号線WW[i+1]を有する。また信号線BREFと電気的に接続される。
メモリセルMEM[i,j]乃至MEM[i+1,j+1]、ならびに参照メモリセルREF[i]およびREF[i+1]は、それぞれトランジスタ123、トランジスタ124、容量素子125を有する。
メモリセルMEM[i,j]では、トランジスタ123の第1端子は、信号線WD[j]と電気的に接続され、トランジスタ123のゲートは信号線WW[j]と電気的に接続され、トランジスタ123の第2端子は容量素子125の第1端子およびトランジスタ124のゲートと電気的に接続される。トランジスタ124の第1端子は電源線VRと電気的に接続され、トランジスタ124の第2端子は信号線B[j]と電気的に接続される。容量素子125の第2端子は信号線RW[i]と電気的に接続される。
また、図15に示すように、トランジスタ123の第2端子、容量素子125の第1端子およびトランジスタ124のゲートと電気的に接続されているノードを、電荷保持ノードN[i,j]という場合がある。
電源線VRから電位(ここでは低電位とする)を供給することができる。また信号線WW[i]、信号線WW[i+1]、信号線RW[i]および信号線RW[i+1]からそれぞれ制御信号を供給することができる。また信号線WD[j]および信号線WD[j+1]からそれぞれデータ信号を供給することができる。また信号線B[j]および信号線B[j+1]に各列のメモリセルのデータに対応した電流を出力することができる。また信号線BREFに参照メモリセルのデータに対応した電流を出力することができる。
また、電荷保持ノードN[i,j]、電荷保持ノードN[i,j+1]、電荷保持ノードN[i+1,j]、電荷保持ノードN[i+1,j+1]、電荷保持ノードNREF[i]、電荷保持ノードNREF[i+1]には、データに対応する電荷を蓄積することができる。
なお、メモリセルMEM[i,j]が有するトランジスタ124に流れる電流(吸い込む電流)をI[i,j]ということとする。同様に、メモリセルMEM[i,j+1]が有するトランジスタ124に流れる電流をI[i,j+1]、メモリセルMEM[i+1,j]が有するトランジスタ124に流れる電流をI[i+1,j]、メモリセルMEM[i+1,j+1]が有するトランジスタ124に流れる電流をI[i+1,j+1]とする。また参照メモリセルREF[i]が有するトランジスタ124に流れる電流をIREF[i]、参照メモリセルREF[i+1]が有するトランジスタ124に流れる電流をIREF[i+1]とする。
他のメモリセルにおける電気的な接続、機能等は、図15およびメモリセルMEM[i,j]の記載を参酌することができる。
<電流源回路の例1>
次に、図16を用いて、APS100が有する電流源回路130の構成の例を示す。
次に、図16を用いて、APS100が有する電流源回路130の構成の例を示す。
電流源回路130は、上述したように列出力回路OUT[j]、列出力回路OUT[j+1]、および参照列出力回路CREFを有する。また電流源回路130は定電流回路131a、定電流回路131bおよびカレントミラーを有する。
列出力回路OUT[j]および列出力回路OUT[j+1]は、それぞれトランジスタ132、トランジスタ133、トランジスタ134、容量素子135およびノードNG[j]またはノードNG[j+1]を有する。なおトランジスタ132はデュアルゲート構造のトランジスタである。デュアルゲート構造のトランジスタの場合、一方のゲートを第1ゲート、フロントゲート、又は単にゲートとよぶことがあり、他方のゲートを第2ゲート、又はバックゲートとよぶことがある。
また参照列出力回路CREFは、トランジスタ136、トランジスタ137、トランジスタ138および容量素子139を有する。トランジスタ136はデュアルゲート構造のトランジスタである。
また列出力回路OUT[j]および列出力回路OUT[j+1]は、信号線GW、信号線FG[j]および信号線FG[j+1]および信号線B[j]および信号線B[j+1]を有する。
また参照列出力回路CREFは、信号線GW、信号線FGREFおよび信号線BREFを有する。
列出力回路OUT[j]では、トランジスタ132のフロントゲートはトランジスタ133の第1端子および容量素子135の第1端子と電気的に接続される。トランジスタ132のバックゲートはトランジスタ132の第1端子、容量素子135の第2端子、トランジスタ134の第1端子、および信号線B[j]と電気的に接続される。トランジスタ132の第2端子にはVDDが与えられる。トランジスタ133のゲートは信号線GWと電気的に接続され、トランジスタ133の第2端子は信号線FG[j]と電気的に接続される。トランジスタ134のゲートは、列出力回路OUT[j+1]のトランジスタ134のゲート、参照列出力回路CREFのトランジスタ138のゲート、信号線BREF、トランジスタ138の第1端子、トランジスタ136のバックゲート、トランジスタ136の第2端子、容量素子139の第2端子と電気的に接続される。トランジスタ134の第2端子にはVSSが与えられる。
また図16に示すように、トランジスタ132のフロントゲート、トランジスタ133の第1端子、容量素子135の第1端子と電気的に接続されているノードを、ノードNG[j]という場合がある。
同様に列出力回路OUT[j+1]では、トランジスタ132のフロントゲートはトランジスタ133の第1端子および容量素子135の第1端子と電気的に接続される。トランジスタ132のバックゲートはトランジスタ132の第1端子、容量素子135の第2端子、トランジスタ134の第1端子、および信号線B[j+1]と電気的に接続される。トランジスタ132の第2端子にはVDDが与えられる。トランジスタ133のゲートは信号線GWと電気的に接続され、トランジスタ133の第2端子は信号線FG[j+1]と電気的に接続される。トランジスタ134の第2端子にはVSSが与えられる。
またトランジスタ132のフロントゲート、トランジスタ133の第1端子、容量素子135の第1端子と電気的に接続されているノードを、ノードNG[j+1]という場合がある。
参照列出力回路CREFでは、トランジスタ136のフロントゲートはトランジスタ137の第1端子および容量素子139の第1端子と電気的に接続される。トランジスタ136のバックゲートは、上述したようにトランジスタ136の第1端子、容量素子139の第2端子、トランジスタ138のゲート、トランジスタ138の第1端子、列出力回路OUT[j]および列出力回路OUT[j+1]のトランジスタ134のゲート、信号線BREFと電気的に接続される。トランジスタ136の第2端子にはVDDが与えられる。トランジスタ137のゲートは信号線GWと電気的に接続され、トランジスタ137の第2端子は信号線FGREFと電気的に接続される。トランジスタ138の第2端子にはVSSが与えられる。
また図16に示すように、トランジスタ136のフロントゲート、トランジスタ137の第1端子、容量素子139の第1端子と電気的に接続されているノードを、NGREFという場合がある。
信号線GWから制御信号を供給することができる。信号線GWの信号線を“H”にすると、列出力回路OUT[j]のトランジスタ133、列出力回路OUT[j+1]のトランジスタ133、参照列出力回路CREFのトランジスタ137がオンになる。このとき信号線FG[j]、信号線FG[j+1]、信号線FGREFから、それぞれ列出力回路OUT[j]のトランジスタ132のフロントゲート(つまりノードNG[j])、列出力回路OUT[j+1]のトランジスタ132のフロントゲート(つまりノードNG[j+1])、参照列出力回路CREFのトランジスタ136のフロントゲート(つまりノードNGREF)に任意の電圧を書き込むことができる。そのため、トランジスタ132およびトランジスタ136をノーマリオンとすることができる。
なお、信号線B[j]および信号線B[j+1]には、電流IREF’[j]およびIREF’[j+1]を流すことができる。これは、列出力回路OUT[j]および列出力回路OUT[j+1]のトランジスタ134に流れる電流(吸い込む電流)ICMと、トランジスタ132に流れる電流(吐き出す電流)IC[j]およびIC[j+1]と、の和に相当する。
同様に信号線BREFには、トランジスタ138に流れる電流(吸い込む電流)ICMと、トランジスタ136に流れる電流(吐き出す電流)ICREFと、の和に相当する電流IREFを流すことができる。
ここで、当該電流IREFは、参照メモリセルREFが有するトランジスタ124に流れる電流(吸い込む電流)IREF[i]、IREF[i+1]の和に等しくなるように、トランジスタ136のソース電位が決定される。また、トランジスタ134のトランジスタサイズ(チャネル長及びチャネル幅)をトランジスタ138のトランジスタサイズと等しくすることで、トランジスタ134に流れる電流(吸い込む電流)をICMとすることができる。
すなわち、列出力回路OUT[j]および列出力回路OUT[j+1]のトランジスタ134および参照列出力回路CREFのトランジスタ138がカレントミラーを構成するため、信号線B[j]および信号線B[j+1]および信号線FGREFに同じ値の電流を流すことができる。
これまでに示したAPS100に用いられるトランジスタは全てnチャネル型トランジスタである。そのため、APS100は、nチャネル型とpチャネル型の作り分けが不要になり、製造コストを大幅に下げることができる。また、APS100は、OSトランジスタだけで構成することができる。例えば、図3および図9における、画素部11をOSトランジスタで構成した場合、NN回路19と画素部11と同じ製造工程で作製することができる。すなわち、同一基板上に画素部11とNN回路19を同時に作製することができる。その結果、表示パネルの製造コストを大幅に低減することができる。また、OSトランジスタは、大型のガラス基板に作製することができるため、大規模な積和演算回路を作製することができる。
<電流源回路の例2>
APS100が有する電流源回路130は、図16の構成に限られない。たとえばpチャネルトランジスタを用いて電流源回路130を構成してもよい。図17に、pチャネルトランジスタを用いた電流源回路130の構成例を示す。
APS100が有する電流源回路130は、図16の構成に限られない。たとえばpチャネルトランジスタを用いて電流源回路130を構成してもよい。図17に、pチャネルトランジスタを用いた電流源回路130の構成例を示す。
列出力回路OUT[j]および列出力回路OUT[j+1]は、それぞれpチャネル型トランジスタ140を有する。参照列出力回路CREFはpチャネル型トランジスタ141を有する。
また列出力回路OUT[j]および列出力回路OUT[j+1]は、信号線B[j]および信号線B[j+1]を有する。参照列出力回路CREFは、信号線BREFを有する。
列出力回路OUT[j]では、トランジスタ140のゲートは、列出力回路OUT[j+1]のトランジスタ140のゲート、参照列出力回路CREFのトランジスタ141のゲート、トランジスタ141の第1端子、信号線BREFと電気的に接続される。トランジスタ140の第1端子は信号線B[j]と電気的に接続される。トランジスタ140の第2端子には、VDDが与えられる。トランジスタ140は定電流回路として機能することができる。
同様に列出力回路OUT[j+1]では、トランジスタ140の第1端子は信号線B[j+1]と電気的に接続される。トランジスタ140の第2端子には、VDDが与えられる。
参照列出力回路CREFでは、トランジスタ141のゲートは上述したようにトランジスタ141の第1端子、信号線BREF、列出力回路OUT[j]および列出力回路OUT[j+1]のトランジスタ140のゲートと電気的に接続される。トランジスタ141の第2端子には、VDDが与えられる。トランジスタ141は、定電流回路として機能することができる。
列出力回路OUT[j]および列出力回路OUT[j+1]のトランジスタ140および参照列出力回路CREFのトランジスタ141がカレントミラーを構成し、またそれぞれ定電流回路として機能するため、信号線B[j]および信号線B[j+1]および信号線BREFに同じ値の電流を流すことができる。
なお電流源回路130の構成は図16および図17に限られず、定電流回路として機能できる構成であれば、その他の構成であってもよい。
<タイミングチャート>
次に、メモリセルアレイ120に図15の構成、電流源回路130に図16の構成を採用した場合の図14に示すAPS100の動作の例を、図18のタイミングチャートを用いて説明する。
次に、メモリセルアレイ120に図15の構成、電流源回路130に図16の構成を採用した場合の図14に示すAPS100の動作の例を、図18のタイミングチャートを用いて説明する。
図18に示す時刻T01乃至時刻T02は、トランジスタ132およびトランジスタ136を電流源として動作させるために、トランジスタ132およびトランジスタ136のゲートと電気的に接続されているノードNG[j]、NG[j+1]、NGREFに電圧を印加する動作に相当する。
時刻T03乃至時刻T06は各メモリセルに第1のアナログデータを格納する動作に相当する。
時刻T07乃至時刻T08はオフセット回路の列入力回路にプリセット電位を設定する動作に相当する。
時刻T09乃至時刻T14は各行のメモリセルに格納した第1のアナログデータと、各行のメモリセルに供給する選択信号に対応する第2のアナログデータと、の積に対応した出力データを取得する動作に相当する。
ここで、電源線VRは低電位、電源線VDDは高電位、電源線VSSは低電位とする。また、トランジスタ112、トランジスタ113、トランジスタ124、トランジスタ132、トランジスタ134、トランジスタ136、トランジスタ138は、特に断りのない場合は飽和領域で動作するものとする。すなわち、当該トランジスタのゲート電圧、ソース電圧、ドレイン電圧は、飽和領域で動作する範囲の電圧に適切にバイアスされているものとする。なお、当該トランジスタの動作が、理想的な飽和領域での動作からずれていても、出力データの精度が所望の範囲内で得られる場合であれば、当該トランジスタのゲート電圧、ソース電圧、ドレイン電圧は、適切にバイアスされているものとみなす。
なお、その他のトランジスタ、すなわち、トランジスタ111、トランジスタ123、トランジスタ133、トランジスタ137には、OSトランジスタを用いることが好ましい。OSトランジスタのオフ電流は極めて低いため、これらのトランジスタを理想的なスイッチとして機能させることができる。そのため容量素子114、容量素子125、容量素子135、容量素子139に蓄えた電位を長時間保持することができる。
なお、時刻T03乃至T08における電流I、電流IREF、電流ICMを、それぞれ、電流I0、電流IREF0、電流ICM0と表す。また、時刻T03乃至T08における信号線Bに流れる電流を電流IOFと表す。
まず時刻T01乃至時刻T02において、信号線GWの電位を“H”、信号線FG[j]の電位をVG[j]、信号線FG[j+1]の電位をVG[j+1]、信号線FGREFの電位をVGREFとすると、ノードNG[j]、NG[j+1]、NGREFの電位がそれぞれVG[j]、VG[j+1]、VGREFになる。ここで、VG[j]、VG[j+1]、VGREFはトランジスタ132、トランジスタ136をノーマリオンで動作させるための電位である。
時刻T03乃至時刻T04において、信号線WW[i]を“H”、信号線WW[i+1]を“L”、信号線WD[j]の電位をVPR−VX[i,j]、信号線WD[j+1]の電位をVPR−VX[i,j+1]、信号線WDREFの電位をVPR、信号線RW[i]の電位を基準電位、信号線RW[i+1]の電位を基準電位とする。この時、電荷保持ノードN[i,j]の電位はVPR−VX[i,j]、電荷保持ノードN[i,j+1]の電位はVPR−VX[i,j+1]、電荷保持ノードNREF[i]の電位はVPRに設定される。ここで、VX[i,j]、VX[i,j+1]は複数の第1のアナログデータに各々対応する電位である。
時刻T05乃至時刻T06において、信号線WW[i]を“L”、信号線WW[i+1]を“H”、信号線WD[j]の電位をVPR−VX[i+1,j]、信号線WD[j+1]の電位をVPR−VX[i+1,j+1]、信号線WDREFの電位をVPR、信号線RW[i]の電位を基準電位、信号線RW[i+1]の電位を基準電位とする。この時、電荷保持ノードN[i+1,j]の電位はVPR−VX[i+1,j]、電荷保持ノードN[i+1,j+1]の電位はVPR−VX[i+1,j+1]、電荷保持ノードNREF[i+1]の電位はVPRに設定される。ここで、VX[i+1,j]、VX[i+1,j+1]は複数の第1のアナログデータに各々対応する電位である。
ここで、メモリセルMEM[i,j]におけるトランジスタ124に流れる電流(吸い込む電流)I0[i,j]は、
I0[i,j]=k(VPR−VX[i,j]−Vth)2 式(1)
となる。また、参照メモリセルREF[i]におけるトランジスタ124に流れる電流(吸い込む電流)IREF0[i]は、
IREF0[i]=k(VPR−Vth)2 式(2)
となる。ここで、kは係数、Vthはトランジスタ124の閾値電圧である。
I0[i,j]=k(VPR−VX[i,j]−Vth)2 式(1)
となる。また、参照メモリセルREF[i]におけるトランジスタ124に流れる電流(吸い込む電流)IREF0[i]は、
IREF0[i]=k(VPR−Vth)2 式(2)
となる。ここで、kは係数、Vthはトランジスタ124の閾値電圧である。
参照列出力回路CREFにおいて、信号線BREFには参照メモリセルREF[i]が有するトランジスタ124に流れる電流(吸い込む電流)IREF0[i]の和、ΣIREFO[i]=IREF0が流れるが、IREF0とICREF−ICM0とが等しくなるように、つまり、
ICREF−ICM0=ΣIREF0[i] 式(3)
が成り立つようにトランジスタ138のゲート電位が設定される。ここで、トランジスタ134とトランジスタ138とはカレントミラーを構成するため、トランジスタ134にも電流ICM0が流れる。
ICREF−ICM0=ΣIREF0[i] 式(3)
が成り立つようにトランジスタ138のゲート電位が設定される。ここで、トランジスタ134とトランジスタ138とはカレントミラーを構成するため、トランジスタ134にも電流ICM0が流れる。
時刻T07乃至時刻T08において、信号線ORを“H”、信号線OPR[j]をVOPR[j]、信号線OPR[j+1]をVOPR[j+1]、信号線OREFをVREFとすると、各々列入力回路OM[j]、列入力回路OM[j+1]の保持ノードO[j]、保持ノードO[j+1]の電位がVOPR[j]、VOPR[j+1]になる。VOPR[j]、VOPR[j+1]は各列で異なる値でも同じ値でも良いが、トランジスタ112がオンになり、かつVDDを超えない値が望ましい。トランジスタ113はゲートに適切なバイアス電位が信号線OBから供給されることで定電流源として動作し、トランジスタ112はソースフォロワとして動作しているため、信号線VO[j]、信号線VO[j+1]から出力電圧VOPR[j]−Vtho、出力電圧VOPR[j+1]−Vthoが出力される。なお、Vthoはトランジスタ112の閾値である。よって、出力電流の初期値IOF[j]の値に関わらず出力電圧の初期値を一定にすることができる。
トランジスタ132に電流IC[j]が流れ(吐き出し)、トランジスタ134に電流ICM0が流れ(吸い込み)、メモリセルMEM[i,j]が有するトランジスタ124に電流I0[i,j]が流れ(吸い込み)、メモリセルMEM[i+1,j]が有するトランジスタ124に電流I0[i+1,j]が流れ(吸い込み)るため、信号線RW[i]の電位が基準電位、信号線RW[i+1]の電位が基準電位のとき、
IC[j]−ICM0−ΣI0[i,j]=IOF[j] 式(4)
が成り立つ。
IC[j]−ICM0−ΣI0[i,j]=IOF[j] 式(4)
が成り立つ。
さて、時刻T09以降の動作説明に移る前に、信号線RW[i]の電位を基準電位に対してVW[i]だけ高い電位とする(以下、信号線RW[i]の電位をVW[i]とする、と表現する)場合を考える。ここで、VW[i]は第2のアナログデータに対応する電位である。なお、信号線RW[i]の電位は容量素子125を介してトランジスタ124のゲート電位に重畳されるため、信号線RW[i]の電位変化がそのままトランジスタ124のゲート電位の増加分とはならない。より具体的には、容量素子125の容量とトランジスタ124のゲート容量と寄生容量より算出できる容量結合係数を信号線RW[i]の電位変化に乗じた電位変化が、トランジスタ124のゲート電位の増加分となる。ここでは、説明を簡潔にするため、当該容量結合容量係数を乗じた電位をVW[i]とするが、実際に信号線RW[i]に供給する電位は、当該容量結合容量係数を用いることで適宜換算すればよい。
このとき、メモリセルMEM[i,j]におけるトランジスタ124に流れる電流(吸い込む電流)I[i,j]は、
I[i,j]=k(VPR−VX[i,j]+VW[i]−Vth)2 式(5)
となる。また、参照メモリセルREF[i]におけるトランジスタ124に流れる電流(吸い込む電流)IREF[i]は、
IREF[i]=k(VPR+VW[i]−Vth)2 式(6)
となる。
I[i,j]=k(VPR−VX[i,j]+VW[i]−Vth)2 式(5)
となる。また、参照メモリセルREF[i]におけるトランジスタ124に流れる電流(吸い込む電流)IREF[i]は、
IREF[i]=k(VPR+VW[i]−Vth)2 式(6)
となる。
参照列出力回路CREFにおいて、信号線BREFには参照メモリセルREF[i]が有するトランジスタ124に流れる電流(吸い込む電流)IREF[i]の和、ΣIREF[i]=IREFが流れるが、IREFとICREF−ICMとが等しくなるように、つまり、
ICREF−ICM=ΣIREF[i] 式(7)
が成り立つように、トランジスタ138のゲート電位が設定される。ここで、トランジスタ134とトランジスタ138とはカレントミラーを構成するため、トランジスタ134にも電流ICMが流れる。
ICREF−ICM=ΣIREF[i] 式(7)
が成り立つように、トランジスタ138のゲート電位が設定される。ここで、トランジスタ134とトランジスタ138とはカレントミラーを構成するため、トランジスタ134にも電流ICMが流れる。
ここで、トランジスタ132に電流IC[j]が流れ(吐き出し)、トランジスタ134に電流ICMが流れ(吸い込み)、メモリセルMEM[i,j]に電流I[i,j]が流れ(吸い込み)、メモリセルMEM[i+1,j]に電流I[i+1,j]が流れ(吸い込み)るため、信号線B[j]に流れる電流の初期値IOF[j]との差ΔI[j]は、
ΔI[j]
=(IC[j]−ICM−ΣI[i,j])−(IC[j]−ICM0−ΣI0[i,j])
=ΣIREF[i]−ICREF−ΣI[i,j]+ICREF−ΣIREF0[i]+ΣI0[i,j]
=Σk(VPR+VW[i]−Vth)2−Σk(VPR−VX[i,j]+VW[i]−Vth)2−Σk(VPR−Vth)2+Σk(VPR−VX[i,j]−Vth)2
=2kΣ(VW[i]・VX[i,j]) 式(8)
ここで、Σ(VW[i]・VX[i,j])は、第1のアナログデータに対応する電位VX[i,j]と、第2のアナログデータに対応する電位VW[i]と、の積の和に相当する。つまり、第1のアナログデータと第2のアナログデータとの積和値を算出することができることになる。
ΔI[j]
=(IC[j]−ICM−ΣI[i,j])−(IC[j]−ICM0−ΣI0[i,j])
=ΣIREF[i]−ICREF−ΣI[i,j]+ICREF−ΣIREF0[i]+ΣI0[i,j]
=Σk(VPR+VW[i]−Vth)2−Σk(VPR−VX[i,j]+VW[i]−Vth)2−Σk(VPR−Vth)2+Σk(VPR−VX[i,j]−Vth)2
=2kΣ(VW[i]・VX[i,j]) 式(8)
ここで、Σ(VW[i]・VX[i,j])は、第1のアナログデータに対応する電位VX[i,j]と、第2のアナログデータに対応する電位VW[i]と、の積の和に相当する。つまり、第1のアナログデータと第2のアナログデータとの積和値を算出することができることになる。
上記導出において、トランジスタ132とトランジスタ136に流れる電流(吐き出す電流)IC[j]とICREFとは、各々一定であれば異なっていても良いことがわかる。すなわち、信号線FG[j]、信号線B[j+1]、信号線FGREFを独立な電圧に設定し、トランジスタ132、トランジスタ136を各々最適な一定電流を流す定電流源として機能させることができる。
時刻T09乃至時刻T10において、信号線RW[i]の電位をVW[i]、信号線RW[i+1]の電位を基準電位とすると、配線B[j]には、差分電流ΔI[j]=2kΣ(VW[i]・VX[i,j])=2k・VW[i]・VX[i,j]が出力される。すなわち、列出力回路OUT[j]から、メモリセルMEM[i,j]に格納した第1のアナログデータと、メモリセルMEM[i,j]に印加する選択信号に相当する第2のアナログデータと、の積に対応したデータが出力される。
時刻T11乃至時刻T12において、信号線RW[i]の電位を基準電位、信号線RW[i+1]の電位をVW[i+1]とすると、配線B[j]には、差分電流ΔI[j]=2kΣ(VW[i]・VX[i,j])=2k・VW[i+1]・VX[i+1,j]が出力される。すなわち、列出力回路OUT[j]から、メモリセルMEM[i+1,j]に格納した第1のアナログデータと、メモリセルMEM[i+1,j]に印加する選択信号に相当する第2のアナログデータと、の積に対応したデータが出力される。
時刻T13乃至時刻T14において、信号線RW[i]の電位をVW[i]、信号線RW[i+1]の電位をVW[i+1]とすると、配線B[j]には、差分電流ΔI[j]=2kΣ(VW[i]・VX[i,j])=2k・(VW[i]・VX[i,j]+VW[i+1]・VX[i+1,j])が出力される。すなわち、列出力回路OUT[j]から、複数のメモリセルMEM[i,j]、MEM[i+1,j]に格納した第1のアナログデータと、当該複数のメモリセルMEM[i,j]、MEM[i+1,j]に各々印加する選択信号に相当する第2のアナログデータと、の積和に対応したデータが出力される。
時刻T09乃至時刻T14において、信号線B[j]、信号線B[j+1]の電位は、抵抗素子115の抵抗値をRとするとき、R・ΔI[j]、R・ΔI[j+1]、すなわち式(8)より、2kRΣ(VW[i]・VX[i,j])、kRΣ(VW[i]・VX[i,j+1])、だけ変化する。そのため、容量素子114の容量結合比をCCとすると、出力信号線VO[j]、出力信号線VO[j+1]の電位は、VOPR[j]−Vtho+CC・kRΣ(VW[i]・VX[i,j])、VOPR[j+1]−Vtho+CC・kRΣ(VW[i]・VX[i,j+1])、となり、VOPR[j]−Vtho、VOPR[j+1]−Vthoの値を“0”とした積和演算の結果を出力する。すなわち、保持ノードO[j]、保持ノードO[j+1]、に一定の初期値を書き込んでおくことで、オフセットをほぼ0までキャンセルすることができる。
また、VOPR[j]、VOPR[j+1]の値は、トランジスタ112がソースフォロワとして動作する範囲内で調整可能であり、次段の回路の入力信号として直接用いることができる。すなわちオフセットキャンセルと電流電圧変換が同時に可能である。
本実施の形態に示すAPS100において、上述したようにメモリセルMEMの出力電流は電圧に変換され、オフセット回路110が有する容量素子114の第1端子に印加される。容量素子114の第2端子(つまりノードO)の電位はある一定の初期値を最初に書込み、その後浮遊ノードとすることで、出力電流の初期値のオフセットをキャンセルすることができる。そのため、出力電流の初期値からの差分のみを電圧に変換して出力することができる。
このような構成とすると、オフセット回路のトランジスタが飽和領域においてドレイン電圧の変化によってドレイン電流が変化する場合であっても、各メモリセルに書き込まれた電位によって、オフセット回路のトランジスタのドレイン電位が変わり、出力する電流に差が生じる、といったおそれがない。
そのため、入力の電位が“0”を表す値、すなわち基準電位の時は、各メモリセルに書き込まれた重み係数を表す電位にかかわらず、出力をある一定の初期値とすることができる。そのため、精度よく積和演算を行うことができる。
なお本実施の形態で説明したAPS100は、先の実施の形態3で説明したAPS50と比較すると、抵抗素子が追加されるだけで、ほぼ同じ数の素子で積和演算、及び電流電圧変換が可能である。そのため積和演算回路に必要な基板の面積が増えるおそれが少なく、生産性がよい。
以上、本実施の形態に示すアナログ積和演算回路を用いることで、効率的に積和演算を実行することが可能な半導体装置を提供することができる。また、高い精度で積和演算を実行することが可能な半導体装置を提供することができる。
(実施の形態5)
本実施の形態は、実施の形態1に示す表示パネル20の詳細について説明を行う。
本実施の形態は、実施の形態1に示す表示パネル20の詳細について説明を行う。
《画素回路》
まず、図3の画素14に用いることができる回路構成について、図19を用いて説明を行う。
まず、図3の画素14に用いることができる回路構成について、図19を用いて説明を行う。
図19(A)に示す画素14は、トランジスタ3431と、容量素子3233と、液晶素子3432と、を有する。
トランジスタ3431のソース電極またはドレイン電極の一方は、ソース線22に電気的に接続され、他方はノード3436に電気的に接続される。トランジスタ3431のゲート電極はゲート線21に電気的に接続される。トランジスタ3431は、ノード3436へのデータ信号の書き込みを制御する機能を有する。
容量素子3233の一対の電極の一方は、特定の電位が供給される配線(以下、「容量線CL」ともいう。)に電気的に接続され、他方は、ノード3436に電気的に接続される。容量線CLの電位は、画素14の仕様に応じて適宜設定される。容量素子3233は、ノード3436に書き込まれたデータを保持する機能を有する。
液晶素子3432の一対の電極の一方は共通の電位(コモン電位)が与えられ、他方はノード3436に電気的に接続される。液晶素子3432に含まれる液晶は、ノード3436に書き込まれる電位により配向状態が決定される。
液晶素子3432のモードとしては、例えば、TNモード、STNモード、VAモード、ASM(Axially Symmetric Aligned Micro−cell)モード、OCB(Optically Compensated Birefringence)モード、FLC(Ferroelectric Liquid Crystal)モード、AFLC(AntiFerroelectric Liquid Crystal)モード、MVAモード、PVA(Patterned Vertical Alignment)モード、IPSモード、FFSモード、またはTBA(Transverse Bend Alignment)モードなどを用いてもよい。また、他の例として、ECB(Electrically Controlled Birefringence)モード、PDLC(Polymer Dispersed Liquid Crystal)モード、PNLC(Polymer Network Liquid Crystal)モード、ゲストホストモードなどがある。ただし、これに限定されず、様々なモードを用いることができる。
図19(B)に示す画素14は、トランジスタ3431と、容量素子3233と、トランジスタ3232と、発光素子3125と、を有する。
トランジスタ3431のソース電極またはドレイン電極の一方はデータ信号が与えられるソース線22に電気的に接続され、他方はノード3435に電気的に接続される。トランジスタ3431のゲート電極はゲート信号が与えられるゲート線21に電気的に接続される。トランジスタ3431はデータ信号のノード3435への書き込みを制御する機能を有する。
容量素子3233の一対の電極の一方はノード3435に電気的に接続され、他方はノード3437に電気的に接続される。容量素子3233はノード3435に書き込まれたデータを保持する保持容量としての機能を有する。
トランジスタ3232のソース電極またはドレイン電極の一方は電位供給線VL_aに電気的に接続され、他方はノード3437に電気的に接続される。トランジスタ3232のゲート電極はノード3435に電気的に接続される。トランジスタ3232は、発光素子3125に流れる電流を制御する機能を有する。
発光素子3125のアノードまたはカソードの一方は電位供給線VL_bに電気的に接続され、他方はノード3437に電気的に接続される。
発光素子3125としては、例えば有機EL素子などを用いることができる。ただし、これに限定されず、例えば無機材料からなる無機EL素子を用いても良い。
例えば、電位供給線VL_aはVDDを供給する機能を有する。また、電位供給線VL_bはVSSを供給する機能を有する。
《断面図》
次に、表示パネル20の構成例について、図20および図21の断面図を用いて説明する。
次に、表示パネル20の構成例について、図20および図21の断面図を用いて説明する。
図20(A)、(B)に示す表示パネル20は電極4015を有しており、電極4015はFPC4018が有する端子と異方性導電層4019を介して、電気的に接続されている。また、電極4015は、絶縁層4112、絶縁層4111、および絶縁層4110に形成された開口において配線4014と電気的に接続されている。電極4015は、第1の電極層4030と同じ導電層から形成されている。
また第1の基板4001上に設けられた画素14は、トランジスタを有しており、図20(A)では、画素14に含まれるトランジスタ3431を例示し、図20(B)では、画素14に含まれるトランジスタ3232を例示している。
また、トランジスタ3431、3232は、絶縁層4102上に設けられている。また、トランジスタ3431、3232は、絶縁層4102上に形成された電極517を有し、電極517上に絶縁層4103が形成されている。絶縁層4103上に半導体層512が形成されている。半導体層512上に電極510及び電極511が形成され、電極510及び電極511上に絶縁層4110及び絶縁層4111が形成され、絶縁層4110及び絶縁層4111上に電極516が形成されている。電極510及び電極511は、配線4014と同じ導電層で形成されている。
トランジスタ3431、3232において、電極517はゲート電極としての機能を有し、電極510はソース電極またはドレイン電極の一方としての機能を有し、電極511はソース電極またはドレイン電極の他力としての機能を有し、電極516はバックゲート電極としての機能を有する。
トランジスタ3431、3232はボトムゲート構造であり、且つバックゲートを有することで、オン電流を増大させることができる。また、トランジスタの閾値を制御することができる。なお、電極516は、製造工程を簡略化するため、場合によっては省略してもよい。
トランジスタ3431、3232において、半導体層512はチャネル形成領域としての機能を有する。半導体層512として、結晶シリコン、多結晶シリコン、非晶質シリコン、金属酸化物、有機半導体、などを用いればよい。また、必要に応じて、半導体層512の導電率を高めるため、または、トランジスタの閾値を制御するために、半導体層512に不純物を導入してもよい。
半導体層512として金属酸化物を用いた場合、半導体層512はインジウム(In)を含むことが好ましい。半導体層512がインジウムを含む金属酸化物の場合、半導体層512はキャリア移動度(電子移動度)が高くなる。また、半導体層512は、元素Mを含む酸化物半導体であると好ましい。元素Mは、好ましくは、アルミニウム(Al)、ガリウム(Ga)またはスズ(Sn)などとする。そのほかの元素Mに適用可能な元素としては、ホウ素(B)、シリコン(Si)、チタン(Ti)、鉄(Fe)、ニッケル(Ni)、ゲルマニウム(Ge)、イットリウム(Y)、ジルコニウム(Zr)、モリブデン(Mo)、ランタン(La)、セリウム(Ce)、ネオジム(Nd)、ハフニウム(Hf)、タンタル(Ta)、タングステン(W)などがある。ただし、元素Mとして、前述の元素を複数組み合わせても構わない場合がある。元素Mは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、半導体層512は、亜鉛(Zn)を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
半導体層512は、インジウムを含む金属酸化物に限定されない。半導体層512は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。
また、図20(A)、(B)に示す表示パネル20は、容量素子3233を有する。容量素子3233は、電極511と電極4021が絶縁層4103を介して重なる領域を有する。電極4021は、電極517と同じ導電層で形成されている。
図20(A)は、表示素子として液晶素子を用いた液晶表示パネルの一例である。図20(A)において、表示素子である液晶素子3432は、第1の電極層4030、第2の電極層4031、及び液晶層4008を含む。なお、液晶層4008を挟持するように配向膜として機能する絶縁層4032、絶縁層4033が設けられている。第2の電極層4031は第2の基板4006側に設けられ、第1の電極層4030と第2の電極層4031は液晶層4008を介して重畳する。
またスペーサ4035は絶縁層を選択的にエッチングすることで得られる柱状のスペーサであり、第1の電極層4030と第2の電極層4031との間隔(セルギャップ)を制御するために設けられている。なお球状のスペーサを用いていても良い。
表示素子として、液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
また、液晶材料の固有抵抗は、1×109Ω・cm以上であり、好ましくは1×1011Ω・cm以上であり、さらに好ましくは1×1012Ω・cm以上である。なお、本明細書における固有抵抗の値は、20℃で測定した値とする。
トランジスタ3431にOSトランジスタを用いた場合、トランジスタ3431は、オフ状態における電流値(オフ電流値)を低くすることができる。よって、画像信号等の電気信号の保持時間を長くすることができ、電源オン状態では書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくすることができるため、消費電力を抑制する効果を奏する。
また、表示パネルにおいて、ブラックマトリクス(遮光層)、偏光部材、位相差部材、反射防止部材などの光学部材(光学基板)などを適宜設けてもよい。例えば、偏光基板及び位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライトなどを用いてもよい。
図20(B)は、表示素子としてEL素子などの発光素子を用いた表示パネルの一例である。EL素子は有機EL素子と無機EL素子に区別される。
有機EL素子は、電圧を印加することにより、一方の電極から電子、他方の電極から正孔がそれぞれEL層に注入される。そして、それらキャリア(電子および正孔)が再結合することにより、発光性の有機化合物が励起状態を形成し、その励起状態が基底状態に戻る際に発光する。このようなメカニズムから、このような発光素子は、電流励起型の発光素子と呼ばれる。なお、EL層は、発光性の化合物以外に、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質(電子輸送性及び正孔輸送性が高い物質)などを有していてもよい。EL層は、蒸着法(真空蒸着法を含む)、転写法、印刷法、インクジェット法、塗布法などの方法で形成することができる。
無機EL素子は、その素子構成により、分散型無機EL素子と薄膜型無機EL素子とに分類される。分散型無機EL素子は、発光材料の粒子をバインダ中に分散させた発光層を有するものであり、発光メカニズムはドナー準位とアクセプター準位を利用するドナー−アクセプター再結合型発光である。薄膜型無機EL素子は、発光層を誘電体層で挟み込み、さらにそれを電極で挟んだ構造であり、発光メカニズムは金属イオンの内殻電子遷移を利用する局在型発光である。
図20(B)は、発光素子3125として有機EL素子を用いた例を説明する。
図20(B)において、発光素子3125は、画素14に設けられたトランジスタ3232と電気的に接続している。なお発光素子3125の構成は、第1の電極層4030、発光層4511、第2の電極層4031の積層構造であるが、この構成に限定されない。発光素子3125から取り出す光の方向などに合わせて、発光素子3125の構成は適宜変えることができる。
隔壁4510は、有機絶縁材料、又は無機絶縁材料を用いて形成する。特に感光性の樹脂材料を用い、第1の電極層4030上に開口部を形成し、その開口部の側面が連続した曲率を持って形成される傾斜面となるように形成することが好ましい。
発光層4511は、単数の層で構成されていても、複数の層が積層されるように構成されていてもどちらでも良い。
発光素子3125に酸素、水素、水分、二酸化炭素等が侵入しないように、第2の電極層4031および隔壁4510上に保護層を形成してもよい。保護層としては、窒化シリコン、窒化酸化シリコン、酸化アルミニウム、窒化アルミニウム、酸化窒化アルミニウム、窒化酸化アルミニウム、DLC(Diamond Like Carbon)などを形成することができる。また、第1の基板4001、第2の基板4006、及びシール材4005によって封止された空間には充填材4514が設けられ密封されている。このように、外気に曝されないように気密性が高く、脱ガスの少ない保護フィルム(貼り合わせフィルム、紫外線硬化樹脂フィルム等)やカバー材でパッケージング(封入)することが好ましい。
充填材4514としては窒素やアルゴンなどの不活性な気体の他に、紫外線硬化樹脂または熱硬化樹脂を用いることができ、PVC(ポリビニルクロライド)、アクリル樹脂、ポリイミド、エポキシ樹脂、シリコーン樹脂、PVB(ポリビニルブチラル)またはEVA(エチレンビニルアセテート)などを用いることができる。また、充填材4514に乾燥剤が含まれていてもよい。
シール材4005には、ガラスフリットなどのガラス材料や、二液混合型の樹脂などの常温で硬化する硬化樹脂、光硬化性の樹脂、熱硬化性の樹脂などの樹脂材料を用いることができる。また、シール材4005に乾燥剤が含まれていてもよい。
また、必要であれば、発光素子の射出面に偏光板、又は円偏光板(楕円偏光板を含む)、位相差板(λ/4板、λ/2板)、カラーフィルタなどの光学フィルムを適宜設けてもよい。また、偏光板又は円偏光板に反射防止膜を設けてもよい。例えば、表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施すことができる。
また、発光素子をマイクロキャビティ構造とすることで、色純度の高い光を取り出すことができる。また、マイクロキャビティ構造とカラーフィルタを組み合わせることで、映り込みが低減し、表示画像の視認性を高めることができる。
第1の電極層4030、第2の電極層4031は、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、インジウム錫酸化物、酸化チタンを含むインジウム錫酸化物、インジウム亜鉛酸化物、酸化ケイ素を添加したインジウム錫酸化物などの透光性を有する導電性材料を用いることができる。
また、第1の電極層4030、第2の電極層4031はタングステン(W)、モリブデン(Mo)、ジルコニウム(Zr)、ハフニウム(Hf)、バナジウム(V)、ニオブ(Nb)、タンタル(Ta)、クロム(Cr)、コバルト(Co)、ニッケル(Ni)、チタン(Ti)、白金(Pt)、アルミニウム(Al)、銅(Cu)、銀(Ag)などの金属、またはその合金、もしくはその金属窒化物から一種以上を用いて形成することができる。
また、第1の電極層4030、第2の電極層4031として、導電性高分子(導電性ポリマーともいう)を含む導電性組成物を用いて形成することができる。導電性高分子としては、いわゆるπ電子共役系導電性高分子を用いることができる。例えば、ポリアニリンまたはその誘導体、ポリピロールまたはその誘導体、ポリチオフェンまたはその誘導体、もしくは、アニリン、ピロールおよびチオフェンの2種以上からなる共重合体またはその誘導体等が挙げられる。
発光素子3125が光を外部に取り出すため、少なくとも第1の電極層4030または第2の電極層4031の一方が透明であればよい。表示パネルは、光の取り出し方によって、上面射出(トップエミッション)構造と、下面射出(ボトムエミッション)構造と、両面射出(デュアルエミッション)構造に分類される。上面射出構造は、基板4006から光を取り出す場合をいう。下面射出構造は、基板4001から光を取り出す場合をいう。両面射出構造は、基板4006と基板4001の両方から光を取り出す場合をいう。例えば、上面射出構造の場合、第2の電極層4031を透明にすればよい。例えば、下面射出構造の場合、第1の電極層4030を透明にすればよい。例えば、両面射出構造の場合、第1の電極層4030及び第2の電極層4031を透明にすればよい。
〈基板4001〉
作製工程中の熱処理に耐えうる程度の耐熱性を有する材料を基板4001等に用いることができる。例えば、厚さ0.7mm以下0.1mm以上の材料を基板4001に用いることができる。具体的には、厚さ0.1mm程度まで研磨した材料を用いることができる。
作製工程中の熱処理に耐えうる程度の耐熱性を有する材料を基板4001等に用いることができる。例えば、厚さ0.7mm以下0.1mm以上の材料を基板4001に用いることができる。具体的には、厚さ0.1mm程度まで研磨した材料を用いることができる。
例えば、第6世代(1500mm×1850mm)、第7世代(1870mm×2200mm)、第8世代(2200mm×2400mm)、第9世代(2400mm×2800mm)、第10世代(2950mm×3400mm)等の面積が大きなガラス基板を基板4001等に用いることができる。これにより、大型の表示装置を作製することができる。
有機材料、無機材料または有機材料と無機材料等の複合材料等を基板4001等に用いることができる。例えば、ガラス、セラミックス、金属等の無機材料を基板4001等に用いることができる。
具体的には、無アルカリガラス、ソーダ石灰ガラス、カリガラス、クリスタルガラス、アルミノ珪酸ガラス、強化ガラス、化学強化ガラス、石英またはサファイア等を、基板4001等に用いることができる。具体的には、無機酸化物膜、無機窒化物膜または無機酸窒化物膜等を、基板4001等に用いることができる。例えば、酸化シリコン膜、窒化シリコン膜、酸化窒化シリコン膜、酸化アルミニウム膜等を、基板4001等に用いることができる。ステンレス・スチールまたはアルミニウム等を、基板4001等に用いることができる。
例えば、シリコンや炭化シリコンからなる単結晶半導体基板、多結晶半導体基板、シリコンゲルマニウム等の化合物半導体基板、SOI基板等を基板4001等に用いることができる。これにより、半導体素子を基板4001等に形成することができる。
例えば、樹脂、樹脂フィルムまたはプラスチック等の有機材料を基板4001等に用いることができる。具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネートまたはアクリル樹脂等の樹脂フィルムまたは樹脂板を、基板4001等に用いることができる。
例えば、金属板、薄板状のガラス板または無機材料等の膜を樹脂フィルム等に貼り合わせた複合材料を基板4001等に用いることができる。例えば、繊維状または粒子状の金属、ガラスもしくは無機材料等を樹脂フィルムに分散した複合材料を、基板4001等に用いることができる。例えば、繊維状または粒子状の樹脂もしくは有機材料等を無機材料に分散した複合材料を、基板4001等に用いることができる。
また、単層の材料または複数の層が積層された材料を、基板4001等に用いることができる。例えば、基材と基材に含まれる不純物の拡散を防ぐ絶縁膜等が積層された材料を、基板4001等に用いることができる。具体的には、ガラスとガラスに含まれる不純物の拡散を防ぐ酸化シリコン層、窒化シリコン層または酸化窒化シリコン層等から選ばれた一または複数の膜が積層された材料を、基板4001等に用いることができる。または、樹脂と樹脂を透過する不純物の拡散を防ぐ酸化シリコン膜、窒化シリコン膜または酸化窒化シリコン膜等が積層された材料を、基板4001等に用いることができる。
具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネート若しくはアクリル樹脂等の樹脂フィルム、樹脂板または積層材料等を基板4001等に用いることができる。
具体的には、ポリエステル、ポリオレフィン、ポリアミド(ナイロン、アラミド等)、ポリイミド、ポリカーボネート、ポリウレタン、アクリル樹脂、エポキシ樹脂もしくはシリコーン等のシロキサン結合を有する樹脂を含む材料を基板4001等に用いることができる。
具体的には、ポリエチレンテレフタレート(PET)、ポリエチレンナフタレート(PEN)、ポリエーテルサルフォン(PES)またはアクリル樹脂等を基板4001等に用いることができる。または、シクロオレフィンポリマー(COP)、シクロオレフィンコポリマー(COC)等を用いることができる。
また、紙または木材などを基板4001等に用いることができる。
例えば、可撓性を有する基板を基板4001等に用いることができる。
なお、トランジスタまたは容量素子等を基板に直接形成する方法を用いることができる。また、例えば作製工程中に加わる熱に耐熱性を有する工程用の基板にトランジスタまたは容量素子等を形成し、形成されたトランジスタまたは容量素子等を基板4001等に転置する方法を用いることができる。これにより、例えば可撓性を有する基板にトランジスタまたは容量素子等を形成できる。
〈基板4006〉
例えば、基板4001に用いることができる材料を基板4006に用いることができる。例えば、基板4001に用いることができる材料から選択された透光性を備える材料を、基板4006に用いることができる。または、片側の表面に、例えば1μm以下の反射防止膜が形成された材料を基板4006に用いることができる。具体的には、誘電体を3層以上、好ましくは5層以上、より好ましくは15層以上積層した材料を基板4006に用いることができる。これにより、反射率を0.5%以下好ましくは0.08%以下に抑制することができる。または、基板4001に用いることができる材料から選択された複屈折が抑制された材料を、基板4006に用いることができる。
例えば、基板4001に用いることができる材料を基板4006に用いることができる。例えば、基板4001に用いることができる材料から選択された透光性を備える材料を、基板4006に用いることができる。または、片側の表面に、例えば1μm以下の反射防止膜が形成された材料を基板4006に用いることができる。具体的には、誘電体を3層以上、好ましくは5層以上、より好ましくは15層以上積層した材料を基板4006に用いることができる。これにより、反射率を0.5%以下好ましくは0.08%以下に抑制することができる。または、基板4001に用いることができる材料から選択された複屈折が抑制された材料を、基板4006に用いることができる。
例えば、アルミノ珪酸ガラス、強化ガラス、化学強化ガラスまたはサファイア等を、表示パネルの使用者に近い側に配置される基板4006に好適に用いることができる。これにより、使用に伴う表示パネルの破損や傷付きを防止することができる。
例えば、シクロオレフィンポリマー(COP)、シクロオレフィンコポリマー(COC)、トリアセチルセルロース(TAC)等の樹脂フィルムを、基板4006に好適に用いることができる。これにより、重量を低減することができる。または、例えば、落下に伴う破損等の発生頻度を低減することができる。
また、例えば、厚さ0.7mm以下0.1mm以上の材料を基板4006に用いることができる。具体的には、厚さを薄くするために研磨した基板を用いることができる。
図21(A)は、図20(A)に示すトランジスタ3431に、トップゲート型のトランジスタを設けた場合の断面図を示している。同様に、図21(B)は、図20(B)に示すトランジスタ3232に、トップゲート型のトランジスタを設けた場合の断面図を示している。
図21(A)、(B)のトランジスタ3431、3232において、電極517はゲート電極としての機能を有し、電極510はソース電極またはドレイン電極の一方としての機能を有し、電極511はソース電極またはドレイン電極の他方としての機能を有する。
図21(A)、(B)のその他の構成要素の詳細については、図20(A)、(B)の記載を参照すればよい。
本明細書において、特に断りがない場合、オン電流とは、トランジスタがオン状態にあるときのドレイン電流をいう。オン状態(オンと略す場合もある)とは、特に断りがない場合、nチャネル型トランジスタでは、ゲートとソースの間の電圧(VG)がしきい値電圧(Vth)以上の状態、pチャネル型トランジスタでは、VGがVth以下の状態をいう。例えば、nチャネル型のトランジスタのオン電流とは、VGがVth以上のときのドレイン電流を言う。また、トランジスタのオン電流は、ドレインとソースの間の電圧(VD)に依存する場合がある。
本明細書において、特に断りがない場合、オフ電流とは、トランジスタがオフ状態にあるときのドレイン電流をいう。オフ状態(オフと略す場合もある)とは、特に断りがない場合、nチャネル型トランジスタでは、VGがVthよりも低い状態、pチャネル型トランジスタでは、VGがVthよりも高い状態をいう。例えば、nチャネル型のトランジスタのオフ電流とは、VGがVthよりも低いときのドレイン電流を言う。トランジスタのオフ電流は、VGに依存する場合がある。従って、トランジスタのオフ電流が10−21A未満である、とは、トランジスタのオフ電流が10−21A未満となるVGの値が存在することを言う場合がある。
また、トランジスタのオフ電流は、VDに依存する場合がある。本明細書において、オフ電流は、特に記載がない場合、VDの絶対値が0.1V、0.8V、1V、1.2V、1.8V、2.5V、3V、3.3V、10V、12V、16V、または20Vにおけるオフ電流を表す場合がある。または、当該トランジスタが含まれる半導体装置等において使用されるVDにおけるオフ電流を表す場合がある。
本明細書等において、トランジスタの接続関係を説明する際、ソースとドレインとの一方を、「ソースまたはドレインの一方」(又は第1電極、又は第1端子)と表記し、ソースとドレインとの他方を「ソースまたはドレインの他方」(又は第2電極、又は第2端子)と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース(ドレイン)端子や、ソース(ドレイン)電極等、状況に応じて適切に言い換えることができる。
本明細書等において、XとYとが接続されている、と明示的に記載されている場合は、XとYとが電気的に接続されている場合と、XとYとが直接接続されている場合とが、本明細書等に開示されているものとする。
ここで、X、Yは、対象物(例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など)であるとする。
XとYとが直接的に接続されている場合の一例としては、XとYとの電気的な接続を可能とする素子(例えば、スイッチ、トランジスタ、容量素子、インダクタ、抵抗素子、ダイオード、表示素子、発光素子、負荷など)を介さずに、XとYとが、接続されている場合である。
XとYとが電気的に接続されている場合の一例としては、XとYとの電気的な接続を可能とする素子(例えば、スイッチ、トランジスタ、容量素子、インダクタ、抵抗素子、ダイオード、表示素子、発光素子、負荷など)が、XとYとの間に1個以上接続されることが可能である。なお、スイッチは、導通状態(オン状態)、または、非導通状態(オフ状態)になり、電流を流すか流さないかを制御する機能を有している。または、スイッチは、電流を流す経路を選択して切り替える機能を有している。なお、XとYとが電気的に接続されている場合は、XとYとが直接的に接続されている場合を含むものとする。
本実施例では、実施の形態3に示すOS−APSをガラス基板上に試作した。また、実施の形態4に示すOS−APSの乗算特性についてシミュレーションを行った。
試作したOS−APSのチップの光学顕微鏡写真を図22に示す。図22(A)は、OS−APS全体の写真であり、図22(B)はメモリセルMC部分の拡大写真である。
図22(A)は、図12の回路CSC、回路CSKおよびメモリセルMCに相当する箇所をそれぞれ示している。
図22(B)は、メモリセルMCのうち、トランジスタM01、トランジスタM02および容量素子C0に相当する箇所をそれぞれ示している。
図23および図24に、実施の形態4で説明したOS−APSのメモリセルMC1つあたりの乗算特性のシミュレーション結果を示す。図23は本発明の一態様の通りオフセット回路を有するときの結果である。図24に比較例としてオフセット回路がないときの結果を示す。
乗算特性は、時間に応じて入力電圧を変化させて計算した。図23および図24において、横軸は時間(秒)であり、縦軸は出力電圧(V)を示している。重み係数「W」は、W=“1”として1.3V、W=“0.5”として1.8V、W=“0”として2.3V、W=“−0.5”として2.8V、W=“−1”として3.3Vをそれぞれ与えた。OS−APSの乗算が理想的に行われた場合、各重み係数の乗算結果の直線は、積が“0”に相当する一点で交差する。
図23のようにオフセット回路を有する場合は、各重み係数の乗算結果の直線が一点で交差した。それに対して、図24のようにオフセット回路がない場合は、積が“0”に相当する点が各重み係数で異なってしまい、一点で交差しなかった。
次に、試作した図22のOS−APSでニューラルネットワークを構築し、学習および推論を行った場合のシミュレーションを行った。
まず、図25(A)に示す36pixel(=6×6)の画像データ(「1」、「2」、「3」、「4」)に対して学習を行った。
次に、図25(A)の画像データに対して10%のノイズを加えた画像を用意し(図25(B))、これらの画像に対して推論を行った。「1」、「2」、「3」、「4」いずれの場合においても、95%以上の精度で、画像を正しく認識することができた。
以上、本発明の一形態であるOS−APSを用いることで、ニューラルネットワークを構築し、機械学習によって画像認識ができるようになることが確認された。
本実施例では、3つに折り畳むことのできるフレキシブルタッチパネルを適用した表示装置を作製し、ニューラルネットワークを用いた文字認識ができることを実証した。
フレキシブルタッチパネルは、以下のように作製した。まず、一方の作製基板(ガラス基板)上に剥離層(タングステン膜)を形成し、当該剥離層上に、トランジスタや発光素子を含む被剥離層を形成した、また、他方の作製基板上に剥離層を形成し、当該剥離層上に、導電性酸化物膜を用いたタッチセンサの電極やカラーフィルタを含む被剥離層を形成した。続いて、2枚の作製基板を接着層で貼り合せた後、各作製基板を被剥離層から剥離し、接着剤を用いて可撓性基板を貼り付けることで作製した。
発光素子には、トップエミッション型の有機EL素子を用いた。
トランジスタのチャネルが形成される半導体層には、In、Ga及びZnを含む結晶性金属酸化物を適用した。
作製した表示装置を図26に示す。表示装置はフレキシブルタッチパネル5001を3つの筐体5002で保持した構成となっている。図26では、フレキシブルタッチパネル5001の表示面が凸面である部分と、凹面である部分とが混在するように湾曲した状態を示している。
図26では、手書きで入力された文字5003「S」が明示されている。
本実施例では、フレキシブルタッチパネルに入力された手書き文字を、ニューラルネットワークを用いて識別できるかどうかを検証した。ここでは、フレキシブルタッチパネルから出力されるタッチ信号をコンピュータに入力し、あらかじめ学習されたニューラルネットワークの学習モデルを用いて、文字認識を行った。その結果、フレキシブルタッチパネルに入力された手書き文字であっても、問題なく文字認識ができることが確認された。
1 情報端末
1a 情報端末
2 表示部
2a 表示部
3a 筐体
3b 筐体
3c 筐体
4 ヒンジ
5 サーバー
10 タッチパネルシステム
11 画素部
12 ゲートドライバ
13 ソースドライバ
14 画素
15 タッチセンサ
16 センシング回路
19 NN回路
20 表示パネル
21 ゲート線
22 ソース線
25 ホスト
31 入力層
32 中間層
33 出力層
41_1 ニューロン
41_2 ニューロン
41_3 ニューロン
42_1 ニューロン
42_2 ニューロン
42_3 ニューロン
43_1 ニューロン
43_2 ニューロン
43_3 ニューロン
50 APS
51 メモリセルアレイ
52 回路
53 回路
54 回路
60 受像装置
61 表示部
62 入力領域
63 領域
64 アンテナ
65 インターネット回線
66 サーバー
70 タッチパネルシステム
72 エンコーダ
73 画像処理回路
74 デコーダ
75 アナログフロントエンド
76 受信回路
77 デコーダ
81 上部カバー
82 FPC
83 FPC
84 FPC
87 バックライトユニット
88 光源
89 フレーム
90 プリント基板
91 バッテリー
92 下部カバー
100 APS
110 オフセット回路
111 トランジスタ
112 トランジスタ
113 トランジスタ
114 容量素子
115 抵抗素子
120 メモリセルアレイ
123 トランジスタ
124 トランジスタ
125 容量素子
130 電流源回路
131a 定電流回路
131b 定電流回路
132 トランジスタ
133 トランジスタ
134 トランジスタ
135 容量素子
136 トランジスタ
137 トランジスタ
138 トランジスタ
139 容量素子
140 トランジスタ
141 トランジスタ
510 電極
511 電極
512 半導体層
516 電極
517 電極
3125 発光素子
3232 トランジスタ
3233 容量素子
3431 トランジスタ
3432 液晶素子
3435 ノード
3436 ノード
3437 ノード
4001 基板
4005 シール材
4006 基板
4008 液晶層
4014 配線
4015 電極
4018 FPC
4019 異方性導電層
4021 電極
4030 電極層
4031 電極層
4032 絶縁層
4033 絶縁層
4035 スペーサ
4102 絶縁層
4103 絶縁層
4110 絶縁層
4111 絶縁層
4112 絶縁層
4510 隔壁
4511 発光層
4514 充填材
5001 フレキシブルタッチパネル
5002 筐体
5003 手書き文字
1a 情報端末
2 表示部
2a 表示部
3a 筐体
3b 筐体
3c 筐体
4 ヒンジ
5 サーバー
10 タッチパネルシステム
11 画素部
12 ゲートドライバ
13 ソースドライバ
14 画素
15 タッチセンサ
16 センシング回路
19 NN回路
20 表示パネル
21 ゲート線
22 ソース線
25 ホスト
31 入力層
32 中間層
33 出力層
41_1 ニューロン
41_2 ニューロン
41_3 ニューロン
42_1 ニューロン
42_2 ニューロン
42_3 ニューロン
43_1 ニューロン
43_2 ニューロン
43_3 ニューロン
50 APS
51 メモリセルアレイ
52 回路
53 回路
54 回路
60 受像装置
61 表示部
62 入力領域
63 領域
64 アンテナ
65 インターネット回線
66 サーバー
70 タッチパネルシステム
72 エンコーダ
73 画像処理回路
74 デコーダ
75 アナログフロントエンド
76 受信回路
77 デコーダ
81 上部カバー
82 FPC
83 FPC
84 FPC
87 バックライトユニット
88 光源
89 フレーム
90 プリント基板
91 バッテリー
92 下部カバー
100 APS
110 オフセット回路
111 トランジスタ
112 トランジスタ
113 トランジスタ
114 容量素子
115 抵抗素子
120 メモリセルアレイ
123 トランジスタ
124 トランジスタ
125 容量素子
130 電流源回路
131a 定電流回路
131b 定電流回路
132 トランジスタ
133 トランジスタ
134 トランジスタ
135 容量素子
136 トランジスタ
137 トランジスタ
138 トランジスタ
139 容量素子
140 トランジスタ
141 トランジスタ
510 電極
511 電極
512 半導体層
516 電極
517 電極
3125 発光素子
3232 トランジスタ
3233 容量素子
3431 トランジスタ
3432 液晶素子
3435 ノード
3436 ノード
3437 ノード
4001 基板
4005 シール材
4006 基板
4008 液晶層
4014 配線
4015 電極
4018 FPC
4019 異方性導電層
4021 電極
4030 電極層
4031 電極層
4032 絶縁層
4033 絶縁層
4035 スペーサ
4102 絶縁層
4103 絶縁層
4110 絶縁層
4111 絶縁層
4112 絶縁層
4510 隔壁
4511 発光層
4514 充填材
5001 フレキシブルタッチパネル
5002 筐体
5003 手書き文字
Claims (4)
- 第1の回路と、表示部と、タッチセンサと、を含む電子機器であって、
前記第1の回路は、ニューラルネットワークを有し、
前記表示部は、フレキシブルディスプレイを有し、
前記タッチセンサは、入力された手書き文字を画像情報として、前記第1の回路に出力する機能を有し、
前記第1の回路は、前記画像情報を解析し、文字情報に変換する機能と、前記文字情報を含む画像を前記表示部に表示させる機能とを有し、
前記解析は、前記ニューラルネットワークを用いた推論により行われることを特徴とする、
電子機器。 - 第1の筐体、第2の筐体、第3の筐体、複数のヒンジ、第1の回路、表示部、タッチセンサを含み、
前記第1の回路は、ニューラルネットワークを有し、
前記表示部は、フレキシブルディスプレイを有し、
前記フレキシブルディスプレイは、前記第1の筐体、前記第2の筐体、及び前記第3の筐体のそれぞれに保持される部分を有し、
前記タッチセンサは、入力された手書き文字を画像情報として、前記第1の回路に出力する機能を有し、
前記第1の回路は、前記画像情報を解析し、文字情報に変換する機能と、前記文字情報を含む画像を前記表示部に表示させる機能とを有し、
前記解析は、前記ニューラルネットワークを用いた推論により行われ、
前記第1の筐体、前記第2の筐体、及び前記第3の筐体は、前記フレキシブルディスプレイが開いた状態と、3つに折り畳まれた状態との間で可逆的に変形するように、前記複数のヒンジによって連結されている、
電子機器。 - 請求項1または請求項2において、
前記第1の回路は、アナログデータを保持することが可能なメモリを含む、
電子機器。 - 請求項1または請求項2において、
前記第1の回路は、チャネル形成領域に金属酸化物を含むトランジスタを含む、
電子機器。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019503813A JPWO2018163005A1 (ja) | 2017-03-10 | 2018-02-26 | タッチパネルシステム、電子機器および半導体装置 |
US16/489,716 US11227543B2 (en) | 2017-03-10 | 2018-02-26 | Touch panel system, electronic device, and semiconductor device having a neural network |
US17/546,696 US11610544B2 (en) | 2017-03-10 | 2021-12-09 | Touch panel system, electronic device, and semiconductor device having a neural network |
JP2022183317A JP7394197B2 (ja) | 2017-03-10 | 2022-11-16 | 電子機器 |
JP2023199924A JP2024035238A (ja) | 2017-03-10 | 2023-11-27 | 電子機器 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-045618 | 2017-03-10 | ||
JP2017045618 | 2017-03-10 | ||
JP2017-045685 | 2017-03-10 | ||
JP2017045685 | 2017-03-10 | ||
JP2017123951 | 2017-06-26 | ||
JP2017-123951 | 2017-06-26 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/489,716 A-371-Of-International US11227543B2 (en) | 2017-03-10 | 2018-02-26 | Touch panel system, electronic device, and semiconductor device having a neural network |
US17/546,696 Continuation US11610544B2 (en) | 2017-03-10 | 2021-12-09 | Touch panel system, electronic device, and semiconductor device having a neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018163005A1 true WO2018163005A1 (ja) | 2018-09-13 |
Family
ID=63447391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/IB2018/051174 WO2018163005A1 (ja) | 2017-03-10 | 2018-02-26 | タッチパネルシステム、電子機器および半導体装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11227543B2 (ja) |
JP (3) | JPWO2018163005A1 (ja) |
WO (1) | WO2018163005A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403529B2 (en) * | 2018-04-05 | 2022-08-02 | Western Digital Technologies, Inc. | Noise injection training for memory-based learning |
TWI663536B (zh) * | 2018-05-15 | 2019-06-21 | 薩摩亞商山力科技有限公司 | 電子式書寫板 |
US20200349422A1 (en) * | 2019-05-02 | 2020-11-05 | Silicon Storage Technology, Inc. | Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network |
US11756140B2 (en) * | 2020-11-16 | 2023-09-12 | Amadeus S.A.S. | Method and system for routing path selection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016219011A (ja) * | 2015-05-21 | 2016-12-22 | 株式会社半導体エネルギー研究所 | 電子装置 |
JP2016224935A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社半導体エネルギー研究所 | タッチパネル |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2743024B2 (ja) * | 1989-11-21 | 1998-04-22 | 株式会社 テレマティーク国際研究所 | 文字認識のための切出し装置 |
JP3019885B2 (ja) * | 1991-11-25 | 2000-03-13 | カシオ計算機株式会社 | 電界効果型薄膜トランジスタの製造方法 |
US5336936A (en) * | 1992-05-06 | 1994-08-09 | Synaptics, Incorporated | One-transistor adaptable analog storage element and array |
EP0694852B1 (en) * | 1994-07-28 | 2002-06-26 | International Business Machines Corporation | Innovative neuron circuit architectures |
US7219085B2 (en) | 2003-12-09 | 2007-05-15 | Microsoft Corporation | System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit |
US7548892B2 (en) | 2004-04-30 | 2009-06-16 | Microsoft Corporation | Processing machine learning techniques using a graphics processing unit |
US10013907B2 (en) * | 2004-12-15 | 2018-07-03 | Ignis Innovation Inc. | Method and system for programming, calibrating and/or compensating, and driving an LED display |
US8463723B2 (en) * | 2009-03-01 | 2013-06-11 | International Business Machines Corporation | Electronic synapse |
KR20110081442A (ko) * | 2010-01-08 | 2011-07-14 | 주식회사 실리콘웍스 | 패드 내부에 전하 공유 스위치를 형성한 구조의 디스플레이 패널 구동 회로 |
US8892487B2 (en) * | 2010-12-30 | 2014-11-18 | International Business Machines Corporation | Electronic synapses for reinforcement learning |
TWI470564B (zh) * | 2012-02-21 | 2015-01-21 | Wistron Corp | 使用者情緒偵測方法與應用其之手寫輸入電子裝置 |
US20140258194A1 (en) * | 2013-03-08 | 2014-09-11 | Qualcomm Incorporated | Generic method for designing spike-timing dependent plasticity (stdp) curves |
KR102601782B1 (ko) | 2013-07-02 | 2023-11-14 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 데이터 처리 장치 |
KR20210070393A (ko) * | 2013-07-12 | 2021-06-14 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 발광 장치 |
TWI630595B (zh) | 2013-07-19 | 2018-07-21 | 半導體能源研究所股份有限公司 | 資料處理裝置 |
WO2015008680A1 (en) | 2013-07-19 | 2015-01-22 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
KR102074942B1 (ko) * | 2013-07-29 | 2020-02-10 | 삼성전자 주식회사 | 비휘발성 메모리 트랜지스터 및 이를 포함하는 소자 |
CN104346622A (zh) * | 2013-07-31 | 2015-02-11 | 富士通株式会社 | 卷积神经网络分类器及其分类方法和训练方法 |
KR102489694B1 (ko) * | 2013-08-30 | 2023-01-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 장치 |
TWI679575B (zh) * | 2013-10-11 | 2019-12-11 | 日商半導體能源研究所股份有限公司 | 驅動可攜式資料處理裝置的方法 |
KR101632008B1 (ko) * | 2014-04-30 | 2016-07-01 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US9483134B2 (en) * | 2014-10-17 | 2016-11-01 | Elwha Llc | Systems and methods for actively resisting touch-induced motion |
KR20160059530A (ko) * | 2014-11-18 | 2016-05-27 | 삼성디스플레이 주식회사 | 표시 기판의 제조 방법, 표시 기판의 리페어 방법 및 이에 의해 리페어된 표시 기판 |
US10832138B2 (en) * | 2014-11-27 | 2020-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for extending neural network |
KR102446409B1 (ko) * | 2015-09-18 | 2022-09-22 | 삼성전자주식회사 | 시냅스 메모리 소자의 제조방법 |
CN106558592B (zh) * | 2015-09-18 | 2019-06-18 | 鸿富锦精密工业(深圳)有限公司 | 阵列基板、显示装置及阵列基板的制备方法 |
US9767407B2 (en) * | 2015-09-18 | 2017-09-19 | Samsung Electronics Co., Ltd. | Weighting device, neural network, and operating method of the weighting device |
US11055607B2 (en) * | 2016-06-20 | 2021-07-06 | International Business Machines Corporation | Neural network using floating gate transistor |
US10056463B2 (en) * | 2016-06-30 | 2018-08-21 | United Microelectronics Corp. | Transistor and manufacturing method thereof |
KR20180024817A (ko) * | 2016-08-31 | 2018-03-08 | 엘지디스플레이 주식회사 | 멀티 타입의 박막 트랜지스터를 포함하는 유기 발광 표시 장치 및 유기 발광 표시 장치 제조 방법 |
-
2018
- 2018-02-26 US US16/489,716 patent/US11227543B2/en active Active
- 2018-02-26 WO PCT/IB2018/051174 patent/WO2018163005A1/ja active Application Filing
- 2018-02-26 JP JP2019503813A patent/JPWO2018163005A1/ja not_active Withdrawn
-
2021
- 2021-12-09 US US17/546,696 patent/US11610544B2/en active Active
-
2022
- 2022-11-16 JP JP2022183317A patent/JP7394197B2/ja active Active
-
2023
- 2023-11-27 JP JP2023199924A patent/JP2024035238A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016219011A (ja) * | 2015-05-21 | 2016-12-22 | 株式会社半導体エネルギー研究所 | 電子装置 |
JP2016224935A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社半導体エネルギー研究所 | タッチパネル |
Also Published As
Publication number | Publication date |
---|---|
JP2023029840A (ja) | 2023-03-07 |
US20200004357A1 (en) | 2020-01-02 |
US11227543B2 (en) | 2022-01-18 |
JP2024035238A (ja) | 2024-03-13 |
JP7394197B2 (ja) | 2023-12-07 |
US20220172677A1 (en) | 2022-06-02 |
US11610544B2 (en) | 2023-03-21 |
JPWO2018163005A1 (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7394197B2 (ja) | 電子機器 | |
US11238559B2 (en) | Image processing method and image receiving apparatus | |
KR102099713B1 (ko) | 반도체 장치 및 전자 기기 | |
TWI815395B (zh) | 半導體裝置、包括該半導體裝置的電子裝置 | |
KR102473839B1 (ko) | 표시 장치 및 전자 기기 | |
JP7430213B2 (ja) | 表示装置 | |
JP2023156386A (ja) | 表示システム | |
JP7083601B2 (ja) | 電子機器 | |
JPWO2019111137A1 (ja) | 半導体装置、表示装置、電子機器、及び動作方法 | |
JP7242260B2 (ja) | 表示装置、及び電子機器 | |
WO2018138597A1 (ja) | 半導体装置、及び電子機器 | |
TW201802795A (zh) | 半導體裝置、顯示裝置及電子裝置 | |
KR102567675B1 (ko) | 화상 처리 방법 | |
CN108399372B (zh) | 传感器像素和包括该传感器像素的指纹传感器 | |
JP2022087178A (ja) | 表示装置 | |
JP2019040027A (ja) | 表示装置、入出力装置、情報処理装置 | |
JP7055799B2 (ja) | 表示システム | |
WO2018130921A1 (ja) | 受像装置、およびそれを含めた受像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18764227 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019503813 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18764227 Country of ref document: EP Kind code of ref document: A1 |