WO2019189895A1 - ニューラルネットワーク回路装置 - Google Patents
ニューラルネットワーク回路装置 Download PDFInfo
- Publication number
- WO2019189895A1 WO2019189895A1 PCT/JP2019/014353 JP2019014353W WO2019189895A1 WO 2019189895 A1 WO2019189895 A1 WO 2019189895A1 JP 2019014353 W JP2019014353 W JP 2019014353W WO 2019189895 A1 WO2019189895 A1 WO 2019189895A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- synapse
- mos transistor
- pulse
- circuit
- load
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 210000000225 synapse Anatomy 0.000 claims abstract description 92
- 230000008878 coupling Effects 0.000 claims abstract description 63
- 238000010168 coupling process Methods 0.000 claims abstract description 63
- 238000005859 coupling reaction Methods 0.000 claims abstract description 63
- 210000002569 neuron Anatomy 0.000 claims abstract description 50
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000000946 synaptic effect Effects 0.000 claims abstract description 10
- 230000005415 magnetization Effects 0.000 claims description 88
- 239000003990 capacitor Substances 0.000 claims description 32
- 230000005291 magnetic effect Effects 0.000 claims description 15
- 230000001537 neural effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 4
- 101150005648 polB gene Proteins 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 239000012782 phase change material Substances 0.000 description 2
- 230000003956 synaptic plasticity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002885 antiferromagnetic material Substances 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000003302 ferromagnetic material Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C14/00—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
- G11C14/0054—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a SRAM cell
- G11C14/0081—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a SRAM cell and the nonvolatile element is a magnetic RAM [MRAM] element or ferromagnetic cell
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N50/00—Galvanomagnetic devices
- H10N50/10—Magnetoresistive devices
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C14/00—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
- G11C14/0009—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a DRAM cell
- G11C14/0036—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a DRAM cell and the nonvolatile element is a magnetic RAM [MRAM] element or ferromagnetic cell
Definitions
- the present invention relates to a neural network circuit device.
- connection between neurons has a synaptic connection load that represents the strength of the connection, and the integrated value of the voltage of one pulse input from another neuron and the connection load is a predetermined value.
- the neuron fires and transmits a pulse to the next neuron.
- it is necessary to store the synapse coupling load in the storage element.
- Non-volatile memory elements such as ReRAM (Resistive Random Access Memory) and phase change memory (Phase Change Random Access Memory) equipped with a resistance change type memory element whose electrical resistance changes due to an electric field induced giant resistance change are known. Yes.
- ReRAM Resistive Random Access Memory
- Phase change memory Phase Change Random Access Memory equipped with a resistance change type memory element whose electrical resistance changes due to an electric field induced giant resistance change.
- a neural network circuit device that stores a synapse coupling load in such a nonvolatile memory element (see, for example, Non-Patent Documents 1 to 3).
- the neural network circuit devices described in Non-Patent Documents 1 to 3 store the synapse connection load in the nonvolatile memory element, and therefore do not require power for holding the memory of the synapse connection load.
- a neural network circuit device having a more optimal configuration there is a demand for a neural network circuit device having a more optimal configuration.
- the present invention has been made in view of the above circumstances, and an object thereof is to provide a more optimized neural network circuit device.
- the present invention provides a neural network circuit device including a plurality of synapse circuits for storing synapse connection loads and a neuron circuit connected to the plurality of synapse circuits, wherein the plurality of synapse circuits are provided.
- the neuron circuit includes a floating gate and the floating gate.
- a neuron MOS transistor having a plurality of control gates to which the voltage signals from the plurality of synapse circuits are respectively input, and a pulse for outputting a pulse signal when the neuron MOS transistor is turned on or off And a generator.
- a neural network circuit device including a plurality of synapse circuits for storing synapse connection loads and a neuron circuit connected to the plurality of synapse circuits, wherein one electrode of the neuron circuit is grounded.
- a pair of inverters composed of an inverter MOS transistor and a magnetic tunnel junction element that are cross-coupled and connected in series, and a write current based on a synaptic coupling load stored in the magnetic tunnel junction element of the pair of inverters.
- the neural network circuit device since the connection weight stored in the synapse circuit is transmitted to the neuron circuit as the magnitude of the voltage, the neural network circuit device has a more optimized configuration so as to reduce the power consumption. be able to.
- the time required to change the magnetization state of the magnetic tunnel junction element is short, and the operation of a pair of cross-coupled inverters operated when outputting a signal weighted by a coupling load is stable. Since the time until the transition to the state is short, the neural network circuit device can be configured to be more optimized so as to operate at high speed.
- DELTA pulse time difference
- a neural network circuit device 10 is provided with a plurality of synapse circuits 11 arranged in a matrix.
- Each synapse circuit 11 includes a load storage unit 14 and a selection unit 15.
- Each column 16 of the synapse circuit 11 is provided with a neuron circuit 17 at the end in the column direction (vertical direction in FIG. 1).
- the neuron circuit 17 has a main body 18 and a bit line driver 19.
- bit lines BL and BLB, a first post spike line POLa, and a second post spike line POLb are extended in the column direction.
- the bit lines BL and BLB are connected to each load storage unit 14 and bit line driver 19 in the column 16 to which the bit lines BL and BLB correspond.
- the first post spike line POLa and the second post spike line POLb are connected to each selection unit 15 and main body unit 18 in the column 16 to which the first post spike line POLa and the second post spike line POLb correspond.
- an output line OL is provided for each load storage unit 14, and each load storage unit 14 is connected to the main body unit 18 of the neuron circuit 17 in the column 16 in which the load storage unit 14 is arranged by the output line OL. .
- the power supply line PL for supplying the power supply voltage to the load storage unit 14, the grounded source line SL, the first pre-spike line PRLa, Two pre-spike lines PRLb are extended and connected to each load storage unit 14 in the corresponding row.
- the front stage 20 is provided with an input circuit 20a for each row.
- the first pre-spike line PRLa in each row is connected to the input circuit 20a via the inverter 20b, and the second pre-spike line PRLb is directly connected to the input circuit 20a.
- the neural network circuit device 10 refers to a synapse model having spike timing dependent synaptic plasticity (Spike Timing Dependent) Synaptic Plasticity (hereinafter referred to as STDP)).
- STDP spike timing dependent synaptic plasticity
- the input circuit 20a corresponds to a front neuron
- the neuron circuit 17 corresponds to a back neuron
- the input circuit 20a receives a first prespike pulse corresponding to a prespike pulse
- the neuron circuit 17 A first post spike pulse corresponding to the spike pulse is output.
- the first pre-spike pulse is output at a timing corresponding to the firing timing of the previous neuron
- the first post-spike pulse is output at a timing corresponding to the firing timing of the subsequent neuron.
- the synapse circuit 11 corresponds to a synapse that synapse connects the pre-neuron and the post-neuron, and stores a synapse connection load (hereinafter simply referred to as a connection load).
- the pre-neuron and the post-neuron connected before and after the synapse ignite and output a spike pulse, respectively. It is a property that the coupling load with the located synapse changes.
- the neural network circuit device 10 when the pulse time difference ⁇ T between the first post-spike pulse and the first pre-spike pulse is within a preset specified time Tw, the coupling load of the synapse circuit 11 is updated, and the first pre-spike When the former precedes the pulse and the first post spike pulse, the first combined load is used. When the latter precedes, the second combined load is used.
- the weight of the first coupling load is relatively large and the weight of the second coupling load is relatively small. That is, as shown in FIG. 2, the coupling load of the synapse circuit 11 is determined by the first pre-spike pulse during a period of time 1 ⁇ 2 Tw from the time when the first post-spike pulse is output from the neuron circuit 17 to which the synapse circuit 11 is connected. Is input, it becomes a large first combined load, and when the first pre-spike pulse is input within a time period of 1/2 Tw retroactive from the time when the first post-spike pulse is output, It becomes a small second combined load. Therefore, in this example, when the coupling load is updated, it is different from general symmetric STDP and asymmetric STDP in which the coupling load is gradually increased or decreased by increasing the pulse time difference ⁇ T.
- the neural network circuit device 10 has a recognition mode and a learning mode.
- the recognition mode for example, a signal corresponding to an image to be processed such as image recognition is input from the pre-stage unit 20 to the neural network circuit device 10, and the output from each neuron circuit 17 is processed according to the result of image recognition.
- the connection weight stored in each synapse circuit 11 in the learning mode is used.
- the learning mode is an operation mode in which a connection load stored in each synapse circuit 11 is updated by inputting a signal based on a prepared image from the pre-stage unit 20 to the neural network circuit device 10.
- the input circuit 20a of the pre-stage unit 20 outputs the first pre-spike pulse to the first pre-spike line PRLa and the second pre-spike pulse synchronized with the first pre-spike pulse to the second pre-spike line PRLb via the inverter 20b.
- the first pre-spike pulse is output in both the recognition mode and the learning mode, while the second pre-spike pulse is output only in the learning mode.
- the second pre-spike pulse is used to control the write timing of the combined load in the load storage unit 14.
- the second pre-spike pulse has a pulse width larger than that of the first pre-spike pulse and is 1 ⁇ 2 of the specified time Tw.
- the load storage unit 14 of the synapse circuit 11 receives the voltage signal Vpre corresponding to the pre-spike pulse weighted with the stored connection load via the output line OL. To the main body 18 of the neuron circuit 17.
- the main body portion 18 of the neuron circuit 17 responds to the sum of the voltage levels of the voltage signals Vpre from the load storage portions 14 in the row 16 in which the neuron circuit 17 is arranged being equal to or greater than a predetermined threshold value, as a first post spike pulse. Is generated.
- the main body 18 outputs the first post spike pulse to the first post spike line POLa in the recognition mode, and outputs the first post spike pulse in the learning mode and the second post synchronized with the first post spike pulse.
- a spike pulse is output to the second post spike line POLb. Similar to the second pre-spike pulse, the second post-spike pulse is used to control the update timing of the coupling load.
- the second post spike pulse has a pulse width larger than that of the first post spike pulse and is 1 ⁇ 2 of the specified time Tw.
- the selection unit 15 of the synapse circuit 11 performs the first post spike pulse based on the timings of the first pre spike pulse, the second pre spike pulse, the first post spike pulse, and the second post spike pulse in the learning mode.
- the selection signal is generated.
- the load storage unit 14 stores a coupling load based on the potential difference between the bit lines BL and BLB at the timing when the selection signal is input.
- the load storage unit 14 of the synapse circuit 11 includes inverters 21 and 22, a pair of MOS transistors 23 and 24, and a MOS transistor 25 as transfer gates.
- the inverter 21 includes an MTJ element (magnetic tunnel junction element) 31 and a MOS transistor 32 connected in series
- the inverter 22 includes an MTJ element 33 and a MOS transistor 34 connected in series.
- the MOS transistors 23, 24, 32, and 34 are N-type MOSFETs
- the MOS transistor 25 is a P-type MOSFET.
- the MOS transistors 32 and 34 are inverter MOS transistors
- the MOS transistor 25 is a power gating MOS transistor.
- the MTJ element 31 has a structure in which a magnetization fixed layer 31a and a magnetization free layer 31b are stacked with an insulating film 31c interposed therebetween.
- the magnetization direction of the magnetization fixed layer 31a is fixed.
- the magnetization free layer 31b can change the magnetization direction by passing a write current of a predetermined threshold value or more through the MTJ element 31, and the magnetization direction is determined by the direction of the write current.
- the MTJ element 31 has a low resistance with a low resistance value when the magnetization directions of the magnetization fixed layer 31a and the magnetization free layer 31b coincide with each other, and the magnetization free layer 31b has a smaller resistance value than the magnetization fixed layer 31a.
- the MTJ element 31 When the magnetization direction is opposite, the resistance value is high and the resistance is high.
- the MTJ element 31 is in a parallel state by flowing a write current in the direction from the magnetization fixed layer 31a to the magnetization free layer 31b, and is in an antiparallel state by flowing a write current in the opposite direction.
- the MTJ element 33 also has a configuration in which a magnetization fixed layer 33a, a magnetization free layer 33b, and an insulating film 33c are stacked. As with the MTJ element 31, the magnetization direction of the magnetization free layer 33b can be changed by a write current. The resistance value changes in the parallel state and anti-parallel state.
- the load storage unit 14 stores the coupling load in a nonvolatile manner by the MTJ elements 31 and 33.
- the other is in an antiparallel state.
- the MTJ element 31 is in the parallel state
- the MTJ element 33 is in the antiparallel state
- the MTJ element 31 when the first coupling load is stored, the MTJ element 31 is in the parallel state, the MTJ element 33 is in the antiparallel state, and when the second coupling load is stored, the MTJ element 31. Is an anti-parallel state, and the MTJ element 33 is a parallel state.
- the MTJ elements 31 and 33 are advantageous elements from the viewpoint that the maximum number of rewrites is considerably large and the number of learning can be increased as compared with other ReRAMs, phase change memories, and the like.
- the magnetization free layer 31b of the MTJ element 31 and the drain of the MOS transistor 32 are connected, and in the inverter 22, the magnetization free layer 33b of the MTJ element 33 and the drain of the MOS transistor 34 are connected.
- the magnetization fixed layers 31 a and 33 a of the MTJ elements 31 and 33 are connected to each other and connected to the power supply line PL via the MOS transistor 25.
- the sources of the MOS transistors 32 and 34 are grounded via the source line SL.
- connection node SN between the MTJ element 31 that is the output terminal of the inverter 21 and the MOS transistor 32 is connected to the gate of the MOS transistor 34 that is the input terminal of the inverter 22, and the MTJ element 33 that is the output terminal of the inverter 22 and the MOS transistor
- a connection node SNB connected to 34 is connected to the gate of the MOS transistor 32 which is the input terminal of the inverter 21.
- connection node SN is connected to the bit line BL via the MOS transistor 23, and the connection node SNB is connected to the bit line BLB via the MOS transistor 24.
- Each gate of the MOS transistors 23 and 24 is connected to the selection unit 15, and is turned on and off by a selection signal from the selection unit 15.
- the selection unit 15 and the MOS transistors 23 and 24 constitute a writing unit.
- bit line potential difference ⁇ VB When the bit line potential difference ⁇ VB is positive and the MOS transistors 23 and 24 are turned on, the bit line BL reaches the bit line BLB via the connection node SN, the MTJ element 31, the MTJ element 33, and the connection node SNB. A write current flows through the path, and the MTJ element 31 becomes parallel and the MTJ element 33 becomes antiparallel.
- the MOS transistors 23 and 24 are turned on when the bit line potential difference ⁇ VB is negative, the bit line BLB is connected to the bit line via the connection node SNB, the MTJ element 33, the MTJ element 31, and the connection node SN. A write current flows along the path to BL, and the MTJ element 31 becomes antiparallel and the MTJ element 33 becomes parallel.
- connection node SN The potential (voltage) of the connection node SN is output to the output line OL as the voltage signal Vpre via the capacitor 36. That is, one electrode of the capacitor 36 is connected to the connection node SN, and the other electrode is connected to the control gate CG (see FIG. 4) in the main body 18 through the output line OL. As will be described later, the capacitor 36 generates a conduction current between the load storage portions 14 of the synapse circuits 11 that are capacitively coupled to the same floating gate FG (see FIG. 4) via the control gate CG. It is provided to prevent this.
- the substantial coupling capacitance between the load storage unit 14 and the floating gate FG is determined by the capacitance of the capacitor 36 and the coupling capacitance of the control gate CG with respect to the floating gate FG. Note that the substantial coupling capacitance between the load storage unit 14 and the floating gate FG can be made different, and by doing so, for example, the voltage signal Vpre can be weighted.
- the MOS transistor 25 is a reading unit that outputs the voltage signal Vpre.
- the MOS transistor 25 is turned on when the gate thereof is connected to the first pre-spike line PRLa and the first pre-spike pulse as an input signal is output, and the MOS transistors constituting the inverters 21 and 22, that is, the differential pair. 32 and 34 are activated. Thereby, in response to the first pre-spike pulse, the voltage of the connection node SN which is the output terminal of the inverter 21 is output to the output line OL as the voltage signal Vpre.
- the voltage signal Vpre is relatively low when the MTJ element 31 is in the antiparallel state and the MTJ element 33 is in the parallel state, and is high when the MTJ element 31 is in the parallel state and the MTJ element 33 is in the antiparallel state.
- the selection signal is activated (H level). Thereby, the selection signal becomes active and the MOS transistors 23 and 24 are turned on only when the pulse time difference ⁇ T between the first post spike pulse and the first pre spike pulse is within the specified time Tw.
- the main body 18 includes a MOS transistor 41 that is a P-type MOSFET, a MOS transistor 42 that is an N-type MOSFET, and a pulse generator 43.
- the main body 18 includes a pulse generator for generating a second post spike pulse and the like.
- a pulse generator capable of controlling the pulse waveform, output timing, delay time, and the like can be used as the pulse generator of the main body 18. With such a pulse generator, the first post spike pulse and the second post spike are used. A pulse may be generated.
- MOS transistors 41 and 42 as neuron MOS transistors are connected in series to constitute an inverter.
- the pulse generator 43 has an input terminal connected to a connection node between the MOS transistor 41 and the MOS transistor 42, and when the connection node becomes a ground potential (0 V), the first post spike pulse (pulse signal) ) Is output.
- the MOS transistors 41 and 42 share a floating gate FG.
- the MOS transistors 41 and 42 are provided with a plurality of control gates CG that are capacitively coupled to the floating gate FG.
- the control gate CG of the main body portion 18 is provided corresponding to each load storage portion 14 in the row 16 in which the main body portion 18 is arranged, and each control gate CG has an output line from the corresponding load storage portion 14. OL is connected.
- the MOS transistors 41 and 42 are turned on / off by the potential of the floating gate FG, and when one is turned on, the other is turned off.
- the potential of the floating gate FG is determined by the voltage of the voltage signal Vpre applied to each control gate CG and the coupling capacitance between each control gate CG and the floating gate FG.
- the coupling capacitance of each control gate CG with respect to the floating gate FG is the same. Therefore, the MOS transistors 41 and 42 can be controlled so that one is turned on and the other is turned off by the sum of the voltages applied to the control gates CG.
- the first pre-spike pulse is output to the first pre-spike line PRLa from each input circuit 20a via the inverter 20b at a timing according to the processing content of the front stage unit 20. Is done.
- the selection unit 15 since the second pre-spike pulse is not output, the selection unit 15 does not output a selection signal.
- the load storage unit 14 Focusing on one synapse circuit 11 connected to one first prespike line PRLa, when the first prespike pulse is input to the synapse circuit 11 via the first prespike line PRLa, the load storage unit 14 The MOS transistor 25 is turned on. When the MOS transistor 25 is turned on, a current from the power supply line PL flows through the MTJ element 31 and the MTJ element 33, and the inverters 21 and 22 operate.
- the coupling load stored in the synapse circuit 11 is the first coupling load, that is, when the MTJ element 31 has a low resistance and the MTJ element 33 has a high resistance, the potential of the connection node SN is connected. A potential difference that is higher than the potential of the node SNB is generated. This potential difference is amplified by the action of the cross-coupled inverters 21 and 22, and is stabilized in a state where the potential difference is increased.
- the coupling load stored in the synapse circuit 11 is the second coupling load, that is, when the MTJ element 31 has a high resistance and the MTJ element 33 has a low resistance, the potential of the connection node SN. Is lower than the potential of the connection node SNB, and the potential difference is amplified by the action of the cross-coupled inverters 21 and 22, and is stabilized in a state where the potential difference is increased.
- connection node SN Since the potential difference between the connection node SN and the connection node SNB is amplified and stabilized by the differential pair of the MOS transistors 32 and 34, the time required for stabilization is very short. Therefore, high speed operation is possible.
- the current flowing in the MTJ elements 31 and 33 when the MOS transistor 25 is turned on is adjusted to a magnitude that does not change their magnetization state. Actually, while the current flows, there is a change in the magnetization direction of the magnetization free layers 31b and 33b, but the change does not affect the generation of a desired potential difference in the connection nodes SN and SNB. The degree is very slight. The slight magnetization direction of the magnetization free layers 31b and 33b returns to the original magnetization direction by stopping the current.
- the potential of the connection node SN changes according to the coupling load stored in the synapse circuit 11.
- the synapse circuit 11 stores the first coupling load
- the high voltage signal Vpre is output to the output line OL connected to the connection node SN via the capacitor 36, and the second voltage signal Vpre is output.
- a voltage signal Vpre having a low voltage is output.
- the voltage signal Vpre from the synapse circuit 11 is applied to the control gate CG of the main body 18 via the output line OL.
- the MOS transistor 25 is turned off, the capacitor 36 is discharged and the voltage signal Vpre is lowered.
- the voltage of the voltage signal Vpre is It gradually decreases and does not immediately become 0V.
- the voltage of the voltage signal Vpre output from each synapse circuit 11 in the row 16 in which the neuron circuit 17 is arranged is added to the corresponding control gate CG.
- no voltage is applied to the control gate CG from the synapse circuit 11 to which the first pre-spike pulse is not input.
- the MOS transistor 41 is turned off and the MOS transistor 42 is turned on.
- the first post spike pulse is output from the pulse generator 43. If the potential of the floating gate FG does not reach the threshold value, the MOS transistor 41 is not turned off and the MOS transistor 42 is not turned on, so that the first post spike pulse is not output.
- each column 16 according to the timing of the first pre-spike pulse output from the pre-stage unit 20 to the first pre-spike line PRLa of each row and the coupling load stored in each synapse circuit 11.
- the first post-spike signal is output from the neuron circuit 17 thus obtained.
- the weight storage unit 14 transmits the weight applied to the pre-spike to the main body unit 18 as the magnitude of the voltage of the voltage signal Vpre, and the total sum of the voltages is capacitively coupled to the control gate CG. It is obtained by the floating gate FG. Therefore, the first post spike pulse corresponding to the post spike pulse based on the result of the product sum calculation can be obtained without providing an arithmetic circuit for calculating the product sum of the combined load and the pre spike pulse. Further, since only a very small current for charging the control gate CG (actually the capacitor 36) flows, an operation with low power is possible. In the load storage unit 14, the two MTJ elements 31 and 33 are always written with resistance states opposite to each other.
- the first pre-spike pulse is output to the first pre-spike line PRLa from each input circuit 20a at a timing according to the processing content of the front stage unit 20.
- the load storage unit 14 operates to output the voltage signal Vpre as in the recognition mode.
- a second pre-spike pulse having a pulse width of 1/2 Tw is output from the input circuit 20a to the second pre-spike line PRLb in synchronization with the first pre-spike pulse. Is done. 6 shows a case where the first pre-spike pulse precedes the first post-spike pulse, and FIG. 7 shows a case where the first post-spike pulse precedes the first pre-spike pulse. .
- the synapse circuit 11 to which the first pre-spike pulse is input via the first pre-spike line PRLa has a voltage signal Vpre corresponding to the coupling load stored in the load storage unit 14 as in the recognition mode.
- Vpre voltage signal
- the MOS transistor 41 is turned off and the MOS transistor 42 is turned on.
- the first post spike pulse is output from the pulse generator 43 to the first post spike line POLa.
- the second pre spike pulse having a pulse width of 1/2 Tw is output from the main body 18 to the second pre spike line PRLb in synchronization with the first post spike pulse.
- the bit line driver 19 makes the bit line potential difference ⁇ VB positive in a period substantially the same as the pulse width of the first post spike pulse, and in the subsequent period of time 1 / 2Tw The line potential difference ⁇ VB is negative.
- the selection is performed in the synapse circuit 11 to which the first pre-spike pulse is input within a period that is back by a time 1 ⁇ 2 Tw from the timing at which the first post-spike pulse is output.
- the first post spike pulse is input to the unit 15 during the input of the second pre spike pulse. Therefore, a selection signal is output to the load storage unit 14 almost simultaneously with the first post spike pulse, and the MOS transistors 23 and 24 in the load storage unit 14 are turned on during the period when the bit line potential difference ⁇ VB is positive. become.
- the potential of the bit line BL is higher than that of the bit line BLB, so that the write current is transferred from the bit line BL to the MOS transistor 23, MTJ element 31, MTJ element 33, MOS
- MOS MOS
- the write current flows through the transistor 24 to the bit line BLB.
- the write current flows from the magnetization free layer 31b of the MTJ element 31 to the magnetization fixed layer 31a, and from the magnetization fixed layer 33a of the MTJ element 33 to the magnetization free layer 33b, so that the MTJ element 31 has a low resistance.
- the MTJ element 33 has a high resistance.
- the synapse circuit 11 is in a state where the first coupling load is stored.
- the MOS transistor 25 When the pulse time difference ⁇ T is 1 ⁇ 2 Tw or less and the first pre-spike pulse precedes the first post-spike pulse, the MOS transistor 25 is turned on simultaneously with the MOS transistors 23 and 24.
- the voltage of the power supply line PL is set to about
- the write current flows and the MTJ elements 31 and 33 are in a state where the first coupling load is stored.
- the potential of the bit line BLB is higher than that of the bit line BL, so that the write current is transferred from the bit line BLB to the MOS transistor 24, MTJ element 33, MTJ element 31, and MOS.
- the current flows through the transistor 23 to the bit line BL.
- the write current flows from the magnetization fixed layer 31a of the MTJ element 31 to the magnetization free layer 31b, and flows from the magnetization free layer 33b of the MTJ element 33 to the magnetization fixed layer 33a. Therefore, the MTJ element 31 has a high resistance.
- the MTJ element 33 has a low resistance. As a result, the synapse circuit 11 is in a state where the second coupling load is stored.
- the synapse circuit 11 when the connection weight is rewritten and the first pre-spike pulse is input after rewriting, the synapse circuit 11 outputs the voltage signal Vpre corresponding to the new connection weight to the neuron circuit 17 in the same manner as described above. To do. Further, when the potential of the floating gate FG reaches the threshold value, the neuron circuit 17 outputs the first post spike pulse and the second post spike pulse as described above. In each synapse circuit 11, when the first pre-spike pulse is input within each period of time 1/2 Tw before and after the timing when the first post-spike pulse is input, the coupling load is rewritten again. As described above, the coupling load of each synapse circuit 11 is updated, and the final one is held in each synapse circuit 11.
- the write current is supplied to change the magnetization state of the MTJ elements 31 and 33.
- the time required for the MTJ elements 31 and 33 to change between the parallel state and the antiparallel state mutually. (Hereinafter referred to as the rewrite time) is very short, so that high-speed operation is possible.
- the rewriting time of the MTJ elements 31 and 33 is about 1/10 that of ReRAM.
- the neural network circuit device 10 can operate at high speed and low power, and has a more optimal configuration.
- the load storage unit described above has a configuration in which a pair of inverters each including an MTJ element is cross-coupled, but a circuit configuration using only one MTJ element may be employed.
- 8 includes an MTJ element 51 and MOS transistors 52 and 53 that are N-type MOSFETs. Similar to the MTJ elements 31 and 33 (see FIG. 3), the MTJ element 51 has a structure in which a magnetization fixed layer 51a and a magnetization free layer 51b are stacked with an insulating film 51c interposed therebetween.
- the load storage unit 14A stores the magnitude of the coupling load depending on the resistance of the MTJ element 51 (the magnetization direction of the magnetization free layer 51b).
- the magnetization fixed layer 51a is connected to the power supply line PL via the MOS transistor 52, and the magnetization free layer 51b is connected to the source line SL.
- the MOS transistor 52 has its gate connected to a pre-spike line PRL extending in the row direction.
- a pre-spike pulse from the input circuit in the previous stage is output to the pre-spike line PRL.
- an H level pre-spike pulse is output to the pre-spike line PRL.
- the potential VSL of the source line SL is controlled by, for example, an input circuit.
- the source line potential VSL is normally set to the ground level, but changes in synchronization with the spike pulse output from the input circuit.
- source line potential VSL is maintained at the ground level.
- the connection node between the MTJ element 51 and the MOS transistor 52 is grounded via the MOS transistor 53.
- the gate of the MOS transistor 53 is connected to a post spike line POL extending in the column direction.
- the neuron circuit 17 includes a main body 18 and a delay circuit 55, and the main body 18 outputs a post spike pulse to the post spike line POL via the delay circuit 55.
- the delay circuit 55 delays the post spike pulse by the time 1 ⁇ 2 Tw.
- the potential (voltage) of the connection node between the MTJ element 51 and the MOS transistor 52 is output to the output line OL as the voltage signal Vpre via the capacitor 36. That is, one electrode of the capacitor 36 is connected to a connection node between the MTJ element 51 and the MOS transistor 52, and the other electrode is connected to the control gate in the main body 18 through the output line OL.
- the source line potential VSL is continuously set to the ground level (0 V).
- a pre-spike pulse is output from the input circuit in the previous stage and the MOS transistor 52 is turned on, a current flows from the power supply line PL to the source line SL via the MTJ element 51.
- a voltage signal Vpre having a voltage equal to a voltage drop corresponding to the resistance value of the MTJ element 51 is output from the connection node between the MTJ element 51 and the MOS transistor 52 to the main body 18 of the neuron circuit 17 via the capacitor 36.
- the load storage unit 14A outputs the voltage signal Vpre having a voltage corresponding to the stored connection load in response to the input of the pre-spike pulse. For example, when the MTJ element 51 is in a parallel state (low resistance), the voltage signal Vpre is low, and when the MTJ element 51 is in an antiparallel state (high resistance), the voltage signal Vpre is high.
- the load storage unit 14A operates to output the voltage signal Vpre as in the recognition mode.
- the source line potential VSL is controlled in synchronization with the pre-spike pulse.
- the source line potential VSL is set higher than the ground level in a period of time 1 ⁇ 2 Tw (hereinafter referred to as a first period) from the time when the pre-spike pulse falls, and a subsequent period of time 1 ⁇ 2 Tw (hereinafter referred to as a second period).
- the source line potential VSL is set lower than the ground level.
- the magnitude (absolute value) of the source line potential VSL with respect to the ground level at this time is determined so that a write current required to change the magnetization state of the MTJ element 51 can flow through the MTJ element 51.
- the MOS transistor 53 When the main body 18 outputs a post spike pulse, the MOS transistor 53 is turned on by the post spike pulse via the delay circuit 55. As a result, the MTJ element 51 is connected between the source line SL and the ground. Therefore, if the MOS transistor 53 is turned on during the period in which the source line potential VSL is controlled, a write current having a direction corresponding to the source line potential VSL flows through the MTJ element 51.
- the delay circuit 55 delays the output of the post spike pulse by the time 1 ⁇ 2 Tw. For this reason, for example, as shown by a solid line in FIG. 10, when the pulse time difference ⁇ T between the post spike pulse from the main body 18 and the pre spike pulse is 1/2 Tw or less and the post spike pulse precedes, A post spike pulse is output from the delay circuit 55 within the first period.
- the MOS transistor 53 since the MOS transistor 53 is turned on when the source line potential VSL is higher than the ground level, the MTJ element 51 receives a write current from the magnetization free layer 51b toward the magnetization fixed layer 51a. Flowing. As a result, the MTJ element 51 is in a parallel state.
- the load storage unit is configured using a spin transfer magnetization reversal (spin-transfer-torque: STT) type two-terminal MTJ element, but the MTJ element reversal method, the number of terminals, etc. It is not limited to this.
- a spin-orbit torque reversal (SOT: Spin-Orbital-Torque) type three-terminal MTJ element can be used.
- FIG. 11 shows an example of a load storage unit 14B using a three-terminal MTJ element 57.
- the MTJ element 57 has a structure in which a stacked body in which a magnetization fixed layer 57a and a magnetization free layer 57b are stacked with an insulating film 57c interposed therebetween is provided on the channel layer 57d, and the stacked body is formed from the channel layer 57d side on the magnetization free layer 57b.
- the insulating film 57c and the magnetization fixed layer 57a are stacked in this order.
- the magnetization fixed layer 57a and the magnetization free layer 57b are formed of a ferromagnetic material.
- the insulating film 57c is formed of a nonmagnetic insulator.
- the channel layer 57d is a conductive layer containing an antiferromagnetic material, and the channel layer 57d is formed in a plate shape extending in one direction.
- a laminated body is provided at the
- the magnetization fixed layer 57a has a magnetization direction fixed in, for example, one direction perpendicular to the film surface (vertical direction in FIG. 11), and the magnetization free layer 57b has an easy axis of magnetization in the direction perpendicular to the film surface. And the magnetization direction can be changed to either the parallel state in the same direction as the magnetization fixed layer 57a or the antiparallel state in the opposite direction.
- the magnetization direction of the magnetization fixed layer 57a and the magnetization free layer 57b may be a direction parallel to the film surface.
- the MTJ element 57 can change the magnetization direction of the magnetization free layer 57b by the action of spin orbit torque generated by flowing a write current in the direction in which the channel layer 57d extends.
- the magnetization direction of the magnetization free layer 57b depends on the direction of the write current. That is, when a write current flows through the channel layer 57d, a spin current corresponding to the direction of the write current is generated in the channel layer 57d in a direction perpendicular to the film surface, and a spin orbit torque is generated in the magnetization free layer 57b. Works.
- This spin orbit torque acts on the magnetization free layer 57b to which the stationary magnetic field from the channel layer 57d is applied, so that the magnetization direction of the magnetization free layer 57b changes depending on the direction of the spin current. It changes to either the same direction (parallel state) as 57a or the reverse direction (anti-parallel state).
- the MTJ element 57 applies a read voltage to the stacked body, passes a read current in a direction penetrating the read voltage, and determines the level of resistance of the MTJ element 57 (laminated body) from the read voltage and the read current. Can do.
- the voltage signal Vpre of the voltage corresponding to the magnetization state (resistance value) of the MTJ element 57 is taken out as in the above examples.
- the upper surface of the magnetization fixed layer 57a (the surface opposite to the surface on which the insulating film 57c is formed) and one end and the other end in the extending direction of the channel layer 57d are used as terminals of the MTJ element 57, respectively.
- the upper surface of the magnetization fixed layer 57a is connected to the power supply line PL through the MOS transistor 52, one end of the channel layer 57d is grounded through the MOS transistor 53, and the other end is connected to the source line SL.
- the load storage unit 14B outputs the potential (voltage) of the connection node between the MOS transistor 52 and the MTJ element 57 (the upper surface of the magnetization fixed layer 57a) to the output line OL through the capacitor 36 as the voltage signal Vpre. That is, one electrode of the capacitor 36 is connected to a connection node between the MTJ element 57 and the MOS transistor 52, and the other electrode is connected to the control gate in the main body 18 through the output line OL.
- Other circuit configurations, control of the source line potential VSL, and the like are the same as in the example of FIG.
- the pulse time difference ⁇ T is equal to or less than time 1 / 2Tw
- the MOS transistor 53 is turned on in response to the post spike pulse from the delay circuit 55
- the channel layer 57d connected between the source line SL and the ground.
- the magnetization direction of the magnetization free layer 57b is updated.
- the direction of the write current flowing in the channel layer 57d changes depending on the timing when the MOS transistor 53 is turned on, that is, whether the post spike pulse precedes or the pre spike pulse precedes, and corresponds to the direction of the write current. It becomes the magnetization direction of the magnetization free layer 57b.
- the cross-coupled inverter may be composed of a three-terminal MTJ element and a MOS transistor.
- the memory element that stores the coupling load in a nonvolatile manner is not limited to the MTJ element.
- a storage element an element that stores data using a difference in electrical resistance can be preferably used.
- a phase change memory (PCRAM) used to rewrite data by changing the phase state of the phase change material by Joule heat generated when a current is passed through the phase change material layer.
- PCRAM phase change memory
- Examples include a change element, a resistance change element that is used in a ReRAM (Resistive RAM, Resistive Random Access Memory), and changes a resistance value of an oxide layer of a load storage unit by applying a voltage pulse.
- a ferroelectric memory element having a ferroelectric capacitor used for a ferroelectric memory can also be used as a memory element that stores a coupling load in a nonvolatile manner.
- the coupling load of the synapse circuit is expressed by the magnitude of the current.
- it is the same as that of 1st Embodiment, attaches
- the load storage unit 14C of the synapse circuit includes inverters 21 and 22, a pair of MOS transistors 23 and 24 that are transfer gates, and a MOS transistor 25 for power gating. It consists of MTJ elements 31, 33 and MOS transistors 32, 34.
- a MOS transistor 65 is provided together with the MOS transistor 25 as a reading unit.
- the MOS transistor 65 is a P-type MOSFET, the source is connected to the connection node SNB that is the output terminal of the inverter 22, and the drain is connected to the output line OL.
- the MOS transistor 65 has a gate connected to the first pre-spike line PRLa, and is turned on together with the MOS transistor 25 by the first pre-spike pulse.
- the neuron circuit main body 18C includes a capacitor 67, a MOS transistor 68 as a load, and a pulse generator 43.
- the capacitor 67 one of the electrodes 67a and 67b facing each other is grounded. Further, the other electrode 67b of the capacitor 67 is connected to the load storage unit 14C of each synapse circuit in the column where the neuron circuit is arranged via the output line OL.
- the electrode 67 b is connected to the input terminal of the pulse generator 43 and is connected to the power source 71 via the MOS transistor 68.
- the MOS transistor 68 is a P-type MOSFET having a source connected to the power source 71 and a drain connected to the electrode 67b. A predetermined gate voltage is applied to the MOS transistor 68, and a current from the power source 71 is supplied so as to charge the capacitor 67.
- the capacitor 67 is charged by the current from the power supply 71 in both the recognition mode and the learning mode. For this reason, in a state where the first pre-spike pulse is not input to the load storage unit 14C, the electrode 67b is maintained at the same as the output potential (output voltage) of the power source.
- the MOS transistors 25 and 65 of the load storage unit 14C are turned on.
- the MOS transistor 25 is turned on, the cross-coupled inverters 21 and 22 are operated, and the potential difference generated between the connection node SN and the connection node SNB is amplified and stabilized in a state where the potential difference is increased.
- the coupling load stored in the load storage unit 14C of the synapse circuit is the first coupling load (the MTJ element 31 has a low resistance and the MTJ element 33 has a high resistance)
- the potential of the connection node SN is connected.
- the potential is higher than the potential of the node SNB and the second coupling load (the MTJ element 31 is high resistance and the MTJ element 33 is low resistance)
- the potential of the connection node SNB is higher than the potential of the connection node SN.
- the drain of the MOS transistor 34 is connected to the electrode 67b of the capacitor 67 through the MOS transistor 65 and the output line OL that are turned on, and the source is grounded through the source line SL.
- the potential of the connection node SN is given to the gate of the MOS transistor 34. Therefore, the MOS transistor 34 discharges the capacitor 67 with the discharge current Ipre having a magnitude corresponding to the potential of the connection node SN. Note that the discharge current Ipre does not flow when the potential of the connection node SN is lower than the potential of the connection node SNB and the potential is lower than the gate threshold voltage of the MOS transistor 34.
- the capacitor 67 is always charged by the power supply 71, but by being discharged by the MOS transistor 34, the charging voltage, that is, the potential of the electrode 67b is lowered. As the discharge current Ipre increases, the potential of the electrode 67b decreases more greatly.
- the discharge current Ipre generated by the MOS transistor 34 increases as the gate voltage of the MOS transistor 34 increases. That is, the discharge current Ipre increases as the potential of the connection node SN increases.
- the potential of the connection node SN is relatively high in the case of the first coupling load and low in the case of the second coupling load. Therefore, one synaptic circuit greatly lowers the potential of the electrode 67b as the coupling load stored in it increases.
- the discharge current Ipre corresponding to the coupling load stored in response thereto is generated. Shed.
- the potential of the electrode 67b decreases by a magnitude based on the sum of the discharge currents Ipre of each synapse circuit.
- the magnitude of the potential decrease of the electrode 67b depends on the discharge current Ipre of each synapse circuit. It changes as the sum changes.
- the first post spike pulse is output from the pulse generator 43 when the sum of the discharge currents Ipre becomes a certain level or more and the potential of the electrode 67 b falls below the threshold value of the pulse generator 43.
- Other operations in the learning mode and the recognition mode are the same as those in the first embodiment.
- the neural network circuit device of the second embodiment can operate at high speed because the rewriting time of the MTJ elements 31 and 33 is very short. Further, since the time required for the potential difference between the connection node SN and the connection node SNB to be amplified and stabilized by the differential pair of the MOS transistors 32 and 34 is very short, high-speed operation is possible. Therefore, the neural network circuit device has a more optimal configuration.
- connection weight stored in the synapse circuit may be any one of three or more connection weights having different weights, even if the binary weight is either the first connection weight having a relatively large weight or the second connection weight having a relatively small weight. Value may be used.
- each synapse circuit is provided with a plurality of storage units each including a load storage unit and a selection unit, and each load storage unit is the same as in each of the above examples. Each of them is configured to store either the first coupling load or the second coupling load.
- the pulse widths of the second post-spike pulses input to each selection unit in one synapse circuit are different from each other within a time 1 ⁇ 2 Tw (Tw is a specified time).
- the pulse width of the second pre-spike pulse Are different from each other within a time 1 ⁇ 2 Tw (Tw is a specified time).
- the second pre-processor input to the selection unit of the i-th (i is 1, 2,... M) storage unit.
- Each pulse width of the spike pulse and the second post spike pulse can be set to “1 ⁇ 2Tw ⁇ (i ⁇ 1) (1 / (2M)) Tw”.
- the load storage unit to which the selection signal is input varies from 0 to M in accordance with the length of the pulse time difference ⁇ T (absolute value) between the first post spike pulse and the first pre spike pulse.
- the pulse time difference ⁇ T exceeds the time “1 ⁇ 2 Tw”
- the number of load storage units in which the first coupling load or the second coupling load is written is zero, and the coupling load does not change (is not updated).
- one synapse circuit stores the first coupling load in 0 to M load storage units (the second coupling load is stored in the load storage unit that does not store the first coupling load).
- M + 1 types of connection weights corresponding to (1) can be stored.
- each load storage unit outputs a voltage or a current corresponding to the stored coupling load to the main body unit when the first pre-spike pulse as an input signal is output.
- each voltage or each current corresponding to the coupling load stored in each load storage unit is output to the main body unit. Since the main body operates based on the sum of the input voltages or currents, the voltage or current from one synapse circuit also operates based on the sum, resulting in synapse. Any of the M + 1 types of coupling loads stored in the circuit is output to the main body.
- Neural network circuit apparatus 11 Synapse circuit 14, 14A, 14B, 14C Load memory
- Neuron circuit 18 Main body part 21, 22 Inverter 23-25, 32, 34, 41, 42, 52, 53, 65 MOS transistor 31, 33 , 51, 57 MTJ element 36 capacitor 43 pulse generator 55 delay circuit 67 capacitor 67a, 67b electrode 68 MOS transistor 71 power supply BL bit line BLB bit line CG control gate FG floating gate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Computer Hardware Design (AREA)
- Semiconductor Memories (AREA)
- Read Only Memory (AREA)
- Mram Or Spin Memory Techniques (AREA)
- Hall/Mr Elements (AREA)
Abstract
より最適化されたニューラルネットワーク回路装置を提供する。シナプス回路11は、クロスカップルされた一対のインバータ21、22で構成され、シナプス結合荷重を不揮発的に記憶する。インバータ21は、MTJ素子31とMOSトランジスタ32とが直列に接続され、インバータ22は、MTJ素子33とMOSトランジスタ34とが直列に接続されている。第1プレスパイクパルスの入力に応答して、接続ノードSNの電圧を電圧信号Vpreとして出力する。ニューロン回路は、フローティングゲートと、このフローティングゲートに容量結合した複数の制御ゲートとを有する一対のMOSトランジスタとパルス発生器とで構成される。電圧信号Vpreの電圧の総和が一定レベル以上になったときに、第1ポストスパイクパルスが出力される。
Description
本発明は、ニューラルネットワーク回路装置に関する。
生体の脳の仕組みをモデルにしてコンピュータ上で情報処理を行うニューラルネットワークが知られている。また、ニューラルネットワークを、半導体素子等を用いて実現すべく、その構成素子及び回路に関する研究が進められている。ニューラルネットワーク回路装置は、種々のモデルが提案されている。例えば1つのモデルでは、ニューロン同士の結合に、その結合の強さを表すシナプス結合荷重を持たせ、1つのニューロンが他のニューロンから入力されるパルスの電圧と結合荷重との積算値が所定の閾値に達したときに、当該ニューロンが発火し、次のニューロンにパルスを伝達するものがある。このようなモデルの場合、シナプス結合荷重を記憶素子に記憶しておく必要がある。
不揮発性の記憶素子として、例えば電界誘起巨大抵抗変化により電気抵抗が変化する抵抗変化型記憶素子を備えたReRAM(Resistive Random Access Memory)、相変化メモリ(Phase Change Random Access Memory)等が知られている。このような不揮発性の記憶素子にシナプス結合荷重を記憶させるニューラルネットワーク回路装置が知られている(例えば、非特許文献1~3を参照)。
G. W. Burr, P. Narayanan, R. M. Shelby, S. Sidler, I. Boybat, C. di Nolfo, and Y. Leblebici, IEDM, pp. 4.4.1-4.4.4, 2015.
M. Chu; B. Kim; S. Park; H. Hwang; M. Jeon; B.-H. Lee; B.-G. Lee, IEEE Trans. IE, Vol. 62, Issue 4, pp. 2410-2419, 2015.
S. P. Adhikari; H. Kim; R. K. Budhathoki; C. Yang; L. O. Chua, IEEE Trans. CAS, Vol. 62, Issue 1, pp. 215-223, 2015.
ところで、非特許文献1~3に記載されるニューラルネットワーク回路装置は、シナプス結合荷重を不揮発性の記憶素子に記憶させるため、シナプス結合荷重の記憶を保持するための電力は必要としないが、十分に最適化されているとは言えず、より最適な構成のニューラルネットワーク回路装置が望まれている。
本発明は、上記事情を鑑みてなされたものであり、より最適化されたニューラルネットワーク回路装置を提供することを目的とする。
上記目的を達成するために、本発明は、シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、前記複数のシナプス回路は、不揮発的にシナプス結合荷重を記憶し、入力信号に応答して、記憶しているシナプス結合荷重に基づいた大きさの電圧信号を出力し、前記ニューロン回路は、フローティングゲートと、このフローティングゲートに容量結合し、前記複数のシナプス回路からの前記電圧信号がそれぞれ入力される複数の制御ゲートとを有するニューロン用MOSトランジスタと、前記ニューロン用MOSトランジスタのオンまたはオフにより、パルス信号を出力するパルス発生器とを有するものである。
また、本発明は、シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、前記ニューロン回路は、一方の電極が接地されたキャパシタと、前記キャパシタの他方の電極と電源との間に接続された負荷と、前記他方の電極の電位に基づきパルス信号を発生させるパルス発生器とを有し、前記複数のシナプス回路は、クロスカップルされ、それぞれが直列接続されたインバータ用MOSトランジスタと磁気トンネル接合素子とからなる一対のインバータと、記憶するシナプス結合荷重に基づいた書き込み電流を、前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの前記インバータ用MOSトランジスタを介して、前記キャパシタの前記他方の電極を放電させる電流を流す読み出し部とを有するものである。
本発明によれば、シナプス回路に記憶している結合荷重が電圧の大きさとしてニューロン回路に伝達されるので、ニューラルネットワーク回路装置を電力消費が低くなるように、より最適化された構成とすることができる。
本発明によれば、磁気トンネル接合素子の磁化状態を変化させるのに要する時間が短く、また結合荷重で重み付けした信号を出力するときに作動されるクロスカップルされた一対のインバータの動作が安定した状態に移行するまでの時間が短いので、ニューラルネットワーク回路装置を高速に動作するように、より最適化された構成とすることができる。
[第1実施形態]
図1において、第1実施形態に係るニューラルネットワーク回路装置10は、複数のシナプス回路11がマトリクス状に配列されて設けられている。各シナプス回路11は、荷重記憶部14と、選択部15とをそれぞれ有している。シナプス回路11の各列16には、その列方向(図1の上下方向)の端部にニューロン回路17がそれぞれ設けられている。ニューロン回路17は、本体部18とビット線ドライバ19とを有している。
図1において、第1実施形態に係るニューラルネットワーク回路装置10は、複数のシナプス回路11がマトリクス状に配列されて設けられている。各シナプス回路11は、荷重記憶部14と、選択部15とをそれぞれ有している。シナプス回路11の各列16には、その列方向(図1の上下方向)の端部にニューロン回路17がそれぞれ設けられている。ニューロン回路17は、本体部18とビット線ドライバ19とを有している。
シナプス回路11の各列16に対応して、列方向にビット線BL、BLB、第1ポストスパイク線POLa、第2ポストスパイク線POLbがそれぞれ延設されている。ビット線BL、BLBは、それが対応する列16内の各荷重記憶部14及びビット線ドライバ19に接続されている。第1ポストスパイク線POLa、第2ポストスパイク線POLbは、それが対応する列16内の各選択部15及び本体部18に接続されている。また、荷重記憶部14ごとに出力線OLが設けられており、各荷重記憶部14は、それが配された列16内のニューロン回路17の本体部18と出力線OLによってそれぞれ接続されている。
また、シナプス回路11の各行に対応して、行方向(図中左右)に、荷重記憶部14に電源電圧を供給する電源線PL、接地されたソース線SL、第1プレスパイク線PRLa、第2プレスパイク線PRLbが延設されており、それぞれが対応する行内の各荷重記憶部14に接続されている。電源線PLから供給される電圧は、後述するようにビット線BLとビット線BLBとの間に発生させるビット線電位差ΔVBの大きさの半分(=|ΔVB|/2)程度である。前段部20には、行ごとに入力回路20aが設けられている。各行の第1プレスパイク線PRLaは、インバータ20bを介して入力回路20aに接続され、第2プレスパイク線PRLbは入力回路20aに直接に接続されている。
ニューラルネットワーク回路装置10は、スパイクタイミング依存シナプス可塑性(Spike Timing Dependent Synaptic Plasticity(以下、STDPという))を有するシナプスのモデルを参考にしている。ニューラルネットワーク回路装置10における入力回路20aは前ニューロンに、ニューロン回路17は後ニューロンにそれぞれ相当し、入力回路20aは、プレスパイクパルスに相当する第1プレスパイクパルスを、またニューロン回路17は、ポストスパイクパルスに相当する第1ポストスパイクパルスをそれぞれ出力する。第1プレスパイクパルスは、前ニューロンの発火タイミングに相当するタイミングで出力されるものであり、第1ポストスパイクパルスは、後ニューロンの発火タイミングに相当するタイミングで出力されるものである。また、シナプス回路11は、前ニューロンと後ニューロンとをシナプス結合するシナプスにそれぞれ相当し、シナプス結合荷重(以下、単に結合荷重という)を記憶している。
上記STDPは、1つのシナプスに着目した場合に、そのシナプスの前後に接続された前ニューロン及び後ニューロンがそれぞれ発火してスパイクパルスを出力するタイミングに依存して、前ニューロンと後ニューロンの間に位置するシナプスとの結合荷重が変化する性質である。ニューラルネットワーク回路装置10では、第1ポストスパイクパルスと第1プレスパイクパルスとのパルス時間差ΔTが予め設定した規定時間Tw内である場合にシナプス回路11の結合荷重を更新し、かつ第1プレスパイクパルスと第1ポストスパイクパルスのうち前者が先行する場合には第1結合荷重とし、後者が先行する場合には第2結合荷重にする。
この例では、相対的に、第1結合荷重の重みが大きく、第2結合荷重の重みが小さい。すなわち、図2に示すように、シナプス回路11の結合荷重は、それが接続されたニューロン回路17から第1ポストスパイクパルスが出力された時点から時間1/2Tw以内の期間に第1プレスパイクパルスが入力された場合には、大きな第1結合荷重となり、また第1ポストスパイクパルスが出力された時点から遡って時間1/2Tw以内の期間に第1プレスパイクパルスが入力された場合には、小さな第2結合荷重となる。したがって、この例では、結合荷重を更新する場合において、パルス時間差ΔTの増加よって結合荷重を漸増ないし漸減させる一般的な対称型STDP及び非対称型STDPとは異なる。
上記ニューラルネットワーク回路装置10は、認知モードと学習モードとを有している。認知モードは、例えば画像認識などの処理対象となる画像に応じた信号を前段部20からニューラルネットワーク回路装置10に入力することによって、各ニューロン回路17から出力を画像認識の結果に応じた処理結果として得るモードであり、学習モードで各シナプス回路11に記憶された結合荷重を用いる。学習モードは、予め用意された画像に基づく信号を、前段部20からニューラルネットワーク回路装置10に入力することによって、各シナプス回路11に記憶されている結合荷重を更新する動作モードである。
前段部20の入力回路20aは、インバータ20bを介して第1プレスパイク線PRLaに第1プレスパイクパルスと、第1プレスパイクパルスに同期した第2プレスパイクパルスを第2プレスパイク線PRLbに出力する。第1プレスパイクパルスは、認知モードと学習モードの両方で出力されるが、第2プレスパイクパルスは、学習モードのみで出力される。第2プレスパイクパルスは、荷重記憶部14の結合荷重の書き込みタイミングの制御に用いられる。この第2プレスパイクパルスは、そのパルス幅が第1プレスパイクパルスよりも大きく、規定時間Twの1/2である。
シナプス回路11の荷重記憶部14は、第1プレスパイクパルスが入力されることに応答して、記憶している結合荷重で重み付けをしたプレスパイクパルスに相当する電圧信号Vpreを出力線OLを介してニューロン回路17の本体部18に出力する。
ニューロン回路17の本体部18は、それが配された列16内の各荷重記憶部14からの電圧信号Vpreの電圧レベルの総和が所定の閾値以上になることに応答して第1ポストスパイクパルスを発生する。本体部18は、認知モードでは、第1ポストスパイクパルスを第1ポストスパイク線POLaに出力し、学習モードでは、第1ポストスパイクパルスを出力するとともに、第1ポストスパイクパルスに同期した第2ポストスパイクパルスを第2ポストスパイク線POLbに出力する。第2ポストスパイクパルスは、第2プレスパイクパルスと同様に、結合荷重の更新タイミングの制御に用いられる。第2ポストスパイクパルスは、そのパルス幅が第1ポストスパイクパルスよりも大きく、規定時間Twの1/2である。
ニューロン回路17のビット線ドライバ19は、学習モードの際に、同じニューロン回路17内の本体部18の第1ポストスパイクパルスの発生に同期して、ビット線BL、BLBの電位を制御する。具体的には、ビット線ドライバ19は、第1ポストスパイクパルスと同時に、この第1ポストスパイクパルスのパルス幅とほぼ同じ期間、ビット線BLの電位VB1をビット線BLBの電位VB2よりも高く(ビット線電位差ΔVB(=VB1-VB2)を正)として、ビット線BLから荷重記憶部14を介してビット線BLBに向って電流が流れるようにし、その後の時間1/2Twの期間においてビット線BLBの電位VB2をビット線BLの電位VB1よりも高く(ビット線電位差ΔVBを負)として、ビット線BLBから荷重記憶部14を介してビット線BLに向って電流が流れるようにする。
シナプス回路11の選択部15は、学習モードの際に、第1プレスパイクパルス、第2プレスパイクパルス、第1ポストスパイクパルス、及び第2ポストスパイクパルスのタイミングに基づいて、第1ポストスパイクパルスと第1プレスパイクパルスとのパルス時間差ΔTが規定時間Tw内であるときに、選択信号を発生する。荷重記憶部14には、選択信号が入力されているタイミングにおけるビット線BL、BLBの電位差に基づく結合荷重が記憶される。
図3に示すように、シナプス回路11の荷重記憶部14は、インバータ21、22と、トランスファゲートとしての一対のMOSトランジスタ23、24、MOSトランジスタ25を有する。インバータ21は、直列に接続されたMTJ素子(磁気トンネル接合素子)31とMOSトランジスタ32とで構成され、インバータ22は、直列に接続されたMTJ素子33とMOSトランジスタ34とで構成される。MOSトランジスタ23、24、32、34は、N型MOSFETであり、MOSトランジスタ25はP型MOSFETである。この例では、MOSトランジスタ32、34がインバータ用MOSトランジスタであり、MOSトランジスタ25がパワーゲーティング用MOSトランジスタである。
MTJ素子31は、磁化固定層31aと磁化自由層31bとが絶縁膜31cを挟んで積層された構造を有する。磁化固定層31aは、その磁化方向が固定されている。磁化自由層31bは、MTJ素子31に所定の閾値以上の書き込み電流を流すことにより、その磁化方向を変えることができ、書き込み電流の向きによって磁化方向が決まる。周知のように、MTJ素子31は、磁化固定層31aと磁化自由層31bの磁化方向が一致する平行状態のときに抵抗値が小さい低抵抗になり、磁化固定層31aに対して磁化自由層31bの磁化方向が反対向きである反平行状態のときに抵抗値が大きい高抵抗になる。MTJ素子31は、磁化固定層31aから磁化自由層31bへの向きに書き込み電流を流すことにより、平行状態になり、逆向きに書き込み電流を流すことにより、反平行状態になる。
MTJ素子33についても、磁化固定層33a、磁化自由層33b、絶縁膜33cを積層した構成であり、MTJ素子31と同様に、書き込み電流によって磁化自由層33bの磁化方向を変化することができ、平行状態、反平行状態で抵抗値が変わる。
荷重記憶部14は、MTJ素子31、33により結合荷重を不揮発的に記憶する。MTJ素子31、33は、いずれか一方が平行状態のときに他方が反平行状態となる。この例では、第1結合荷重を記憶している場合には、MTJ素子31が平行状態、MTJ素子33が反平行状態であり、第2結合荷重を記憶している場合には、MTJ素子31が反平行状態、MTJ素子33が平行状態である。MTJ素子31、33は、他のReRAMや相変化メモリ等と比べて、最大書き換え回数がかなり大きく、学習の回数を多くできるといった観点からも有利な素子である。
インバータ21は、MTJ素子31の磁化自由層31bとMOSトランジスタ32のドレインとが接続され、インバータ22は、MTJ素子33の磁化自由層33bとMOSトランジスタ34のドレインとが接続されている。MTJ素子31、33の各磁化固定層31a、33aは、互いに接続され、MOSトランジスタ25を介して電源線PLに接続されている。MOSトランジスタ32、34の各ソースは、ソース線SLを介して接地されている。
インバータ21の出力端であるMTJ素子31とMOSトランジスタ32との接続ノードSNが、インバータ22の入力端であるMOSトランジスタ34のゲートに接続され、インバータ22の出力端であるMTJ素子33とMOSトランジスタ34との接続ノードSNBが、インバータ21の入力端であるMOSトランジスタ32のゲートに接続されている。これにより、インバータ21、22は、クロスカップルされてフリップフロップを構成するとともに、MOSトランジスタ32、34が差動対を構成する。
接続ノードSNは、MOSトランジスタ23を介してビット線BLに接続され、接続ノードSNBは、MOSトランジスタ24を介してビット線BLBに接続されている。MOSトランジスタ23、24の各ゲートは、選択部15に接続されており、この選択部15からの選択信号でオン、オフされる。選択部15と、MOSトランジスタ23、24とによって書き込み部が構成される。
ビット線電位差ΔVBが正のときに、MOSトランジスタ23、24がオンとなった場合には、ビット線BLから接続ノードSN、MTJ素子31、MTJ素子33、接続ノードSNBを経てビット線BLBに至る経路で書き込み電流が流れ、MTJ素子31が平行状態、MTJ素子33が反平行状態になる。逆に、ビット線電位差ΔVBが負のときに、MOSトランジスタ23、24がオンとなった場合には、ビット線BLBから接続ノードSNB、MTJ素子33、MTJ素子31、接続ノードSNを経てビット線BLに至る経路で書き込み電流が流れ、MTJ素子31が反平行状態、MTJ素子33が平行状態になる。
接続ノードSNの電位(電圧)が、コンデンサ36を介して電圧信号Vpreとして出力線OLに出力される。すなわち、コンデンサ36の一方の電極が接続ノードSNに接続され、他方の電極が出力線OLを介して本体部18内の制御ゲートCG(図4参照)に接続されている。コンデンサ36は、後述するように、制御ゲートCGを介して同一のフローティングゲートFG(図4参照)に対して容量結合される各シナプス回路11の荷重記憶部14の相互間での導通電流の発生を防止するために設けている。荷重記憶部14とフローティングゲートFGとの実質的な結合容量は、コンデンサ36の容量と、フローティングゲートFGに対する制御ゲートCGの結合容量とによって決まる。なお、荷重記憶部14とフローティングゲートFGとの実質的な結合容量を相違させることもでき、このようにすることで、例えば電圧信号Vpreに重み付けをすることができる。
MOSトランジスタ25は、電圧信号Vpreを出力させる読み出し部である。MOSトランジスタ25は、そのゲートが第1プレスパイク線PRLaに接続され、入力信号としての第1プレスパイクパルスが出力されているときにオンとなり、インバータ21、22すなわち差動対を構成するMOSトランジスタ32、34を作動させる。これにより、第1プレスパイクパルスに応答して、インバータ21の出力端である接続ノードSNの電圧を電圧信号Vpreとして出力線OLに出力する。電圧信号Vpreは、相対的にMTJ素子31が反平行状態、MTJ素子33が平行状態にある場合が低く、MTJ素子31が平行状態、MTJ素子33が反平行状態にある場合が高い。
選択部15は、論理回路15a~15cの組み合わせによって、第2ポストスパイクパルスが出力されている間に第1プレスパイクパルスが出力されたとき、または第1ポストスパイクパルスが出力されている間に第2プレスパイクパルスが出力されたときに選択信号をアクティブ(Hレベル)とする。これにより、第1ポストスパイクパルスと第1プレスパイクパルスとのパルス時間差ΔTが規定時間Tw内である場合にだけ、選択信号がアクティブとなり、MOSトランジスタ23、24がオンする。
図4において、本体部18は、P型のMOSFETであるMOSトランジスタ41、N型のMOSFETであるMOSトランジスタ42、パルス発生器43を有している。本体部18は、この他にも第2ポストスパイクパルス等を発生させるためのパルス発生器等を備えている。なお、本体部18のパルス発生器として、パルス波形、出力タイミング、遅延時間等が制御可能なパルス発生器を用いることができ、このようなパルス発生器で第1ポストスパイクパルス、第2ポストスパイクパルスを発生させてもよい。ニューロン用MOSトランジスタとしてのMOSトランジスタ41、42は、直列に接続されてインバータを構成する。すなわち、MOSトランジスタ41、42のドレイン同士が接続され、MOSトランジスタ41のソースが電源(電圧VDD)に接続され、MOSトランジスタ42のソースが接地されている。パルス発生器43は、その入力端がMOSトランジスタ41とMOSトランジスタ42の接続ノードに接続されており、その接続ノードが接地の電位(0V)となったときに、第1ポストスパイクパルス(パルス信号)を出力する。
上記MOSトランジスタ41、42は、フローティングゲートFGを共有している。また、MOSトランジスタ41、42は、フローティングゲートFGに容量結合した複数の制御ゲートCGが設けられている。本体部18の制御ゲートCGは、その本体部18が配された列16の各荷重記憶部14にそれぞれ対応して設けられ、各々の制御ゲートCGには対応する荷重記憶部14からの出力線OLが接続されている。MOSトランジスタ41、42は、フローティングゲートFGの電位でオン・オフが制御され、一方がオンのときに他方がオフとなる。
フローティングゲートFGの電位は、各制御ゲートCGに加えられる電圧信号Vpreの電圧と、各制御ゲートCGとフローティングゲートFGとの間の結合容量で決まる。この例では、フローティングゲートFGに対する各制御ゲートCGの結合容量が同じになっている。したがって、各制御ゲートCGに加える電圧の総和により、MOSトランジスタ41、42に一方をオン、他方をオフとするように制御できる。
次に上記構成の作用について説明する。認知モードでは、図5に示すように、前段部20の処理の内容に応じたタイミングで、各々の入力回路20aから、インバータ20bを介して第1プレスパイクパルスが第1プレスパイク線PRLaに出力される。なお、この認知モードにおいては、第2プレスパイクパルスは出力されないので、選択部15が選択信号を出力することはない。
1本の第1プレスパイク線PRLaに接続された1つのシナプス回路11に注目すると、第1プレスパイク線PRLaを介して第1プレスパイクパルスがシナプス回路11に入力されると、荷重記憶部14内のMOSトランジスタ25がオンになる。このMOSトランジスタ25のオンにより、電源線PLからの電流が、MTJ素子31及びMTJ素子33を介して流れ、インバータ21、22が作動する。
例えばシナプス回路11に記憶されている結合荷重が、第1結合荷重である場合、すなわちMTJ素子31が低抵抗であり、MTJ素子33が高抵抗である場合には、接続ノードSNの電位が接続ノードSNBの電位よりも高くなる電位差が生じる。この電位差は、クロスカップルされたインバータ21、22の作用により増幅され、電位差が大きくなった状態で安定する。逆に、シナプス回路11に記憶されている結合荷重が、第2結合荷重である場合、すなわちMTJ素子31が高抵抗であり、MTJ素子33が低抵抗である場合には、接続ノードSNの電位が接続ノードSNBの電位よりも低くなる電位差が生じ、その電位差がクロスカップルされたインバータ21、22の作用により増幅され、電位差が大きくなった状態で安定する。
接続ノードSNと接続ノードSNBとの電位差は、MOSトランジスタ32、34の差動対によって増幅されて安定するので、安定するまでに要する時間は、非常に短い。したがって、高速な動作が可能になる。
なお、MOSトランジスタ25がオンになることでMTJ素子31、33に流れる電流は、それらの磁化状態を変化させない大きさに調整されている。実際には、その電流が流れている間に、磁化自由層31b、33bの磁化方向に変化があるが、その変化は接続ノードSN、SNBに所望とする電位差を発生させるのには影響がない程度のきわめて僅かなものである。磁化自由層31b、33bの僅かな磁化方向は、電流を停止することで元の磁化方向に戻る。
上記のようにシナプス回路11に記憶されている結合荷重に応じて接続ノードSNの電位が変化する。この結果、接続ノードSNにコンデンサ36を介して接続された出力線OLには、シナプス回路11が第1結合荷重を記憶している場合には、高い電圧の電圧信号Vpreが出力され、第2結合荷重を記憶している場合には、低い電圧の電圧信号Vpreが出力される。このシナプス回路11からの電圧信号Vpreが出力線OLを介して本体部18の制御ゲートCGに加えられる。なお、MOSトランジスタ25がオフすると、コンデンサ36が放電して電圧信号Vpreの電圧が低下するが、コンデンサ36がMTJ素子31、33、MOSトランジスタ32、34等を通して放電するため電圧信号Vpreの電圧は漸減し、直ちに0Vになるわけではない。
1つのニューロン回路17に注目すると、それが配された列16内の各シナプス回路11から出力される電圧信号Vpreの電圧がそれぞれ対応する制御ゲートCGに加えられる。もちろん、第1プレスパイクパルスが入力されないシナプス回路11からは制御ゲートCGに電圧は加えられない。上記のように各制御ゲートCGに電圧信号Vpreの電圧が加えられて、フローティングゲートFGの電位が閾値に達すると、MOSトランジスタ41がオフとなり、MOSトランジスタ42がオンとなる。この結果、パルス発生器43から第1ポストスパイクパルスが出力される。フローティングゲートFGの電位が閾値に達しなければ、MOSトランジスタ41がオフ、MOSトランジスタ42がオンになることはないので、第1ポストスパイクパルスが出力されることはない。
上記のようにして、前段部20から各行の第1プレスパイク線PRLaに出力される第1プレスパイクパルスのタイミング及び各シナプス回路11に記憶されている結合荷重に応じて、列16ごとに設けられたニューロン回路17から第1ポストスパイク信号が出力される。
上記認知モードでは、荷重記憶部14から本体部18に対しては、プレスパイクに施される重み付けが電圧信号Vpreの電圧の大小として伝達され、その電圧の総和を容量結合された制御ゲートCG、フローティングゲートFGによって得ている。このため、結合荷重とプレスパイクパルスとの積和を演算する演算回路を設けることなく、積和演算の結果によるポストスパイクパルスに相当する第1ポストスパイクパルスが得られる。また、制御ゲートCG(実際にはコンデンサ36)を充電する極めて微小な電流が流れるだけなので、低電力での動作が可能である。また、荷重記憶部14では、2つのMTJ素子31、33は、必ず互いに逆の抵抗状態が書き込まれている。このため、電圧信号Vpreの出力時には、一方(高抵抗)のMTJ素子に電流が流れ、他方(低抵抗)のMTJ素子にはほとんど電流が流れない。そして、一方(高抵抗)のMTJ素子に流れる電流の向きは、そのMTJ素子を高抵抗にする書込み電流の向きである。したがって、高抵抗のMTJ素子も、低抵抗のMTJ素子も、電圧信号Vpreを出力する際に流れる電流によって磁化の向きが反転するようなリードディスターブが生じることがない。
学習モードでは、認知モードと同様に、各々の入力回路20aから前段部20の処理の内容に応じたタイミングで、第1プレスパイクパルスが第1プレスパイク線PRLaに出力される。この学習モードにおいても、第1プレスパイクパルスが出力されると、認知モードの場合と同様に、荷重記憶部14が動作して電圧信号Vpreが出力される。この学習モードでは、図6、図7に示すように、第1プレスパイクパルスに同期して、パルス幅が1/2Twの第2プレスパイクパルスが入力回路20aから第2プレスパイク線PRLbに出力される。なお、図6は、第1ポストスパイクパルスに対して第1プレスパイクパルスが先行する場合、図7は、第1プレスパイクパルスに対して第1ポストスパイクパルスが先行する場合をそれぞれ示している。
第1プレスパイク線PRLaを介して第1プレスパイクパルスが入力されたシナプス回路11は、認知モードの場合と同様に、それの荷重記憶部14が記憶している結合荷重に応じた電圧信号Vpreを、同じ列16に配されている本体部18に出力する。本体部18についても、制御ゲートCGに電圧信号Vpreの電圧が加えられて、フローティングゲートFGの電位が閾値に達すると、MOSトランジスタ41がオフとなり、MOSトランジスタ42がオンとなる。この結果、パルス発生器43から第1ポストスパイクパルスが第1ポストスパイク線POLaに出力される。また、第1ポストスパイクパルスが出力されると、これに同期してパルス幅が1/2Twの第2プレスパイクパルスが第2プレスパイク線PRLbに本体部18から出力される。
さらに、第1ポストスパイクパルスの出力と同時に、ビット線ドライバ19によって、第1ポストスパイクパルスのパルス幅とほぼ同じ期間においてビット線電位差ΔVBが正とされ、その後の時間1/2Twの期間においてビット線電位差ΔVBが負とされる。
例えば、図6に示されるように、上記の第1ポストスパイクパルスが出力されたタイミングから時間1/2Twだけ遡った期間内に、第1プレスパイクパルスが入力されたシナプス回路11では、その選択部15には、第2プレスパイクパルスの入力中に第1ポストスパイクパルスが入力される。このため、第1ポストスパイクパルスとほぼ同時に選択信号が荷重記憶部14に出力され、ビット線電位差ΔVBが正となっている期間に、その荷重記憶部14内のMOSトランジスタ23、24がそれぞれオンになる。
上記のようにMOSトランジスタ23、24がそれぞれオンになると、ビット線BLの電位がビット線BLBよりも高いので、書き込み電流が、ビット線BLからMOSトランジスタ23、MTJ素子31、MTJ素子33、MOSトランジスタ24を経てビット線BLBに至る経路で流れる。このときに、書き込み電流は、MTJ素子31の磁化自由層31bから磁化固定層31aへ流れ、またMTJ素子33の磁化固定層33aから磁化自由層33bへ流れるから、MTJ素子31は、低抵抗になり、MTJ素子33は、高抵抗になる。この結果、シナプス回路11は、第1結合荷重を記憶した状態になる。
なお、このようにパルス時間差ΔTが1/2Tw以下で、第1ポストスパイクパルスよりも第1プレスパイクパルスが先行する場合には、MOSトランジスタ23、24と同時にMOSトランジスタ25がオンになる。一方、上述のように電源線PLの電圧を|ΔVB|/2程度としている。このため、MOSトランジスタ23、24と同時にMOSトランジスタ25がオンになっても、ビット線BLと電源線PLとの間、及び電源線PLとビット線BLBとの間のいずれにも電位差を生じるため、上記のように書き込み電流が流れ、MTJ素子31、33によって第1結合荷重が記憶された状態になる。
一方、図7に示されるように、上記の第1ポストスパイクパルスが出力されてから時間1/2Twが経過するまでの期間内に、第1プレスパイクパルスが入力されたシナプス回路11では、その選択部15には、第2ポストスパイクパルスの入力中に第1プレスパイクパルスが入力される。このため、第1プレスパイクパルスとほぼ同時に選択信号が荷重記憶部14に出力されるので、ビット線電位差ΔVBが負となっている期間に、その荷重記憶部14内のMOSトランジスタ23、24がそれぞれオンになる。
上記のようにMOSトランジスタ23、24がそれぞれオンになると、ビット線BLBの電位がビット線BLよりも高いので、書き込み電流が、ビット線BLBからMOSトランジスタ24、MTJ素子33、MTJ素子31、MOSトランジスタ23を経てビット線BLに至る経路で流れる。このときに、書き込み電流は、MTJ素子31の磁化固定層31aから磁化自由層31bへ流れ、MTJ素子33の磁化自由層33bから磁化固定層33aへ流れるから、MTJ素子31は、高抵抗になり、MTJ素子33は、低抵抗になる。この結果、シナプス回路11は、第2結合荷重を記憶した状態になる。
上記のようにしてシナプス回路11は、その結合荷重が書き換えられ、書き換え後に第1プレスパイクパルスが入力されると、上記同様にして新たな結合荷重に応じた電圧信号Vpreをニューロン回路17に出力する。また、ニューロン回路17は、フローティングゲートFGの電位が閾値に達すると、上記同様に第1ポストスパイクパルス,第2ポストスパイクパルスを出力する。そして、各シナプス回路11では、第1ポストスパイクパルスが入力されたタイミングの前後の時間1/2Twの各期間内に第1プレスパイクパルスが入力されると、再び結合荷重が書き換えられる。以上のようにして、各シナプス回路11の結合荷重が更新されて,各シナプス回路11には最終的のものが保持される。
上記のように学習モードでは、書き込み電流を流してMTJ素子31、33の磁化状態を変化させているが、MTJ素子31、33を平行状態と反平行状態との相互に変化させるのに要する時間(以下、書き換え時間という)は、非常に短いため、高速な動作が可能である。例えば、MTJ素子31、33の書き換え時間は、ReRAMに対して1/10程度ある。
以上のように認知モード、学習モードのいずれにおいても、ニューラルネットワーク回路装置10は、高速かつ低電力で動作が可能であり、より最適な構成になっている。
上記の荷重記憶部は、それぞれがMTJ素子を含む一対のインバータをクロスカップルした構成であるが、MTJ素子を1個だけ用いた回路構成とすることもできる。図8に示す荷重記憶部14Aでは、MTJ素子51、N型MOSFETであるMOSトランジスタ52、53が設けられている。MTJ素子51は、MTJ素子31、33(図3参照)と同じく、磁化固定層51aと磁化自由層51bが絶縁膜51cを挟んで積層された構造を有する。荷重記憶部14Aは、MTJ素子51の抵抗の高低(磁化自由層51bの磁化の向き)によって結合荷重の大小を記憶する。
MTJ素子51は、磁化固定層51aがMOSトランジスタ52を介して電源線PLに接続され、磁化自由層51bがソース線SLに接続されている。MOSトランジスタ52は、そのゲートが行方向に延設されたプレスパイク線PRLに接続されている。プレスパイク線PRLには、前段部の入力回路からのプレスパイクパルスが出力される。この例においては、Hレベルのプレスパイクパルスがプレスパイク線PRLに出力される。ソース線SLは、その電位VSLが、例えば入力回路によって制御されている。学習モードにおいて、ソース線電位VSLは、通常、接地レベルとされているが、スパイクパルスが入力回路から出力されると、それに同期して変化する。なお、認知モードでは、ソース線電位VSLは、接地レベルに維持される。
MTJ素子51とMOSトランジスタ52との接続ノードは、MOSトランジスタ53を介して接地されている。MOSトランジスタ53のゲートは、列方向に延設されたポストスパイク線POLに接続されている。ニューロン回路17は、本体部18と遅延回路55とを有し、本体部18は遅延回路55を介してポストスパイクパルスをポストスパイク線POLに出力する。遅延回路55は、時間1/2Twだけポストスパイクパルスを遅延させる。
荷重記憶部14Aでは、MTJ素子51とMOSトランジスタ52との接続ノードの電位(電圧)が、コンデンサ36を介して電圧信号Vpreとして出力線OLに出力される。すなわち、コンデンサ36の一方の電極がMTJ素子51とMOSトランジスタ52との接続ノードに接続され、他方の電極が出力線OLを介して本体部18内の制御ゲートに接続されている。
上記構成によれば、認知モードにおいては、図9に示すように、ソース線電位VSLが継続的に接地レベル(0V)とされている。この状態で、前段部の入力回路からプレスパイクパルスが出力されて、MOSトランジスタ52がオンとなると、MTJ素子51を介して電源線PLからソース線SLに電流が流れる。これにより、MTJ素子51とMOSトランジスタ52との接続ノードから、MTJ素子51の抵抗値に応じた電圧降下に等しい電圧の電圧信号Vpreがコンデンサ36を介してニューロン回路17の本体部18に出力される。このように、荷重記憶部14Aは、プレスパイクパルスの入力に応答して、記憶している結合荷重に応じた電圧の電圧信号Vpreを出力する。例えば、MTJ素子51が平行状態(低抵抗)であるときには、電圧信号Vpreの電圧は低く、MTJ素子51が反平行状態(高抵抗)であるときには、電圧信号Vpreの電圧は高くなる。
学習モードにおいても、前段部の入力回路からプレスパイクパルスが出力されると、認知モードの場合と同様に、荷重記憶部14Aが動作して電圧信号Vpreが出力される。この学習モードでは、図10に示すように、プレスパイクパルスに同期して、ソース線電位VSLの制御が行われる。まず、プレスパイクパルスが立ち下がった時点から時間1/2Twの期間(以下、第1期間という)においてソース線電位VSLが接地レベルよりも高くされ、続く時間1/2Twの期間(以下、第2期間という)において、ソース線電位VSLが接地レベルよりも低くされる。このときの接地レベルに対するソース線電位VSLの大きさ(絶対値)は、MTJ素子51の磁化状態を変化させるのに必要な書き込み電流をMTJ素子51に流すことができるように決められている。
本体部18がポストスパイクパルスを出力すると、遅延回路55を介した当該ポストスパイクパルスにより、MOSトランジスタ53がオンとなる。これにより、MTJ素子51がソース線SLと接地との間に接続された状態になる。このため、ソース線電位VSLが制御されている期間中に、MOSトランジスタ53がオンとなれば、MTJ素子51には、ソース線電位VSLに応じた向きの書き込み電流が流れる。
上記のように遅延回路55は、時間1/2Twだけポストスパイクパルスの出力を遅延する。このため、例えば、図10に実線で示されるように、本体部18からのポストスパイクパルスと上記プレスパイクパルスとのパルス時間差ΔTが1/2Tw以下であってポストスパイクパルスが先行する場合では、第1期間内に遅延回路55からポストスパイクパルスが出力される。この場合には、ソース線電位VSLが接地レベルよりも高くなっているときにMOSトランジスタ53がオンになるから、MTJ素子51には、磁化自由層51bから磁化固定層51aに向って書き込み電流が流れる。この結果、MTJ素子51は、平行状態になる。
一方、図10に二点鎖線で示されるように、本体部18からのポストスパイクパルスと上記プレスパイクパルスとのパルス時間差ΔTが1/2Tw以下であって、プレスパイクパルスが先行する場合では、第2期間内に遅延回路55からポストスパイクパルスが出力される。この場合には、ソース線電位VSLが接地レベルよりも低くなっているときにMOSトランジスタ53がオンになるから、MTJ素子51には、磁化固定層51aから磁化自由層51bに向って書き込み電流が流れる。この結果、MTJ素子51は、反平行状態になる。
上記各例では、スピン注入磁化反転(spin transfer torque:STT)方式の二端子型のMTJ素子を用いて荷重記憶部を構成しているが、MTJ素子の磁化反転の方式、端子数などは、これに限定されない。例えば、スピン軌道トルク反転(SOT:Spin Orbital Torque)方式の三端子型のMTJ素子を用いることができる。
図11は、三端子型のMTJ素子57を用いた荷重記憶部14Bの例を示している。MTJ素子57は、磁化固定層57aと磁化自由層57bとを絶縁膜57cを挟んで積層した積層体をチャネル層57d上に設けた構造であり、積層体はチャネル層57d側から磁化自由層57b、絶縁膜57c、磁化固定層57aの順番で積層されている。磁化固定層57a、磁化自由層57bは、強磁性体で形成されている。絶縁膜57cは、非磁性の絶縁体で形成されている。チャネル層57dは、反強磁性体を含む導電層であり、チャネル層57dは、一方向に延びた板状に形成されている。このチャネル層57dの一方の面の中央部に積層体が設けられている。
磁化固定層57aは、例えばその膜面に垂直な方向(図11の上下方向)の一方の向きに磁化の向きが固定され、磁化自由層57bは、その膜面に垂直な方向に磁化容易軸を有し、磁化の向きが磁化固定層57aと同じ向きの平行状態と逆向きの反平行状態とのいずれかに変えることができる。なお、磁化固定層57a、磁化自由層57bの磁化方向は、膜面に平行な方向であってもよい。
上記MTJ素子57は、チャネル層57dの延びた方向に書き込み電流を流すことで生じるスピン軌道トルクの作用によって磁化自由層57bの磁化方向を変えることができる。磁化自由層57bの磁化方向は、書き込み電流の向きに応じたものとなる。すなわち、書き込み電流がチャネル層57dに流れることによって、チャネル層57dの内部に、その膜面に垂直な方向で、書き込み電流の向きに応じたスピン流が生じ、磁化自由層57bにスピン軌道トルクが作用する。このスピン軌道トルクが、チャネル層57dからの定常的な磁場が印加されている磁化自由層57bに作用することで、磁化自由層57bの磁化の向きが、スピン流の向きに応じて磁化固定層57aと同じ向き(平行状態)と逆向き(反平行状態)とのいずれかに変化する。
また、MTJ素子57は、積層体に読み出し電圧を印加して、それを貫通する方向の読み出し電流を流し、読み出し電圧と読み出し電流とからMTJ素子57(積層体)の抵抗の高低を判別することができる。この例では、上述の各例と同様に、MTJ素子57の磁化状態(抵抗値)に応じた電圧の電圧信号Vpreとして取り出す。
この例では、磁化固定層57aの上面(絶縁膜57cが形成された面とは反対側の面)と、チャネル層57dの延びた方向の一端及び他端とをそれぞれMTJ素子57の端子として、磁化固定層57aの上面がMOSトランジスタ52を介して電源線PLに接続され、チャネル層57dの一端がMOSトランジスタ53を介して接地され、他端がソース線SLに接続されている。
荷重記憶部14Bは、MOSトランジスタ52とのMTJ素子57(磁化固定層57aの上面)との接続ノードの電位(電圧)を、コンデンサ36を介して電圧信号Vpreとして出力線OLに出力する。すなわち、コンデンサ36の一方の電極がMTJ素子57とMOSトランジスタ52との接続ノードに接続され、他方の電極が出力線OLを介して本体部18内の制御ゲートに接続されている。なお、その他の回路構成、ソース線電位VSLの制御等は、図9の例と同じである。
上記の荷重記憶部14Bでは、プレスパイクパルスに応答して、MOSトランジスタ52がオンとなることにより、磁化固定層57aの上面から積層体を介して、チャネル層57dの他端に接続されたソース線SLに電流が流れる。これにより、MTJ素子57とMOSトランジスタ52との接続ノードから、MTJ素子57の抵抗値に応じた電圧降下に等しい電圧の電圧信号Vpreがコンデンサ36を介してニューロン回路17の本体部18に出力される。
また、パルス時間差ΔTが時間1/2Tw以下である場合に、MOSトランジスタ53が遅延回路55からポストスパイクパルスに応答してオンになると、ソース線SLと接地との間に接続されたチャネル層57dに書き込み電流が流れることにより、磁化自由層57bの磁化方向が更新される。このときにMOSトランジスタ53がオンとなるタイミング、すなわちポストスパイクパルスが先行するか、プレスパイクパルスが先行するかによって、チャネル層57dに流れる書き込み電流の向きが変わり、その書き込み電流の向きに応じた磁化自由層57bの磁化方向となる。
なお、図3に示される荷重記憶部14のように、クロスカップルされるインバータを三端子型のMTJ素子とMOSトランジスタとで構成してもよい。
不揮発的に結合荷重を記憶する記憶素子としては、MTJ素子に限定されない。このような記憶素子としては、電気抵抗の違いを利用してデータを記憶するものを好ましく用いることができる。例えば、相変化メモリ(PCRAM:Phase Change Random Access Memory)に用いられ、相変化材料層に電流を流した際に発生するジュール熱によって相変化材料の相状態を変化させてデータの書き換えを行う相変化素子、ReRAM(Resistive RAM, Resistive Random Access Memory)に用いられ、電圧パルスの印加によって荷重記憶部の酸化物層の抵抗値を変化させる抵抗変化素子等が挙げられる。また、不揮発的に結合荷重を記憶する記憶素子として、強誘電体メモリ(Ferroelectric Random Access Memory)に用いられる強誘電体キャパシタを有する強誘電体メモリ素子を用いることもできる。
[第2実施形態]
第2実施形態は、シナプス回路の結合荷重を電流の大小で表現したものである。なお、以下に説明する他は、第1実施形態と同様であり、同一の部材には同じ符号を付して、その詳細な説明を省略する。
第2実施形態は、シナプス回路の結合荷重を電流の大小で表現したものである。なお、以下に説明する他は、第1実施形態と同様であり、同一の部材には同じ符号を付して、その詳細な説明を省略する。
図12に示すように、シナプス回路の荷重記憶部14Cは、インバータ21、22、トランスファゲートである一対のMOSトランジスタ23、24、パワーゲーティング用のMOSトランジスタ25を有し、インバータ21、22は、MTJ素子31、33、MOSトランジスタ32、34で構成されている。この例では、読み出し部として、MOSトランジスタ25とともにMOSトランジスタ65が設けられている。MOSトランジスタ65は、P型のMOSFETであり、インバータ22の出力端である接続ノードSNBにソースが接続され、ドレインが出力線OLに接続されている。このMOSトランジスタ65は、ゲートに第1プレスパイク線PRLaが接続されており、第1プレスパイクパルスによってMOSトランジスタ25とともにオンとなる。
図13において、ニューロン回路の本体部18Cは、キャパシタ67、負荷としてのMOSトランジスタ68、パルス発生器43を備えている。キャパシタ67は、互いに対向する電極67a、67bのうちの一方の電極67aが接地されている。また、キャパシタ67の他方の電極67bには、ニューロン回路が配された列内の各シナプス回路の荷重記憶部14Cと出力線OLを介して接続されている。また、電極67bは、パルス発生器43の入力端に接続されるとともに、MOSトランジスタ68を介して電源71に接続されている。
MOSトランジスタ68は、P型のMOSFETであり、ソースが電源71に接続され、ドレインが電極67bに接続されている。MOSトランジスタ68には、所定のゲート電圧が与えられており、キャパシタ67を充電するように電源71からの電流を流す。
上記構成によれば、認知モード及び学習モードのいずれにおいても、キャパシタ67は、電源71からの電流によって充電される。このため、荷重記憶部14Cに第1プレスパイクパルスが入力されていない状態では、電極67bは、電源の出力電位(出力電圧)と同じに維持される。
前段部の入力回路からの第1プレスパイクパルスが第1プレスパイク線PRLaを介して荷重記憶部14Cに入力されると、その荷重記憶部14CのMOSトランジスタ25、65がそれぞれオンになる。MOSトランジスタ25がオンになることにより、クロスカップルされたインバータ21、22が作動し、接続ノードSNと接続ノードSNBとの間に生じる電位差が増幅されて、電位差が大きくなった状態で安定する。例えば、シナプス回路の荷重記憶部14Cに記憶されている結合荷重が、第1結合荷重(MTJ素子31が低抵抗、MTJ素子33が高抵抗)である場合には、接続ノードSNの電位が接続ノードSNBの電位よりも高くなり、第2結合荷重(MTJ素子31が高抵抗、MTJ素子33が低抵抗)である場合には、接続ノードSNBの電位が接続ノードSNの電位よりも高くなる。
ところで、MOSトランジスタ34は、オンになっているMOSトランジスタ65及び出力線OLを介してキャパシタ67の電極67bにドレインが接続されており、またソースがソース線SLを介して接地されている。そして、MOSトランジスタ34のゲートに接続ノードSNの電位が与えられている。このため、MOSトランジスタ34は、接続ノードSNの電位に応じた大きさの放電電流Ipreで、キャパシタ67を放電する。なお、接続ノードSNの電位が接続ノードSNBの電位よりも低い場合であって、その電位がMOSトランジスタ34のゲート閾値電圧よりも低い場合に放電電流Ipreは流れない。
キャパシタ67は、電源71によって常に充電されるが、MOSトランジスタ34によって放電されることによって、その充電電圧、すなわち電極67bの電位が低下する。そして、放電電流Ipreが大きいほど、電極67bの電位の低下が大きい。
一方、MOSトランジスタ34による放電電流Ipreは、MOSトランジスタ34のゲート電圧が高いほど大きくなる。すなわち、接続ノードSNの電位が高いほど放電電流Ipreが大きくなる。上記のように接続ノードSNの電位は、相対的に第1結合荷重の場合が高く、第2結合荷重の場合に低い。したがって、1個のシナプス回路は、それが記憶している結合荷重が大きいほど、電極67bの電位を大きく低下させる。
電極67bに接続された他のシナプス回路についても同様に、前段部の入力回路からの第1プレスパイクパルスが入力されると、それに応答して記憶されている結合荷重に対応した放電電流Ipreを流す。この結果、各シナプス回路の放電電流Ipreの和に基づいた大きさで電極67bの電位の低下することになるが、この電極67bの電位の低下の大きさは、各シナプス回路の放電電流Ipreの和が変化することにともなって変化する。そして、放電電流Ipreの和が一定のレベル以上となって、パルス発生器43の閾値よりも電極67bの電位が下がったときにパルス発生器43から第1ポストスパイクパルスが出力される。なお、学習モード及び認知モードにおけるその他の動作は、第1実施形態と同じである。
第2実施形態のニューラルネットワーク回路装置は、第1実施形態と同様に、MTJ素子31、33の書き換え時間が非常に短いため、高速な動作が可能である。また、接続ノードSNと接続ノードSNBとの電位差がMOSトランジスタ32、34の差動対によって増幅されて安定するまでに要する時間が非常に短いため、高速な動作が可能になる。したがって、ニューラルネットワーク回路装置がより最適な構成となる。
シナプス回路が記憶する結合加重は、相対的に重みが大きい第1結合加重と小さい第2結合加重のいずれかとなる二値のものでも、重みが異なる3以上の結合加重のうちのいずれかとなる多値のものでもよい。
シナプス回路が記憶する結合加重を多値とする場合には、例えば各シナプス回路にそれぞれ、荷重記憶部と選択部とからなる記憶ユニットを複数設け、各荷重記憶部は、上記の各例と同様に、それぞれ第1結合荷重または第2結合荷重のいずれかを記憶するように構成する。1個のシナプス回路内における各選択部に入力される第2ポストスパイクパルスのパルス幅を時間1/2Tw(Twは規定時間)内で互いに異なるものとし、同様に第2プレスパイクパルスのパルス幅を時間1/2Tw(Twは規定時間)内で互いに異なるものとする。例えば、Mを2以上の整数として、シナプス回路に第1~第M記憶ユニットを設けた場合、第i(iは1、2・・・M)記憶ユニットの選択部に入力される第2プレスパイクパルス及び第2ポストスパイクパルスの各パルス幅を「1/2Tw-(i-1)(1/(2M))Tw」とすることができる。これにより、第1ポストスパイクパルスと第1プレスパイクパルスとのパルス時間差ΔT(絶対値)の長短に応じて、選択信号が入力される荷重記憶部が0個からM個の範囲で変化する。
1つのシナプス回路に注目すると、第1プレスパイクパルスが第1ポストスパイクパルスに先行する場合には、パルス時間差ΔTが小さいほど第1結合荷重が書き込まれる荷重記憶部の個数が多くなり、パルス時間差ΔTが大きいほど第1結合荷重が書き込まれる荷重記憶部の個数が少なくなる。逆に、第1ポストスパイクパルスが第1プレスパイクパルスに先行する場合には、時間差ΔTが小さいほど第2結合荷重が書き込まれる荷重記憶部の個数が多くなり、パルス時間差ΔTが大きいほど第2結合荷重が書き込まれる荷重記憶部の個数が少なくなる。パルス時間差ΔTが時間「1/2Tw」を超えた場合には、第1結合荷重または第2結合荷重が書き込まれる荷重記憶部は0個であり、結合荷重は変化しない(更新されない)。結果的に、1つのシナプス回路は、第1結合荷重を0個ないしM個の荷重記憶部に記憶した状態(第1結合荷重を記憶していない荷重記憶部には第2結合荷重が記憶される)に対応したM+1種類の結合荷重を記憶することができる。
この場合にも、各荷重記憶部は、入力信号としての第1プレスパイクパルスが出力されているときに、記憶している結合荷重に応じた電圧または電流を本体部にそれぞれ出力する。1個のシナプス回路からは、第1プレスパイクパルスの入力に応答して、その各荷重記憶部に記憶している結合荷重に応じた各電圧または各電流が本体部に出力される。本体部は、入力される各電圧または各電流の総和に基づいて動作するから、1つのシナプス回路からの各電圧または各電流についてもそれらの和に基づいて動作することになり、結果的にシナプス回路が記憶しているM+1種類の結合荷重のうちのいずれの結合荷重を本体部に出力することになる。
10 ニューラルネットワーク回路装置
11 シナプス回路
14、14A、14B、14C 荷重記憶部
17 ニューロン回路
18 本体部
21、22 インバータ
23~25、32、34、41、42、52、53、65 MOSトランジスタ
31、33、51、57 MTJ素子
36 コンデンサ
43 パルス発生器
55 遅延回路
67 キャパシタ
67a、67b 電極
68 MOSトランジスタ
71 電源
BL ビット線
BLB ビット線
CG 制御ゲート
FG フローティングゲート
11 シナプス回路
14、14A、14B、14C 荷重記憶部
17 ニューロン回路
18 本体部
21、22 インバータ
23~25、32、34、41、42、52、53、65 MOSトランジスタ
31、33、51、57 MTJ素子
36 コンデンサ
43 パルス発生器
55 遅延回路
67 キャパシタ
67a、67b 電極
68 MOSトランジスタ
71 電源
BL ビット線
BLB ビット線
CG 制御ゲート
FG フローティングゲート
Claims (8)
- シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、
前記複数のシナプス回路は、
不揮発的にシナプス結合荷重を記憶し、入力信号に応答して、記憶しているシナプス結合荷重に基づいた大きさの電圧信号を出力し、
前記ニューロン回路は、
フローティングゲートと、このフローティングゲートに容量結合し、前記複数のシナプス回路からの前記電圧信号がそれぞれ入力される複数の制御ゲートとを有するニューロン用MOSトランジスタと、
前記ニューロン用MOSトランジスタのオンまたはオフにより、パルス信号を出力するパルス発生器と
を有する
ことを特徴とするニューラルネットワーク回路装置。 - 前記シナプス回路は、2値または多値のシナプス結合荷重を記憶することを特徴とする請求項1に記載のニューラルネットワーク回路装置。
- 前記シナプス回路は、シナプス結合荷重に基づいた磁化状態とされる磁気トンネル接合素子を有し、前記磁気トンネル接合素子の磁化状態によりシナプス結合荷重を不揮発的に記憶することを特徴とする請求項1または2に記載のニューラルネットワーク回路装置。
- 前記シナプス回路は、クロスカップルされ、それぞれが直列接続されたインバータ用MOSトランジスタと磁気トンネル接合素子とからなる一対のインバータと、
記憶するシナプス結合荷重に基づいた書き込み電流を前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、
入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの出力端のから前記電圧信号を出力させる読み出し部と
を有することを特徴とする請求項1または2に記載のニューラルネットワーク回路装置。 - 前記シナプス回路は、前記一方のインバータの出力端がコンデンサを介して前記制御ゲートに接続されていることを特徴とする請求項4に記載のニューラルネットワーク回路装置。
- 前記読み出し部は、前記電圧信号を出力するタイミングで、電源線と、前記磁気トンネル接合素子同士の接続ノードとを接続するパワーゲーティング用MOSトランジスタであることを特徴とする請求項5に記載のニューラルネットワーク回路装置。
- 前記一対のインバータの入力端にそれぞれ接続され、相互の電位差の正負が反転する一対のビット線を有し、
前記書き込み部は、前記ビット線と前記一対のインバータの各入力端との間にそれぞれ接続され、記憶するシナプス結合荷重に基づくタイミングでオン、オフされる一対のトランスファゲートを有する
ことを特徴とする請求項4ないし6のいずれか1項に記載のニューラルネットワーク回路装置。 - シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、
前記ニューロン回路は、
一方の電極が接地されたキャパシタと、
前記キャパシタの他方の電極と電源との間に接続された負荷と、
前記他方の電極の電位に基づきパルス信号を発生させるパルス発生器と
を有し、
前記複数のシナプス回路は、
クロスカップルされ、それぞれが直列接続されたインバータ用MOSトランジスタと磁気トンネル接合素子とからなる一対のインバータと、
記憶するシナプス結合荷重に基づいた書き込み電流を、前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、
入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの前記インバータ用MOSトランジスタを介して、前記キャパシタの前記他方の電極を放電させる電流を流す読み出し部と
を有する
ことを特徴とするニューラルネットワーク回路装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/043,203 US11829863B2 (en) | 2018-03-30 | 2019-03-29 | Neural network circuit device |
JP2020509364A JP7216436B2 (ja) | 2018-03-30 | 2019-03-29 | ニューラルネットワーク回路装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018070165 | 2018-03-30 | ||
JP2018-070165 | 2018-03-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019189895A1 true WO2019189895A1 (ja) | 2019-10-03 |
Family
ID=68058218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/014353 WO2019189895A1 (ja) | 2018-03-30 | 2019-03-29 | ニューラルネットワーク回路装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11829863B2 (ja) |
JP (1) | JP7216436B2 (ja) |
WO (1) | WO2019189895A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6841393B1 (ja) * | 2020-02-27 | 2021-03-10 | Tdk株式会社 | 演算回路及びニューロモーフィックデバイス |
WO2021066100A1 (ja) * | 2019-10-02 | 2021-04-08 | 国立大学法人東北大学 | シナプス回路の駆動方法 |
JP6892026B1 (ja) * | 2020-02-27 | 2021-06-23 | Tdk株式会社 | 演算回路、及びニューロモーフィックデバイス |
KR102390388B1 (ko) * | 2021-03-29 | 2022-04-25 | 한국과학기술연구원 | 뉴로모픽 장치 |
WO2022265044A1 (ja) * | 2021-06-18 | 2022-12-22 | 国立大学法人東北大学 | 演算処理装置 |
CN117829224A (zh) * | 2024-03-05 | 2024-04-05 | 南京大学 | 一种基于复合介质栅结构的仿生神经网络电路*** |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102507770B1 (ko) * | 2020-08-26 | 2023-03-07 | 국민대학교산학협력단 | 시냅스 및 시냅스 어레이와, 이를 이용한 컴퓨팅 시스템 및 그 구동 방법 |
US11647684B2 (en) * | 2021-03-30 | 2023-05-09 | International Business Machines Corporation | Nonvolatile tunable capacitive processing unit |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07161942A (ja) * | 1993-12-02 | 1995-06-23 | Sunao Shibata | 半導体集積回路 |
JP2010146514A (ja) * | 2008-12-22 | 2010-07-01 | Sharp Corp | 情報処理装置及びこれを用いたニューラルネットワーク回路 |
WO2015041305A1 (ja) * | 2013-09-20 | 2015-03-26 | 国立大学法人東北大学 | メモリセル及び記憶装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2595051B2 (ja) * | 1988-07-01 | 1997-03-26 | 株式会社日立製作所 | 半導体集積回路 |
US5336937A (en) * | 1992-08-28 | 1994-08-09 | State University Of New York | Programmable analog synapse and neural networks incorporating same |
JP3438241B2 (ja) * | 1992-10-29 | 2003-08-18 | 直 柴田 | 半導体神経回路装置 |
JP3485849B2 (ja) * | 2000-01-07 | 2004-01-13 | 日本電信電話株式会社 | 関数機能構成データ保持方法及びその方法を用いた集積回路 |
KR102230784B1 (ko) * | 2013-05-30 | 2021-03-23 | 삼성전자주식회사 | Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템 |
US9418333B2 (en) * | 2013-06-10 | 2016-08-16 | Samsung Electronics Co., Ltd. | Synapse array, pulse shaper circuit and neuromorphic system |
JP6602279B2 (ja) * | 2016-09-20 | 2019-11-06 | 株式会社東芝 | メムキャパシタ、ニューロ素子およびニューラルネットワーク装置 |
JP7161942B2 (ja) | 2019-01-16 | 2022-10-27 | ユニマテック株式会社 | フェノチアジン誘導体を含有するカルボキシル基含有アクリルゴム組成物 |
-
2019
- 2019-03-29 WO PCT/JP2019/014353 patent/WO2019189895A1/ja active Application Filing
- 2019-03-29 JP JP2020509364A patent/JP7216436B2/ja active Active
- 2019-03-29 US US17/043,203 patent/US11829863B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07161942A (ja) * | 1993-12-02 | 1995-06-23 | Sunao Shibata | 半導体集積回路 |
JP2010146514A (ja) * | 2008-12-22 | 2010-07-01 | Sharp Corp | 情報処理装置及びこれを用いたニューラルネットワーク回路 |
WO2015041305A1 (ja) * | 2013-09-20 | 2015-03-26 | 国立大学法人東北大学 | メモリセル及び記憶装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021066100A1 (ja) * | 2019-10-02 | 2021-04-08 | 国立大学法人東北大学 | シナプス回路の駆動方法 |
JP6841393B1 (ja) * | 2020-02-27 | 2021-03-10 | Tdk株式会社 | 演算回路及びニューロモーフィックデバイス |
JP6892026B1 (ja) * | 2020-02-27 | 2021-06-23 | Tdk株式会社 | 演算回路、及びニューロモーフィックデバイス |
WO2021171454A1 (ja) * | 2020-02-27 | 2021-09-02 | Tdk株式会社 | 演算回路、及びニューロモーフィックデバイス |
WO2021171480A1 (ja) * | 2020-02-27 | 2021-09-02 | Tdk株式会社 | 演算回路及びニューロモーフィックデバイス |
CN113646912A (zh) * | 2020-02-27 | 2021-11-12 | Tdk株式会社 | 运算电路及神经形态器件 |
CN113646912B (zh) * | 2020-02-27 | 2024-02-27 | Tdk株式会社 | 运算电路及神经形态器件 |
KR102390388B1 (ko) * | 2021-03-29 | 2022-04-25 | 한국과학기술연구원 | 뉴로모픽 장치 |
WO2022265044A1 (ja) * | 2021-06-18 | 2022-12-22 | 国立大学法人東北大学 | 演算処理装置 |
CN117829224A (zh) * | 2024-03-05 | 2024-04-05 | 南京大学 | 一种基于复合介质栅结构的仿生神经网络电路*** |
CN117829224B (zh) * | 2024-03-05 | 2024-05-28 | 南京大学 | 一种基于复合介质栅结构的仿生神经网络电路*** |
Also Published As
Publication number | Publication date |
---|---|
JP7216436B2 (ja) | 2023-02-01 |
US11829863B2 (en) | 2023-11-28 |
JPWO2019189895A1 (ja) | 2021-07-15 |
US20220198247A1 (en) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019189895A1 (ja) | ニューラルネットワーク回路装置 | |
US10388350B2 (en) | Memory system, semiconductor storage device, and signal processing system | |
US6842366B2 (en) | Thin film magnetic memory device executing self-reference type data read | |
US7221600B2 (en) | Arithmetic circuit integrated with a variable resistance memory element | |
JP4133149B2 (ja) | 半導体記憶装置 | |
US7515457B2 (en) | Current driven memory cells having enhanced current and enhanced current symmetry | |
EP2308050B1 (en) | Write operation for spin transfer torque magnetoresistive random access memory with reduced bit cell size | |
EP3136398B1 (en) | Ternary content addressable memory (tcam) with programmable resistive elements | |
US9053782B2 (en) | Memory cell with volatile and non-volatile storage | |
US10546623B2 (en) | Resistive memory device having memory cell array and system including the same | |
US9336871B2 (en) | Resistance change memory | |
US9368208B1 (en) | Non-volatile latch using magneto-electric and ferro-electric tunnel junctions | |
US9576661B2 (en) | Systems and methods for SRAM with backup non-volatile memory that includes MTJ resistive elements | |
US20170069380A1 (en) | Memory device | |
US11100989B2 (en) | Multiplier-accumulator | |
CN109841238B (zh) | 感测放大器电路 | |
US20230013081A1 (en) | Driving method of synapse circuit | |
Levisse et al. | Resistive switching memory architecture based on polarity controllable selectors | |
JP6288643B2 (ja) | 不揮発性ラッチ回路 | |
WO2022110327A1 (zh) | 神经元网络单元 | |
ABDALLA et al. | MEMRISTOR OPERATION AND APPLICATIONS | |
TW202236171A (zh) | 記憶體裝置及其操作方法 | |
El-Shaarawy | DESIGN AND ANALYSIS OF 2T2M RRAM-BASED MEMRISTOR | |
Junsangsri | Design and Modeling of Nonvolatile Memories by Resistive Switching Elements | |
JP2009021004A (ja) | 薄膜磁性体記憶装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19774275 Country of ref document: EP Kind code of ref document: A1 |
|
DPE2 | Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101) | ||
ENP | Entry into the national phase |
Ref document number: 2020509364 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19774275 Country of ref document: EP Kind code of ref document: A1 |