JP6571692B2 - Memristive neural network and method for forming the same - Google Patents

Memristive neural network and method for forming the same Download PDF

Info

Publication number
JP6571692B2
JP6571692B2 JP2016573557A JP2016573557A JP6571692B2 JP 6571692 B2 JP6571692 B2 JP 6571692B2 JP 2016573557 A JP2016573557 A JP 2016573557A JP 2016573557 A JP2016573557 A JP 2016573557A JP 6571692 B2 JP6571692 B2 JP 6571692B2
Authority
JP
Japan
Prior art keywords
memristive
neural
node
neural node
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016573557A
Other languages
Japanese (ja)
Other versions
JP2017527000A (en
Inventor
ファン クラウディオ ニノ、
ファン クラウディオ ニノ、
ジャック ディー． ケンダル、
ジャック ディー． ケンダル、
Original Assignee
ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド
ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド, ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド filed Critical ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド
Publication of JP2017527000A publication Critical patent/JP2017527000A/en
Application granted granted Critical
Publication of JP6571692B2 publication Critical patent/JP6571692B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0007—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising metal oxide memory material, e.g. perovskites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Metal-Oxide And Bipolar Metal-Oxide Semiconductor Integrated Circuits (AREA)
  • Semiconductor Memories (AREA)
  • Micromachines (AREA)

Description

関連出願の相互参照
本出願は、２０１４年６月１９日に出願された「メムリスティブニューラルネットワーク」と題する米国仮出願第６２／０１４２０１号の非仮出願であり且つその優先権を主張するものであり、上記仮出願の全体が参照により本明細書に含まれるものとする。
バックグラウンド
メモリスタは、それまでに素子を流れた電流の量に応じてその抵抗を変える二端子素子である。メモリスタは、クロスバーニューラルネットワーク構造において使用することができる。クロスバーニューラルネットワークでは、複数のメモリスタが、各交差部においてメモリスタシナプスによって垂直クロスバー配列で結合されている。しかしながら、クロスバーニューラルネットワーク構造は、寄生リークパスを妨げるために複雑なデザインの使用を必要とする場合がある。また、クロスバーニューラルネットワークには余分のシナプスが存在しない。さらに、クロスバーニューラルネットワークにおけるリカレント結合は複雑な回路レイアウトを必要とし、設置面積の観点から、クロスバーのデザインは大きさがニューロンの数に二次的に対応する。 CROSS REFERENCE TO RELATED APPLICATIONS This application is a non-provisional application of US Provisional Application No. 62/014201 entitled "Memristive Neural Network" filed June 19, 2014, and claims priority thereto The entire provisional application is hereby incorporated by reference.
A background memristor is a two-terminal element that changes its resistance according to the amount of current that has flowed through the element. Memristors can be used in crossbar neural network structures. In a crossbar neural network, a plurality of memristors are connected in a vertical crossbar arrangement by memristor synapses at each intersection. However, crossbar neural network structures may require the use of complex designs to prevent parasitic leak paths. In addition, there are no extra synapses in the crossbar neural network. Furthermore, recurrent coupling in a crossbar neural network requires a complex circuit layout, and the crossbar design secondarily corresponds in size to the number of neurons in terms of footprint.

本開示は、メムリスティブファイバーを使用するニューラルネットワーク（神経回路網）に向けられている。一般に、ニューラルネットワークは、それらの間に重み付けされた結合を有する擬似ニューロン群を含むことができる。本開示の様々な実施形態によるニューラルネットワークは、メムリスティブファイバーの無作為の結合を用いて相互接続されている一連のニューラルノードを含むことができる。このようなニューラルノードは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）漏れ積分発火（ＬＩＦ）神経回路又は他の任意の適切なタイプの神経回路を含むことができる。各ニューラルノードは、ニューラルノードが受信した１つ以上の入力信号に応答する１つ以上の信号を出力することができる。例えば、１つ以上の入力電流信号が閾値に達すると、ニューラルノードが１つ以上の出力経路へ電圧スパイクを出力することができる。
The present disclosure is directed to neural networks that use memristive fibers. In general, a neural network can include groups of pseudoneurons with weighted connections between them. A neural network according to various embodiments of the present disclosure may include a series of neural nodes that are interconnected using random combinations of memristive fibers. Such neural nodes may include, for example, complementary metal oxide semiconductor (CMOS) leaky integral firing (LIF) neural circuits or any other suitable type of neural circuit . Each neural node may output one or more signals that are responsive to one or more input signals received by the neural node. For example, when one or more input current signals reach a threshold, the neural node can output a voltage spike to one or more output paths.

上述のように、ニューラルネットワークはまた、メムリスティブナノファイバーを含むことができる。メムリスティブナノファイバーは、ニューラルネットワークにおいて人工シナプスを形成するのに使用されることができる。各メムリスティブナノファイバーは、１つ以上のニューラルノードを１つ以上の他のニューラルノードに結合させることができる。このようにして、１つ以上の出力信号を、特定のニューラルノードから１つ以上の他のニューラルノードに送ることができる。特定のメムリスティブナノファイバーが結合される特定のニューラルノードは、無作為に選ばれることができる。この点において、メムリスティブナノファイバーが結合される特定のニューラルノードは、メムリスティブファイバーがその１つ以上のニューラルノードに結合される前に予め決められていない。結合が無作為に選ばれる結果として、得られるネットワークはスパースでランダムな結合性を示し、スパースでランダムな結合性はニューラルネットワークの性能及び効率を高めることが示されている。したがって、ニューラルネットワークは、例えば、液体状態マシン（ＬＳＭ）を作るのに使用されることができる。ＬＳＭに関する更なる説明は、ヴォルフガング・マースらの「安定状態無しでの実時間計算：摂動に基づくニューラルコンピュテーションのための新しい枠組み（第１４巻、１１号）（２００２年１１月１１日）に提供されており、その全体が参照により本明細書に含まれるものとする。   As described above, neural networks can also include memristive nanofibers. Memristive nanofibers can be used to form artificial synapses in neural networks. Each memristive nanofiber can couple one or more neural nodes to one or more other neural nodes. In this way, one or more output signals can be sent from a particular neural node to one or more other neural nodes. The particular neural node to which a particular memristive nanofiber is coupled can be chosen at random. In this regard, the particular neural node to which the memristive nanofiber is coupled is not predetermined before the memristive fiber is coupled to the one or more neural nodes. As a result of the random selection of connections, the resulting network has been shown to be sparse and random, and sparse and random connectivity has been shown to enhance the performance and efficiency of neural networks. Thus, neural networks can be used, for example, to create a liquid state machine (LSM). A further explanation of LSM can be found in Wolfgang Maas et al. “Real-time computation without steady state: a new framework for perturbation-based neural computation (Vol. 14, No. 11) (November 11, 2002)”. And is hereby incorporated by reference in its entirety.

メムリスティブニューラルネットワークの各メムリスティブナノファイバーは、導電性コアと、メムリスティブシェルと、１つ以上の電極とを含むことができる。導電性コアと、メムリスティブシェルと、１つ以上の電極とを有するメムリスティブナノファイバーは、電気紡糸（エレクトロスピニング）又は他の任意の適切な方法を用いて形成されることができる。メムリスティブナノファイバーの電極は、メムリスティブナノファイバーとニューラルノードの入力端子又は出力端子との間の導電性接続ポイントとして機能することができる。一部の実施形態におけるメムリスティブナノファイバーの導電性コアは、ＴｉＯ２−Ｘ（酸素欠損酸化チタン）及び／又は他の任意の適切な材料を含むことができる。メムリスティブシェルは、少なくとも部分的に導電性コアを取り囲み、それによって２つ以上のニューラルノード間のシナプスを形成することができる。この点において、メムリスティブシェルは、メムリスティブナノファイバーに、メムリスティブナノファイバーを通って移動してきた過去の信号に応じて強度が増減する結合を形成させることができる。メムリスティブシェルは、ＴｉＯ２及び／又はメムリスティブ特性を有する他の任意の適切な材料を含むことができる。 Each memristive nanofiber of the memristive neural network can include a conductive core, a memristive shell, and one or more electrodes. A memristive nanofiber having a conductive core, a memristive shell, and one or more electrodes can be formed using electrospinning (electrospinning) or any other suitable method. The electrode of the memristive nanofiber can function as a conductive connection point between the memristive nanofiber and the input or output terminal of the neural node. The conductive core of the memristive nanofiber in some embodiments can include TiO 2 -X (oxygen deficient titanium oxide) and / or any other suitable material. The memristive shell can at least partially surround the conductive core, thereby forming a synapse between two or more neural nodes. In this regard, the memristive shell can cause the memristive nanofiber to form a bond that increases or decreases in strength depending on past signals that have traveled through the memristive nanofiber. The memristive shell can include TiO 2 and / or any other suitable material having memristive properties.

前述のように、一部の実施形態では、メムリスティブニューラルネットワークにおけるメムリスティブナノファイバーは、ニューラルノード間の無作為の結合を形成することができる。したがって、２つのニューロンが結合される可能性は、ニューラルノード間の距離が増加するにつれて減少する。また、結合が行われるときにニューラルノード間に特定の結合タイプが形成されやすいように、パターン化された電場を使用することができる。更に、ニューラルネットワークは、複数層のメムリスティブナノファイバーが生成されるように、パターン化された電場又は他の適切な方法を用いて形成されることができる。このようなニューラルネットワークは、様々な層の間の信号の伝達を容易にする結合を含むことができる。特定の一実施形態では、層及び層の間の通信経路は、脳の新皮質をモデルとしている。   As described above, in some embodiments, memristive nanofibers in a memristive neural network can form random connections between neural nodes. Thus, the probability that two neurons are combined decreases as the distance between the neural nodes increases. Also, a patterned electric field can be used so that a specific connection type is easily formed between neural nodes when the connection is made. Furthermore, the neural network can be formed using a patterned electric field or other suitable method such that multiple layers of memristive nanofibers are generated. Such neural networks can include connections that facilitate transmission of signals between the various layers. In one particular embodiment, layers and communication paths between layers model the neocortex of the brain.

本開示の様々な実施形態によるメムリスティブニューラルネットワークは、様々な種類の利点をもたらすことができる。例えば、このようなメムリスティブニューラルネットワークは、スパイクタイミング依存可塑性（ＳＴＤＰ）を可能にすることができる。また、メムリスティブニューラルネットワークは、ランダムな空間依存する結合を含むことができる。また、メムリスティブニューラルネットワークは、抑制性出力及び／又はリカレント結合を含むことができる。このように、本開示の様々な実施形態によるメムリスティブニューラルネットワークは、生物学的ニューラルネットワークに類似した特性を有することができる。   Memristive neural networks according to various embodiments of the present disclosure can provide various types of advantages. For example, such a memristive neural network can enable spike timing dependent plasticity (STDP). A memristive neural network can also include random spatially dependent connections. A memristive neural network can also include inhibitory output and / or recurrent coupling. Thus, memristive neural networks according to various embodiments of the present disclosure can have characteristics similar to biological neural networks.

本開示の様々な実施形態によるコアシェル型メムリスティブナノファイバーの図である。FIG. 3 is a diagram of a core-shell memristive nanofiber according to various embodiments of the present disclosure. 本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの例の図である。FIG. 3 is a diagram of an example of a nanofiber-based memristive neural network according to various embodiments of the present disclosure. 本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの例の図である。FIG. 3 is a diagram of an example of a nanofiber-based memristive neural network according to various embodiments of the present disclosure. 本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの回路レイアウトのシミュレーションの例の図である。FIG. 3 is an example of a circuit layout simulation of a nanofiber-based memristive neural network according to various embodiments of the present disclosure. 本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークを作成する方法の例を示すフローチャートである。2 is a flowchart illustrating an example method for creating a nanofiber-based memristive neural network according to various embodiments of the present disclosure.

図１を参照すると、本開示の様々な実施形態によるコアシェル型メムリスティブナノファイバー１００の例が示されている。メムリスティブニューラルネットワークの各メムリスティブナノファイバー１００は、１つ以上の電極１０３と、導電性コア１０６と、メムリスティブシェル１０９とを含むことができる。メムリスティブナノファイバー１００の電極１０３は、メムリスティブナノファイバー１００とニューラルノードの入力端子又は出力端子との間の導電性接続ポイントとして機能することができる。一部の実施形態におけるメムリスティブナノファイバー１００の導電性コア１０６は、メムリスティブ特性を有するＴｉＯ２−Ｘ（酸素欠損（部分還元）酸化チタン）及び／又は他の任意の適切な材料を含むことができる。メムリスティブシェル１０９は、少なくとも部分的に導電性コア１０６を取り囲み、それによって２つ以上のニューラルノード間のシナプスを形成することができる。この点において、メムリスティブシェル１０９は、メムリスティブナノファイバー１００に、メムリスティブナノファイバー１００を通って移動してきた過去の信号に応じて強度が増減する結合を形成させることができる。メムリスティブシェル１０９は、ＴｉＯ２（酸化チタン）及び／又はポリアニリンのような他の任意の適切な材料を含むことができる。 Referring to FIG. 1, an example of a core-shell memristive nanofiber 100 is shown according to various embodiments of the present disclosure. Each memristive nanofiber 100 of a memristive neural network can include one or more electrodes 103, a conductive core 106, and a memristive shell 109. The electrode 103 of the memristive nanofiber 100 can function as a conductive connection point between the memristive nanofiber 100 and the input or output terminal of the neural node. The conductive core 106 of the memristive nanofiber 100 in some embodiments includes TiO 2 -X (oxygen deficient (partially reduced) titanium oxide) and / or any other suitable material having memristive properties. Can do. The memristive shell 109 can at least partially surround the conductive core 106, thereby forming a synapse between two or more neural nodes. In this respect, the memristive shell 109 can cause the memristive nanofiber 100 to form a bond whose strength increases or decreases according to past signals that have traveled through the memristive nanofiber 100. The memristive shell 109 can comprise any other suitable material such as TiO 2 (titanium oxide) and / or polyaniline.

図２を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００の例が示されている。メムリスティブナノファイバー１００（図１）は、ナノファイバーベースのメムリスティブニューラルネットワーク２００におけるＣＭＯＳベースのニューロンアレイ２０３Ａ〜２０３Ｅ間のメムリスティブ結合２０６Ａ〜２０６Ｊとして使用されることができる。メムリスティブナノファイバー１００は、ＣＭＯＳベースのニューロンアレイ２０３Ａ〜２０３Ｅの入力端子２１２Ａ〜２１２Ｅと出力端子２０９Ａ〜２０９Ｅとの間に無作為のメムリスティブ結合２０６Ａ〜２０６Ｊを形成することができる。   Referring to FIG. 2, an example of a nanofiber based memristive neural network 200 according to various embodiments of the present disclosure is shown. The memristive nanofiber 100 (FIG. 1) can be used as a memristive connection 206A-206J between the CMOS-based neuron arrays 203A-203E in the nanofiber-based memristive neural network 200. The memristive nanofiber 100 can form random memristive couplings 206A-206J between the input terminals 212A-212E and the output terminals 209A-209E of the CMOS-based neuron arrays 203A-203E.

図３を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００の例の図が示されている。ナノファイバーベースのメムリスティブニューラルネットワーク２００は、導電性コア１０６（ここでは導電性コア１０６Ａ〜１０６Ｄと称する）と、メムリスティブシェル１０９（ここではメムリスティブシェル１０９Ａ〜１０９Ｄと称する）とを含む、メムリスティブナノファイバー１００（ここではメムリスティブナノファイバー１００Ａ〜１００Ｄと称する）の例を示す。メムリスティブナノファイバー１００Ａ〜１００Ｄは、シリコン基板３３０に配置されたＣＭＯＳニューロン３２７Ａ及び３２７Ｂの間のメムリスティブ結合２０６Ａ〜２０６Ｊとして使用することができる。各メムリスティブシェル１０９Ａ〜１０９Ｄは、各導電性コア１０６Ａ〜１０６Ｄを部分的に取り囲み、それによって２つ以上のニューラルノード間のシナプス３１８Ａ〜３１８Ｄを形成している。入力電極３２１Ａ及び３２１Ｂと出力電極３２４Ａ及び３２４Ｂは、メムリスティブナノファイバー１００Ａ〜１００Ｄとニューラルノードの入力端子２１２Ａ〜２１２Ｅ又は出力端子２０９Ａ〜２０９Ｅとの間の導電性接続ポイントとして機能することができる。   Referring to FIG. 3, a diagram of an example of a nanofiber based memristive neural network 200 according to various embodiments of the present disclosure is shown. The nanofiber-based memristive neural network 200 includes a conductive core 106 (referred to herein as conductive cores 106A-106D) and a memristive shell 109 (referred to herein as memristive shells 109A-109D). An example of a memristive nanofiber 100 (referred to herein as memristive nanofibers 100A to 100D) is shown. The memristive nanofibers 100A to 100D can be used as memristive couplings 206A to 206J between the CMOS neurons 327A and 327B disposed on the silicon substrate 330. Each memristive shell 109A-109D partially surrounds each conductive core 106A-106D, thereby forming synapses 318A-318D between two or more neural nodes. The input electrodes 321A and 321B and the output electrodes 324A and 324B can function as conductive connection points between the memristive nanofibers 100A to 100D and the input terminals 212A to 212E or the output terminals 209A to 209E of the neural node. .

図４を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラル結合の回路４０６の例のシミュレーション４０３が示されている。回路４０６は、メムリスティブシェル１０９Ａ〜１０９Ｄと、電圧源Ｖ１ ４２１と、電圧源Ｖ２ ４０９と、抵抗器Ｒ３ ４１２と、抵抗器Ｒ４ ４１５と、抵抗器Ｒ１ ４１８とを含む、ナノファイバーベースのメムリスティブニューラル結合を示している。シミュレーション４０３は、ナノファイバーベースのメムリスティブニューラル結合を通る駆動電流によりナノファイバーの対向するメモリスタによる効果が互いに相殺させられないことを示している。   Referring to FIG. 4, a simulation 403 of an example circuit 406 of a nanofiber based memristive neural connection according to various embodiments of the present disclosure is shown. Circuit 406 includes a nanofiber-based memristive shell 109A-D, voltage source V1 421, voltage source V2 409, resistor R3 412, resistor R4 415, and resistor R1 418. Fig. 2 shows a murristive neural connection. Simulation 403 shows that the drive current through the nanofiber-based memristive neural connection does not cancel the effects of the opposing nanofibers of the nanofibers.

図５を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００（図２）を形成する方法の一例を示すフローチャートが示されている。ボックス５０３で始まり、前駆体を用いて化学量論的ナノファイバーを合成する。化学量論的ナノファイバーは、例えば、ＴｉＯ２（酸化チタン）及び／又は他の任意の適切な材料を含むことができる。前駆体は、例えば、チタンイソプロポキシド、チタンブトキシド、又は他の適切な前駆体であることができる。 Referring to FIG. 5, a flowchart illustrating an example method for forming a nanofiber-based memristive neural network 200 (FIG. 2) according to various embodiments of the present disclosure is shown. Beginning in box 503, the precursor is used to synthesize stoichiometric nanofibers. The stoichiometric nanofiber can include, for example, TiO 2 (titanium oxide) and / or any other suitable material. The precursor can be, for example, titanium isopropoxide, titanium butoxide, or other suitable precursor.

次に、ボックス５０６において、コアシェル型メムリスティブナノファイバー１００（図１）を形成する。コアシェル型メムリスティブナノファイバー１００（図１）は、化学量論的なＴｉＯ２外側シェル１０９をドープされた導電性ＴｉＯ２−Ｘコア１０６と共に電気紡糸することにより形成されることができる。次に、ボックス５０９において、コアシェル型メムリスティブナノファイバー１００（図１）に電極１０３を堆積させることができる。 Next, in the box 506, the core-shell memristive nanofiber 100 (FIG. 1) is formed. The core-shell memristive nanofiber 100 (FIG. 1) can be formed by electrospinning a stoichiometric TiO 2 outer shell 109 with a doped conductive TiO 2 -X core 106. Next, in box 509, electrode 103 can be deposited on core-shell memristive nanofiber 100 (FIG. 1).

次に、ボックス５１２において、メムリスティブ特性を確認し、ナノファイバーネットワークレスポンスに基づく計算モデルを形成するためにスパイクタイミング依存可塑性を実現する。次に、ボックス５１５において、ＣＭＯＳニューロン３２７Ａ〜３２７Ｂを用いたメムリスティブナノファイバーニューラルネットワーク２００の実物試作品を形成する。その後、プロセスは終了する。   Next, in box 512, the memristive characteristics are verified and spike timing dependent plasticity is realized to form a computational model based on the nanofiber network response. Next, in box 515, an actual prototype of a memristive nanofiber neural network 200 using CMOS neurons 327A-327B is formed. Thereafter, the process ends.

本明細書で使用される択一的な言い回し、例えば、「Ｘ、Ｙ、又はＺの少なくとも１つ」などのフレーズは、特に記載のない限り、品目、用語などがＸ、Ｙ、又はＺのいずれか、或いはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、及び／又はＺ）であり得ること示すように一般的に用いられる文脈で理解される。したがって、このような択一的な言い回しは、特定の実施形態に少なくとも１つのＸ、少なくとも１つのＹ、又は少なくとも１つのＺが存在する必要があることを意味するものではない。   Alternative phrases used herein, such as phrases such as “at least one of X, Y, or Z”, unless the item, term, etc. are X, Y, or Z, unless otherwise specified. It will be understood in the commonly used context to indicate that any or any combination thereof (eg, X, Y, and / or Z) may be used. Thus, such alternative phrases do not imply that there must be at least one X, at least one Y, or at least one Z in a particular embodiment.

本開示の上記実施形態は、単に本開示の原理の明確な理解のために記載された実施の例である。本開示の主旨及び原理から実質的に逸脱することなく、上述した実施形態に多くの変更及び修正がなされ得る。このような全ての修正及び変更は、本開示の範囲内に含まれることが意図されている。   The above-described embodiments of the present disclosure are merely examples of implementations set forth for a clear understanding of the principles of the present disclosure. Many changes and modifications may be made to the embodiments described above without substantially departing from the spirit and principles of the present disclosure. All such modifications and changes are intended to be included within the scope of this disclosure.

Claims (20)

メムリスティブニューラルネットワークであって、
第１ニューラルノードと、
第２ニューラルノードと、
前記第１ニューラルノードを前記第２ニューラルノードに連結するメムリスティブファイバーであって、導電性コアとメムリスティブシェルとを含み、前記導電性コアは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間に通信経路を形成し、前記メムリスティブシェルは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間にメモリスタシナプスを形成しているメムリスティブファイバーと
を含む、メムリスティブニューラルネットワーク。 A memristive neural network,
A first neural node;
A second neural node;
A memristive fiber connecting the first neural node to the second neural node, comprising a conductive core and a memristive shell, wherein the conductive core connects the first neural node to the second neural node. combine to form a communication route between the second neural node and said first neural node, the memristive shell first by combining the first neural node to the second neural node between the neural node and said second neural node and a memristive fibers forming the Memorisutashinapu scan, memristive neural network. 前記第１ニューラルノードと前記第２ニューラルノードはニューラルノードアレイ内の複数のニューラルノードに含まれている、請求項１に記載のメムリスティブニューラルネットワーク。   The memristive neural network according to claim 1, wherein the first neural node and the second neural node are included in a plurality of neural nodes in a neural node array. 前記ニューラルノードの各々は、それぞれの漏れ積分発火（ＬＩＦ）相補型金属酸化膜半導体（ＣＭＯＳ）神経回路を含む、請求項２のメムリスティブニューラルネットワーク。   The memristive neural network of claim 2, wherein each of said neural nodes includes a respective leaky integral firing (LIF) complementary metal oxide semiconductor (CMOS) neural circuit. 前記メムリスティブファイバーはメムリスティブファイバーネットワーク内の複数のメムリスティブファイバーに含まれており、前記メムリスティブファイバーネットワーク内の複数のメムリスティブファイバーの少なくとも一部が、前記ニューラルノードアレイ内の複数のニューラルノードの少なくとも一部にランダムに結合されている、請求項２のメムリスティブニューラルネットワーク。   The memristive fiber is included in a plurality of memristive fibers in the memristive fiber network, and at least some of the plurality of memristive fibers in the memristive fiber network are included in the neural node array. The memristive neural network of claim 2 that is randomly coupled to at least some of the plurality of neural nodes. 前記メムリスティブファイバーネットワークは少なくとも１つのリカレント結合を含む、請求項４に記載のメムリスティブニューラルネットワーク。   The memristive neural network of claim 4, wherein the memristive fiber network includes at least one recurrent combination. 前記メムリスティブファイバーネットワークは前記複数のニューラルノードの少なくとも１つのための少なくとも１つの抑制性出力を含む、請求項４に記載のメムリスティブニューラルネットワーク。   The memristive neural network of claim 4, wherein the memristive fiber network includes at least one inhibitory output for at least one of the plurality of neural nodes. 前記メムリスティブファイバーネットワークは複数のメムリスティブファイバー層を含む、請求項４に記載のメムリスティブニューラルネットワーク。   The memristive neural network according to claim 4, wherein the memristive fiber network includes a plurality of memristive fiber layers. 前記メムリスティブファイバーネットワークは前記複数のメムリスティブファイバー層の複数のものの間での少なくとも１つの信号の伝達を容易にする少なくとも１つの結合を含む、請求項７に記載のメムリスティブニューラルネットワーク。   8. The memristive neural network of claim 7, wherein the memristive fiber network includes at least one connection that facilitates transmission of at least one signal between a plurality of the plurality of memristive fiber layers. . 前記メムリスティブファイバーは、
前記第１ニューラルノードに結合する第１の電極と、
前記第２ニューラルノードに結合する第２の電極と
を含む、請求項１に記載のメムリスティブニューラルネットワーク。 The memristive fiber is
A first electrode coupled to the first neural node;
The memristive neural network of claim 1, comprising a second electrode coupled to the second neural node. 少なくとも前記第１ニューラルノード、前記第２ニューラルノード、及び前記メムリスティブファイバーによって液体状態マシン（ＬＳＭ）がモデル化される、請求項１に記載のメムリスティブニューラルネットワーク。   The memristive neural network of claim 1, wherein a liquid state machine (LSM) is modeled by at least the first neural node, the second neural node, and the memristive fiber. 前記メムリスティブファイバーは前記第１ニューラルノードと前記第２ニューラルノードとの間の結合を容易にするように電気紡糸されている、請求項１に記載のメムリスティブニューラルネットワーク。   The memristive neural network of claim 1, wherein the memristive fiber is electrospun to facilitate coupling between the first neural node and the second neural node. 前記メムリスティブシェルはＴｉＯ2を含み、前記導電性コアにはＴｉＯ2-Xがドープされている、請求項１１のメムリスティブニューラルネットワーク。 The memristive neural network of claim 11, wherein the memristive shell comprises TiO 2 and the conductive core is doped with TiO 2 -X . 前記導電性コアはＴｉＯ2-Xを含む、請求項１に記載のメムリスティブニューラルネットワーク。 The memristive neural network of claim 1, wherein the conductive core comprises TiO 2 -X . 前記第１ニューラルノードは少なくとも１つの入力信号の受信に応答して少なくとも１つの信号を出力する、請求項１に記載のメムリスティブニューラルネットワーク。   The memristive neural network according to claim 1, wherein the first neural node outputs at least one signal in response to receiving at least one input signal. 前記メムリスティブファイバーは複数のメムリスティブファイバーの１つであり、前記複数のメムリスティブファイバーの個々のものが前記第１ニューラルノードと前記第２ニューラルノードとの間の無作為に選ばれた結合を形成する、請求項１のメムリスティブニューラルネットワーク。   The memristive fiber is one of a plurality of memristive fibers, and each of the plurality of memristive fibers is randomly selected between the first neural node and the second neural node. The memristive neural network of claim 1, forming a connected combination. 第１ニューラルノードを設けることと、
第２ニューラルノードを設けることと、
少なくともメムリスティブファイバーを使用して前記第１ニューラルノードを前記第２ニューラルノードに結合することと
を含み、前記メムリスティブファイバーは導電性コアとメムリスティブシェルとを含み、前記導電性コアは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間に通信経路を形成し、前記メムリスティブシェルは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間にメモリスタシナプスを形成している、方法。 Providing a first neural node;
Providing a second neural node;
Coupling the first neural node to the second neural node using at least a memristive fiber, wherein the memristive fiber includes a conductive core and a memristive shell, the conductive core forms a communication route between and coupling the first neural node to the second neural node and said first neural node and said second neural node, wherein the memristive shell said first neural node the second attached to the neural nodes form a Memorisutashinapu scan between said second neural node and said first neural node method. 前記第１ニューラルノードと前記第２ニューラルノードはニューラルノードアレイ内の複数のニューラルノードに含まれている、請求項１６に記載の方法。   The method of claim 16, wherein the first neural node and the second neural node are included in a plurality of neural nodes in a neural node array. 前記第１ニューラルノードと前記第２ニューラルノードはそれぞれの漏れ積分発火（ＬＩＦ）相補型金属酸化膜半導体（ＣＭＯＳ）神経回路を含む、請求項１６に記載の方法。   The method of claim 16, wherein the first neural node and the second neural node include respective leaky integral firing (LIF) complementary metal oxide semiconductor (CMOS) neural circuits. 前記導電性コアはＴｉＯ2-Xを含む、請求項１８に記載の方法。 The method of claim 18, wherein the conductive core comprises TiO 2 —X . 複数のメムリスティブファイバーを複数のニューラルノードにランダムに結合させることを更に含む、請求項１６に記載の方法。   The method of claim 16, further comprising randomly coupling a plurality of memristive fibers to a plurality of neural nodes.
JP2016573557A 2014-06-19 2015-06-05 Memristive neural network and method for forming the same Active JP6571692B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462014201P 2014-06-19 2014-06-19
US62/014,201 2014-06-19
PCT/US2015/034414 WO2015195365A1 (en) 2014-06-19 2015-06-05 Memristive nanofiber neural netwoks

Publications (2)

Publication Number Publication Date
JP2017527000A JP2017527000A (en) 2017-09-14
JP6571692B2 true JP6571692B2 (en) 2019-09-04

Family

ID=54935975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573557A Active JP6571692B2 (en) 2014-06-19 2015-06-05 Memristive neural network and method for forming the same

Country Status (6)

Country Link
EP (1) EP3158509A4 (en)
JP (1) JP6571692B2 (en)
KR (1) KR20170019414A (en)
AU (1) AU2015277645B2 (en)
BR (1) BR112016029682A2 (en)
WO (1) WO2015195365A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198691B2 (en) 2014-06-19 2019-02-05 University Of Florida Research Foundation, Inc. Memristive nanofiber neural networks
CN107533668B (en) 2016-03-11 2021-01-26 慧与发展有限责任合伙企业 Hardware accelerator and method for calculating node values of a neural network
CN110651330A (en) * 2017-05-22 2020-01-03 佛罗里达大学研究基金会 Deep learning in a two-memristive network
US10430493B1 (en) 2018-04-05 2019-10-01 Rain Neuromorphics Inc. Systems and methods for efficient matrix multiplication
US11450712B2 (en) 2020-02-18 2022-09-20 Rain Neuromorphics Inc. Memristive device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0185757B1 (en) * 1994-02-14 1999-05-15 정호선 Learning method of choas circular neural net
JPH09185596A (en) * 1996-01-08 1997-07-15 Ricoh Co Ltd Coupling coefficient updating method in pulse density type signal processing network
US7392230B2 (en) * 2002-03-12 2008-06-24 Knowmtech, Llc Physical neural network liquid state machine utilizing nanotechnology
US7359888B2 (en) * 2003-01-31 2008-04-15 Hewlett-Packard Development Company, L.P. Molecular-junction-nanowire-crossbar-based neural network
WO2008042900A2 (en) * 2006-10-02 2008-04-10 University Of Florida Research Foundation, Inc. Pulse-based feature extraction for neural recordings
EP2230633A1 (en) * 2009-03-17 2010-09-22 Commissariat à l'Énergie Atomique et aux Énergies Alternatives Neural network circuit comprising nanoscale synapses and CMOS neurons
US8050078B2 (en) * 2009-10-27 2011-11-01 Hewlett-Packard Development Company, L.P. Nanowire-based memristor devices
US8433665B2 (en) * 2010-07-07 2013-04-30 Qualcomm Incorporated Methods and systems for three-memristor synapse with STDP and dopamine signaling
KR20140071813A (en) * 2012-12-04 2014-06-12 삼성전자주식회사 Resistive Random Access Memory Device formed on Fiber and Manufacturing Method of the same
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning

Also Published As

Publication number Publication date
EP3158509A4 (en) 2018-02-28
AU2015277645B2 (en) 2021-01-28
JP2017527000A (en) 2017-09-14
WO2015195365A1 (en) 2015-12-23
AU2015277645A1 (en) 2016-12-22
EP3158509A1 (en) 2017-04-26
BR112016029682A2 (en) 2018-07-10
KR20170019414A (en) 2017-02-21

Similar Documents

Publication Publication Date Title
JP6571692B2 (en) Memristive neural network and method for forming the same
US10614358B2 (en) Memristive nanofiber neural networks
US9697462B1 (en) Synaptic time multiplexing
US20200034687A1 (en) Multi-compartment neurons with neural cores
US20190377997A1 (en) Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching
US9342780B2 (en) Systems and methods for modeling binary synapses
CN102884785B (en) Solid-state image pickup apparatus and driving method thereof
CN109034379B (en) Neuron and neuron circuit built by brain-like device memristor
WO2019049686A1 (en) Neural network computation circuit using semiconductor storage element, and operation method
CN109886393A (en) It is a kind of to deposit the calculation method for calculating integrated circuit and neural network
US11275999B2 (en) Neural networks using cross-point array and pattern readout method thereof
US20220138546A1 (en) Expandable neuromorphic circuit
JP2009026181A (en) Neural network
Ochs et al. Neural network topology formation using memristive Jaumann structures
CN104022928B (en) The topological construction method and system of a kind of high density server
KR101529536B1 (en) Crosstalk emulator for xdsl cable
CN214376576U (en) Neuron built by brain-like device memristor and neuron circuit
CN107958683A (en) Semiconductor storage unit
Valenciano Dominance of weighted nested split graph networks in connections models
CN110135557A (en) A kind of neural network topological structure of image processing system
Shimonomura et al. A 100/spl times/100 pixels orientation-selective multi-chip vision system
TW201223199A (en) Network system and node
KR20170021639A (en) Hierarchical Network-On-Chip Device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250