DE112008000988B4

DE112008000988B4 - Rechenknoten und Rechenknotennetzwerke,die Dynamiknanovorrichtungsverbindungen umfassen

Info

Publication number: DE112008000988B4
Application number: DE112008000988.0T
Authority: DE
Inventors: Gregory S. Snider
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Enterprise Development LP
Priority date: 2007-04-19
Filing date: 2008-04-18
Publication date: 2016-06-02
Anticipated expiration: 2028-04-19
Also published as: CN101669130A; WO2008130645A3; JP2010525447A; CN101669130B; JP5118746B2; US7958071B2; WO2008130645A2; US20080258767A1; DE112008000988T5

Abstract

Rechenknoten (2002), der folgende Merkmale aufweist: Eingangssignalleitungen (2006–2009), die durch memristive Nanodrahtübergänge (1102) mit einem oder mehreren eingabeliefernden Rechenknoten verbunden sind; eine Ausgangssignalleitung (2012), die durch memristive Nanodrahtübergänge (1102) mit einem oder mehreren ausgabeempfangenden Rechenknoten verbunden ist; einen Leckintegrator (2030), der Eingangssignale integriert, die durch die Eingangssignalleitungen und die Ausgangssignalleitung empfangen werden; eine Schwellenwertvorrichtung (2032), die eine Leckintegratorausgabe mit einem Schwellenwert (2034) vergleicht; einen Takteingang (2004); und eine Zustandsmaschine (2024), die basierend auf einer empfangenen Schwellenwertvorrichtungsausgabe und einer Takteingabe Zustandsübergänge (1904, 1908, 1911, 1914) anweist und die Rechenknotenspitzensignale (1622, 1624 und 1626, 1628) erzeugt, wobei die Konduktanz von memristiven Nanodrahtübergängen (1108), die Eingangssignalleitungen und die Ausgangssignalleitung mit eingabeliefernden beziehungsweise ausgabeempfangenden Knoten verbinden, Kantengewichtungen (1306) eines Rechenknotennetzwerks darstellt, das den Rechenknoten umfasst; wobei Spitzensignale Vorwärtsspitzen (1622, 1624), die an der Ausgangssignalleitung ausgegeben werden, und Rückwärtsspitzen (1626, 1628), die an den Eingangssignalleitungen ausgegeben werden, umfassen; wobei Vorwärtsspitzen jeweils Spannungspulse von ...

Description

Die vorliegende Erfindung bezieht sich auf den Entwurf und die Implementierung verschiedener Arten von verbindungsbasierten, parallelen, dynamischen, verteilten Verarbeitungsnetzwerken und insbesondere auf den Entwurf und die Implementierung von verbindungsbasierten, parallelen, verteilten, dynamischen Netzwerken, die dynamische Nanovorrichtungen als Verbindungen zwischen Rechenknoten einsetzen.
Früh in der Geschichte des Computerwesens haben sich Computerwissenschaftler für biologische Rechenstrukturen interessiert, einschließlich des menschlichen Gehirns. Obwohl sich während der letzten 50 Jahre Sequentiellanweisungsverarbeitungsmaschinen mit extremer Schnelligkeit, mit enormen Anstiegen bei Prozessorgeschwindigkeiten und Komponentendichten technologisch entwickelt haben und diese Fortschritte von noch größeren Erhöhungen bei den Kapazitäten und Zugriffsgeschwindigkeiten von Massenspeichervorrichtungen und Direktzugriffsspeichern begleitet waren, und obwohl moderne Computersysteme, die auf Sequentiellanweisungsverarbeitungsmaschinen beruhen, einen enormen Nutzen liefern und ganze neue Industriezweige hervorgebracht haben, die vor der Entwicklung digitaler Computer unvorstellbar waren, können viele scheinbar einfache Probleme durch selbst die größten und schnellsten verteilten Computersysteme und -netzwerke nicht wirksam angesprochen werden. Ein triviales Beispiel ist die Interpretation von Fotografien und Videobildern. Ein Mensch kann häufig im Bruchteil einer Sekunde flüchtig auf eine Fotografie blicken und Objekte, Beziehungen zwischen Objekten und die räumliche Organisation von Objekten, die durch die zweidimensionale Fotografie dargestellt sind, genau interpretieren, während eine derartige Interpretation fotografischer Bilder jenseits der Fähigkeit der größten Computersysteme liegt, die die klügsten Algorithmen ausführen.
Extensive Forschungsbemühungen wurden unternommen bei einem Untersuchen der Struktur und Funktion des menschlichen Gehirns. Viele der grundlegenden Rechenentitäten in derartigen biologischen Systemen wurden physiologisch identifiziert und gekennzeichnet, auf Mikroskalenabmessungen sowie auf der molekularen Ebene. Beispielsweise ist das Neuron, ein Zelltyp, der für eine Signalverarbeitung und Signalübertragung innerhalb des menschlichen Gehirns verantwortlich ist, relativ gut verständlich und gut gekennzeichnet, obwohl noch viel zu lernen ist. Dieses Verständnis einer Neuronenfunktion hat eine Anzahl von Gebieten in der Computerwissenschaft inspiriert, einschließlich Teilgebeten künstlicher Intelligenz neuraler Netzwerke und Perzeptron-Netzwerke. Viele erfolgreiche Softwareimplementierungen neuraler Netzwerke wurden entwickelt, um eine Vielfalt unterschiedlicher Anwendungen anzusprechen, einschließlich Mustererkennung, Diagnose der Ursachen komplexer Phänomene, verschiedene Arten von Signalverarbeitung und Signalrauschentfernung und andere Anwendungen. Von einem strukturellen Standpunkt aus ist das menschliche Gehirn jedoch massiv parallel und, während eine derartige Parallelität durch Softwareimplementierungen und neurale Netzwerke simuliert werden kann, sind die Simulationen im Allgemeinen prozessorzyklusgebunden, weil die Simulationen zwangsläufig auf einer oder einer relativ geringen Anzahl von Sequentiellanweisungsverarbeitungsmaschinen laufen, wobei eher Gebrauch von einer physikalischen Parallelität innerhalb des Rechensystems gemacht wird. Somit können neurale Netzwerke eine Toleranz gegenüber einem Rauschen, ein Erlernen von Fähigkeiten und andere erwünschte Charakteristika liefern, aber liefern gegenwärtig nicht die extrem schnellen und bandbreitenmäßig hohen Rechenfähigkeiten von massiv parallelen biologischen Rechenstrukturen.
Um die extrem schnellen und bandbreitenmäßig hohen Rechenfähigkeiten biologischer Rechenstrukturen in physikalischen, hergestellten Vorrichtungen zu erreichen, müssen Rechenaufgaben an massiv parallelen und verbundenen Netzwerken von Rechenknoten ausgeführt werden. Viele unterschiedliche Ansätze zum Implementieren physikalischer neuraler Netzwerke wurden vorgeschlagen, aber Implementierungen haben bisher die Geschwindigkeit, Parallelität und Rechenkapazität von selbst relativ einfachen biologischen Strukturen nicht erreichen können. Zusätzlich sind Entwurf und Herstellung von massiv paralleler Hardware voll von einer Anzahl unterschiedlicher praktischer Probleme, einschließlich einer zuverlässigen Herstellung großer Anzahlen dynamischer Verbindungen, Größen- und Leistungsbeschränkungen, Wärmedissipation, Zuverlässigkeit, Flexibilität, einschließlich Programmierbarkeit, und vieler anderer derartiger Erwägungen. Ungleich vielen theoretischen Problemen, bei denen es nicht klar ist, ob Lösungen gefunden werden können oder nicht, würde die Tatsache, dass biologische Rechenstrukturen, einschließlich des menschlichen Gehirns, existieren und spektakuläre Rechenleistungen regelmäßig durchführen, nahelegen, dass das Ziel eines Entwerfens und Aufbauens von Rechenvorrichtungen mit ähnlichen Rechenkapazitäten und -effizienzen durchaus möglich ist. Computerwissenschaftler, Hardwareentwickler, Forscher, die sich auf künstliche Intelligenz, biologische Intelligenz und eine breite Vielfalt unterschiedlicher Gebiete innerhalb der Computerwissenschaft und Informationswissenschaften konzentrieren, haben alle den Bedarf nach einem Entwickeln neuer physikalischer Hardwarevorrichtungen erkannt, die für die Arten von massiv paralleler, verteilter, dynamischer Verarbeitung geeignet sind, die innerhalb des menschlichen Gehirns und anderer biologischer Rechenstrukturen auftritt.
Indiveri, G. and Chicca, E. and Douglas, R.: AVLSI Array of Low-Power Spiking Neurons and Bistable Synapses With Spike-Timing Dependent Plasticity, In: IEEE Transactions an Neural Networks, Vol. 17, No. 1, Pages 211–221 beschreiben ein VLSI Netzwerk mit einer Mehrzahl von I&F Neuronen, die mit Siliziumsynapsen in VLSI-Technik zur Implementierung von Modellen von biologischen Synapsen versehen sind.
Snider, G. S. and Kuekes, P. J.: Nano State Machines Using Hysteretic Resistors and Diode Crossbars, In: IEEE Transactions an Nanotechnology, Vol. 5, No. 2, Pages 129–137, 2006 beschreiben Nano-Zustandsmaschinen umfassend Diodenkreuzschalter im Nano-Format mit dazwischen geschalteten Hysterese-behafteten Widerständen im Nano-Format.
Aono, M. [u. a.]: Quantized conductance atomic switch. In: Nature, 433, 2005, 7021, S. 47–50. – ISSN 0028-0836. http://www.nature.com/nature/journal/v433/n7021/abs/nature03190.html beschreibt die Conductance Quantization in a Nanowire, mit welchem durch 50 msec lange Pulse die Leitfähigkeit eines Kreuzungspunktes in mehreren Stufen erhöht werden kann, so dass es „multi-state memory” dargestellt werden kann.
Es ist die Aufgabe der Erfindung, einen Rechenknoten und ein Rechenknotennetzwerk umfassend einen solchen Rechenknoten zu schaffen, der eine physikalische Implementierung eines neuronalen Netzwerks mit hoher Geschwindigkeit und Recheneffizienz ermöglicht.
Diese Aufgabe wird durch einen Rechenknoten gemäß Anspruch 1, und durch ein Rechenknotennetzwerk gemäß Anspruch 7 umfassend einen solchen Rechenknoten gelöst.
Ausführungsbeispiele der vorliegenden Erfindung setzen dynamische Nanoskalavorrichtungen, einschließlich memristiver Verbindungen zwischen Nanodrähten, zum Aufbauen paralleler, verteilter, dynamischer Rechennetzwerke und -systeme ein, einschließlich Perzeptron-Netzwerke und neuraler Netzwerke. Bei vielen Ausführungsbeispielen der vorliegenden Erfindung sind neuronenähnliche Rechenvorrichtungen aus siliziumbasierten Mikroskala- und/oder Submikroskala-Komponenten aufgebaut und miteinander durch dynamische Verbindungen verbunden, die Nanodrähte und memristive Verbindungen zwischen Nanodrähten aufweisen. Bei vielen massiv parallelen, verteilten, dynamischen Rechensystemen, einschließlich des menschlichen Gehirns, gibt es eventuell eine viel größere Anzahl von Verbindungen als neuronenähnliche Rechenknoten. Eine Verwendung von dynamischen Nanoskala-Vorrichtungen für diese Verbindungen führt zu enormen Entwurfs-, Platz-, Energie- und Recheneffizienzen.
1 zeigt eine verallgemeinerte und stilisierte Darstellung eines Neurons.
2 zeigt eine abstraktere Darstellung des Neurons.
3 ist eine abstrakte Darstellung einer Neuronenzelle, die unterschiedliche Arten elektrochemischer Gradienten und Kanäle in der äußeren Membran des Neurons zeigt, die elektrochemische Gradienten und Signale steuern und auf dieselben ansprechen und die verwendet werden, um eine Neuronenausgangssignalabfeuerung auszulösen.
4A–4B stellen eine Neuronenabfeuerung dar.
5 stellt ein Modell für das dynamische Synapsenstärkephänomen dar.
6 zeigt einen typischen Knoten eines neuralen Netzwerks.
7A–7B stellen zwei unterschiedliche Beispiele von Aktivierungsfunktionen dar.
8 zeigt ein einfaches neurales Netzwerk mit drei Ebenen.
9 stellt einen speziellen Typ eines neuralen Einzelknotenschicht-Netzwerks dar, das als ein „Perzeptron-Netzwerk” bezeichnet wird.
10 zeigt Trainingsdaten für das in 9 gezeigte Perzeptron-Netzwerk.
11A–11B stellen die memristiven Charakteristika von Nanodrahtübergängen dar, die durch gegenwärtig verfügbare Techniken gefertigt werden können.
12A–12E stellen eine Leitfähigkeit eines memristiven Nanodrahtübergangs über der Zeit mit Bezug auf Spannungssignale dar, die an zwei Signalleitungen angelegt sind, die durch einen memristiven Nanodrahtübergang verbunden sind.
13 zeigt ein abstraktes Modell zweier Rechenknoten, die durch eine dynamische Kante verbunden sind.
14 zeigt eine Auftragung der Veränderungsrate einer Kantengewichtung mit Bezug auf die Zeit über S_si und S_so.
15 stellt ein mathematisches Modell für einen Rechenknoten dar.
16 zeigt eine Spitze oder ein Ausgangssignal, das durch einen Rechenknoten erzeugt wird, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
17 zeigt einen Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, während eines Ruhe- oder Nichtspitzenbildungszustands, der als der „Verarbeitungsmodus” bezeichnet wird.
18 zeigt den Rechenknoten von 17, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, in einem Spitzenbildungsmodus.
19 zeigt ein Zustandsübergangsdiagramm für einen Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
20 zeigt ein schematisches Diagramm eines Rechenknotens, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
21 zeigt einen Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, innerhalb eines Rechennetzwerks.
22 stellt Kantengewichtungsübergänge dar, die sich aus Vorwärts- und Rückwärts-Spitzen ergeben, die eine Kante überqueren, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
23 zeigt die Leaky-Integrator-Ausgabe, die einen Zustand eines Rechenknotens darstellt, über der Zeit ansprechend auf summierte Eingangssignale gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
24–25 stellen ein exemplarisches Rechenknotennetzwerk dar, das für eine Verwendung bei einer Mustererkennung und einer Vielfalt anderer Rechenaufgaben geeignet ist und ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
26A–26C stellen eine Hardwareimplementierung eines Mehrschicht-Rechenknoten-Netzwerks dar, wie beispielsweise dieses, das in 24–25 gezeigt ist, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
27 zeigt eine Kantenansicht eines Abschnitts des Rechenknotennetzwerks, das gemäß der Architektur gefertigt ist, die in 26A–C dargestellt ist, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
28–30 stellen drei unterschiedliche Arten von Verbindungen zwischen Knoten in einem Rechenknotennetzwerk dar, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
31 stellt eine erwünschte Ausgabe dar, die durch ein Rechenknotennetzwerk für einen Problembereich erzeugt wird.
32 zeigt ein experimentelles Rechenknotennetzwerk, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
33 zeigt eine Tabelle, die vorgegebene Netzwerkparameter für ein Ausführungsbeispiel der vorliegenden Erfindung beinhaltet.
34 zeigt die Empfangsfelder eines für 5 000 000 Zyklen getakteten, defektfreien und vorrichtungsunveränderlichen Netzwerks, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
35 zeigt die Entwicklung des unteren, rechten Quadranten des in 32 gezeigten Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
36 zeigt die Ergebnisse von Versuchen bei einer Netzwerkempfindlichkeit für Defekte und einer Vorrichtungsvariation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Ausführungsbeispiele der vorliegenden Erfindung sehen physikalische Implementierungen paralleler, verteilter, dynamischer Netzwerke von Rechenknoten vor, einschließlich Perzeptron-Netzwerken und neuraler Netzwerke. In einem ersten Teilabschnitt werden unten biologische Neuronen betrachtet, da das Neuron das Modell und das Ziel für viele Bemühungen bei einem Entwurf künstlicher Intelligenz und paralleler Hardware geliefert hat. In einem nächsten Teilabschnitt werden künstliche neurale Netzwerke und Perzeptron-Netzwerke im Überblick erörtert. In einem dritten Teilabschnitt wird der grundlegende neuronenähnliche Rechenknoten erörtert, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. In einem vierten Teilabschnitt wird die Architektur verschiedener paralleler, verteilter, dynamischer Rechensysteme, die auf dem neuronenähnlichen Rechenknoten der vorliegenden Erfindung beruhen und die zusätzliche Ausführungsbeispiele der vorliegenden Erfindung darstellen, erörtert. Schließlich werden in einem fünften Teilabschnitt anfängliche Versuchsergebnisse geliefert.
Biologische Neuronen
Bei Neuronen handelt es sich um einen Zelltyp, der in den Gehirnen von Tieren zu linden ist. Neuronen kann man sich als eine, wenn nicht die grundlegende, biologische Rechenentität vorstellen. Man schätzt, dass das menschliche Gehirn Neuronen in der Größenordnung von 100 Milliarden (10¹¹) und Verbindungen zwischen Neuronen in der Größenordnung von 100 Billionen (10¹⁴) enthält. Die massive Anzahl von Verbindungen zwischen Neuronen in dem menschlichen Gehirn wird als direkt mit der massiv parallelen Beschaffenheit biologischen Rechnens korreliert betrachtet.
Jedes Neuron ist eine einzige Zelle. 1 zeigt eine verallgemeinerte und stilisierte Darstellung eines Neurons. Das Neuron 102 umfasst einen Zellkörper 102, der den Zellkern 106 und verschiedene Organellen umfasst, wie beispielsweise Mitochondrien, eine Anzahl von sich verzweigenden Dendriten, wie beispielsweise den Dendriten 108, die von dem Zellkörper 104 ausgehen, und im Allgemeinen ein sehr langes Axon 110, das in vielen sich verzweigenden Erweiterungen 112 endet. Im Allgemeinen liefern die Dendriten eine vergrößerte Neuronenoberflächenfläche zum Empfangen von Signalen von anderen Neuronen, während das Axon dazu dient, Signale von dem Neuron an andere Neuronen zu übertragen. Die Endverzweigungen des Axons 112 bilden eine Schnittstelle mit den Dendriten, und seltener den Zellkörpern, anderer Neuronen. Ein einziges Neuron kann bis zu 100 000 unterschiedliche Signaleingaben empfangen. Auf ähnliche Weise kann ein Neuron Signale an zig, Hunderte oder sogar Tausende von nachgelagerten Neuronen übertragen. Neuronen schwanken innerhalb eines gegebenen Individuums beträchtlich im Hinblick auf die Anzahl und den Grad an Verzweigung von Dendriten und Axonenderweiterungen, sowie im Hinblick auf Volumen und Länge. Beispielsweise liegen Axone längenmäßig zwischen erheblich weniger als einem Millimeter bis zu über einen Meter. Diese Flexibilität bei einer Axonlänge und -konnektivität ermöglicht hierarchische Kaskaden von Signalwegen und extrem komplexe verbindungsbasierte Organisationen von Signalisierungswegen und Kaskaden innerhalb des Gehirns.
2 zeigt eine abstraktere Darstellung eines Neurons. Ein Neuron kann man sich im Allgemeinen als einen Knoten 202 vorstellen, der Eingangssignale von mehreren Eingängen, wie beispielsweise einem Eingang 204, empfängt und abhängig von den zeitlichen und räumlichen Charakteristika der Eingaben auf Eingangsstimuli, die größer als eine Schwellenintensität sind, durch ein Abfeuern eines Ausgangssignals 206 anspricht. Anders ausgedrückt kann man sich das Neuron als einen sehr komplexen Eingangssignalintegrator mit einer Schwellenwertvorrichtung und einem Signalerzeugungs- und Signalausgabemechanismus vorstellen. Wenn der Signalintegrator eine ausreichende Anzahl von Eingangssignalen über eine begrenzte Zeitperiode hinweg und innerhalb einer ausreichend kleinen Flache der Knotenoberfläche ansammelt, spricht das Neuron durch ein Abfeuern eines Ausgangssignals an.
Wie es oben erwähnt ist, werden Eingangssignale, die durch ein gegebenes Neuron empfangen werden, durch Ausgangssignale anderer Neuronen erzeugt, die mit dem gegebenen Neuron durch Synapsenverbindungsstellen zwischen den Endaxonverzweigungen der anderen Neuronen und den Dendriten des gegebenen Neurons verbunden sind. Diese Synapsen oder Verbindungen zwischen Neuronen weisen dynamisch eingestellte Verbindungsstärken oder -gewichtungen auf. Die Einstellung der Verbindungsstärken oder -gewichtungen soll erheblich sowohl zum Lernen als auch Gedächtnis beitragen und stellt einen erheblichen Teil paralleler Berechnung innerhalb des Gehirns dar.
Neuronenfunktionalitäten sind von komplexen elektrochemischen Gradienten und Ionenkanälen abgeleitet und hängen von denselben ab. 3 ist eine abstrakte Darstellung einer Neuronenzelle, die die unterschiedlichen Arten elektrochemischer Gradienten und Kanäle in der äußeren Membran des Neurons zeigt, die elektrochemische Gradienten und Signale steuern und auf dieselben ansprechen und die verwendet werden, um eine Neuronenausgangssignalabfeuerung auszulösen. In 3 ist das Neuron als eine sphärische, von Membran eingeschlossene Zelle 202 dargestellt, deren Inhalte 304 von der äußeren Umgebung 306 durch eine doppelwandige, hydrophobe Membran 308 getrennt sind, die verschiedene Arten von Kanälen umfasst, wie beispielsweise einen Kanal 310. Die verschiedenen Arten von Kanälen sorgen für eine gesteuerte chemische Kommunikation zwischen dem Inneren des Neurons und der äußeren Umgebung.
Die Kanäle, die primär für Neuronencharakteristika verantwortlich sind, sind sehr selektive Ionenkanäle, die einen Transport spezieller anorganischer Ionen von der äußeren Umgebung in das Neuron und/oder von dem Inneren des Neurons zu der äußeren Umgebung ermöglichen. Besonders bedeutsame anorganische Ionen umfassen Natrium-, Na⁺, Kalium-, K⁺, Calcium-, Ca² ⁺, und Chlorionen, Cl^–. Die Ionenkanäle sind im Allgemeinen nicht kontinuierlich offen, sondern werden ansprechend auf verschiedene Arten von Stimuli selektiv geöffnet und geschlossen. Spannungsgattergesteuerte Kanäle öffnen und schließen sich abhängig von der Spannung oder dem elektrischen Feld über die Neuronenmembran. Andere Kanäle werden durch mechanische Belastung selektiv geöffnet und geschlossen und noch andere Arten von Kanälen öffnen sich und schließen sich ansprechend auf das Binden und die Freisetzung von Liganden, im Allgemeinen kleinmolekulare organische Verbindungen, einschließlich Neurotransmittern, Ionenkanalverhalten und -ansprechen können zusätzlich durch die Hinzufügung und Löschung bestimmter funktionaler Gruppen zu und von Ionenkanalproteinen gesteuert und modifiziert werden, ausgeführt durch verschiedene Enzyme, einschließlich Kinasen und Phosphatasen, die wiederum durch verschiedene Arten von chemischen Signalkaskaden gesteuert sind.
Im Allgemeinen weist das Neuroneninnere in einem Ruhe- oder Nichtabfeuerungszustand eine relativ geringe Konzentration von Natriumionen 312, eine entsprechend geringe Konzentration von Chlorionen 314 und eine relativ hohe Konzentration von Kaliumionen 316 bezüglich der Konzentrationen dieser Ionen in der äußeren Umgebung 318 auf. In dem Ruhezustand gibt es einen erheblichen elektrochemischen Gradienten von 40–50 mV über die Neuronenmembran, wobei das Innere der Membran bezüglich der äußeren Umgebung elektrisch negativ ist. Der elektrochemische Gradient ist primär durch einen aktiven Na⁺-K⁺-Pumpkanal 320 erzeugt, der chemische Energie in der Form von Adenosintriphosphat nutzt, um kontinuierlich drei Natriumionen, die von dem Inneren des Neurons an die äußere Umgebung ausgestoßen werden, gegen jede zwei Kaliumionen auszutauschen, die von der äußeren Umgebung in das Innere des Neurons importiert werden. Das Neuron enthält ferner passive K⁺Leck-Kanäle 310, die ermöglichen, dass Kaliumionen von dem Inneren des Neurons aus zurück zu der äußeren Umgebung lenken. Dies ermöglicht, dass die Kaliumionen bezüglich eines Ionenkonzentrationsgradienten und des elektrischen Gradienten in ein Gleichgewicht gelangen.
Ein Neuronenabfeuern oder eine Spitzenbildung wird durch eine lokale Depolarisation der Neuronenmembran ausgelöst. Anders ausgedrückt führt der Zusammenbruch des normalerweise negativen elektrochemischen Gradienten über eine Membran zu einem Auslösen eines Ausgangssignals. Eine wellenähnliche, globale Depolarisation der Neuronenmembran, die eine Neuronenabfeuerung darstellt, ist durch spannungsgattergesteuerte Natriumkanäle 324 ermöglicht, die erlauben, dass Natriumionen entlang dem elektrochemischen Gradienten abwärts, der vorhergehend durch den Na⁺-K⁺-Pumpkanal 320 hergestellt wurde, in das Innere des Neurons eintreten. Die Neuronenabfeuerung stellt einen kurzen Aktivitätspuls dar, nachdem das Neuron zu einem vorabfeuerungsähnlichen Zustand zurückkehrt, bei dem der normale, negative elektrochemische Gradient über die Neuronenmembran wiederhergestellt wird. Spannungsgattergesteuerte Kaliumkanäle 326 öffnen sich ansprechend auf die Membrandepolarisation, um einen Ausfluss von Kaliumionen den chemischen Kaliumionengradienten hinunter zu erlauben, um eine Wiederherstellung eines elektrochemischen Gradienten über die Neuronenmembran nach der Abfeuerung zu ermöglichen. Die spannungsgattergesteuerten Kaliumkanäle 324, die durch die lokale Depolarisation der Neuronenmembran geöffnet werden, sind in dem geöffneten Zustand instabil und bewegen sich relativ schnell zu einem inaktivierten Zustand, um zu ermöglichen, dass das negative Membranpotential sowohl durch einen Betrieb des spannungsgesteuerten Kaliumkanals 326 als auch des Na⁺-K⁺-Kanals/der Pumpe 320 wiederhergestellt wird.
Die Neuronenmembrandepolarisation beginnt an einer kleinen, örtlich begrenzten Region der Neuronenzellmembran und fegt auf wellenähnliche Weise über die Neuronenzelle, einschließlich des Axons, hinunter zu den Axonendverzweigungen. Eine Depolarisation an den Axonendverzweigungen löst eine spannungsgattergesteuerte Neurutransmitterfreisetzung durch Exocytose 328 aus. Die Freisetzung von Neurotransmittern durch Axonendverzweigungen in synaptische Regionen zwischen den Axonendverzweigungen des abfeuernden Neurons, als das „präsynaptische Neuron” bezeichnet, und Dendriten der signalempfangenden Neuronen, jeweils als ein „postsynaptisches Neuron” bezeichnet, führt zu einem Binden des freigesetzten Neurotransmitters durch Rezeptoren an Dendriten postsynaptischer Zellen, das zu einer Übertragung des Signals von dem präsynaptischen Neuron zu den postsynaptischen Neuronen führt. Bei den postsynaptischen Neuronen fuhrt das Binden von Neurotransmittern an neurotransmittergesteuerte Ionenkanäle 330 und 332 zu anregenden Eingangssignalen bzw. hemmenden Eingangssignalen. Neurotransmittergattergesteuerte Ionenkanäle, die Natriumionen in das Neuron 330 importieren, tragen zu einer lokalen Depolarisation der Neuronenmembran benachbart zu der Synapsenregion bei und liefern somit ein anregendes Signal. Im Gegensatz dazu führen neurotransmitteraktivierte Chlorionenkanäle 332 zu einem Import negativ geladener Chlorionen in die Neuronenzelle, was zu einem Wiederherstellen oder Stärken des normalen, negativen Ruhespannungsgradienten über die Membran führt, und hemmen somit eine örtlich begrenzte Membrandepolarisation und liefern ein hemmendes Signal. Eine Neurotransmitterfreisetzung wird auch durch spannungsgesteuerte Calciumionenkanäle 329 ermöglicht, die einen Calciumeinfluss in das Neuron erlauben.
Ein Ca¹ ⁺-aktivierter Kaliumkanal 334 dient dazu, die Depolarisierbarkeit der Membran nach einer hohen Frequenz einer Membrandepolarisation und Signalabfeuerung zu verringern, die zu einem Aufbau von Calciumionen innerhalb des Neurons führt. Ein Neuron, das für eine längere Zeitperiode kontinuierlich stimuliert wurde, wird daher weniger ansprechend auf den Stimulus. Frühe Kaliumionenkanäle dienen dazu, Neuronenabfeuerungspegel auf Stimulationspegel nahe der Schwellenstimulation zu verringern, die für ein Neuronenabfeuern erforderlich ist. Dies verhindert ein Neuronenansprechen der Art von Alles oder Nichts um die Schwellenstimulationsregion herum, anstelle eines Lieferns eines Bereichs von Frequenzen von Neuronenabfeuerungen, die einem Bereich von Stimulationen des Neurons entsprechen. Die Amplitude einer Neuronenabfeuerung ist im Allgemeinen konstant, wobei eine Ausgangssignalstärke in der Frequenz einer Neuronenabfeuerung widergespiegelt ist.
Ein weiteres interessantes Merkmal des Neurons ist eine Langzeitpotenzierung. Wenn eine präsynaptische Zelle zu einer Zeit abfeuert, wenn die postsynaplische Membran stark depolarisiert ist, spricht die postsynaptische Zelle eventuell mehr auf nachfolgende Signale von dem postsynaptischen Neuron an. Wenn anders ausgedrückt präsynaptische und postsynaptische Neuronenabfeuerungen zeitlich eng auftreten, kann sich die Stärke oder Gewichtung der Verbindung erhöhen.
4A–B stellen eine Neuronenabfeuerung dar. In 4A zeigt das Ruhezustandsneuron 402 einen negativen Spannungsgradienten über eine Membran 404. Wenn das ruhende Neuron eine neurotransmittervermittelte Signaleingabe 406 empfängt, kann eine kleine Region 408 der Neuronenmembran einen ausreichenden Zugriff einer stimulierenden Signaleingabe gegenüber einer hemmenden Signaleingabe empfangen, um die kleine Region der Neuronenmembran 408 zu depolarisieren. Diese örtlich begrenzte Depolarisation aktiviert die spannungsgattergesteuerten Natriumkanäle, um eine wellenähnliche globale Depolarisation zu erzeugen, die sich über die Neuronenmembran und das Axon hinunter ausbreitet, wobei der Spannungsgradient über die Neuronenmembran temporär umgekehrt wird, wenn Natriumionen in das Neuron entlang dem Natriumionenkonzentrationsgradienten eintreten. Die Umkehrung des Spannungsgradienten versetzt das Neuron in einen Abfeuerungs- oder Spitzenbildungszustand, in dem Endverzweigungen des Axons, wie es oben erörtert wurde, Neurotransmittersignale in Synapsen freisetzen, um postsynaptischen Neuronen zu signalisieren. Die spannungsgattergesteuerten Natriumkanäle werden schnell inaktiviert, spannungsgesteuerte Kaliumkanäle geöffnet und der negative Ruhezustandsspannungsgradient wird schnell wiederhergestellt 412. 4B zeigt die Spannungsgradientenumkehrung an dem Punkt an der Neuronenmembran während einer Spitze oder einer Abfeuerung. Im Allgemeinen ist der Spannungsgradient negativ 420, aber kehrt sich während der wellenähnlichen Membrandepolarisation, die eine Neuronenabfeuerung oder Spitzenbildung und Ausbreitung des Ausgangssignals das Axon hinunter zu den Endverzweigungen des Axons darstellt, temporär um 422.
5 stellt ein Modell für das dynamische Synapsenstärkephänomen dar. 5 ist eine Darstellung einer Synapsenstärkung F, die bezüglich der vertikalen Achse 502 aufgetragen ist, über der Zeitdifferenz zwischen präsynaptischer und postsynaptischer Spitzenbildung. die als Δt entlang der horizontalen Achse 504 aufgetragen ist. Wenn das präsynaptische Neuron zeitlich nahe an, aber vor einer Abfeuerung des postsynaptischen Neurons abfeuert, ist die Größe einer Synapsenstärkung relativ hoch, dargestellt durch den steil ansteigenden Abschnitt der aufgetragenen Kurve 506 zu der Linken der vertikalen Achse. Dieser Abschnitt der Darstellung von F entspricht einem Hebbian-Lernen, bei dem Korrelationen bei der Abfeuerung postsynaptischer und präsynaptischer Neuronen zu einer Synapsenstärkung führen. Wenn im Gegensatz dazu das präsynaptische Neuron gerade nach der Abfeuerung des postsynaptischen Neurons abfeuert, dann wird die synaptische Stärke geschwächt, wie es durch den sich steil aufwärts krümmenden Abschnitt 508 der aufgetragenen Kurve zu der Rechten der vertikalen Achse dargestellt ist. Wenn die Abfeuerung der präsynaptischen und postsynaptischen Neuronen nicht zeitlich korreliert ist, oder anders ausgedrückt Δt betragsmäßig groß ist, ist die Stärke der Synapse nicht groß beeinflusst, wie es durch Abschnitte der aufgetragenen Kurve dargestellt ist, die sich der horizontalen Achse in einem sich erhöhenden Abstand von dem Ursprung nähern. Das Synapsenschwächungsansprechen auf Korrelationen präsynaptischer und postsynaptischer Neuronenabfeuerung, dargestellt durch den Bereich über dem rechten Abschnitt der Kurve 510, muss größer sein als die Synapsenstärkung aufgrund einer Korrelation zwischen präsynaptischer und postsynaptischer Neuronenabfeuerung, dargestellt durch den Bereich unter dem linken Abschnitt der aufgetragenen Kurve 512, damit ein System, das auf einer Synapsenstärke beruht, über die Zeit stabil sein kann. Andernfalls würde eine Synapsenstärke mit der Zeit zu einer maximalen Stärke tendieren.
Zusammenfassend gesagt dienen Neuronen als gewissermaßen leckende Eingangssignalintegratoren, die mit einer Schwellenwertbestimmungsfunktion und einer Ausgangssignalerzeugungsfunktion kombiniert sind. Ein Neuron feuert mit einer steigenden Frequenz, wenn sich eine anregende Stimulation des Neurons erhöht, obwohl sich mit der Zeit das Neuronenansprechen auf einen konstanten hohen Stimulus verringert. Synapsen oder Verbindungsstellen zwischen Neuronen können durch Korrelationen bei präsynaptischen und postsynaptischen Neuronenabfeuerungen gestärkt oder geschwächt werden. Zusätzlich klingen Synapsenstärke und Neuronenstimulation beide mit der Zeit ohne kräftigenden Stimulus ab. Neuronen liefern eine grundlegende Recheneinheit für massiv parallele neurale Netzwerke innerhalb biologischer Organismen infolge der extrem hohen Dichte von Verbindungen zwischen Neuronen, die durch die stark verzweigten Dendriten und Axonendverzweigungen sowie durch die Länge von Axonen unterstützt ist.
Neurale Netzwerke und Perzeptron-Netzwerke
Neurale Netzwerke, die als ein Gebiet künstlicher Intelligenz betrachtet werden, die ursprünglich durch Versuche motiviert war, biologische Signalverarbeitung und Berechnung zu simulieren und nutzbar zu machen, haben sich als ausreichend wirksam und nützlich erwiesen, dass Forscher und Entwickler gegenwärtig versuchen, neurale Netzwerke direkt in Hardware zu bauen, sowie spezialisierte Hardwareplattformen zum Ermöglichen von Softwareimplementierungen neuraler Netzwerke entwickeln. Neurale Netzwerke sind im Wesentlichen Netzwerke von rechenmäßig verbundenen Kneten. 6 zeigt einen typischen Neuralnetzwerkknoten. Es ist keine Überraschung, dass ein Neuralnetzwerkknoten an das Modell des Neurons erinnert, das in 2 gezeigt ist. Ein Neuralnetzwerkknoten 602 empfängt Eingaben von einer Anzahl n von gerichteten Verbindungen 605–608 sowie einer speziellen Verbindung j₀ und erzeugt ein Ausgangssignal an einer Ausgangsverbindung 610, die sich verzweigen kann, genau wie sich ein Axon verzweigt, um Signale an mehrere unterschiedliche nachgeschaltete Knoten zu senden. Die gerichteten Eingangsverbindungen 605–608 sind Ausgangssignale, oder verzweigen sich von Ausgangssignalen von vorgeschalteten Knoten in dem neuralen Netzwerk, oder sind in dem Fall von Knoten erster Ebene von einer gewissen Art einer Eingabe in das neurale Netzwerk abgeleitet. Die vorgeschalteten Knoten sind jeweils einer Aktivierung zugeordnet, die bei bestimmten Implementierungen zwischen 0 und 1 liegt. Jede Eingangsverbindung ist einer Gewichtung zugeordnet. Somit empfängt der Neuralnetzwerkknoten i, der in 6 gezeigt ist, n Eingaben j₁, j₂, ..., j_n von n vorgeschalteten Neuralnetzwerkknoten mit Aktivierungen
wobei jede Eingabe j₁, j₂, ..., j_n einer aktuellen Gewichtung
zugeordnet ist. Anders ausgedrückt ist die Aktivierung eine Eigenschaft von Knoten und sind die Gewichtungen eine Eigenschaft von Verbindungen zwischen Knoten. Der Neuralnetzwerkknoten i berechnet eine Aktivität a_i aus empfangenen, gewichteten Eingangssignalen und gibt ein Signal, das der berechneten Aktivität a_i entspricht, an der Ausgangssignalleitung 610 aus. Wie es in 6 gezeigt ist:
wobei g() eine nichtlineare Aktivierungsfunktion ist. 7A–7B stellen zwei unterschiedliche Beispiele von Aktivierungsfunktionen dar. Die spezielle Eingangssignalleitung j₀ stellt eine interne Vorspannung mit einer festen Aktivierung a_j0 = –1 dar. Die Gewichtung
die dieser internen Vorspannung zugeordnet ist, wird verwendet, um die Schwelle für den Knoten zu setzen. Wenn die Summe der gewichteten Aktivierungen, die von den tatsächlichen Eingangssignalleitungen j₁, j₂, ..., j_n eingegeben werden, die Vorspannungsgewichtung von
überschreitet, dann ist das Neuron aktiv. Die erste Aktivierungsfunktion g(), die in 7A gezeigt ist, stellt eine harte Schwelle dar, während die zweite Aktivierungsfunktion g(), die in 7B gezeigt ist, eine weiche Schwelle liefert.
8 zeigt ein einfaches neurales Netzwerk mit drei Ebenen. Das neurale Netzwerk umfasst vier Eingangsknoten 802–805, zwei Zwischenknoten 808–809 und einen Ausgangsknoten 812 auf höchster Ebene. Die Eingangsknoten 802–805 empfangen jeweils eine oder mehrere Eingaben in das neurale Netzwerk und erzeugen jeweils Ausgangssignale, die durch interne Verbindungen oder Kanten an einen oder mehrere der Zwischenknoten 808 und 809 gerichtet werden. Die Zwischenknoten wiederum erzeugen Ausgangssignale an Kanten, die die Zwischenknoten mit dem Ausgangsknoten 812 verbinden. Ein neurales Netzwerk, bei dem Signale in lediglich eine Richtung entlang Kanten von Eingangsknoten zu Ausgangsknoten hin gerichtet sind, wird als ein „Vorwätskopplungsnetzwerk” bezeichnet, während neurale Netzwerke, die Rückkopplungskanten umfassen, wie beispielsweise Kanten 814–815 in 8, die ermöglichen, dass sich Signale von Knoten auf höherer Ebene zurück zu Knoten auf niedrigerer Ebene ausbreiten. als ein „rückläufiges Netzwerk” bezeichnet wird. Mehrschichtige neurale Netzwerke können verwendet werden, um allgemeine nichtlineare Funktionen beliebiger Dimensionalität und Komplexität darzustellen, unter Annahme der Fähigkeit, eine entsprechende beliebige Anzahl von Knoten in dem neuralen Netzwerk zu umfassen.
9 stellt eine spezielle Art eines neuralen Einzelknotenschicht-Netzwerks dar, das als ein „Perzeptron-Netzwerk” bezeichnet wird. Ein Perzeptron-Netzwerk ist ein neurales Netzwerk, bei dem alle Eingänge direkt mit Ausgangsknoten verbunden sind. Perzeptron-Netzwerke werden für verschiedene Mustererkennungsaufgaben verwendet. Perzeptron-Netzwerke können jedoch lediglich linear trennbare Funktionen darstellen.
Im Allgemeinen werden neurale Netzwerke zuerst trainiert durch Präsentieren von Probeneingangswerten, die bekannten, erwarteten Ausgaben zugeordnet sind, den neuralen Netzwerken. Gewichtungen, die den Kanten des neuralen Netzwerks zugeordnet sind. werden während einer Trainingssitzung eingestellt, so dass am Ende der Trainingssitzung das neurale Netzwerk Ausgaben erzeugt, die für alle der Probeneingangsdaten so nah wie möglich an den erwarteten Ausgaben liegen. Beispielsweise zeigt 10 Trainingsdaten für das in 9 gezeigte Perzeptron-Netzwerk. Die Trainingsdaten umfassen m Datenabtastwerte, die jeweils einen Satz von Eingangswerten x₁, x₂, ..., x₆ und einen Satz von erwarteten Ausgaben E(y₁), E(y₂) und E(y₃), die das Perzeptron-Netzwerk erwartungsgemäß infolge einer Eingabe der zugeordneten Eingangswerte erzeugen soll, aufweisen.
Um das Perzeptron-Netzwerk zu trainieren, muss ein Maß der Disparität zwischen erwarteten Ausgaben und erzeugten Ausgaben iterativ minimiert werden. Beispielsweise kann der Fehler bezüglich einer Ausgabe i, E_i, modelliert werden als:
wobei E(y₁) die erwartete Ausgabe ist und y₁ die beobachtete Ausgabe von dem Perzeptron-Knoten n₁ ist. Dieses Fehlermodell ermöglicht eine Berechnung eines Ausdrucks für die Teilableitung des Fehlers, der der Ausgabe i zugeordnet ist, E₁, bezüglich der Gewichtung einer Eingangskante j, die den Knoten i mit einer Eingabe x_j verbindet, und zwar wie folgt:
Dies ermöglicht wiederum, dass anfängliche, vorgegebene Gewichtungen, die den Kanten des Perzeptron-Netzwerks zugewiesen sind, während einer Trainingssitzung durch den folgenden Algorithmus eingestellt werden:
Bei diesem Algorithmus werden die Gewichtungen kontinuierlich eingestellt, bis ein gewisser Konvergenzparameter erfüllt ist oder eine maximale Anzahl von Iterationen ausgeführt wurde. Bei jeder Iteration der ausführen-Schleife von Zeilen 1–15 werden alle Probendaten der Reihe nach in der inneren für-Schleife der Zeilen 3–14 betrachtet. Für jede Datenprobe werden in der inneren für-Schleife der Zeilen 6–13 die Gewichtungen aller Verbindungen in jeden Knoten basierend auf der berechneten Teilableitung des beobachteten Fehlers bezüglich der Gewichtung eingestellt, wie es in Zeile 11 gezeigt ist. Der Term „a” ist die Trainingsrate für den Lernalgorithmus. Diese Technik stellt im Wesentlichen einen Gradientenabstieg dar, der den quadrierten Fehler bei einer erwarteten Ausgabe gegenüber einer beobachteten Ausgabe iterativ verringert. Neurale Mehrknotenebenen-Netzwerke können mit einem etwas komplexeren Algorithmus trainiert werden, bei dem Fehler zwischen Knotenschichten sowohl in Vorwärts- als auch Rückwärtsrichtung ausgebreitet werden.
Wenn dasselbe einmal trainiert ist, spricht ein neurales Netzwerk auf Eingangssignale durch ein Erzeugen von Ausgangssignalen an, wobei im Allgemeinen eine komplexe, nichtlineare Funktion implementiert wird. Neurale Netzwerke können auch intermittierend oder kontinuierlich neu trainiert werden, so dass mit der Zeit die komplexe nichtlineare Funktion, die durch das neurale Netzwerk dargestellt ist, eine bisherige Signalverarbeitungserfahrung widerspiegelt.
Physikalische Knotenimplementierung für Neuralnetzwerk-, Perzeptron-Netzwerk- und andere parallele, verteilte, dynamische Netzwerkknoten, die verschiedene Ausführungsbeispiele der vorliegenden Erfindung darstellt Die meisten neuralnetzwerkbasierten Systeme sind bis dato im Wesentlichen Softwaresimulationen eines Neuralnetzwerkverhaltens. Knoten sind als Datenstrukturen und zugehörige Routinen implementiert und die Knoten und Kantengewichtungen werden auf herkömmliche Weise sequentieller Anweisungsausführung iterativ aktualisiert. Obwohl viele nützliche Charakteristika neuraler Netzwerke ausgenutzt werden können, liefern folglich die neuralen Netzwerke nicht die Rechengeschwindigkeiten, die bei wirklich parallelen Rechensystemen, einschließlich des menschlichen Gehirns, erhalten werden. Zudem kann eine Simulation neuronenähnlicher Funktionalitäten, einschließlich Kantengewichtungsdynamiken und Leaky-Integration, rechenmäßig ziemlich aufwendig sein, insbesondere wenn dieselbe wiederholt in sequentieller Weise ausgeführt wird.
Aus diesem Grund gab es viele Versuche, physikalische neurale Netzwerke unter Verwendung einer Vielfalt unterschiedlicher Implementierungsstrategien und Materialien aufzubauen. Jedoch kam bis dato keine physikalische Implementierung nahe an die Geschwindigkeit und Recheneffizienz selbst einfacher biologischer Signalverarbeitungsstrukturen heran. Probleme umfassen ein Bereitstellen großer Anzahlen dynamischer Verbindungen, eine Vielfalt von Herstellungs- und Zusammenfügungsbeschränkungen. Probleme mit einer Wärmedissipation, Probleme mit einer Zuverlässigkeit und viele andere Probleme.
Ausführungsbeispiele der vorliegenden Erfindung sind auf einen neuen Ansatz zum Aufbauen von Netzwerken von verbundenen Rechenknoten gerichtet, wie beispielsweise neurale Netzwerke und Perzeptron-Netzwerke. Verschiedene Ausführungsbeispiele der vorliegenden Erfindung nutzen die memristiven Charakteristika von Nanodrahtübergängen aus. Es zeigt sich, dass die memristiven Charakieristika eines Nanodrahtübergangs, die für ein Fertigen herkömmlicher Logikschaltungen ein Ärgernis darstellen, die Charakteristik sind, die für dynamische Kanten in neuralen Netzwerken. Perzeptron-Netzwerken und anderen parallelen, verteilten, dynamischen Verarbeitungsnetzwerken, die verbundene Rechenknoten aufweisen, benötigt wird. Somit liefert ein relativ einfach gefertigter Nanodrahtübergang auf Nanoskala die Funktionalität für eine dynamische Kante auf Nanoskalengröße, ohne den Bedarf nach einem Programmieren oder einer algorithmischen Berechnung. Weil die Anzahl von Verbindungen zwischen Knoten die Anzahl von Knoten bei den meisten natürlich vorkommenden Signalverarbeitungs- und Rechenstrukturen, einschließlich des menschlichen Gehirns, bei weitem übertrifft, ist es erwünscht, dass die Verbindungen, die verwendet werden, um ein Hardware-Netzwerk von Rechenknoten zu implementieren, klein, einfach zu fertigen und mit intrinsischen, physikalischen Charakteristika nahe an diesen sein sollen, die für Kanten benötigt werden, so dass die dynamische Beschaffenheit von Verbindungen nicht in die Hardware programmiert oder durch hardwarebasierte Logikschaltungen simuliert werden muss.
11A–B stellen die memristiven Charakteristika von Nanodrahtübergängen dar, die durch gegenwärtig verfügbare Techniken gefertigt werden können. 11A stellt einen einzigen Nanodrahtübergang dar. Der Nanodrahtübergang weist eine oder mehrere Schichten aus memristiven Material 1102 an dem Übergang zwischen einem ersten, einem Eingangsnanodraht 1104 und einem zweiten, einem Ausgangsnanodraht 1106 auf. Der Strom folgt dem folgenden Strommodell innerhalb bestimmter Strombereiche und Spannungsbereiche: i = G(w)v, wobei w eine Zustandsvariable des Übergangs ist, G(w) die Konduktanz des Übergangs ist und v die Spannung ist, die über dem Übergang angelegt ist. Die Veränderungsrate der Zustandsvariable bezüglich der Zeit ist abhängig von sowohl der Zustandsvariablen als auch der Spannung, die zu der aktuellen Zeit an den Nanodrahtübergang angelegt ist:
Für eine bestimmte Klasse von Nanodrahtübergängen, die durch eine einzige Zustandsvariable w modelliert sind, die die Leitfähigkeit des memristiven Materials darstellt, kann die Veränderungsrate der Zustandsvariable, oder Leitfähigkeit, mit der Zeit angenähert werden als
wobei K und M Konstanten für einen Bereich von Werten von |w| von 0 bis zu einem Maximalwert w_max, sind. Außerhalb dieses Bereichs wird angenommen, dass dw / dt hierbei 0 beträgt. 11B zeigt eine Auftragung dieses Ausdrucks. Die durchgezogene Kurve 1108 in 11B zeigt eine Auftragung des obigen Ausdrucks für besondere, angenommene Werte von K und M. Die Veränderungsrate der Leitfähigkeit mit der Zeit kann auch der Spiegelbildkurve 1110, die in 11B gestrichelt aufgetragen ist, bei unterschiedlichen Arten von Übergangsmaterialien folgen oder dieselbe kann durch andere, komplexere nichtlineare Funktionen variieren. Im Allgemeinen ist jedoch das memristive Verhalten von Nanodrahtübergängen derart, dass die Konduktanz bezüglich der angelegten Spannung entschieden nichtlinear ist. Kleine angelegte Spannungen von entweder positiver oder negativer Polarität über den Übergang in dem Bereich von kleinen Spannungen 1116 um die Spannung 0 herum erzeugen keine erhebliche Veränderung bei der Leitfähigkeit des Übergangsmaterials, aber außerhalb dieses Bereichs führen immer größere angelegte Spannungen positiver Polarität zu immer größeren Anstiegsraten der Leitfähigkeit des Übergangsmaterials, während immer größere Spannungen negativer Polarität zu steilen Abfällen bei der Veränderungsrate der Leitfähigkeit des Übergangsmaterials führen. Die Konduktanz der Nanodrahtübergangsvorrichtung ist proportional zu der Leitfähigkeit des Übergangsmaterials.
Es ist zu unterstreichen, dass das oben beschriebene Modell für die Veränderung der Konduktanz eines memristiven Nanodrahtübergangs lediglich eine mögliche Beziehungsart zwischen Konduktanz eines memristiven Nanodrahtübergangs und angelegter Spannung darstellt. Die Rechenknoten und Rechenknotennetzwerkimplementierungen, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, hängen nicht von der Beziehung zwischen Konduktanz und angelegter Spannung ab, um dem oben beschriebenen mathematischen Modell zu entsprechen, sondern lediglich davon, dass die Veränderung der Konduktanz, die durch eine Anlegung von 1 V über den Übergang für eine gegebene Zeitperiode t hervorgerufen wird, wesentlich geringer als die Konduktanzveränderung ist, die durch eine Anlegung von 2 V über den Übergang Tür die gleiche Zeit t hervorgerufen wird, und dass die Konduktanzänderung, die durch angelegte Spannungen einer ersten Polarität hervorgerufen wird, ein entgegengesetztes Vorzeichen oder eine entgegengesetzte Richtung als angelegte Spannung in einer zweiten Polarität aufweist. Die Beziehung muss keine Spiegelsymmetrie aufweisen, wie es die oben beschriebene Modellbeziehung tut, da die Zeit t für unterschiedliche Polaritäten eingestellt werden kann. um ein erwünschtes Kantengewichtungsmodell zu erreichen.
12A–E stellen eine Konduktanz eines memristiven Nanodrahtübergangs mit der Zeit bezüglich Spannungssignalen dar, die an zwei Signalleitungen angelegt sind, die durch einen memristiven Nanodrahtübergang verbunden sind. 12A zeigt den memristiven Nanodrahtübergang symbolisch. Der memristive Nanodrahtübergang 1202 verbindet eine erste Signalleitung 1204 mit einer Signalleitung 1206, die als „Signalleitung 1” bzw. „Signalleitung 2” bezeichnet wird. Die Spannung, die an den Memristor 1202 angelegt ist, Δv, beträgt v₂ – v₁, wobei v₂ und v₁ die Spannungssignale sind, die gigenwärtig an die Signalleitung 2 bzw. die Signalleitung 1 angelegt sind. 12B zeigt eine Auftragung der Spannungssignale, die an die Signalleitungen 1 und 2 angelegt sind, und die Konduktanz der memristiven Vorrichtung über ein Zeitintervall hinweg. Die Zeit ist entlang einer horizontalen Richtung für die Signalleitung 1, die Signalleitung 2 und die memristive Vorrichtung aufgetragen. Das Spannungssignal, das aktuell an die Signalleitung 1 angelegt ist, ist mit Bezug auf eine vertikale Achse 1214 aufgetragen, die Spannung, die gegenwärtig an die Signalleitung 2 angelegt ist, ist bezüglich einer zweiten vertikalen Achse 1216 aufgetragen, und die Konduktanz der memristiven Vorrichtung ist bezüglich einer dritten vertikalen Achse 1218 aufgetragen. 12C–E verwenden allesamt Darstellungskonventionen ähnlich diesen, die in 12B verwendet werden.
Wie es in 12B gezeigt ist, bleibt die Konduktanz der memristiven Vorrichtung bei einer anfänglichen Konduktanz G₀ 112, wenn eine konstante Spannung v₀ an beide Signalleitungen angelegt ist, die durch horizontale Linien 1210 und 1211 dargestellt sind. In 12C ist ein kurzer, positiver Spannungspuls 1220 an die erste Signalleitung angelegt. Dieser kurze Puls erzeugt ein kurzes, negatives Potential über den memristiven Übergang, was zu einer Verringerung 1222 der Konduktanz des memristiven Übergangs über das Zeitintervall des positiven Pulses führt. 12D stellt Wirkungen mehrerer Pulse dar, die an beide Signalleitungen 1 und 2 angelegt sind. Ein erster Puls 1224, der an die Signalleitung 1 angelegt ist, führt zu einer kleinen Verringerung der Konduktanz der memristiven Vorrichtung 1226, wie in 12C. Ein kurzer negativer Spannungspuls 1228. der an die zweite Signalleitung angelegt ist, bewirkt eine zusätzliche geringe Senkung der Konduktanz des Memristors 1230. Ein kurzer positiver Puls, der an die zweite Signalleitung angelegt ist, führt zu einer geringen Erhöhung der Konduktanz der memristiven Vorrichtung 1234.
In allen der bisher dargestellten Fälle sind die Pulse, die an die erste und die zweite Leitung angelegt sind, voneinander zeitlich getrennt, so dass Spannungspulse an heilen Signalleitungen nicht zu dem gleichen Zeitpunkt auftreten. Somit fallen die kleinen angelegten Spannungen in den Bereich von Spannungen (1116 in 1113), der zu lediglich geringen Raten einer Leitfähigkeitsänderung in dem Material der memristiven Vorrichtung führt. Wie es in 12E gezeigt ist, fällt jedoch die sich ergebende Spannung. die über den Memristor angelegt ist, aus dem kleinen Spannungsbereich (1116 in 11B), wenn Spannungen entgegengesetzter Polarität simultan an die zwei Signalleitungen angelegt sind, was zu relativ großen Raten einer Leitfähigkeitsänderung fuhrt. In 12E führen zwei simultane Spannungspulse 1240 und 1242 positiver Polarität zu keiner Veränderung bei der Spannung, die an den memristiven Übergang angelegt ist, und führen deshalb zu keiner Veränderung der Leitfähigkeit der memristiven Vorrichtung 1244. Ein simultan angelegter positiver Puls 1246 an der ersten Signalleitung und ein negativer Puls 1248 an der zweiten Signalleitung führen jedoch zu einer relativ großen angelegten Spannung negativer Polarität an der memristiven Vorrichtung, was zu einer großen negativen Änderung der Konduktanz der Vorrichtung 1250 führt. Im Gegensatz dazu führen simultane Pulse umgekehrter Polaritäten 1252 und 1254 zu einem relativ großen Anstieg der Konduktanz der Vorrichtung 1256. Wiesen die Leitfähigkeit/Spannung-Kurven des Materials der memristiven Vorrichtung das entgegengesetzte Leitfähigkeitsänderungsverhalten auf, das durch eine gestrichelte Kurve in 11B dargestellt ist, oder wäre die Richtung der Spannungskonvention zum Berechnen von Δv umgekehrt, hätten die Leitfähigkeitsänderungen in 12B–E entgegengesetzte Richtungen zu den gezeigten.
Zusammenfassend gesagt zeigen memristive Nanodrahtübergänge nichtlineare Konduktanzänderungen infolge angelegter Spannungen. Die Konduktanz eines memristiven Nanodrahtübergangs spiegelt die Historie vorhergehend angelegter Spannungen wider, und die Änderungsrate der Konduktanz zu einem gegebenen Zeitpunkt eines memristiven Nanodrahtübergängs hängt von dem Betrag und der Polarität der angelegten Spannung zu diesem Zeitpunkt ab, zusätzlich zu der Konduktanz des memristiven Nanodrahtübergangs. Memristive Nanodrahtübergänge weisen Polaritäten auf, wobei die Vorzeichen von Konduktanzänderungen die Polaritäten von angelegten Spannungen widerspiegeln. Ein memristiver Nanodrahtübergang weist somit physikalische Charakteristika auf, die den Modellcharakteristika der dynamischen Kanten eines neuralen Netzwerks, eines Perzeptron-Netzwerks oder eines anderen derartigen Netzwerks von Rechenentitäten entsprechen.
13 zeigt ein abstraktes Modell von zwei Rechenknoten, die durch eine dynamische Kante verbunden sind. Der erste Rechenknoten 1302 ist ein Quellenknoten n_so (source node) und der zweite Rechenknoten 1304 ist ein Senkenknoten n_si (sink node), wobei die Kante, die die zwei Knoten verbindet, eine Stromgewichtung von w_so,si 1306 bildet. Ein mathematisches Modell für die Veränderung bei der Kantengewichtung bezüglich der Zeit lautet:
wobei S_so die Aktivierung des Quellenknotens ist. S_si die Aktivierung der Senke ist und τ_s eine Zeitkonstante ist. Wie es in der obigen Gleichung zu sehen ist, umfasst die Änderungsrate der Gewichtung im Hinblick auf die Zeit sowohl einen Hebbian-Term, wobei sich die Gewichtung proportional zu dem Produkt der Aktivierungen von sowohl dem Quellen- als auch dem Senkenknoten erhöht, und einen Nicht-Hebbian-Term, der ein Abklingen der Kantengewichtung mit der Zeit proportional zu der Aktivierung des Senkenknotens und der aktuellen Kantengewichtung darstellt. 14 zeigt eine Auftragung der Änderungsrate der Kantengewichtung mit Bezug auf die Zeit über S_si und S_so. Wie es in 14 zu sehen ist, ist die Änderungsrate der Kantengewichtung, wenn die Aktivierungen von sowohl dem Quellen- als auch dem Senkenknoten hoch sind, ein großer positiver Wert, der durch die abgeflachte Spitze 1406 in 14 dargestellt ist. Die Spitze ist aufgrund eines oberen Grenzwerts für dw / dt in 14 abgeflacht. Wenn die Aktivierung des Senkenknotens gering ist, bleibt die Änderungsrate der Kantengewichtung konstant und niedrig trotz des Aktivierungspegels des Quellenknotens, wie es bei der horizontalen Kante der aufgetragenen dw / dt -Oberfläche 1407 in der Ebene S_si = 0 in 14 zu beobachten ist. Wenn die Aktivierung des Quellenknotens niedrig ist, weist die Kantengewichtung eine relativ geringe, konstante negative Veränderung bezüglich der Zeit auf, wie es bei der negativ geneigten Linie 1407 zu beobachten ist, die den Schnittpunkt der aufgetragenen dw / dt -Oberfläche mit der Ebene S_so = 0 darstellt. Dieses Modell nähert ein bestimmtes Verhalten von Neuronen an, das in dem vorhergehenden Abschnitt erörtert wurde. Wenn präsynaptische und postsynaptische Neuronenabfeuerungen zeitlich korreliert sind, erhöht sich eine Synapsenstärke. Bei einem Fehlen einer andauernden Stimulation jedoch klingt eine Synapsenstärke mit der Zeit ab.
15 stellt ein mathematisches Modell für einen Rechenknoten dar. In 15 ist ein kleiner Abschnitt eines neuralen Netzwerks gezeigt, das aus einem Knoten n, 1502 umfasst, der mit n vorgeschalteten Knoten 1504–1507 verbunden ist und ein Ausgangssignal proportional zu einem internen Knotenzustand y, 1510 erzeugt. Die Veränderung bei dem internen Zustand des Knotens n, 1502 kann modelliert werden als:
wobei τ_r eine Zeitkonstante ist, die in einem Zustandsabklingterm auftritt. Somit wird der Zustand eines Rechenknotens als eine gewisse nichtlineare Funktion der summierten gewichteten Eingangssignale sowie eines negativen Abklingterms berechnet, der proportional zu dem aktuellen Zustand des Knotens ist.
Ausführungsbeispiele der vorliegenden Erfindung umfassen Rechenknoten, die durch memristive Nanodrahtübergänge verbunden sind, die Betriebscharakteristika ähnlich den erwünschten Modellcharakteristika liefern, die mit Bezug auf 13–15 erörtert sind. Die Rechenknoten, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, sind durch Hardwareimplementierungen, physikalische Charakteristika von memristiven Nanodrahtübergängen, der Form von Signalspitzen, die durch Rechenknoten emittiert werden, und ein Zustandsübergangsdiagramm für die Rechenknoten definiert. Diese Aspekte der Rechenknoten, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, werden als Nächstes beschrieben.
16 zeigt eine Spitze oder ein Ausgangssignal, das durch einen Rechenknoten erzeugt wird, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Eine Spitze weist eine Vorwärtsspitze, die in einer ersten Auftragung 1602 von Spannung über Zeit in 16 aufgetragen ist, und eine Rückwärtsspitze auf, die in einer zweiten Auftragung 1604 von Spannung über Zeit aufgetragen ist. Bei Netzwerken von Rechenknoten, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, sind die Knoten durch einen globalen Takt synchronisiert. Die Zeit ist, wie es durch die Zeitlinie 1606 in 16 gezeigt ist, in eine Reihe von Zyklen, C₁, C₂, ... geteilt. Jeder Zyklus wiederum ist in drei Phasen (φ₀, φ₁ und φ₂ 1616–1618 geteilt, wie es in 16 für den Zyklus C₄ gezeigt ist. Während irgendeines gegebenen Zyklus kann ein Rechenknoten abfeuern oder eine Spitze bilden. Wenn ein Rechenknoten abfeuert, sendet derselbe eine Vorwärtsspitze an den Ausgang (1510 in 15) desselben und sendet Rückwärtsspitzen in eine Rückwärtsrichtung an alle vorgelagerten Knoten (1504–1507 in 15). In 16 ist eine Rechenknotenspitze, die eine Vorwärtsspitze und eine Rückwärtsspitze aufweist, innerhalb der drei Phasen 1616–1618 des Zyklus C₄ 1620 aufgetragen gezeigt. Die Vorwärtsspitze weist einen positiven Spannungspuls 1622 in der Phase φ₀ und einen negativen Spannungspuls 1624 gleichen Betrages in der Phase φ₁ auf. Die Rückwärtsspitze umfasst einen positiven Spannungspuls 1626 in der Phase φ₁ und einen breiteren, negativen Puls 1628 in der Phase φ₂.
17 zeigt einen Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, während eines Ruhe- oder Nicht-Spitzenbildungszustands, der als der „Verarbeitungsmodus” bezeichnet wird. Der Knoten 1702 empfängt Rückwärtsspitzen von nachgelagerten Knoten an der Ausgangssignalleitung 1704 und Vorwärtsspitzen von vorgelagerten Knoten über Eingangssignalleitungen 1706–1708. Der Knoten empfängt auch globale Taktticks über einen Takteingang 1710. Während des Verarbeitungsmodus kann die Veränderung bei einem Knotenzustand im Hinblick auf die Zeit durch eine kontinuierliche Differentialgleichung modelliert werden:
die positive Terme für Rückwärtsspitzen und Vorwärtsspitzen und einen negativen Term umfasst, der eine Abklingkonstante für den Knotenzustand darstellt.
18 zeigt den Rechenknoten von 17, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, in einem Spitzenbildungsmodus. In dem Spitzenbildungsmodus erzeugt der Knoten 1702 eine Vorwärtsspitze an der Ausgangssignalleitung 1704 und erzeugt Rückwärtsspitzen an den Eingangssignalleitungen 1706–1708.
19 zeigt ein Zustandsübergangsdiagramm für einen Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Wie es in 19 gezeigt ist, befindet sich der Knoten bei einem Einschalten (power on = Leistung ein) anfänglich in einem Ruheverarbeitungsmodus 1902, in dem der Knoten Vorwärtsspitzen, die von vorgelagerten Knoten empfangen werden, und Rückwärtsspitzen, die von nachgelagerten Knoten empfangen werden, sammelt und integriert. In 19 umfassen die Knoten, die Zustande darstellen, Angaben dahin gehend, ob ein erster und ein zweiter Schalter sw1 und sw2 offen oder geschlossen sind. Diese Schalterzustände sind unten mit Bezug auf 20 erörtert.
Bei jedem Tick des globalen Takts geht der Knoten zu einem aktiven Verarbeitungsmodus 1906 über 1904, bei dem der Knoten die Summe von gewichteten empfangenen Eingaben. die über die Zeit integriert sind, mit einem Schwellenwert vergleicht. Falls die integrierte Summe gewichteter Eingaben kleiner als der Schwellenwert ist, dann geht der Knoten unmittelbar zurück in den Ruheverarbeitungsmodus 1902 über 1908. In dem Fall jedoch, dass die Schwelle durch die integrierte Summe gewichteter Eingaben überschritten wird, geht 1910 der Knoten von dem aktiven Verarbeitungsmodus 1906 in einen Ruhe-Vorspitzenbildungsmodus 1910 über. Wenn der nächste Takttick empfangen wird 1911, geht der Knoten in den Spitzenbildungsmodus 1912 über, währenddessen der Knoten Vorwärts- und Rückwärtsspitzen sendet, wie es in 18 gezeigt ist, und die integrierte Summe von gewichteten Eingangswerten auf einen negativen Schwellenwert rücksetzt, während derselbe in den Ruheverarbeitungsmodus 1902 zurück übergeht 1914.
20 zeigt ein schematisches Diagramm eines Rechenknotens, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Der Rechenknoten 2002 empfängt eine globale Takteingabe 2004 und eine im Wesentlichen beliebige Anzahl von möglicherweise verzweigten Eingaben 2006–2009. Der Rechenknoten 2002 emittiert Vorwärtsspitzen an einer möglicherweise verzweigten Ausgangssignalleitung 2012. Die Eingaben werden durch summierende Verstärker 2016–2019 summiert und die Ausgaben derselben in einen globalen summierenden Verstärker 2020 eingespeist. Rückwärtsspitzen, die durch die Ausgangssignalleitung 2012 empfangen werden, werden durch einen zusätzlichen summierenden Verstärker 2022 summiert. Eine Zustandsmaschine und ein Ausgangssignalgenerator 2024 steuern zwei Schalter, sw1 2026 und sw2 2028, wobei die Schalter geöffnet und geschlossen werden, wie es in dem Zustandsübergangsdiagramm angegeben ist, das in 19 gezeigt ist. Wenn die Schalter beide geschlossen sind, befindet sich der Rechenknoten in einem Verarbeitungsmodus, wobei summierte Eingangssignale, die durch die summierenden Verstärker 2020 und 2022 ausgegeben werden, in einen Leaky-Integrator 2030 eingegeben werden. Eine Ausgabe des Integrators wird in einen Schwellenkomparator 2032 eingespeist, der die Leaky-Integrator-Ausgabe mit einem Schwellenwert 2034 vergleicht. Der Vergleichswert wird in die Zustandsmaschine über eine Signalleitung 2036 eingespeist. Wenn das Ausgangssignal des Komparators von 0 zu 1 übergeht, was Ansammlungen einer Eingabe über einem Schwellenwert angibt, bereitet sich die Zustandsmaschine auf ein Ausgeben eines Signals in einem Spitzenbildungsmodus durch ein Öffnen der Schalter sw1 bzw. sw2, 2026 bzw. 2028 vor. Wenn dann ein neuer Takttick über den globalen Takteingang 2004 empfangen wird, löst die Zustandsmaschine eine Ausgabe von Vorwärtsspitzen- und Rückwärtsspitzensignalen an die Vorwärtsspitzenausgangssignalleitung 2040 und die Rückwärtsspitzenausgangssignalleitung 2042 aus. Die Vorwärtsspitze wird an die Ausgangssignalleitung 2012 ausgegeben und die Rückwärtsspitze wird an alle Eingangssignalleitungen 2006–2009 oder einen ausgewählten Teilsatz derselben ausgegeben. Bei bestimmten Ausführungsbeispielen der vorliegenden Erfindung stellt jede Eingabe, wie beispielsweise die Eingabe 2006, einen Satz von Eingaben von einer speziellen Klasse von vorgelagerten Knoten dar. Die Eingangssignale können hemmend sein, in welchem Fall der summierende Verstärker, der die Eingabe empfängt, das Signal invertieren kann, oder alternativ die Gewichtungen, die den Eingangssignalleitungen zugeordnet sind, negativwertig sind. Die Eingangssignale können anregend sein, in welchem Fall der summierende Verstärker, der den anregenden Eingaben zugeordnet ist. die Eingaben ohne eine Inversion summiert, oder alternativ die Eingaben positiven Gewichtungen zugeordnet sind, im Gegensatz zu den hemmenden Signalen.
21 zeigt einen Rechenknuten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, innerhalb eines Rechennetzwerks. Der Rechenknoten 2102 ist mit dem globalen Taktsignal 2104, einer Ausgangssignalleitung 2106, die wiederum durch eine Anzahl memristiver Nanodrahtübergänge 2108 zu einer Anzahl von nachgelagerten Rechenknoten verzweigt ist, und Eingangssignalleitungen 2110–2113 verbunden, die sich jeweils wiederum durch eine Anzahl memristiver Nanodrahtübergänge 2116–2119 zu einer Anzahl von nachgelagerten Rechenknoten verzweigen. Natürlich kann bei jeder Anwendung die Anzahl von Eingangssignalleitungen, Eingangssignalleitungsverzweigungen zu vorgelagerten Knoten und Ausgangssignalleitungsverzweigungen zu nachgelagerten Knoten abhängig von der nichtlinearen Funktion variieren, die durch das Rechenknotennetzwerk implementiert wird. Es ist zu beachten, dass der Knoten an Eingangssignalleitungen und an Ausgangssignalleitungen Spitzen sowohl empfängt als auch sendet. Vorwärtsspitzen werden an Eingangssignalleitungen empfangen und Rückwärtsspitzen werden an der Ausgangssignalleitung empfangen. Vorwärtsspitzen werden an der Ausgangssignalleitung gesendet und Rückwärtsspitzen werden an den Eingangssignalleitungen gesendet.
22 stellt Kantengewichtungsübergänge, die sich daraus ergeben, dass Vorwärts- und Rückwärtsspitzen eine Kante überqueren, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung dar. In 22 sind Vorwärtsspitzen entlang einer ersten Zeitlinie 2202 aufgetragen, sind Rückwärtsspitzen entlang einer zweiten Zeitlinie 2204 aufgetragen und ist die Gewichtung, oder Konduktanz, der Kante entlang einer dritten Zeitlinie 2206 aufgetragen. Wie bei 16 ist die Zeitlinie in Zyklen und Phasen unterteilt. In dem zweiten Zyklus 2108 überquert eine Vorwärtsspitze die Kante 2110, was zu einer kurzen Verringerung der Konduktanz und einer Wiedergewinnung der anfänglichen Konduktanz 2112 führt. In einem dritten Zyklus 2116 überqueren sowohl eine Vorwärts- als auch eine Rückwärtsspitze die Kante. Dies führt zu einer anfänglichen Konduktanzverringerung 2118, gefolgt von einer großen Konduktanzerhöhung 2120, wiederum gefolgt von einer Konduktanzverringerung 2122 infolge des breiten negativen Pulses 2124 der Rückwärtsspitze. Eine einzige Rückwärtsspitze in einem dritten Zyklus 2126 führt zu einer kleinen Nettoverringerung der Konduktanz 2128 der Kante. Wenn somit die Gewichtung der Kante durch die Konduktanz der Kante dargestellt ist und durch den Strom gemessen wird, der durch die Kante fließt, erhöhen simultane Vorwärts- und Rückwärtsspitzen die Gewichtung der Kante stark, einem Hebbian-Lernparadigma folgend, und bewirken Rückwärtsspitzen aufgrund des breiteren negativen Spannungspulses ein langsames Abklingen der Kantengewichtung, wenn die Rückwärtsspitzen nicht gleichzeitig mit Vorwärtsspitzen auftreten. Vorwärtsspitzen für sich genommen ändern die Kantenkonduktanz nicht. Somit führen die Eigenschaften von memristiven Nanodrahtübergängen kombiniert mit der Signalspitze, die in 16 dargestellt ist, und einem Rechenknotenverhalten, das durch den globalen Takt synchronisiert ist, zu einer Kantenkräftigung, wenn Quellen- und Senkenknoten simultan feuern, und einem langsamen Abklingen von Kantengewichtungen, wenn der Senkenknoten feuert, aber der Quellenknoten ruhig ist.
23 zeigt die Leaky-Integrator-Ausgabe, die den Zustand eines Rechenknotens darstellt, über die Zeit als eine Antwort auf summierte Eingangssignale gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In 23 ist die Summe von Eingangssignalen, die durch summierende Verstärker (2020 und 2022 in 20) erzeugt wird, entlang einer ersten Zeitlinie 2302 aufgetragen gezeigt und ist die Leaky-Integrator-Ausgabe des Leaky-Integrators (2030 in 20) entlang einer zweiten Zeitlinie 2304 aufgetragen gezeigt. Die Signalsummen werden berechnet und zu diskreten Zeitintervallen, die oben in der 2306 mit t₀, t₀₊₁, ..., t₀₊₇ etikettiert sind, die globalen Taktticks entsprechen, in den Integrator eingespeist. Wenn die Summe der Signale positiv ist, erhöht sich die Integratorausgabe, wie beispielsweise die Erhöhung 2308, die der positiven Signalsumme 2310 zu der Zeit t₀ entspricht. Wenn die Signalsumme negativ ist 2312, fällt die entsprechende Integratorausgabe 2314 auf ähnliche Weise. Zu irgendeinem Zeitpunkt, wenn die Integratorausgabe einen Schwellenwert 2316 überschreitet, geht der Knoten zu einem Spitzenbildungsmodus über 2318, wobei eine Vorwärts- und Rückwärtsspitze emittiert werden und die Integratorausgabe auf den Wert minus der Schwelle 2320 rückgesetzt wird. Dann fährt der Integrator fort, summierte Signale in nachfolgenden Zeitintervallen zu integrieren. Der Integrator ist dahingehend leaky, dass nach irgendeinem Übergang, der sich aus einer summierten Signaleingabe ergibt, wie beispielsweise dem Übergang 2308, der Integratorzustand mit der Zeit langsam zu 0 hin abklingt, wie es durch das gekrümmte Liniensegment 2330 dargestellt ist, das die Integratorausgabekurve zwischen Zeitpunkten t₀ und t₀₊₁ verbindet.
Wie ein biologisches Neuron integriert somit ein Rechenknoten, der ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, Eingangssignale über die Zeit und feuert oder bildet Spitzen, wenn das integrierte Signal einen Schwellenwert überschreitet. Der Integrator ist leaky, so dass eine schwellenüberschreitende Stimulation über eine kürzliche Zeitperiode auftreten muss, um eine Spitzenbildung auszulösen. Anders ausgedrückt weist eine Signalakkumulation die zeitlichen Charakteristika biologischer Neuronen auf. Es kann auch eine räumliche Signalintegration erreicht werden, beispielsweise durch ein Einschließen von Nichtlinearitäten oder Schwellenwertbestimmungscharakteristika innerhalb der summierenden Verstärker 2016–2019 in 20. Somit liefert der Rechenknoten und liefern memristive Nanodrahtübergangsverbindungen zwischen Knoten, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, eine dynamische Kantengewichtung, eine Leaky-Signal-Integration, eine Schwellenwertbestimmung und eine Signalerzeugung, die durch die Modelle beschrieben sind, die mit Bezug auf 13–15 erörtert sind, die wiederum durch ein beobachtetes Neuronenverhalten und von Charakteristika inspiriert sind. Die Knoten, die zahlenmäßig im Allgemeinen weitaus geringer als Verbindungen sind, können unter Verwendung gut bekannter Techniken zum Herstellen integrierter Schaltungen und gut bekannter Komponenten integrierter Schaltungen gefertigt werden, während die dynamischen Kanten durch gegenwärtig verfügbare Nanodrahtübergangsfertigungstechniken implementiert werden können. Kantengewichtung ist eine physikalische Eigenschaft memristiver Nanodrahtübergänge und betrifft daher keine Berechnung oder Logikschaltungssimulation.
Architektur und Implementierung von Rechenknotennetzwerken gemäß Ausführungsbeispielen der vorliegenden Erfindung
Der Rechenknoten und Zwischenknoten-Nanodrahtübergangsverbindungen, die in dem vorhergehenden Unterabschnitt beschrieben sind, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, können verwendet werden, um neurale Netzwerke und andere Rechenknotennetzwerke zu fertigen. 24–25 stellen ein exemplarisches Rechenknotennetzwerk dar, das für eine Verwendung bei einer Mustererkennung und einer Vielfalt anderer Rechenaufgaben geeignet ist und das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Wie es in 24 gezeigt ist, umfasst das Rechenknotennetzwerk 2400 eine erste Schicht von Eingangsknoten 2402, zusätzliche Schichten von Zwischenknoten 2404, 2406, 2408 und 2410 und einen letzten, einzigen Ausgangsknoten 2412. Bei unterschiedlichen Anwendungen kann es natürlich unterschiedliche Anzahlen von Knotenschichten, unterschiedliche Anzahlen von Knoten innerhalb von Knotenschichten und eine beinahe unbegrenzte Anzahl unterschiedlicher Verbindungen zwischen Knoten geben. Bei dem in 24 gezeigten Rechenknotennetzwerk empfängt jeder Knoten der ersten Zwischenknotenschicht 2404, wie beispielsweise ein Knoten 2416, Eingaben von fünf Eingangsknoten, wie beispielsweise Eingangsknoten 2418–2422, die mit dem Zwischenknoten 2416 ausgerichtet sind. Gleichermaßen empfängt jeder Zwischenknoten der zweiten Ebene, wie beispielsweise der Zwischenknoten 2426 der zweiten Ebene, Eingaben von einer Anzahl von Zwischenknoten auf erster Ebene. In 24 geben neun Zwischenknoten auf erster Ebene, die innerhalb einer quadratischen gestrichelten Linie 2428 eingeschlossen sind. Signale an den Knoten 2426 der zweiten Zwischenknotenebene aus, der mit dem mittleren Knoten auf der ersten Zwischenknotenebene in der Mitte der neun Zwischenknoten auf erster Ebene ausgerichtet ist. Gleichermaßen empfangen Zwischenknoten 2408 auf dritter Ebene Eingaben von entsprechenden Zwischenknoten auf zweiter Ebene, empfangen Zwischenknoten 2430–2431 auf vierter Ebene Eingaben von entsprechenden Zwischenknoten auf dritter Ebene und empfängt der Ausgangsknoten 2412 eine Eingabe von den zwei Zwischenknoten 2430–2431 auf vierter Ebene. Somit sind Rechenknoten in Kaskaden verbunden, die von dem Ausgangsknoten 2412 hinunter zu den Eingangsknoten 2402 führen.
25 zeigt die erste Zwischenebene von Knoten. Jeder Zwischenknoten auf erster Ebene in der ersten Zwischenknotenebene 2404 kann auch laterale Eingaben von Zwischenknoten auf erster Ebene innerhalb der ersten Zwischenknotenebene empfangen. Wenn man einen Zwischenknoten 2502 auf erster Ebene betrachtet, kann beispielsweise eine kleine Scheibe von Knoten 2504, die den betrachteten Knoten 2502 umgeben, anregende Signale an den Knoten 2502 senden und kann ein Ring 2506 mit größerem Radius von Knoten, die die kleine Scheibe von Knoten 2504 umgeben, hemmende Signale an den Knoten 2502 senden. Alle anderen Knoten der ersten Zwischenknotenschicht außerhalb des äußeren Radius dieses Rings 2506 tragen bei einem Ausführungsbeispiel der vorliegenden Erfindung keine Eingaben zu dem Knoten 2502 bei. Laterale hemmende und anregende Eingaben können eine räumliche Mustererkennung bei Mustererkennungsrechenknotennetzwerken erleichtern.
26A–C stellen eine Hardwareimplementierung eines Mehrschicht-Rechenknotennetzwerks dar, wie beispielsweise diesem, das in 24–25 gezeigt ist, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Die Knoten sind durch gut bekannte Verfahren zur Fertigung integrierter Schaltungen in einem geradlinigen Array von siliziumbasierten Knoten 2602 gefertigt. Wie es in 26B schematisch gezeigt ist, umfasst jeder Knoten 2604 vier Eingangsanschlussstifte, oder Durchkontaktierungen, 2608 –2611. Bei der in 26A–C gezeigten Implementierung sind alle der Knoten von allen der Knotenschichten in einem einzigen, zweidimensionalen Array von Knoten 2602 gefertigt, wobei die Hierarchien durch Nanodrähte und Nanodrahtverbindungen aufgebaut sind, die in Schichten über der siliziumbasierten Knotenschicht gefertigt sind. 26A zeigt vier unterschiedliche Typen von Nanodrähten, die mit den vier Durchkontaktierungen eines Rechenknotens 2616 verbunden sind. Eine Durchkontaktierung, die das Ausgangssignal darstellt, ist mit einer Nanodrahtausgangssignalleitung 2618 verbunden. Zwei parallele Nanodrähte 2620 und 2622 stellen ein laterales anregendes und ein laterales hemmendes Eingangssignal dar und sind mit Durchkontaktierungen 2609 bzw. 2611 verbunden. Ein letzter Nanodraht 2624 stellt Eingaben von vorhergehenden Knotenschichten dar und ist mit der Durchkontaktierung 2610 verbunden. Die Eingabe von vorhergehenden Knoten 2624 ist in einer ersten Nanodrahtschicht implementiert, die lateralen Eingangsleitungen 2620 und 2622 sind in einer zweiten Schicht implementiert und die Ausgangssignalleitung 2618 ist in einer dritten Schicht implementiert. Es ist zu beachten, dass die Ausgangssignalleitung im Allgemeinen breiter und dicker als die lateralen Signalleitungen und Signalleitungen 2624 der vorigen Knotenebene ist. Die Ausgangssignalleitung ist ferner im Allgemeinen länger, um Verbindungen zu breiter getrennten Knoten in der nächsten Schicht zu liefern. Die drei oben beschriebenen Schichten bilden gemeinsam eine einzige Knotenverhindungsschicht, die einer Zwischenknotenschicht innerhalb einer hierarchisch organisierten Struktur entspricht, wie beispielsweise dieser. die in 24–25 gezeigt ist.
Wie es in 26C gezeigt ist, können aufeinanderfolgende Knotenschichten oder -ebenen durch aufeinanderfolgende Nanodrahtschichten implementiert sein, die jeweils in 90-Grad-Winkeln mit vorhergehenden und nachfolgenden Nanodrahtverbindungsschichten ausgerichtet sind. Die Schicht-0-Knoten, oder Eingangsknoten, können ein Schachbrettmuster von Schicht-0-Knoten 2640 aufweisen, die jeweils mit dem Symbol „0” etikettiert sind, wobei jeder Schicht-0-Knoten mit lateralen Eingangssignalleitungen und einer Ausgangssignalleitung verbunden ist, die in einer ersten Nanodrahtverbindungsschicht 2642 mit zwei internen Schichten aufgebaut ist. Dann können Schicht-1-Knoten 2644 aus unbelegten Knotenpositionen nach einer Auswahl der Schicht-0-Knoten implementiert werden, in 26C mit dem Symbol „1” etikettiert gezeigt. Diese Knoten sind miteinander, wobei sich die Schicht-0-Knoten unten und die Schicht-1-Knoten oben befinden, über vorherige Eingangs-, laterale Eingangs- und Ausgangssignalleitungen einer Nanodrahtverbindungsschicht mit drei internen Schichten verbunden, die über der ersten Nanodrahtverbindungsschicht mit zwei inneren Schichten aufgebaut ist, und mit näherungsweise 90 Grad zu der ersten Nanodrahtverbindungsschicht mit zwei inneren Schichten ausgerichtet. Die Nanodrähte 2648, die mit einem Ebene-1-Knoten verbunden sind, sind in 26C gezeigt. Jede aufeinanderfolgende Schicht von Knoten ist aus unbelegten Knoten ausgewählt, die nach einer Auswahl der Knoten auf niedrigerer Ebene verbleiben, wobei in 26C Schicht-2-Knoten 2650 mit dem Symbol „2” etikettiert gezeigt sind und Schicht-3-Knoten 2652 mit dem Symbol „3” etikettiert gezeigt sind. Jede aufeinanderfolgende Schicht von Knoten ist lateral und mit vorhergehenden Knoten und Knoten der nächsten Schicht durch eine zusätzliche Nanodrahtschicht mit drei inneren Schichten verbunden, die über der vorhergehend aufgebauten Nanodrahtschicht aufgebaut ist, wobei eine letzte Ausgangsknotenschicht mit einer Nanodrahtverbindungsschicht mit einer inneren Schicht oder zwei inneren Schichten verbunden ist.
27 zeigt eine Kantenansicht eines Abschnitts des Rechenknutennetzwerks, das gemäß der Architektur gefertigt ist, die in 26A–C dargestellt ist, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Knoten sind in einer darunter liegenden, siliziumbasierten Schicht 2702 gefertigt und die hierarchischen Knotenschichten sind durch aufeinanderfolgende Nanodrahtverbindungsschichten 2704–2707 implementiert. Die erste Nanodrahtverbindungsschicht umfasst zwei innere Schichten, wie es oben erörtert ist, und die letzte Nanodrahtverbindungsschicht 2707 umfasst ebenfalls zwei Nanodrahtschichten, wobei Ausgangssignalleitungen weggelassen sind, die unnötig sind, weil keine höhere Schicht von Knoten über der letzten Nanodrahtschicht der dargestellten Vorrichtung implementiert ist.
Zusätzlich müssen Knoten durch Globaltaktsignalleitungen verbunden sein und müssen Eingangsknoten und Ausgangsknoten mit Eingangssignalleitungen und Ausgangssignalleitungen verbunden sein, die das Rechenknotennetzwerk mit zusätzlichen Komponenten eines Rechensystems oder einer Vorrichtung verbinden. Diese Globaltaktsignalleitungen und Eingangssignalleitungen und Ausgangssignalleitungen können auf der siliziumbasierten Knotenebene unter Verwendung herkömmlicher IC-Fertigungstechniken (IC = integrated circuit, integrierte Schaltung) implementiert sein.
28–30 stellen drei unterschiedliche Arten von Verbindungen zwischen Knoten in einem Rechenknotennetzwerk dar, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. 28 stellt eine anregende, laterale Verbindung zwischen zwei Knoten innerhalb einer einzigen Knotenschicht eines Rechenknotennetzwerks dar, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Der Quellenknoten 2802 gibt Signale an eine Ausgangssignalleitung 2804 aus, die durch einen memristiven Nanodrahtübergang eine Verbindung 2806 mit der Eingangsanregungssignalleitung 2608 eines Senkenknotens 2810 herstellt. 29 zeigt eine hemmende laterale Verbindung zwischen zwei Knoten innerhalb einer einzigen Knotenschicht eines Rechenknotennetzwerks, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Der Quellenknoten 2902 gibt Signale auf einer Ausgangssignalleitung 2904 aus, die mit der Hemmungssignalleitung 2908 des Senkenknotens 2910 verbunden 2906 ist. 30 zeigt eine Verbindung zwischen einem Quellenknoten in einer ersten Knotenschicht und einem Senkenknoten in einer höheren, zweiten Knotenschicht eines Rechenknotennetzwerks, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Der Quellenknoten 3002 gibt Signalleitungen auf der Ausgangssignalleitung 3004 aus, die mit der Ausgangssignalleitung 3008 der vorigen Knotenebene des Senkenknotens 3010 verbunden 3006 ist. Unter Verwendung der drei Arten von Verbindungen, die in 28–30 gezeigt sind, können alle Verbindungen zwischen Knoten der Knotenschichten in einer Rechenknotenarchitektur wie beispielsweise dieser, die in 24–25 gezeigt ist, in einer Reihe von Nanodrahtschichten mit zwei inneren Schichten und drei inneren Schichten implementiert werden.
Versuchsergebnisse
Um die Empfindlichkeit eines Rechenknotennetzwerkausführungsbeispiels der vorliegenden Erfindung für Defekte, Vorrichtungsvariation, Rauschen usw. zu entdecken, wurde ein klassisches Problem bei selbstorganisierten Systemen simuliert. Das Problem ist auf die Selbstorganisation eines Arrays von räumlichen Filtern gerichtet, die für Kanten in verschiedenen Ausrichtungen empfindlich sind. Ein derartiges Array könnte als die erste Stufe eines visuellen Musterübereinstimmungssystems verwendet werden, wie beispielsweise eines Schriftzeichenerkennungssystems. 31 stellt eine erwünschte Ausgabe dar. die durch ein Rechenknotennetzwerk für diesen Problembereich erzeugt wird. Der Gedanke besteht darin, ein verdrehtes Graustufenbild 3102 einzuspeisen, die Kanten in demselben zu finden und die Winkelausrichtung und den Betrag jedes Kantensegments über das Bild 3104 zu bestimmen. Dies ist für sich selbst genommen keine sehr aufregende Anwendung, aber ist zu einem standardmäßigen ersten Problem bei selbstorganisierenden Systemen geworden, analog zu einem Schreiben des „Hallo, Welt”-Programms („ello, world” program) in einer neuen Programmiersprache. Dasselbe stellt auch eine einfache und zweckmäßige Testumgebung für Experimente dar.
32 zeigt ein experimentelles Rechenknotennetzwerk, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das experimentelle Netzwerk besteht aus einer einzigen Schicht von Knoten 3202 mit Mitte-Umgebung-Wiederauftreten, getrieben durch ein Paar von Wandleraays 3204 und 3206, die die Pixel eines Eingangsbilds in Sequenzen von Spitzen übersetzen. Die Arrays 3204 und 3206 sind in 32 der Deutlichkeit halber getrennt gezeigt; bei einer tatsächlichen Implementierung waren das Photozellenarray 3208, die Wandlerarrays und das Knotenarray verschachtelt. Alle Arrays weisen die Größe 16×16 auf und die Kanten derselben sind in einem Torus herumgewickelt, um Grenzeffekte zu minimieren – dies ist eine experimentelle Abkürzung, die die geringe Anzahl von Knoten in dem Netzwerk kompensiert.
Das Photozellenarray 3208 wird verwendet, um Graustufenbilder den Wandlerarrays zu präsentieren. Jedes Pixel in diesem Array nimmt einen Wert in dem Bereich von –1 (weiß) bis 1 (schwarz) an. Die zwei Wandlerarrays, die das „Ein”-Array 3204 („on”-Array) und „Aus”-Array 3206 („on”-Array) genannt werden, implementieren räumliche Bandpassfilter. Jede Zelle dieser zwei Arrays berechnet einen gewichteten Durchschnitt von Pixelintensitäten in kleinen kreisförmigen Mitte-Umgebung-Nachbarschaften des Photozellenarrays direkt unterhalb derselben. Die „Mitte”-Nachbarschaften („center”-Nachbarschaften) weisen einen Radius von 3 auf und die „Umgebung”-Nachbarschaften („surround”-Nachbarschaften) weisen einen Radius von 6 auf: der berechnete Durchschnitt für jede „Ein”-Zelle beträgt:
Die Koeffizienten oben wurden gewählt, so dass „Mitte”-Koeffizienten sich zu 1 summierten und „Umgebung”-Koeffizienten sich zu –1 summierten. Der Durchschnitt für eine „Aus”-Zelle ist das Negativ des entsprechenden Durchschnitts der „Ein”-Zelle. Negative Durchschnitte werden für beide Arten von Zellen bei Null abgeschnitten, um die „Aktivität” derselben zu bestimmen. In jedem Zyklus emittieren die „Ein”- und „Aus”-Zellen Spitzen an die Knoten in dem Zellenarray, „Ein”-Zellen bilden Spitzen am stärksten, wenn dieselben eine schwarze Region in der Mitte derselben umgeben von Weiß sehen: „Aus”-Zellen sprechen am stärksten auf weiße Mitten umgeben von Schwarz an.
Das Knotenarray weist eine quadratische Mitte-Umgebung-Wiederauftreten-Struktur auf. Jeder Knoten empfängt Kanteneingaben von einer Nachbarschaft von Zellen von 7×7 im Quadrat in dem „Ein”- und dem „Aus”-Array, zentriert an den Zellen direkt unterhalb derselben. Diese zwei Sätze von Kanten (insgesamt 98) werden kollektiv das „Empfangsfeld” des Knotens genannt. Der Knoten regt auch die Nachbarn desselben innerhalb einer Nachbarschaft von 3×3 im Quadrat an und hemmt Nachbarn innerhalb einer Nachbarschaft von 4×4 im Quadrat. Da laterale hemmende Eingaben lediglich die halbe Wirkung von anregenden lateralen Eingaben aufweisen, ist die Nettowirkung eine Anregung der acht nächsten Nachbarn und eine Hemmung des Rings von Nachbarn, der dieselben umgibt. 33 zeigt eine Tabelle, die vorgegebene Netzwerkparameter für ein Ausführungsbeispiel der vorliegenden Erfindung enthält.
Das Netzwerk wurde durch ein Setzen aller Kanten auf die Maximalgewichtung derselben und aller Knotenintegratoren auf Null initialisiert. Zufällige 16×16-Eingangsbilder wurden durch ein zufälliges Zuweisen von Pixelwerten aus einer Gaußschen Verteilung und anschließendes Glätten des toroidalen Bildes durch eine Faltung mit dem Kernel 18exp(–d²) – 18exp(–d²/15²) aufgebaut, wobei d ein Abstand gemessen in Einheiten von Pixeln ist. Das Netzwerk wurde 5 000 000 Zyklen lang getaktet, wobei alle neun Zyklen ein neues zufälliges Bild präsentiert wurde.
Um die Fähigkeit des Netzwerks, eine ausgerichtete Kante zu erfassen, auszuwerten, haben wir einen Satz von 24 halb schwarzen/halb weißen, ausgerichteten Kantenbildern. I^θ mit Ausrichtungen. θ, einheitlich verteilt über (0, 2Φ) aufgebaut. Die Pixel. I θ / q , in jedem Bild waren entweder weiß (–1), schwarz (+1) oder geeignet interpoliert, falls dieselben die ausgerichtete Kante schnitten.
Ein Ansprechen. R, eines Knotens auf das Bild I^θ verwendete die Gewichtungen der Vorwärtskanten innerhalb des Empfangsfelds dieses Knotens:
wobei der Operator [·]₊ für positive Werte gleich dem Argument desselben ist und für negative Werte gleich Null ist. Dies ist genau genommen kein genaues Maß eines Ansprechens eines Knotens auf das Bild, aber ist eine Näherung, die gewöhnlich verwendet wird.
Die Komponenten:
wurden dann berechnet. Dann kann die bevorzugte Ausrichtung. Φ, für einen Knoten berechnet werden als
und eine Ausrichtungsselektivität, S, als
Die Netzwerkselektivität wurde dann als die durchschnittliche Ausrichtungsselektivität für alle Knoten in dem Netzwerk berechnet.
34 zeigt die Empfangsfelder eines defektfreien und vorrichtungsunveränderlichen Netzwerks, das 5 000 000 Zyklen lang getaktet wird, das ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Um die Empfangsfelder jedes Knotens zu visualisieren, betrachten wir die Gewichtungen der Empfangsfeldkanten, wij ein und wij aus, und berechnen ein Pixel für jedes Paar von Knoten als
In allen Empfangsfeldbildern zeigen wir dann Pixel_ij auf eine kontinuierliche Grauskala abgebildet, die –1 (weiß), 0 (grau) und 1 (schwarz) überspannt.
35 zeigt die Entwicklung des unteren rechten Quadranten des in 32 gezeigten Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Hier kann man das Entstehen von Kantenausrichtungsfiltern und die Tendenz des Netzwerks sehen, die Kantengewichtungen in eine stark bimodale Verteilung zu treiben. 36 zeigt die Ergebnisse von Versuchen bei einer Netzwerkempfindlichkeit für Defekte und Vorrichtungsvariation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Der erste Satz von Versuchen sprach Kantendefekte an. Eine „Offen-Hängebleibe”-Kante wies eine feste Gewichtung von 0 auf; eine „Geschlossen-Hängebleibe”-Kante wies eine feste Gewichtung von auf. Bei diesen Versuchen wurden Kanten zufällig ausgewählt. um mit unterschiedlichen Wahrscheinlichkeiten (0, 0,05, 01, ...) offen hängen geblieben (oder geschlossen hängen geblieben) zu sein. Wie es aus den Balkengraphen zu erkennen ist, verschlechtert sich eine Netzwerkselektivität leicht, wenn sich Defektraten erhöhen, bei einer größeren Empfindlichkeit für Geschlossen-Hängebleibe-Defekte.
Der zweite Satz von Versuchen untersuchte eine Empfindlichkeit für eine Kantengewichtungsvariation. Das erste Experiment legte w_max bei 1,0 fest und veränderte w_min, um „Ein/Aus”-Verhältnisse (W_max/W_min) zu erreichen, die von 5 bis 1000 variieren. Obwohl größere Verhätnisse höhere Netzwerkselektivitäten ergeben, zeigen die Ergebnisse schnell schwindende Erträge für Verhältnisse großer etwa 20 und legen nahe, dass es möglich sein könnte, funktionsfähige Netzwerke selbst mit Vorrichtungen mit einem niedrigen Verhältnis aufzubauen. Der zweite Versuch untersuchte die Auswirkung einer Ein/Aus-Verhältnisvariation, wobei Verhältnisse einheitlich über unterschiedliche Bereiche (z. B. 5 bis 20) Verteilt sind. Das Netzwerk war überraschend unempfindlich für diese Variation. In dem letzten Versuch des Satzes wurden Kantenwerte für w_max zugewiesen, die einheitlich in dem Intervall (1 – Faktor, 1 + Faktor) verteilt sind. Das Netzwerk war erneut ziemlich unempfindlich für eine Variation.
Der letzte Satz von Versuchen untersuchte eine Empfindlichkeit für Variationen bei Vorrichtungslernraten. Die „Hebbian”-Versuche variierten zufällig den Korrelationslernkoeffizienten aus Tabelle 1. Δw(f – b+) einheitlich über den Bereich 1.5 R (1 – Faktor, 1 + Faktor). Die „Abkling”-Versuche variierten den „Puls”-Koeffizienten. Δw(f+), auf ähnliche Weise. (Die verbleibenden Koeffizienten Δw(f–), Δw(b+) und Δw(b–) behielten für jede Vorrichtung die Verhältnisse auf Δw(f+) bei, wie es in Tabelle 1 gezeigt ist.) Steigende Lernratenvariationen verschlechterten eine Netzwerkleistungsfähigkeit leicht.
Obwohl die vorliegende Erfindung hinsichtlich spezieller Ausführungsbeispiele beschrieben wurde, ist nicht beabsichtigt, dass die Erfindung auf diese Ausführungsbeispiele begrenzt ist. Modifikationen innerhalb der Wesensart der Erfindung werden Fachleuten auf dem Gebiet ersichtlich. Beispielsweise kann irgendeine Anzahl unterschiedlicher Hardwareimplementierungen von Rechenknoten, die ein Verhalten liefern, das äquivalent zu den Knotenmodellen oder denselben ähnlich ist, die mit Bezug auf 13–15 beschrieben wurden, unter Verwendung unterschiedlicher Schaltungsschichten, Layouts und Komponenten implementiert werden. Wie es oben erörtert ist, können memristive Nanodrahtübergänge mit unterschiedlichen Eigenschaften und Konduktanz/Spannung-Kurven aus irgendeiner Anzahl unterschiedlicher Arten von Materialien gefertigt werden. Die Rechenknoten, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, können in einzigen siliziumbasierten Schichten oder mehreren siliziumbasierten Schichten gefertigt sein, die durch gegenwärtig erhältliche Verbindungstechnologien verbunden sind. Knoten mit unterschiedlichen Anzahlen von Eingängen und Ausgängen können bei alternativen Ausführungsbeispielen implementiert sein, um irgendeine von einer beinahe unbegrenzten Anzahl von unterschiedlichen Verbindungstopologien aufzunehmen, um Rechenknotennetzwerke zu implementieren, die beliebige nichtlineare Funktionen mit einer im Wesentlichen beliebigen Dimensionalität darstellen. Viele alternative Ausführungsbeispiele von Knotenimplementierungen, wie beispielsweise die Knotenimplementierung, die in 20 gezeigt ist, sind möglich, einschließlich unterschiedlicher Komponenten, die die Signalsummierungs-, Integrations-, Schwellenwertbestimmungs- und Erzeugungsfunktionen implementieren.
Die vorhergehende Beschreibung verwendete zu Erläuterungszwecken eine spezifische Nomenklatur, um ein gründliches Verständnis der Erfindung zu liefern. Einem Fachmann auf dem Gebiet ist jedoch ersichtlich, dass die spezifischen Einzelheiten nicht erforderlich sind, um die Erfindung zu praktizieren. Die vorhergehenden Beschreibungen spezifischer Ausführungsbeispiele der vorliegenden Erfindung sind zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Dieselben sollen nicht erschöpfend sein oder die Erfindung auf die präzisen offenbarten Formen begrenzen. Viele Modifikationen und Variationen sind angesichts der obigen Lehren möglich. Die Ausführungsbeispiele sind gezeigt und beschrieben, um die Prinzipien der Erfindung und die praktischen Anwendungen derselben am besten zu erläutern, um dadurch Fachleuten auf dem Gebiet zu ermöglichen, die Erfindung und verschiedene Ausführungsbeispiele mit verschiedenen Modifikationen am besten zu nutzen, wie dieselben für die spezielle betrachtete Verwendung geeignet sind. Es ist beabsichtigt, dass der Schutzbereich der Erfindung durch die folgenden Ansprüche und die Äquivalente derselben definiert sein soll.

Claims

Rechenknoten (2002), der folgende Merkmale aufweist: Eingangssignalleitungen (2006–2009), die durch memristive Nanodrahtübergänge (1102) mit einem oder mehreren eingabeliefernden Rechenknoten verbunden sind; eine Ausgangssignalleitung (2012), die durch memristive Nanodrahtübergänge (1102) mit einem oder mehreren ausgabeempfangenden Rechenknoten verbunden ist; einen Leckintegrator (2030), der Eingangssignale integriert, die durch die Eingangssignalleitungen und die Ausgangssignalleitung empfangen werden; eine Schwellenwertvorrichtung (2032), die eine Leckintegratorausgabe mit einem Schwellenwert (2034) vergleicht; einen Takteingang (2004); und eine Zustandsmaschine (2024), die basierend auf einer empfangenen Schwellenwertvorrichtungsausgabe und einer Takteingabe Zustandsübergänge (1904, 1908, 1911, 1914) anweist und die Rechenknotenspitzensignale (1622, 1624 und 1626, 1628) erzeugt, wobei die Konduktanz von memristiven Nanodrahtübergängen (1108), die Eingangssignalleitungen und die Ausgangssignalleitung mit eingabeliefernden beziehungsweise ausgabeempfangenden Knoten verbinden, Kantengewichtungen (1306) eines Rechenknotennetzwerks darstellt, das den Rechenknoten umfasst; wobei Spitzensignale Vorwärtsspitzen (1622, 1624), die an der Ausgangssignalleitung ausgegeben werden, und Rückwärtsspitzen (1626, 1628), die an den Eingangssignalleitungen ausgegeben werden, umfassen; wobei Vorwärtsspitzen jeweils Spannungspulse von näherungsweise gleichem Betrag, aber entgegengesetzter Polarität über näherungsweise gleiche Zeitintervalle aufweisen, einen (1626) in einer ersten Phase, den anderen (1628) in einer zweiten Phase eines dreiphasigen Zyklus; und wobei Rückwärtsspitzen jeweils Spannungspulse von näherungsweise gleichem Betrag, aber entgegengesetzter Polarität über nicht gleiche Zeitintervalle aufweisen, einen (1626) in einer zweiten Phase, den anderen (1628) in einer dritten Phase eines dreiphasigen Zyklus.
Rechenknoten gemäß Anspruch 1, bei dem Zustandsübergänge Übergänge zwischen vier Zuständen umfassen, mit folgenden Merkmalen: einem Ruheverarbeitungsmodus (1902); einem Aktivverarbeitungsmodus (1906); einem Ruhe-Vorspitzenbildungsmodus (1910); und einem Spitzenbildungsmodus (1912).
Rechenknoten gemäß Anspruch 2, wobei der Knoten auf ein Einschalten hin von dem Aktivverarbeitungsmoduszustand (1906) aus, wenn eine Schwellenwertvorrichtungsausgabe angibt, dass integrierte Eingangssignale unter dem Schwellenwert liegen, und von dem Spitzenbildungsmoduszustand (1912) nach einer Erzeugung eines Spitzensignals in den Ruheverarbeitungsmoduszustand (1902) eintritt; und wobei der Rechenknoten in dem Ruheverarbeitungsmoduszustand empfangene Signale von eingabeliefernden und ausgabeliefernden Knoten integriert.
Rechenknoten gemäß Anspruch 2, wobei der Knoten auf ein Empfangen eines Globaltaktticks hin von dem Ruheverarbeitungsmoduszustand (1902) in den Aktivverarbeitungsmoduszustand (1906) eintritt; und wobei der Rechenknoten in dem Aktivverarbeitungsmoduszustand (1906) basierend auf einer Ausgabe von der Schwellenwertvorrichtung entscheidet, ob derselbe zurück in den Ruheverarbeitungsmoduszustand (1902) übergeht, wenn die Schwellenwertvorrichtungsausgabe angibt, dass integrierte Eingangssignale unter dem Schwellenwert liegen, oder in den Ruhe-Vorspitzenbildungsmoduszustand (1910) übergeht.
Rechenknoten gemäß Anspruch 2, wobei der Knoten von dem Aktivverarbeitungsmoduszustand (1906) aus in den Ruhe-Vorspitzenbildungsmoduszustand (1910) eintritt, wenn die Schwellenwertvorrichtungsausgabe angibt, dass integrierte Eingangssignale größer oder gleich dem Schwellenwert sind; und wobei der Rechenknoten sich in dem Ruhe-Vorspitzenbildungsmoduszustand darauf vorbereitet, ein Spitzensignal zu erzeugen.
Rechenknoten gemäß Anspruch 2, wobei der Knoten von dem Ruhe-Vorspitzenbildungsmoduszustand (1910) nach einem Empfang eines nächsten Globaltaktsignals durch den Knoten in den Spitzenbildungsmoduszustand (1912) eintritt; und wobei der Rechenknoten in dem Spitzenbildungsmoduszustand (1912) ein Spitzensignal erzeugt, die Leckintegratorausgabe auf das Negative des Schwellenwerts setzt und zurück in den Ruheverarbeitungsmoduszustand (1902) übergeht.
Rechenknotennetzwerk, das aus Rechenknoten gemäß Anspruch 1 implementiert ist, wobei das Rechenknotennetzwerk folgende Merkmale aufweist: Eingangssignalleitungen („Eingang₁” – „Eingang₉” in 8); eine oder mehrere Ausgangssignalleitungen („Ausgang” in 8); und eine oder mehrere Rechenknotenschichten (802–805; 808–809; 812), wobei jede Schicht eine Anzahl von Rechenknoten aufweist.
Rechenknotennetzwerk gemäß Anspruch 7, wobei ein Knoten (3010) auf einer Zwischenebene mit Knoten (3002) auf niedrigerer Ebene durch memristive Nanodrahtübergänge (3006) verbunden ist, die eine Eingangssignalleitung (3008) eines vorigen Knotens mit Knotenausgangssignalleitungen (3004) auf niedrigerer Ebene verbinden, wobei die Eingangssignalleitung eines vorigen Knotens mit einer ersten Durchkontaktierung des Knotens auf Zwischenebene verbunden ist; wobei ein Knoten (2910) auf Zwischenebene mit einem Knoten (2902) auf gleicher Ebene verbunden ist, der hemmende Signale durch einen memristiven Nanodrahtübergang (2906) sendet, der eine Hemmeingangssignalleitung (2908) mit der Knotenausgangssignalleitung (2904) auf gleicher Ebene verbindet, wobei die Hemmeingangssignalleitung mit einer zweiten Durchkontaktierung des Knotens auf Zwischenebene verbunden ist; wobei ein Knoten (2810) auf Zwischenebene mit einem Knoten (2802) auf gleicher Ebene verbunden ist, der anregende Signale durch einen memristiven Nanodrahtübergang (2806) sendet, der eine Anregungseingangssignalleitung (2808) mit der Knotenausgangssignalleitung (2804) auf gleicher Ebene verbindet, wobei die Anregungseingangssignalleitung mit einer dritten Durchkontaktierung des Knotens auf Zwischenebene verbunden ist; und wobei ein Knoten (3002) auf Zwischenebene mit einem Knoten (3010) auf einer nächsten Ebene durch einen memristiven Nanodrahtübergang (3006) verbunden ist, der die Ausgangssignalleitung (3004) des Knotens auf Zwischenebene mit einer Eingangssignalleitung (3008) eines vorigen Knotens eines Knotens auf nächster Ebene verbindet, wobei die Ausgangssignalleitung mit einer vierten Durchkontaktierung des Knotens auf Zwischenebene verbunden ist.
Rechenknotennetzwerk gemäß Anspruch 7, bei dem Rechenknoten in einer einzigen siliziumbasierten Schicht (2640, 2644, 2650, 2652) implementiert sind und durch eine Anzahl von Nanodrahtverbindungsschichten gleich der Anzahl von Knotenschichten hierarchisch verbunden sind.