DE2133638C3

DE2133638C3 - Verfahren zum Betrieb eines lernfähigen Systems aus in Kaskade geschalteten, zur nicht linearen Datenverarbeitung geeigneten lernfähigen Datenverarbeitungseinheiten

Info

Publication number: DE2133638C3
Application number: DE2133638A
Authority: DE
Inventors: William Clay Dallas Choate; Fredrick James Richardson Taylor
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1970-07-06
Filing date: 1971-07-06
Publication date: 1975-08-21
Also published as: US3702986A; DE2133638B2; GB1353936A; DE2133638A1

Description

Die Erfindung bezieht sich auf ein Verfahren zum Betrieb eines lernfähigen Systems aus in Kaskade geschalteten, zur nichtlinearen Datenverarbeitung geeigneten, lernfähigen Datenverarbeitungseinheiten mit jeweils einem durch die zu verarbeitenden Eingangssignale adressierbaren Speicherfeld, in dessen Speicherregistera statistische Daten gespeichert werden, die den zu den Eingangssignal gewünschten Antworten entsprechen.

In der Datenverarbeitung gibt es Probleme, bei deren Lösung so viele Daten auftreten und benötigt werden, daß der dazu erforderliche Speicherplatz nicht mehr zur Verfugung gestellt werden kann. Beispielsweise müssen bei der Identifizierung geschriebener Buchstaben oder gesprochener Wörter sehr große Datenmengen gespeichert werden, damit gleiche, iedoch unterschiedlich geschriebene Buchstaben oder gleiche, jedoch unterschiedlich gesprochene Wörter auch sicher erkannt werden können. Die gleichen Schwierigkeiten treten bei allen Arten von Problemstellungen auf, deren mathematische Lösungen nur über umfangreiche Systeme nichtlinearer Gleichungen erhalten werden können.

Die Ausräumung der oben geschilderten Schwierigkeiten ist mit Hilfe von lernfäb' cn Datenverarbeitungssystemen versucht worden, unter denen man Systeme versteht, denen in einer Lernphase Trainingssignale und diesen zugeordnete gewünschte Antworten eingibt, so daß sie in einer Kannphase in der Lage sind, auch auf solche Eingangssignale Antworten abzugeben, die in der Lernphase nicht vorgekommen sind. Der Erfindung liegt nun die Aufgabe zugrunde, ein Verfahren zum Betrieb eines lernfähigen Systems anzugeben, mit dessen Hilfe bei geringem zeitlichem Aufwand für die Lernphase in der Kannphase richtige Antworten auf alle möglichen Eingangssignalc mit großer Genauigkeit erhalten werden können.

Nach der Erfindung wird dies dadurch erreicht,

(1) daß in der Lemphase

(1.1) bei Eingabe eines Trainingssignals dei gewünschten Antwort entsprechende erste statistische Daten in Speichel registern des Speicherfeldes eine r ersten, im Lernbetrieb arbeitenden Datenverarbsitungseinheit gemaß einer Adressierung durch ein vom Trainingssignal abgeleitetes erstes Eingangssignal gespeichert werden,

(1.2) aus den gespeicherten ersten statistischen Daten ein erstes Wahrscheinlichkeitssignal erzeugt wird, das eine erste statistische Schätzung der gewünschten Antwort auf ein zweites Eingangssignal darstellt, das von dem Trainingssignal abgeleitet ist, das der im Kannbetrieb arbeitenden ersten Datenverarbeitungseinheit zur Adressierung ihres Speicherfeldes zugeführt wird,

(1.3) einer gewünschten Antwort entsprechende statistische Daten in Speicherregistern des Speicherfeldes einer zweiten, im Lernbetrieb arbeitenden Datenverarbeitungseinheit gemäß einer Adressierung durch ein drittes Eingangssignal, das neben dem ersten Wahrscheinlichkeitssignal ein ebenfalls von dem Trainingssignal abgeleitetes Eingangssignal enthält, gespeichert werden, und

(2) daß in der Kannphase

(2.1) bei Eingabe eines zu erkennenden Signals aus den gespeicherten ersten statistischen Daten ein erstes Wahrscheinlichkeitssignal erzeugt wird, das eine erste statistische Schätzung der gewünschten Antwort auf das zu erkennende Signal entsprechend

. einem vom zu erkennenden Signal abgeleiteten Eingangssignal darstellt, das der im Kannbetrieb arbeitenden ersten Datenverarbeitungseinheit zur Adressierung ihres Speicherfeldes zugeführt wird,

(2.2) aus den gespeicherten zweiten statistischen Daten ein zweites Wahrscheinlichkeitssignal erzeugt wird, das eine zweite statistische Schätzung der gewünschten Antwort auf das zu erkennende Signal entsprechend einem Eingangssignal darstellt, das neben dem von der ersten Datenverarbeitungseinheit erzeugten ersten Wahrscheinlichkeitssignal ein wdteres, ebenfalls von dem zu erkennenden Signal abgeleitetes Eingangssignal enthält, das zur Adressierung des Speicherfeldes der zweiten, im Kannbetrieb arbeitenden Datenverarbeitungseinheit zugeführt wird.

Bei dem erfindungsgemäßen Verfahren werden einer gewünschten Antwort entsprechende erste statistische Daten im Speicherregister des Speicherfeldes einer ersten Datenverarbeitungseinheit gespeichert, die dabei im Lernbetrieb arbeitet. Die Adressierung der Speicherregister erfolgt dabei durch ein erstes Eingangssignal, das an die erste Datenverarbeitungseinheit angelegt ist. Im naVh-.tcn Schritt arbeitet die erste Datenverarbeitungseinhät bereits im Kannbeilrieb, und sie erzeugt aus den gespeicherten ersten statistischen Daten ein erstes Wahrscheinlichkeitssignal, das eine erste statistische Schätzung der gewünschten Antwort auf ein zweites Eingangssignal darstellt, das ihr zur Adressierung dieses Speicherfeldes zugeführt wird.

Nun werden in den Speicherregistern einer zweiten Datcnverarbeitungscinheit einer gewünschten Antwort entsprechende zweite statistische Daten gespeichert. Die zweite Datenverarbeitungseinheit arbeitet dabei im Lernbetrieb, und die Adressierung ihrer Speicherregister erfolgt durch ein weiteres Eingangs-

5 6

signal, das auch das von der ersten Datenverarbei- erkennt, daß insgesamt k Recheneinheiten vorgesetungseinheit abgegebene erste Wahrscheinlichkeits- hen sind, von denen fünf, nämlich die erste Rechensignale enthält. einheit 10, die zweite Recheneinheit 11, die dritte

In der Kannphase des lernfähigen Systems wird Recheneinheit 12, die {k — l)-te Recheneinheit 13 aus den gespeicherten ersten statistischen Daten ein 5 und die Λ-te Recheneinheit 14 in der Zeichnung darzweites Wahrscheinlichkeitssignal erzeugt, das eine gestellt sind. Die tatsächliche Anzahl von (A)-Emstatistische Schätzung der gewünschten Antwort auf heitcn, die benutzt wird, um ein gegebenes Problem ein zu erkennendes Signal darstellt, das der im Kann- zu lösen, wird einerseits von der Kompliziertheit der betrieb arbeitenden ersten Datenverarbeitungseinheit zu verarbeitenden Signale und andererseits von der zur Adressierung ihres Speicherfeldes zugeführt wird. io gewünschten Genauigkeit bestimmt. Es müssen zu-Nun wird aus den gespeicherten zweiten statistischen mindest zwei in Kaskade geschaltete Recheneinhei-Daten ein tatsächliches Ausgangssignal erzeugt, das ten vorgesehen sein Das in Fig. 1 gezeigte System eine statistische Schätzung der gewünschten Antwort erhält zwei Eingangssignal« U(t) und Z und ein Ausauf ein weiteres Eingangssignal darstellt, das das von gangssignal X_k. Das Signal Z und das Signal X_k der ersten Datenverarbeitungseinheit erzeugte zweite 15 können jeweils von einer Signalmenge gebildet sein; Wahrscheinlichkeitssignal enthält und zur Adressie- sie können auch von Gruppen digitaler oder binärer rung des Speicherfeldes der zweiten, im Kannbetrieb Komponenten eines einzigen Signals gebildet sein, arbeitenden Datenverarbeitungseinheit zugeführt Das Eingangssignal L'(/) ist das normale Eingangswird. Diese zweite statistische Schätzung kommt der signal, das üblicherweise ein Analogsignal, beispielsgewünschten Antwort bereits wesentlich näher als ao weise eine zeitabhängige Funktion ist, es kann jedoch die von der ersten Datenverarbeitungseinheit erzeugte auch ein digitales oder binäres Signal sein. Z entSchätzung. Wie viele Stufen zur nichtlinearen Daten- spricht dem gewünschten Ausgangssignal bzw. der Verarbeitungseinheit geeigneter lernfähiger Datenver- gewünschten Antwort zu dem Eingangssignal 1/(0· arbeitungseinheiten hintereinander geschaltet werden, X_k stellt die Schätzung des Systems für das Ausgangshängt davon ab, welche Anforderungen an die Ge- 25 signal dar und wird als »tatsächliche Antwort« des nauigkeit der gewünschten Antwort gestellt werden. Systems bezeichnet, um es von der »gewünschten

Die gespeicherten statistischen Daten stehen in Antwort« Z zu unterscheiden. Es lassen sich zwei einem solchen Zusammenhang mit der gewünschten Phasen unterscheiden, nämlich eine Lernphase und Antwort, daß aus ihnen ein Signal abgeleitet werden eine Kannrhase. Während der I.ernphase ist ein kann, das die Wahrscheinlichkeit für die Richtigkeit 30 Schalter 17 geschlossen, und dem System wird außer einer bestimmten Antwort auf ein angelegtes Ein dem Signal V(t) die Antwort Z zugeführt,
gangssignal angibt. In einer Weiterbildung der Erh'n- Im allgemeinen ist U(t) ein Analogsignal 16, weidung handelt es sich bei dtn statistischen Daten um dies Information oder Information plus Rauschen Zahlen, die angeben, wie oft in der Lernphase eine enthält, und dieses Signal wird zuerst in einer VorZuordnung von Eingangssignalen zu einer bestimm 35 Verarbeitungseinheit 15 in digitale Form gebracht ten gewünschten Antwort \orgenommen worden ist oder in anderer Weise aufbereitet, um eine Gruppe Als gewünschte Antwort wird da in in der Kannphase von einem oder mehreren Signalen / und ein Signal diejenige Antwort ausgewählt, tue einem bestimmten X₀ zu erzeugen. Während der Lernphase des Systems Eingangssignal am häufigsten zugeordnet worden ist. werden der Vorverarbeitungseinheit 15 viele Signale

Die Erfindung wird nun an Hand der Zeichnung 40 U(t) zugeführt, so daß viele entsprechende Sätze von

beispielshalber erläutert. Darin zeigt Signalen / und Signalen X₀ erzeugt werden.

Fi g. 1 eine Datenverarbeitungsanordnung zur Die Recheneinheiten 10 bis 14 werden in folgender

Durchführung des erfmdungsge'- 3en Verfahrens, Reihenfolge trainiert:

Fig.2 den Verlauf eines Signals, das ein gespro- Zuerst wird die Recheneinheit 10 trainiert, um

dienes Wort darstellt, zu dessen Erkennen die An- 45 darin erste statistische Daten tu speichern, die einem

Ordnung verwendet werden kann, Eingangssignal abgeleitet sind, welches die Signale

F i g. 3 bis 5 Diagramme zur Erläuterung der Ar- /₀ und λ'_ο sowie ein Signal Z umfaßt, das der ge-

beitsweise einer Vorverarbeitungseinheit zur Aufbe- wünschten Antwort auf das der Vorverarbeitungsein-

reirung des in Fig.2 dargestellten Signals für die heit 15 zugeführte Signal U(t) entspricht. Wenn die

Anordnung, so Recheneinheit 10 durch Anlegen dieser Signale trai-

F i g. 6 ein Ausführungsbeispiel des inneren Auf- niert worden ist, beginnt ein zweiter Schritt, in dessen

bans einer dar bei der Anordnung verwendeten Verlauf ein zweites Eingangssignal, bestehend aus

Datenverarbeitungseinheiten, einem anderen Signa! /₀ und einem anderen Signal

Fig.7 bis 11 den Aufbau eines Speicherfeldes AT₀, die von der Eingangsrecheneinheit 15 in Abhän-

eiser Datenverarbeitungseinheit während mehrerer 55 gigkeit von einem zweiten Signal U(t) erzeugt wur-

Lerazykleo, den, an die Recheneinheit 10 angelegt wird. Wahrere Fig. 12 bis 14 den Ablauf der Lernphase für die dieses zweiten Schrittes arbeitet die Recheneinheit 11

ersten drei in Kaskade geschalteten Datenverarbei- bereits in der Kannphase, und sie erzeugt in Abhän

tungseinheiten gemäß einem Ausführungsbeispiel der gigkeit von den in ihr gespeicherten, ersten statisti

Erfindung und 60 sehen Daten ein Wahrscheiolichkeitssignal X₁, wel Fig. IS den Ablauf der Lernphase für die A-te ches eine beste statistische Schätzung der Rechen

bzw. die letzte Datenverarbeitungseinheit des in den einheit 10 für eine gewünschte Antwort auf da Fig. 12 bis 14 dargestellten \usfühningsbeispiels zweite Eingangssignal U{t) darstellt. Während eine

sowie dea Ablauf der Kannphase dritten Schrittes wird dann die zweite Recheneinhei

Die einfachste Ausführungsform eines lernfähigen 65 11 in einer der Lemphase entsprechenden Betriebs Rechensystems nut in Kaskade geschalteten Daten- art betrieben and speichert zweite, statistische Daten iii nachfolgend einfach »Re- die auf einem dritten Eingangssignal basieren, we!

i i Fi 1 i M h d Sil d d Vbi

rarbeig g ggg

&eneinheiten« genannt, ist in Fig. 1 gezeigt. Man ches aus dem Signal /,, das von der Vorverarbei

tungseinheil 15 in Abhängiggkeit von dem zweiten geliefert wird, wenn das Signal I_11-1 und das Aus-Eingangssignal V(t) erzeugt wird, dem Wahrschein- gangssignal X_k _ _v welches von der (k — 1 )-ten Relichkeitssignal X₁, welches von der in dt r Kannphase cheneinheit geliefert wird, an sie angelegt werden, arbeitenden ersten Recheneinheit 10 zu dem zweiten kann dann in ein tatsächliches Antwortsignal umge-Eingangssignal U(t) erzeugt wird, und der gewünsch- 5 wandelt werden, welches die Schätzung minimaler ten Antwort Z, auf das zweite Eingangssignal U[t) Entropie bzw. Unsicherheit des ganzen Systems für entspricht, besteht. eine richtige, gewünschte Antwort auf das zu unter-Bei einer Ausführungsform, die nachstehend be- suchende Signal U(t) darstellt. Bei einer Ausfühschrieben werden soll, ist das Signal /₀, das in der rungsform, auf die bereits oben Bezug genommen Kannphase von der Recheneinheit 10 benutzt wird, io wurde, besteht das Eingangssignal für die jfe-te Reum das Signal X₁ zum Trainieren der Recheneinheit cheneinheit 14 während der Kannphase aus dem 11 zu erzeugen, das um eine Zeiteinheit verzögerte Signal I_kl und dem Ausgangssignal X_k-1 der Eingangssignal Z₁, mit welchem die Recheneinheit 11 (k — l)-ten Recheneinheit 13, während die an die trainiert werden soll. Während der gesamten Lern- übrigen Recheneinheiten angelegten Signale/ und A' phase paßt sich die innere Struktur jeder Rechen- 15 gleich dem Signal l_k, verzögert jeweils um eine zueinheit an, so daß sich das tatsächliche Ausgangs- sätzliche Zeiteinheit, und dem jeweils durch das Aussignal X jeder Recheneinheit in einem statistischen gangssignal der in der Reihe davorliegenden ReSinne der gewünschten Antwort Z für jedes gegebene cheneinheit gebildeten Signal sind. Eingangssignal U(t) so nahe wie möglich annähert. Nachfolgend wird ein Ausführungsbeispiel be-Die Lernphase dauert an, bis sämtliche Rechen- 20 schrieben, das zur Erkennung eines gesprochenen einheiten in der Kaskade in ähnlicher Weise trainiert Wortes angewendet wird.

worden sind. Das Eingangssignal für die letzte oder In F i g. 2 ist ein typisches Schwingungsmuster Jfc-te Recheneinheit 14 besteht aus den Eingangs- eines gesprochenen Wortes graphisch dargestellt. Dasignalen l_k ,, dei gewünschten Antwort Z auf das bei ist die Amplitude des Signals (senkrechte Achse) Signal U(t), von der das Signal I_k , abgeleitet ist, 25 über der Zeit (waagrechte Achse) aufgetragen, und dem Ausgangssignal X_k _ ₁ der (k 1 )-ten Re- Die bei dem hier betrachteten Ausführungsbeispiel cheneinheit 13. Die Eingangssignale für jede der verwendete Vorverarbeitungseinheit digitalisiert nun vorangehenden Recheneinheiten bestehen aus ge- zunächst das Analogsignal, indem es die Zeit, welche trennten Signalen / und X, die bei einer Ausfüh- das Signal andauert, in eine feste Anzahl von Zeitrungsform, auf die bereits oben verwiesen wurde, 30 abschnitten« (beispielsweise 1000, obwohl zur Vergleich dem Signal /„ _t sind, welches an die Ate einfachung der Darstellung nur 100 dargestellt sind)

aufteilt und dann die Amplitudenwerte in jedem der Zeitabschnitte mißt, wie dies in F i g. 3 gezeigt ist. Nach dieser Aufbereitung bildet das Eingangssignal

35 U(t) eine Gruppe von η diskreten Amplitudenwerten

g g „ _t

Recheneinheit 14 angelegt wird, und zwar schrittweise jeweils um eine Zeiteinheit verzögert, sowie aus dem Ausgangssignal Λ' der vorangehenden Recheneinheit.

Wenn alle k Recheneinheiten 10 bis 14 trainiert worden sind, ist das System für ein Arbeiten in der Kannphase bereit, d. h., das System mit den in Kaskade geschalteten Recheneinheiten kann benutzt wer (U_ti, U₁, U₁,

Als nächstes dient die Vorverarbeitungseinheit daden, um tatsächlich aufgetretene Probleme zu lösen. 40 zu, mit jedem der Amplitudenwerte dieses Satzes Dabei wird nun ein Signal U(t), welches untersucht einen Schwellwerttest durchzuführen, um die Werte, werden soll, das Eingangssignal für die Vorverarbei- die Signalinformation enthalten, von denen zu trentungseinheit 15, und aus diesem Signal werden wie- nen, die lediglich auf das Rauschen zurückzuführen derurn eine Gruppe von Signalen / und ein Signa! .V₀ sind. Dat>ei wird beispielsweise, wenn der Wert eines erzeugt. Zuerst wird wiederum die Recheneinheit 10 45 der Ampiitudenwerte der Gruppe geringer ist als ein in der Kannphase arbeiten, um mit Hilfe der in ihr Schwellwert, beispielsweise 0,1, dieser Amplitudengespeicherten statistischen Daten ein Wahrscheinlich- wert nur als Rauschen betrachtet und für die weitekeitssignal X₁ zu erzeugen, das eine statistische ren RechcnvGrgänge außer acht gelassen. Zusätzlich Schätzung der gewünschten Antwort auf das unter- werden die Amplitudenwerte normiert, so daß nur suchte Signal U(t) darstellt, wenn die Signale /₀ und 5° noch Werte zwischen ■+■ 1 und - 1 auftreten, wie -X₀, die von der Verarbeitungseinheit 15 für dieses dies Fig. 4 zeigt. Dies wird erreicht, indem sämtliche

Signal U{t) erzeugt wurden, an sie, d. h. an die Recheneinheit 10, angelegt werden. Danach wird die zweite Recheneinheit 11 in der Kannphase betrieben, um mit Hilfe der in ihr gespeicherten statistischen Datea ein zweites Wahrscheinlichkeitssignal X₂ zu erzeugen, welches eine bessere statistische Schätzung tier gewünschten Antwort auf das zu untersuchende Signal U(t) darstellt, wenn an die Recheneinheit 11

Ampiitudenwerte durch den Betrag bzw. Absolutwert des größten (positiven oder negativen) Amplitudenwerts geteilt werden. Ein wichtiger Gesichtspunkt bei der Normierung besteht darin, daß das Signaimuster unabhängig von der Lautstärke wird, mit weicher die Worte gesprochen werden. Dies bedeutet, daß für den Fall, daß der Sprecher beim Aussprechen des gleichen Wortes mit unterschied-

die diesem Signal V(t) entsprechenden Signale I₂ 60 ficher Lsutstärke spricht, die resultierenden, nor- und X₁ angelegt werden. Die restlichen Rechenein- mierten Signale im wesentlichen gleich sind und dabeiten in der Kaskade arbeiten in ähnlicher Weise, her leichter erkannt werden können, wobei das Eingangssignal für jede Recheneinheit aus Als nächster Schritt im BerriebsaWauf wird durch

einem von der Vorverarbeitungseinheit 15 gcliefer- die Von erarbeitungseinheit zu jedem der normierten ten Signal/ besteht und aus einem Wahrscheinlich- 65 Amplitudenwerte der Wert »1« addiert, so daß die keitssignal X, welches von der davorliegenden Re- Werte sämtlicher Signale nunmehr in dem Bereich Cheneinheit geliefert wird. Das Wabrscheinlichkeits- von »0« bis »2« Hegen, wie dies m Fig. S dargestellt signal Χ,ρ weiches von der A-ten Recheneinheit 14 ist, und nicht mehr zwischea — 1 and 1.

509534/137

9 10

Bei der hier betrachteten Ausführungsform sind der Wahrscheinlichkeitswerte, die von der jeweils für jede der in Kaskade geschalteten Recheneinheiten vorangehenden Recheneinheit erzeugt und geliefert zwei Eingangskomponenten vorgesehen, die eine werden. Die .Y-Komponente (AT₀), die für die erste Adressenschlüsselfunktion bilden. Die erste Kompo- Recheneinheit benutzt wird, muß jedoch von der nente »/« ist dabei lediglich ein digitales Signal, 5 Vorverarbeitungseinheit 15 geliefert werden. Das Siwelches gleich dem Amplitudenwert des Signals in gnal X_n ist dabei so definiert, daß es den Mittelwert dem jeweiligen Zeitabschnitt ist, wobei dieser Ampli- der Amplitude des Eingangssignals für zehn aufeintudenwert auf Werte zwischen »0« und »2« normiert anderfolgende Zeitabschnitte enthält und außerdem ist und anschließend von der Vorverarbeitungseinheil eine Information über die Frequenz des Eingangsauf einen der Werte »0« bis »20« quantisiert wird. io signals, so daß sich für das Signal AT₀ aus der folgen-

Füi die zweite und jede weitere Recheneinheit ist den Gleichung ergibt:
die zweite Komponente, die Komponente »X«, einer
2 i/(f)/10 + 20-Zahl derNulldurchgänge in 10Zeitabschnitten
r - T - 10 I

Die Vorverarbeitungseinheit liefert also die Adrcs- anderen Knoten in dem Speicher, die der gleichen

senschlüsselfunktion für die erste Recheneinheit (/„ Knotenuntergruppe angehören. So sind also sämtliche

X₀) und die erste Schlüsselkomponente (/, bis l_k) fur 20 Knoten einer Knotenuntergruppe über ihre ADP-

jede der folgenden Recheneinheiten. Komponente miteinander verbunden. Diese Verbin-

Die Recheneinheiten weisen einen gleichen inne- düngen nehmen im allgemeinen die Form einer ren Aufbau auf doch bildet sich die Struktur ihres »Kette« von Knoten an, die eine Knotenuntergruppe Speichers erst während der Lernphase aus. Nach bilden; das erste Glied der Kette kann als Eingangs-Ablauf der Lernphase hat wahrscheinlich der Spei- 25 knoten und das letzte Glied als Endknoten bezeichcher jeder Recheneinheit eine andere Struktur. net werden. Der Endknoten kann dabei durch ein

Das Entstehen der grundsätzlichen inneren Struk- unterscheidendes Merkmal seiner /4DP-Komponente tür eines Speicherfeldes einer Recheneinheit soll nun- markiert sein. Ferner kann jeder Knoten üblichermehr unter Bezugnahme auf die Fig. 6 bis 11 be- weise eine Adressenkomponente ADF und weitere schrieben werden. 30 Informationen enthalten. Die /IDF-Komponente ver-

Prinzipiell ist das Speicherfeld in den Rccheiein- bindet einen gegebenen Knoten mit der ihm unterheiten so organisiert, daß es auf mehreren Niveaus geordneten Knotenuntergruppe auf dem nächsten liegende Gruppen von Speicherregistern aufweist. Niveau des Speicherfeldes.

Diese Organisation eines Speichers läßt sich bildlich Während des Be.riebs werden die Knoten des mit einem Baum vergleichen, bei dem, ausgehend von 35 Speicherfeldes nacheinander bearbeitet, wobei jede den Wurzeln, dem untersten Niveau, Verbindungen Operation in der Folge einen Teil eines Pfades durch über Zweige schließlich bis zu den Blättern, dem das Speicherfeld festlegt, und zwar entsprechend der obersten Niveau, führen. Auch in dem Speicherfeld von den jeweils anliegenden Eingangssignalen gebilliegen Speicherregister auf einem untersten Niveau, deten und die erwähnten Komponenten enthaltenden dem ersten Niveau, und Verbindungszweige führen 4° Schlüsselfunktion, und den Zugang zu der richtigen, zu Speicherregistern auf dem obersten Niveau, dem geübten Antwort schafft. Diese Folge von Operatioletzten Niveau. Diese Speicherregister werden dabei nen beginnt bei dem direkt adressierbaren Speichernachfolgend als Knoten bezeichnet. Alle Knoten, aus register auf dem ersten Niveau, und dann wird das denen nur Zweige herausführen, werden als Knoten davon ausgehende, baumförmigp organisierte Speiauf dem ersten Niveau bezeichnet, während alle Kno- 45 cherfeld abgesucht, um zu prüfen, ob sine Kompoten, in die Zweige nur hineinführen, als Knoten auf nente (VAL) der jeweiligen Schlüsselfunktion darin dem letzten Niveau bezeichnet werden. Die Verbin- enthalten ist. Wenn während der Lernphase die düngen zwischen Knoten in unmittelbar aufeinander- Komponente nicht lokalisiert bzw. eingeordnet werfolgenden Niveaus werden als Zweige bezeichnet, den kann, wird die bis dahin bestehende Baumstruk- und mehrere frntereinanderliegende Zweige bilden 50 tür durch Einbeziehung eines weiteren Speicherregieinen Pfad durch das Speicherfeld. Knoten, die am sters erweitert, so daß auch diese Komponente in Ende eines von einem Knoten ausgehenden Zweiges den Speicher aufgenommen werden kann. Jedesmal, liegen, bilden eine Knotenuntergruppe des Knotens, wenn eine solche Folge eingeleitet und vollendet von dem diese Zweige ausgehen. Dieser Knoten wird wird, hat die Recheneinheit einen Trainingszyklns als der die Knotenuntergruppe beherrschende Kno- 55 ausgeführt,
ten angesehen. Bei der vorliegenden Ausführungsfbnn sind die

Wie erwähnt, wird im vorliegenden System ein ersten zwanzig Register des Speichers, wie dies F i g. 6

Knoten durch ein Speicherregister verwirklicht, das zeigt, als direkt adressierbare Speicherregister reser-

aus zumindest zwei Abschnitten besteht, und zwar vien. Jedes Register /(1) bis /(20) ist für einen der

für einen Knotenwert VAL, der in einem dem Kno- 60 zwanzig Werte 1 br· 20 vorgesehen, die die /-Schhls-

ten zugeordneten K^L-Registerabschnitt gespeichert selkomponente annehmen kann. In jedem dieser

wird, aad für eine AdressenfeompoBeate .4DP, die in ersten zwanzig Register ist die Adressenkomponente

dem /4DP-Registerabschmti gesiert wird. Der ADP gespeichert, die in das Register während der

dient der UnterscfeesiuHg eines Knotens Lernphase eingegeben wird, während der die Bairm-

VOQ allen anderen Knoten einer Ksoteofaatergrappe, 65 struktur erzeugt wird. Da die direkt adressierbaren

der er affijehört, »ad eatspäcot «feekt der Schlüssel- Register die Λ DF-Adressenkompcmenten von Regi-

Rb- das Nhreas «fes feweSigea Knotens. stern auf nachfolgenden Niveaus der Bamnstruktur

Die viDP-KoiHfHMieate diest der Menfifsderung der enthalten, können diese direkt adressierbaren Regi-

11 12

ster als Wurzelniveau einer baumförmigen Speicher- Eingangsknotens in den /IDP-Registarabschnitt des anordnung angesehen werden, obwohl keine Ver- letzten verbundenen Knotens auf diesem Niveau geknüpfung über die ADP-Komponenten zwischen den bracht. Folglich wird die Nummer 101 in dem ADP-Registern des Wurzelniveaus besteht. Registerabschnitt des Knotens 101 gespeichert, da

Der eigentliche, baumförmige Teil der Speicher- 5 keine weiteren Knoten im zweiten Niveau mit dem anordnung, bei welchem sowohl VA L- als auch Knoten 101 verbunden sind. Die Schlüsselfunktion /IDP-Komponenten in den Registern gespeichert (1, 60) ist mit dem gewünschten Ausgangssignal Z₁ sind, um die Knoten auf dem gleichen Niveau zu ver- verknüpft worden, und somit wird in den Registerknüpfen, wird von der X-Komponente der Schlüssel- abschnitt N₁ (Speicheradresse 103) des Knotens 101 funktion angegeben. Betrachtet man die direkt adres- io eine 1 eingeschrieben.

sierbaren /-Register als das Wurzelniveau des Baums, Die Schlüsselfunktion für den zweiten Trainingsdann ist dieses zweite Niveau das letzte Niveau (nach zyklus ist gleich (1, 200) mit einer zugeordneten erder obigen Definition das Blattniveau des Baums). wünschten Antwort Z₂. Nach Fig. 8 wird durch die Bei anderen Ausführungsformen könnten zusätzliche erste Schlüsselkomponente 1 erneut direkt der Kno-Schlüsselkomponenten und dementsprechende Zwi- 15 ten 1 adressiert. Die /IDF-Komponente (101) des schenniveaus hinzugenommen werden. Knotens 1 führt nun zunächst zu dem Knoten 101

Das letzte Niveau des Speicherfeldes enthält ferner auf dem zweiten Niveau, wo dann die zweite Schlüs-

eine Vielzahl von Registern mit einem ersten VAL- selkomponente 200 mit der Zahl 60 verglichen wird,

Registerabschnitt und einen zweiten /IDP-Register- die in dem VA L-Registerabschnitt dieses Knotens

abschnitt, wie dies bereits vorstehend erwähnt wurde. 20 gespeichert ist. Da die Schlüsselkomponente 200

Zusätzlich sind für jedes der gewünschten Antwort- nicht mit der Zahl 60 übereinstimmt und da ferner

signale des Systems Z₁ bis Z_m m Registerabschnitte keine weiteren Knoten in der Knotenuntergruppe

vorgesehen, von denen jeweils einer einem Speicher- erreichbar sind, was durch die /IDP-Komponente

register auf diesem Niveau zugeordnet ist. Diese 1.01 angedeutet wird, die nicht größer ist als die

Registerabschnitte dienen dazu, die Zahl (N) zu 25 Knotennummer 101, wird ein weiterer Knoten zum

speichern, die angibt, wie oft jedes dieser gewünsch- Speicherfeld hinzugefügt. Das nächste, erreichbare

ten Antwortsignale einer von einem Eingangssignal Register hat die Adresse 106, die damit zur nächsten

abgeleiteten Schlüsselfunktion zugeordnet wurde, die Knotennummer wird. Die /IDP-Komponente des

den Weg zu einem solchen Speicherregister auf dem Knotens 101 wird deshalb in 106 umgewandelt, um

letzten Niveau festlegt. 30 den neuen Knoten mit dem letzten Knoten seiner

Die Operationen einer Recheneinheit während der Knotenuntergruppe zu verbinden, und als ADP-

Lernphase werden noch deutlicher, wenn man als Komponente des Knotens 106 wird der Wert 101

spezielle Beispiele einige Trainingszyklen betrachtet. eingeschrieben, der anzeigt, daß der Knoten 101

Bei der Darstellung in F i g. 7 ist beispielsweise ange- der Eingangsknoten der Knotenuntergruppe ist, mit

nommen. daß die Schlüsselfunktion (/, X) für den 35 dem dieser Knoten 106 verbunden ist. Zusätzlich

ersten Trainingszyklus gleich (1, 60) ist und daß die wird, da die Schlüsselfunktion (1, 200) einmal dem

zugeordnete, gewünschte Antwort Z₁ ist. Die Blöcke Antwortsignal Z₂ zugeordnet wurde, in den Register-

stcllen ein oder mehrere Register dar, die jeweils abschnitt N., (Speicheradresse 109) des Knotens 106

einen Knoten des baumförmigen Speicherfeldes bil- der Wert 1 eingeschrieben.

den, und die eingekreisten Zahlen, die an jedem 40 An Hand der F i g. 9 soll nunmehr ein dritter Traidieser Blöcke vorgesehen sind, bezeichnen den ersten ningszyklus mit der Schlüsselfunktion (2, 30) für ein Registerabschnitt des Knotens (als Knotennummer 1 gewünschtes Antwortsignal Z₂ betrachtet werden, bezeichnet) und entsprechend seiner Lage im Spei- Der Knoten 2 wird wegen der ersten Schlüsselkomcherfeld. Vor Beginn des ersten Trainingszyklus sind ponente 2 direkt adressiert. Da bis zu diesem Zeitsämtliche Register leer. Während des ersten Zyklus 45 punkt der Knoten 2 mit keinem Knoten auf dem adressiert der /-Wert 1 direkt den Knoten 1. Bei dem zweiten Niveau verknüpft ist. wird die Adresse des vorliegenden Ausführungsbeispiel werden die Kno- nächsten (über den /4DF-Wert) erreichbaren Regitennummern 21 bis 100 übersprungen, so daß die sters, nämlich des Knotens 111, die Knotenadresse erste erreichbare Registeradresse für das nächste für die Knotenuntergruppe des Knotens 2. Die zweite Niveau, hier das Blattniveau, die Nr. 101 ist. Wie 5° Schlüsselkomponente 30 wird in den VA L-Registerbereits vorstehend diskutiert, verbindet die ADF- abschnitt (Speicheradresse 111) des den Knoten bil-Komponente eines Knotens diesen mit einem Knoten denden Registers eingeschrieben, und da keine andeseiner Knotenuntergruppe auf dem nächsten Niveau ren Knoten dieser Knotenuntei grppe existieren, des Speicberfeldes. Die Zahl 101 ist daher im ADF- wird der /IDP-Registerabschnitt (Speicheradresse Registerabschnitt des Registers gespeichert, welches 55 112) des Knotens 111 auf 111 gesetzt Dieser Schlüsden Knoten 1 bildet. In dem an Hand der F i g. 7 selfunktion war ferner das gewünschte Antwortsignal bis 10 erläuterten Beispiel umfassen die Knoten des Z₁ zugeordnet, so daß eine 1 in dem Registerabzweiten Niveaus einen VA L-Registerabschnitt, einen schnitt N₉ (Speicheradresse 114) des Knotens 111 ge-/IDP-Registerabschnitt sowie drei ft'-Registerab- speichert wird.

schnitte N_v N_t and N_x, die anzeigen, wievielmal 60 Während des vierten Trainingszyklus, der an Hand

Jedes der gewünschten Ausgangssignale Z₁. Ζ» und der Fig. 10 erläutert werden soH, ist die Schlüssel-

Z₃, die für drei verschiedene Worte stehen, mit dem funktion wiederum gleich (2,30), dieses Mal jedoch

Knoten zugeordnet wurde. Während der Trainings- mit einem gewünschten Ausgangssignal Z₁ verknöpft

zyklen auf dem zweiten Niveau wird dann die zweite Die /-Komponente 2 adressiert direkt den Knoten 2

Schlüsselkomponente 60 m dem F/fL-Registerab- 65 auf dem ersten Niveau. Der Inhalt des ADF-Rep-

schnitt (Speichefadresse IC!) des Knotens 101 ge- sterabschnittes, welches den Knoten 2 bildet, führt

speichert Wenn keine weiteren Knoten in dem zwei- dann zu der Speicheradresse 111, wo die zweite

tea Niveau vorhanden sind, wird die Nummer des Schlüsselkomponente, nämlich die Jf-Komponente

13 M \

30, mit dem Inhalt des IML-Rsgisterabschnitts an /-Komponente und einer ΛΓ-Komponente. Wie vor- >

diesem Knoten verglichen wird, der ebenfalls 30 ist. stehend bereits diskutiert, wird die Schlüsselfunktion |

Es besteht also Übereinstimmung, so daß eine 1 in (I₀, X₀) für die erste Recheneinheit und die erste |

den Registerabschnitt N₁ (Speicheradresse 113) des Schlüsselkomponente (I₁ bis /j) für jede weitere Re- *

Knotens 111 eingeschrieben wird, was eine einmalige 5 cheneinheit von der Vorverarbeitungseinheit geliefert. f

Zuordnung der Schlüsselfunktion (2, 30) zu dem ge- Die zweite Schlüsselkomponente (X₁ bis X_k) für jede

wünschten Antwortsignal Z₁ anzeigt der folgenden Recheneinheiten besteht aus einem

An Hand der Fig. 11 soll nun ein fünfter Trai- Wahrscheinlichkeitswert, der von der in der Kaskade

ningszyklus betrachtet werden, bei welchem ein ge- vorangehenden Recheneinheit geliefert wird. Somit

wünschtes Antwortsignal Z, wiederum der Schlüssel- io wird das Ausgangssignal X₁ der ersten Recheneinheit

funktion (1, 200) zugeordnet ist Die erste Schlüssel- die ^-Komponente für die zweite Recheneinheit, das

komponente 1 adressiert direkt den Knoten 1, der die Ausgangssignal X₂ der zweiten Recheneinheit wird

^DF-Speicheradresse 101 des Knotens 101 in dem die A"-Komponente für die dritte Recheneinheit usw.,

zweiten Niveau enthält. Die zweite Schlüsselkompo- und schließlich wird das Ausgangssignal AT_ft._} der

nente 200 wird dann mit dem Inhalt (60) des VAL- 15 (k - l)-ten Recheneinheit die Af-Komponente für die

Registerabschnitts (Speicheradresse 101) des Knotens Ar-te Recheneinheit.

101 verglichen. Die Zahlen 200 und 60 stimmen Wenn nun die erste Recheneinheit unter Verwennicht überein, und da der Inhalt (106) des ADP- dung der Schlüsselfunktion (I₀, X₀) trainiert wurde, Registerabschnitts (Speicheradresse 102) des Knotens wurde eine Reihe von Knoten in dem letzten Niveau 101 größer als 101 ist, ist erkennbar, daß es in dieser 20 des Speicherfeldes, dieser Recheneinheit geschaffen. Knotenuntergruppe weitere Knoten gibt, die unter- Jedem dieser Knoten sind drei Registerabschnitte zusucht werden müssen. Daher weist der Inhalt des geordnet, in denen festgehalten wird, wievielmal /4DP-Registerabschnitts des Knotens 101 auf den jedes der drei möglichen, gewünschten Antwort-Knoten 106 hin. Die AT-Schlüsselkomponente 200 signale Z₁, Z₂ und Z₃ der Schlüsselfunktion für diewird nun mit der Zahl 200, die in dem VAL-Rcgi- 25 sen Knoten zugeordnet wurde, dies erfolgte während sterabschnitt (Speicheradresse 106) des Knotens 106 der Lernphase für diese Recheneinheit. Die Ausgespeichert ist, verglichen. Es besteht Übereinstim- gangssignale der ersten und der folgenden Rechenmung, und auf Grund der Tatsache, daß das Aus- einheiten, die mit X₁ bezeichnet sind, sind Wahrgangssignal Z, zum zweiten Mal der Schlüsselfunk- scheinlichkeiten für die Häufigkeit des Auftretens tion (1, 200) "zugeordnet war, wird zu dem Inhalt 30 der gewünschten Antwort Z₁, Z₂ und Z₃. Somit ergibt des Registerabschnitts N₂ (Speicheradresse 109) des sich die Wahrscheinlichkeit, daß eine neue Schlüssel-Knotens 166 eine 1 addiert, so daß sich die Summe 2 funktion, die, in eine trainierte Recheneinheit eingeergibt. führt, zum Antwortsignal wird, Z₁ führt aus N₁/

Die Lernphase wird, wie oben geschildert, fortge- (N₁ + N₂ + N₃), die Wahrscheinlichkeit, daß sie

setzt, bis die Recheneinheit, für die sie durchgeführt 35 zum Antwortsignal Z₃ führt, aus N₂1 (N₁ + N₂ + N₃)

wird, genügend geübt ist. Es ist jedoch offensichtlich, und die Wahrscheinlichkeit, daß sie zum Antwort-

daß das Erreichen eines ausreichenden Trainings nur signal Z₃ führt, aus N₃1 (N₁ + N₂ + N₃). Die Summe

bedeuten kann, daß lediglich ein kleiner Prozentsatz der drei Wahrscheinlichkeiten
aller möglichen Kombinationen von Eingangssigna-

len und zugeordneten Schlüsselfunktionen durchge- 4° NJ(N₁ + N₂ + N₃) + N₂I(N₁ + N₂ + N₃)

spielt wiro. Wenn nämlich während der Lernphase + N₃I(N₁ + N₂ + N₃)
zu viele Eingangssignale geprüft werden, kostet dies

zuviel Trainingszeit und zuviel Arbeitszeit während muß gleich 1 sein, und daher ist für den Fall, daß

der Kannphase und außerdem zuviel Speicherplatz. zwei der genannten Wahrscheinlichkeiten bekannt

Wenn andererseits zu wenig Signale untersucht wer- 45 sind, die dritte Wahrscheinlichkeit daraus herleitbar,

den, erhöht sich die Wahrscheinlichkeit, daß dem So ist beispielsweise
System Fehler bei der Klassifizierung unterlagen.

Unter Berücksichtigung der uoigen Kriterien muß ^V(N₁ + N₂ + N₃) gleich

daher ein optimales System gewählt werden, und 1 - [N₁Z(N₁ + N₂ + N₃) + N₂I(N₁ + N₂ + N₃)].
zwar jeweils im Hinblick auf das zu lösende Problem 50

und ferner unter Berücksichtigung der erforderlichen Zwei der Wahrscheinlichkeiten werden somit für

Genauigkeit. die Bildung der A'-Schlüsselkomponenten für die

Während des anschließenden Rechenbetriebs, d. h. zweite bis zur k-len Recheneinheit benutzt. Die beialso in der Kannphase, werden Schlüsselfunktionen, den ausgewählten Wahrscheinlichkeiten werden zudie von Datensätzen abgeleitet sind, die keine ent- 55 erst quantisiert und dann der nächsten Recheneinsprechenden gewünschten Antwortsignale haben, heit in der Serie als eine Vektorgröße zugeführt. Für durch das Rechensystem geleitet. Dabei werden die das hier betrachtete Ausführungsbeispiel X_t gilt dabei Niveaus der Baumstruktur des Speicherfelds in der folgende Beziehung:
gleichen Weise abgesucht, wie dies während der

Lernphase der Fall ist, wo das Speicherfeld abge- 60 Xi = [NJ(N₁ + N₂ + N₃)
sucht wurde, um festzustellen, ob eine Schlüssel- + 11 ((N₂ZN₁ + N₂ + N₃) + I)],. funktion schon früher einmal aufgetreten ist. Während der Kannphase sind es jedoch die /V-Werte, die Das Verfahren, jeder Recheneinheit Eingangsuntersucht werden, d. h. die Häufigkeit des Auftre- information zuzuführen und unabhängig davon eine tens der Antwortsignale Z auf dem letzten Niveau. 65 bestimmte interne Struktur der Speicheranordnung in

Es wurde festgestellt, daß die Schlüsselfunktionen jeder der zur nichtlinearen Datenverarbeitung geeig-

bei dem beschriebenen Ausführungsbeispiel aus zwei noten Recheneinheiten zu erzeugen, ist vorstehend in

Schlüsselkomponenten bestehen, nämlich einer allen Einzelheiten beschrieben. An dieser Stelle soll

fO

nunmehr unter Bezugnahme auf die Fig. 12 bis 15 beschrieben werden, wie die einzelnen das Gesamtsystem bildenden Recheneinheiten in der Lemphase und hi der Kannphase miteinander verbunden werden.

In dem nunmehr zu beschreibenden Ausführungsbeispiel wird für das Trainieren jeder der Recheneinheiten der gleiche Datensatz

(C/_tl, Ut₂, U_t3... Ut_n^, U_1n)

verwendet Dies wird erreicht, indem jeder der vorangehenden Recheneinheiten der Kaskade eine verzögerte /-Komponente zugeführt wird. Die Verzögerung wird dabei nach rückwärts fortlaufend jeweils um einen Zeitabschnitt erhöht, so daß die /-Komponente, die der ersten Recheneinheit in der Kaskade zugeführt wird, die größte Verzögerung besitzt.

Wie in Fig. 12 dargestellt, wird die erste Recheneinheit 10 mittels eines ganzen Datensatzes trainiert, wobei die Schlüsselfunktionen (Z₀(f), X₀U)) für t = 0 bis η von einer Vorverarbeitungseinheit geliefert werden, die in dieser Figur nicht dargestellt ist

F i g. 13 zeigt, daß nach Trainieren der ersten Recheneinheit 10 mit dem gesamten Datensatz diese Recheneinheit benutzt wird, um die .Yj-Komponenten der Schlüsselfunktionen für die zweite Recheneinheit 11 zu liefern. Dies wird erreicht, indem der Recheneinheit 10, die nunmehr jedoch bereits in der Kannphase arbeitet, der gesamte Datensatz um eine Zeiteinheit verzögert erneut zugeführt wird. Die Verzögerung wird durch digitale Einrichtungen erreicht, beispielsweise durch ein Schieberegister 20. Das verzögerte Eingangssignal für die Recheneinheit 10 ist somit die Schlüsselfunktion (/.(< — 1), X₀(t — I)), wobei I₁[I) gleich /₀(i) ist. Die .fj-Schlüsselkomponenten, die von der Recheneinheit 10 geliefert werden, und die /j(i)-Schlüsselkomponenten, die von der Eingangsrecheneinheit geliefert werden, bilden dann die Schlüsselfunktionen (Z₁(O, ·Χ\) von ί — 1 bis n, die dann für das Trainieren von der zweiten Recheneinheit 11 verwendet werden.

Für das Trainieren der dritten Recheneinheit 12 wird, wie in Fig. 14 gezeigt, erneut der gleiche Datensatz von der Vorverarbeitungseinheit verwendet, um Schlüsselfunktionen (Z„(f), .X₀(O) für / = 0 bis η zu erhalten. Da der gleiche Datensatz benutzt wird, gilt Z₂(O = Z₀(O. Diese Folgen von Z- und X-SchlüsRelkomponenten werden dann zu der ersten Recheneinheit 10 übertragen, und zwar nunmehr um zwei Zeiteinheiten verzögert. Die Recheneinheit 10 läuft während der Zuführung der gesamten Datensatzes in der Kannphase, um die Ausgangssignale X₁ für die Zeitabschnitte / 0 bis η zu erzeugen. Als nächstes arbeitet dann die zweite Recheneinheit 11 in der Kannphase, wobei die Z₂(0-Schlüsselkomponente, die von der Vorverarbeitungseinheit geliefert wird, diesmal um einen Zeitabschnitt verzögert ist Somit sind die Schlüsselfunktionen, die der zweiten Recheneinheit 11 während des Trainings der dritten Recheneinheit 12 zugeführt werden, gleich (Z_ä(r — 1), X₁) für t = 1 bis n. Die Recheneinheit 11 wird in der Kannphase betrieben, um die Ausgangssignale X₂ für die Zeitabschnitte / = 1 bis η zu erzeugen. Somit sind nunmehr die Schlüsselfunktionen, die während des Trainings der dritten Recheneinheit 12

ίο verwendet werden, gleich (Z₂(O, -ST₂), und zwar für die Zeitabschnitte t — 2 bis n, wobei Z₂(O direkt von der Eingangsrecheneinheit und X₂ von der zweiten Recheneinheit 11 geliefert wird.

Jede der Recheneinheiten in der Kaskade wird in gleicher Weise trainiert. Die Z-Schlüsselkomponente für die Recheneinheit, welche trainiert wird, ist Z(O, und die Z-Komponente für jede der vorangehenden Recheneinheiten, die jedoch im Kannbetrieb arbeiten, ist die gleiche, nämlich (Z(O), jedoch nach rückwärts fortlaufend um ein zusätzliches Zeitintervall verzögert. Wie Fig. 15 zeigt, wird schließlich die Ä-te Recheneinheit 14 trainiert, indem zunächst der Recheneinheit 10, die in der Kannphase arbeitet, die Schlüsselfunktion (I_k{t - k + 1), X₀(t -A-M)) zu-

geführt wird, so daß diese das Ausgangssignal X₁ für die zweite Recheneinheit 11 erzeugt. Als nächstes wird der zweiten Recheneinheit 11, die im Kannbetrieb arbeilet, die Schlüsselfunktion

(I_k(t -k + 2), X₁)

zugeführt, so daß diese das Ausgangssignal X₂ für die dritte Recheneinheit 12 erzeugt. Dieser Prozeß wiederholt sich fortschreitend. Der (k — 1 )-ten Recheneinheit 13, die in der Kannphase arbeitet, wird schließlich die Schlüsselfunktion (Z_fc(/ — 1), X_k_₂) zugeführt, so daß diese das Ausgangssignal X_k _ _x für die /fc-te Recheneinheit 14 erzeugt. Die Recheneinheit 14 wird dann mit der Schlüsselfunktion (Zj₆(O, Xk -1) für die Zeitabschnitte t = 1 — k bis η trainiert.

Die Recheneinheiten sind in der Kannphase bei dem vorstehend beschriebenen Gesamtsystem so miteinander verbunden, wie sie für das Trainieren der k-ten Recheneinheit 14 verbunden sind. Wenn das Training der Recheneinheit 14 abgeschlossen ist, arbeitet diese jedoch nunmehr im Kannbetrieb und nicht mehr im Lernbetrieb. Das Ausgangssignal X_k der Recheneinheit 14 beinhaltet die Wahrscheinlichkeit dafür, daß zu einem bestimmten Eingangssignal eine der Antworten Z₁, Z₂ bzw. Z₃ gehört. Bei einigen Ausführungsformen ist das Signal X_k selbst das Ausgangssignal des Gesamtsystems. Bei anderen Ausführungsbeispielen wird derjenige Z-Wert mit der höchsten Wahrscheinlichkeit in der letzten Recheneinheit dann als Ausgangssignal des Systems ausgewählt.

Hierzu 7 Blatt Zeichnungen 509 634/137

Claims

21

638

Patentansprüche:

L Verfahren zum Betrieb eines lernfähigen Systems aus in Kaskade geschalteten, zur nichtlinearen Datenverarbeitung geeigneten, lernfähigen Datenverarbeitungseinheiten mit jeweils einem durch die zu verarbeitenden Eingangssignale adressierbaren Speicherfeld, in dessen Speicherregistern statistische Daten gespeichert i» werden, die den zu den Eingangssignalen gewünschten Antworten entsprechen, dadurch gekennzeichnet,

(1) daß in der Lernphase

(1.1) bei Eingabe eines Trainingssignals (1/(0) der gewünschten Antwort (Z, bis ZJ entsprechende erste statistische Daten (N₁ bis N_m) in Speicherregistern des Speicherfeldes einer ersten, im Lernbetrieb arbeitenden Datenverarbeitungseinheit (10) gemäß einer Adressierung durch ein vom Trainingssignal (t/(0) abgeleitetes erstes Eingangssignal (I_v X₀) gespeichert werden,

(1.2) aus den gespeicherten ersten statistischen Daten (N₁ bis N_m) ein erstes Wahrscheinlichkeitssignal (A"j) erzeugt wird, das eine erste statistische Schätzung der gewünschten Antwort auf ein zweites Eingangssignal (I₀, X₀) darstellt, das von dem Trainingssignal (1/(0) abgeleitet ist, das der im Kannbetrieb arbeitenden ersten Datenverarbeit ungseinheit (10) zur Adressierung ihres Speicherfeldes zugeführt wird,

(1.3) einer gewünschten Antwort (Z₁ bis Z_n) entsprechende statistische Daten (Nj bis N_n,) in Speicherregistern des Speicherfeldes einer zweiten, im Lernbetrieb arbeitenden Datenverarbeitungseinheit (11) gemäß einer Adressierung durch ein drittes Eingangssignal (Z₁, A",), das neben dem ersten Wahrscheinlichkeitssignal (X₁) ein ebenfalls von dem Trainingssignal (1/(0) abgeleitetes Eingangssignal (I₁) enthält, «gespeichert werden, und

(2) daß in der Kannphase

(2.1) bei Eingabe eines zu erkennenden Signals (LZ(O) aus den gespeicherten ersten statistischen Daten ein erstes Wahrscheinlichkeitssignal (A*,) erzeugt wird, das eine erste statistische Schätzung der gewünschten Antwort auf das zu erkennende Signal entsprechend einem vom zu erkennenden Signal abgeleiteten Eingangssignal (I_n, X₀) darstellt, das der im Kannbetrieb arbeitenden ersten Datenverarbeitungseinheit zur Adressierung ihres Speicherfeldes zugeführt wird,

(2.2) aus den gespeicherten zweiten statistischen Daten ein zweites Wahrscheinlichkeitssignal (AT₂) erzeugt wird, das eine zweite statistische Schätzung der gewünschten Antwort auf das zu erkennende Signal ([/(*)) entsprechend einem Eingangssignal (J₁, X₁) darstellt, das neben dem von der ersten Datenverarbeitungseinheit (10) erzeugten ersten Wahrscheinlichkeitssignal ein weiteres, ebenfalls von dem zu erkennenden Signal abgeleitetes Eingangssignal (I₁) enthält, das zur Adressierung des Speicherfeldes der zweiten, im Kannbetrieb arbeitenden Datenverarbeitungseinheit (11) zugeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß in jeder Datenverarbeituugseinheit ein Speicherfeld mit bekannter Struktur verwendet wird, bei dem Gruppen zusammengehörender Speicherregister mit jeweils mehreren Registerabschnitten gebildet werden, die auf einer Anzahl von Niveaus liegen, wobei jedem Adressenschlüssel einer aus den Eingangssignalen gebildeten Adressenschlüsselfunktion ein Niveau zugeordnet ist, bei dem in einem ersten Registerabschnitt (VAL) jedes Speicherregisters ein Wert speicherbar ist, der mit dem jeweiligen Wert des dem jeweiligen Niveau des Speicherregisters zugeordneten Adressenschlüssel auf Identität vergleichbar ist, bei dem in einem zweiten Registerabschnitt (ADP) die Adresse eines bei Feststellung einer Nichtübereinstimmung aufrufbaren Speicherregisters desselben Niveaus speicherbar ist, bei dem ein dritter Speicherabschnitt (ADF) die Adresse eines bei Feststellung einer Identität aufrufbaren Speicherregisters des nächsten Niveaus speichert bzw. bei Vorliegen des letzten Adressenschlüssels den gesuchten Registerabschnitt darstellt und bei dem für den Fall, daß für einen bestimmten Adressenscnlüssel noch kein Speicherregister eingestellt ist, das zuletzt untersuchte Speicherregister durch Einstellen der Adresse im zweiten oder im dritten Registerabschnitt mit dem ausgewählten Speicherregister verkettet wird, dessen erster Registerabschnitt (VAL) mit dem Wert des Adrcssenschlüssels gefüllt wird, daß an Hand des Prüfergebnisses, daß der Inhalt des zweiten Registerabschnitts (ADP) eines aufgerufenen Speicherrepisters kleiner oder gleich der Adresse dieses Speicherregisters ist, festgelegt wird, daß es sich um ein letztes zum Identitätsvergleich mit dem Adressenschlüssel zu untersuchendes Speicherregister eines Niveaus handelt, wobei bei der Auswahl eines neuen Speicherregisters jeweils das nicht belegte Speicherregister mit der niedrigsten Adresse verwendet wird und der zweite Registerabschnitt des ausgewählten Speicherregisters mit dem Inhalt des zweiten Regisierabschnitts des zuletzt untersuchten Speicherregisiers gefüllt wird, wenn sich die verketteten Speicherregister im selben Niveau befinden bzw. mit der Adresse des ausgewählten Speicherregisters gefüllt wird, wenn sich das ausgewählte Speicherregister im nächsten Niveau befindet, und daß zur Speicherung der statistischen Daten (N₁ bis N_m) weitere Registerabschnitte der Speicherregister aui dctn letzten Niveau verwendet werden.
3. Verfahren nach Anspruch 2, dadurch ge-

kennzeichnet, daß bei der Speicherung der ersten statistischen Daten die Zahl akkumuliert und gespeichert wird, die angibt, wie oft jede mögliche gewünschte Antwort dem gleichen ersten Eingangssignal zugeordnet worden ist, und daß bei 5 der Speicherung der zweiten statistischen Daten die Zahl akkumuliert und gespeichert wird, die angibt, wie oft jede mögliche gewünschte Antwort dem gleichen dritten Eingangssignal zugeordnet worden ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß wenigstens ein das dritte Eingangssignal enthaltende Signal zur Erzeugung wenigstens eines das zweite Eingangssignal enthaltenden Signals verzögert wird.