-
Die vorliegende Erfindung bezieht sich auf eine
Verarbeitungsvorrichtung für visuelle Informationen,
welche in der Lage ist, Geschwindigkeitsinformationen
(optischer Fluß) für einen sich mit hoher
Geschwindigkeit bewegenden Gegenstand zu verarbeiten.
-
Fig. 1 zeigt ein dreidimensionales
Widerstandsschaltungs-Netzwerk 1 zum Verarbeiten eines optischen
Flusses, wie es beispielsweise in "Neural Computer",
Berlin, (1988), S. 101, C. Koch und andere
dargestellt ist. Gezeigt in der Figur sind eine variable
Leistungsquelle 2, ein Kondensator 3, ein variabler
Widerstand 4, Verbindungspunkte 5 und 6 des
dreidimensionalen Widerstandsschaltungs-Netzwerkes 1, ein
Widerstand 7 zum Verbinden der Punkte einer oberen
Schicht und einer unteren Schicht, ein variabler
Widerstand 8 zum Verbinden der Punkte in einer oberen
Schichtoberfläche (oder einer unteren
Schichtoberfläche),
und ein mit dem Widerstand 8 verbundener
Schalter 9.
-
Als nächstes wird die Arbeitsweise erläutert. Die
Spannung der variablen Leistungsquelle 2, der Wert
des variablen Widerstands 4 und der Wert des
variablen Widerstands 8 zum Verbinden der Punkte, welche
von Eingangsdaten bestimmt werden, die von
fotoelektrischen Umwandlungsvorrichtungen wie Fotodioden
erhalten wurden, werden gleichzeitig in einem
bestimmten Zeitintervall in die Verbindungspunkte des
dreidimensionalen Widerstandsschaltungs-Netzwerkes
eingegeben. Die Veränderungen der Spannung an den
Verbindungspunkten 5 und 6, die sich aus einer Veränderung
in einem optischen Signal, die durch die Bewegung
eines Gegenstands bewirkt wird, ergeben, stören das
Schaltungs-Netzwerksystem. Das dreidimensionale
Widerstandsschaltungs-Netzwerk tritt dann in einen
neuen stabilen Zustand des minimalen Leistungsverbrauchs
gemäß dem Kirchhoffschen Gesetz ein. Aus dem
Spannungswert jedes der Verbindungspunkte 5 und 6, die
einen stabilen Zustand erreicht haben, können
zweidimensionale Geschwindigkeitsvektoren in der X- und Y-
Richtung bestimmt werden. Da jedoch in diesem Fall
die Kontur des Gegenstands unklar wird, ist der
Schalter 9 vorgesehen, so daß eine Kontur bei einer
rationalen Position gebildet werden kann.
-
Eine herkömmliche Verarbeitungsvorrichtung für
visuelle Informationen wurde wie vorstehend erwähnt
ausgebildet. Als Folge hiervon bestehen die folgenden
Probleme dahingehend, daß die Ausbildung eines
dreidimensionalen Widerstands-Netzwerkes in einer
integrierten Schaltung schwierig ist und die Bildung von
fotoelektrischen Umwandlungsvorrichtungen wie CCDs,
Fotodioden-Anordnungen oder dergleichen in derselben
Informationsverarbeitungsvorrichtung ebenfalls
schwierig ist.
-
Die vorliegende Erfindung wurde gemacht, um die
obigen Probleme zu beseitigen. Es ist eine Aufgabe der
vorliegenden Erfindung, eine Verarbeitungsvorrichtung
für visuelle Informationen zu schaffen, die wirksam
in anderen Vorrichtungen eingesetzt werden kann und
die in der Lage ist, die
Geschwindigkeitsinformationen für ein bewegtes Objekt in Echtzeit zu
verarbeiten.
-
Die Erfindung ist im Anspruch 1 wiedergegeben.
-
Eine Verarbeitungsvorrichtung für visuelle
Informationen entsprechend dir vorliegenden Erfindung umfaßt
ein Paar von geschichteten neuralen
Netzwerkeinheiten, von denen jede eine integrierte
Schaltungsvorrichtung aufweist, in welcher ein
Neuronen-Schaltungsbereich in einer Matrixform und eine Molekül-
Filmvorrichtung auf dem integrierten
Schaltungsbereich vorgesehen sind. Die Molekül-Filmvorrichtung
hat einen fotoelektrischen Funktionsabschnitt mit
einer Ausbildung, bei welcher eine
Molekül-Mehrschicht mit einem Hetroübergang zwischen Elektroden
angeordnet ist. Der fotoelektrische
Funktionsabschnitt enthält einen Videosignal-Eingangsabschnitt,
in welchem ein Pixel einem Neuron entspricht, und
einen Tij-Signaleingangs-Abschnitt. Der Neuronen-
Schaltungsbereich hat eine Struktur, in der die vier
engsten Neuronen in derselben Schicht verbunden sind
und die eins-zu-eins entsprechenden Neuronen
zwischenden Schichten verbunden sind.
-
Die Verarbeitungsvorrichtung für visuelle
Informationen nach der vorliegenden Erfindung ist wie
vorerwähnt ausgebildet. Eine Bindungsfestigkeits-Matrix Tij
zwischen Neuronen kann von der Außenseite geschrieben
werden und, was mehr ist, ein Videosignal kann
gleichzeitig eingegeben werden. Neuronen werden
verbunden, so daß die Geschwindigkeitsinformationen über
einen bewegten Gegenstand durch eine Verbindung nur
zwischen engsten Neuronen erhalten werden kann. Als
eine Folge kann die Anzahl von Zwischenschaltungen
zwischen Neuronen und von Tij verringert werden und
die Eingabe-Videoinformationen können mit hoher
Geschwindigkeit verarbeitet werden.
-
Gemäß der vorliegenden Erfindung sind ein
Videosignal-Eingabeabschnitt und ein
Tij-Signal-Eingabeabschnitt in einem fotoelektrischen Funktionsabschnitt
vorgesehen, der durch eine Molekül-Mehrschicht mit
einem Heteroübergang gebildet ist, die zwischen
Elektroden angeordnet ist. Ein Videoeingangssignal hat
eine ein Pixel- ein Neuron- Zuordnung. Eine neurales
Netzwerk, in welchem ein Netzwerk so zusammengesetzt
ist, daß die jeweiligen Neuronen mit den fünf
benachbarten Neuronen in den Tij-Signaleingangs-Abschnitt
des fotoelektrischen Funktionsabschnitts verbunden
sind, ist in einer integrierten Schaltung
ausgebildet, die nur die Neuronenabschnitte enthält. Daher
kann ein Tij-Signal von außen zu derselben Zeit
geschrieben werden, zu der ein Bildsensor zu
funktionieren beginnt, wodurch ein Verarbeitungssystem für
visuelle Informationen ermöglicht wird, das in der
Lage ist, das eingegebene Videosignal und den
Geschwindigkeitsvektor eines bewegten Gegenstandes mit
einer hohen Geschwindigkeit zu verarbeiten.
-
Da ein fotoelektrischer Funktionsabschnitt mit einer
Ausbildung, bei welcher eine Molekül-Mehrschicht mit
einem Heteroübergang zwischen Elektroden angeordnet
ist, leicht in einer integrierten Schaltung gebildet
werden kann, kann gemäß der vorliegenden Erfindung
auch die Dichte von Neuronen pro Flächeneinheit in
einer Informationsverarbeitungsvorrichtung leicht
erhöht werden durch Ausbildung einer
dreidimensionalen Verarbeitungsvorrichtung für visuelle
Informationen.
-
Diese und andere Aufgaben, Merkmale und Vorteile der
vorliegenden Erfindung werden deutlich, wenn Bezug zu
der folgenden Beschreibung der bevorzugten
Ausführungsbeispiele nach der vorliegenden Erfindung
genommen wird, zusammen mit einer Bezugnahme auf die
begleitenden Zeichnungen.
-
Fig. 1 ist ein herkömmliches
dreidimensionales Widerstandsschaltungs-Netzwerk zum
Berechnen der
Geschwindigkeitsinformationen für einen Gegenstand;
-
Fig. 2 ist eine Ansicht zur Darstellung der
Anordnung und der Zusammenschaltung
eines neuralen Oberschicht-Netzwerks
einer Verarbeitungsvorrichtung für
visuelle Informationen nach der
vorliegenden Erfindung;
-
Fig. 3 ist eine strukturelle Ansicht eines
Verarbeitungssystems für visuelle
Informationen, das gebildet ist unter
Verwendung der
Verarbeitungsvorrichtung
für visuelle Informationen nach
Fig. 2 und
-
Fig. 4 ist eine schematische Darstellung
eines Neuronen-Netzwerks der
Verarbeitungsvorrichtung für visuelle
Informationen nach der vorliegenden
Erfindung.
-
Ein Ausführungsbeispiel der vorliegenden Erfindung
wird nachfolgend mit Bezug auf die begleitenden
Zeichnungen erläutert.
-
Fig. 2 ist eine Illustration einer
Verarbeitungsvorrichtung für visuelle Informationen gemäß einem
Ausführungsbeispiel nach der vorliegenden Erfindung. In
dieser Figur ist nur eine Schicht einer Zweischicht-
Struktur gezeigt. Gezeigt in der Figur sind ein
Neuronen-Schaltungsbereich 11 (nachfolgend abgekürzt als
"Neuron"), der in einer integrierten Schaltung
ausgebildet ist, ein Eingangsanschluß 12 des Neurons, ein
Ausgangsanschluß 13 des Neurons, eine
Molekül-Mehrschicht 16 mit einem Heteroübergang, eine
Eingangsverdrahtung 14 unter der Molekül-Mehrschicht 16 auf
einer integrierten Halbleiter-Schaltungsvorrichtung,
eine Ausgangsverdrahtung 15 auf der
Molekül-Mehrschicht 16, ein auf der integrierten Schaltung
ausgebildeter Isolierfilm 17, ein
Videosignal-Eingangsabschnitt 18a, ein die integrierte Schaltung bildendes
Siliziumsubstrat 19, ein Querschnitt 20 des in der
integrierten Schaltung gebildeten Neuronenbereichs
und ein Abschnitt 18b zur Eingabe eines Tij-Signals,
das die Eingangs- und
Ausgangssynapsen-Bindungsfestigkeit von benachbarten Neuronen darstellt.
-
Die Eingangsverdrahtung 12 wird durch
Vakuumniederschlag von Aluminium und Fotolithographie gebildet
und die Ausgangsverdrahtung 13 wird als eine
semitransparente Aluminiumelektrode durch
Vakuumniederschlag von Aluminium und Fotolithographie gebildet.
Bezüglich der Ausgangsverdrahtung 13 kann eine
transparente Elektrode wie ITO, Nesa-Glas oder dergleichen
verwendet werden. Die
Heteroübergangs-Molekül-Mehrschicht 16 wird in einer solchen Weise gebildet, daß
mehrere Schichten von Hämatoporphyrin(IX)- bis
(Tridecanoylether):Ru(P(OCH&sub3;)&sub2; [abgekürzt RuHP(Ph)&sub2;] auf
einer integrierten Schaltung, auf welcher eine
Unterschicht-Aluminiumelektrode gebildet ist, abgeschieden
werden durch das Languir-Blodgett:LB-Verfahren und
mehrere Schichten von
7,8-Dimethyl-3,10-Dinonyl-Isoalloxianzin (abgekürzt DNI) werden darauf
niedergeschlagen. Eine derartige Molekül-Mehrschicht mit
einem Heteroübergang hat solche Eigenschaften, daß ein
über Elektroden fließender Strom sich entsprechend
der Intensität von aufgestrahltem Licht verändert.
-
Die in der integrierten Schaltung gebildeten Neuronen
sind in Kombination fit Widerständen, Kondensatoren,
Transistoren und so heiter gebildet durch Verwendung
einer herkömmlichen LSI-Herstellungstechnologie.
-
Fig. 3 zeigt ein Verarbeitungssystem für visuelle
Informationen, das uriter Verwendung der in Fig. 2
gezeigten Verarbeiturigsvorrichtungen für visuelle
Informationen gebildet ist. Gezeigt in Fig. 3 sind
ein Eingangsvideosignal 21, eine Vorrichtung 22 zur
Ausgabe eines Tij-Musters, ein Halbspiegel 23, der ein
Eingangsbildsignal so durchläßt wie es ist, und der
das Tij-Signal in derselben Richtung wie der des
Eingangsbildsignals ändert, Farbfilter 24a und 24b, die
auf der Heteroübergangs-Molekül-Mehrschicht gebildet
sind, ein Farbfilter 25 zum Umwandeln des
Eingangsvideosignals in ein einfarbiges Signal, eine
optisches Linsensystem 26 zum Fokussieren des
Eingangsvideosignals und des Tij-Signals auf einen
fotoelektrischen Umwandlungsabschnitt der
Verarbeitungsvorrichtung für visuelle Informationen, die vorstehend
erwähnte Verarbeitungsvorrichtung 27 für visuelle
Informationen und ein Ausgangssignal 28.
-
Fig. 4 ist eine schematisch Illustration eines
Neuronen-Netzwerks der Verarbeitungsvorrichtung für
visuelle Informationen. In dieser Figur bezeichnet die
Bezugszahl 30 eine vereinfachte Verdrahtung, die die
Bindung zwischen den Neuronen zeigt.
-
Als nächstes wird die Arbeitsweise erläutert.
-
Das Eingabevideosignal 21, das mit einem statischen
Gegenstand und einem bewegten Gegenstand gemischt
ist, wird durch das Bandpaßfilter 25 von 450 nm
gestrahlt und durch das optische Linsensystem 26
reguliert, so daß das Videosignal auf den
Videoeingangsabschnitt 18a der Heteroübergangs-Molekül-Mehrschicht
16 fokussiert wird. Das Filter 24a, das zum
Durchlassen von Licht mit einer Wellenlänge von 500nm oder
weniger in der Lage ist, ist auf dem
Videoeingangsabschnitt 18a angeordnet.
-
Das optische Tij-Signal mit einer Wellenlänge von etwa
550 bis 600 nm wird von der
Tij-Matrix-Lichtemissionsvorrichtung 22 abgestrahlt, dessen Lichtpfad durch
den Halbspiegel 23 gebogen ist, und wird auf den Tjj-
Eingangsabschnitt 28b der Heteroübergangs-Molekül-
Mehrschicht 16 gestrahlt. Das Filter 24b, das Licht
mit einer Wellenlänge von 500 nm oder weniger nicht
durchläßt, ist auf dem Tij-Eingabeabschnitt 18b
befestigt und dieser Abschnitt spricht nicht auf das
Eingangsvideosignal an.
-
In der integrierten Schaltungsvorrichtung bilden die
Neuronen 20 ein Netzwerk mit einer in Fig. 4
gezeigten Zweischicht-Matrixstruktur in einer solchen
Weise, daß der Eingang und Ausgang von benachbarten
Neuronen miteinander verbunden sind. Fig. 2 zeigt den
Verdrahtungszustand der Struktur einer Schicht der
Zweischicht-Struktur. Jede der Verbindungslinien 30
zwischen den Neuronen in Fig. 4 wird durch die
entsprechenden zwei Linien in dem Ausführungsbeispiel in
Fig. 2 dargestellt. Der Verbindungsabschnitt des
Eingangs- und Ausgangs der benachbarten Neuronen
entspricht dem Tij-Eingangsabschnitt 18b der
Heteroübergangs-Molekül-Mehrschicht 16. Die Festigkeit zwischen
den jeweiligen
Eingaiigs/Ausgangs-Verbindungsabschnitten (tatsächlich die Größe des Widerstands
dazwischen) wird bestimmt durch die Intensität des Lichts,
welches von den jeweiligen Licht-Matrixelementen in
der Tij-Matrix-Lichtemissionsvorrichtung 22 auf die
jeweiligen Eingabe/Ausgabe-Verbindungsabschnitte
gestrahlt wird.
-
Das Videoeingangssignal wird in einem bestimmten
Zeitintervall in das neurale Netzwerk eingegeben.
Wenn das Videoeingangssignal gleichzeitig zu den
jeweiligen Videoeingangsabschnitten 18 geführt wird,
wird der Eingangszustand der jeweiligen Neuronen
geändert, so daß das gesamte neurale Netzwerk
augenblicklich in einen stabilen Zustand eintritt. Wenn
nach einem bestimmten Zeitintervall das zweite
Videoeingangssignal zu den Abschnitten 18 geführt wird,
(i) bleibt das gesamte neurale Netzwerk in einem
stabilen Zustand, wenn kein Wechsel zwischen dem ersten
und dem zweiten Eingangssignal erfolgt, und
andererseits (ii), wenn irgendeine für ein bewegtes Objekt
repräsentative Videoinformation in dem zweiten
Videoeingangssignal enthalten ist und solche
Videoinformation von der in dem ersten Videoeingangssignal
enthaltenen versetzt ist, obgleich die Eingangszustände
der jeweiligen Neuronen geändert sind, um den
stabilen Zustand des neuralen Netzwerks zu stören, tritt
es augenblicklich in den nächsten stabilen Zustand
ein. In dem neu eingetretenen Zustand kann der
Geschwindigkeitsvektor des bewegten Objekts in einer X-
Richtung bestimmt werden aus den Ausgangswerten der
jeweiligen Neuronen der oberen Schicht, und der
Geschwindigkeitsvektor in einer Y-Richtung kann
bestimmt werden aus den Ausgangswerten der jeweiligen
Neuronen der unteren Schicht. Aus diesen
Geschwindigkeitsvektoren können die Informationen betreffend die
Position und Geschwindigkeit des bewegten Gegenstands
erhalten werden. In Fig. 3 sind die Bilder sowohl
einer statischen Blume als auch einer fliegenden
Biene als das Eingangsvideosignal 21 gezeigt, und das
Bild der fliegenden Eiene wird als das
Ausgangsvideosignal 18 von der Verarbeitungsvorrichtung 27 für
visuelle Informationen herausgezogen.