DE69121812T2

DE69121812T2 - Videobildverarbeitungsanlage

Info

Publication number: DE69121812T2
Application number: DE69121812T
Authority: DE
Inventors: Seiji Kobayashi; Demetri Psaltis
Original assignee: Sony Corp; California Institute of Technology CalTech
Current assignee: Sony Corp; California Institute of Technology CalTech
Priority date: 1990-07-16
Filing date: 1991-07-09
Publication date: 1997-01-30
Anticipated expiration: 2011-07-10
Also published as: EP0467577A3; US5091965A; EP0467577A2; DE69121812D1; JPH04227590A; EP0467577B1

Description

Die Erfindung bezieht sich auf eine Videobildverarbeitungsanordnung.
Wenn ein analoges Videobild in einen Binärwert bzw. in ein binäres Videobild konvertiert wird, ist die Anzahl der Bildelemente (Pixel), die das analoge Videobild bilden, erhöht, beispielsweise auf die zweifache Anzahl von Pixeln in vertikaler und horizontaler Richtung, so daß jedes Pixel nunmehr durch vier kleine Pixel ausgedrückt bzw. dargestellt ist. Infolgedessen sind fünf Gradationen für jeden Satz von vier kleinen Pixeln möglich, was bedeutet, daß die vier kleinen Pixel entweder alle weiß sind, daß ein Pixel schwarz ist, daß zwei Pixel schwarz sind, daß drei Pixel schwarz sind oder daß alle vier Pixel schwarz sind. Die Pixel des analogen Videobildes werden mit vier Schwellwerten verglichen und in Abhängigkeit von den Vergleichsergebnissen in entsprechende Darstellungen der fünf Gradationen konvertiert.
Falls die Konvertierung oder Quantisierung einfach ausgeführt wird, wie dies oben beschrieben worden ist, ändert sich die Gradation des Videobildes in einer schrittweisen Art, wodurch eine sogenannte Quasikontur erzeugt wird, was zu einer erheblichen Qualitätsverminderung des Videobildes führt.
Infolgedessen ist ein früherer Vorschlag dahingehend gemacht worden, die Quasikontur dadurch zu beseitigen, daß das analoge Videobild mit einer gewünschten Störkomponente gemischt wird, die keinerlei Korrelation mit dem analogen Videobild hat. Diese Vorgehensweise führt jedoch zu einem niedrigeren Rauschabstand des Videobildes, so daß eine gute Bildqualität nicht erhalten wird.
Wenn indessen ein sogenanntes Computer-Hologramm gebildet wird, wird es in binärer Form abgegeben, obwohl es aus einem analogen Wert gebildet ist. Infolgedessen tritt ein Quantisierungsrauschen auf, das bewirkt, daß der Rauschabstand eines wiedergegebenen Bildes erheblich verschlechtert ist.
In der Druckschrift "1989 International Conference on Acoustics, Speech and Signal Processing", 23. Mai 1989, Seiten 1787 bis 1790: D. Anastassiou und andere "Image halftoning and reconstruction using a neural network" ist zur Durchführung einer Graustufungs-Halbton-Konvertierung ein System angegeben worden, welches ein neuronales Netzwerk verwendet, um das frequenzbewertete mittlere quadratische Fehlerkritenum zu minimieren.
Gemäß der vorliegenden Erfindung ist eine Videobildverarbeitungsanordnung geschaffen zum Umsetzen eines analogen Videobildes in ein binäres Videobild,
mit einer Eingangseinrichtung für die Aufnahme des genannten analogen Videobildes,
mit einer Abtasteinrichtung zum Abtasten des aufgenommenen analogen Videobildes,
mit einer neuronalen Netzwerkschaltung, umfassend eine Vielzahl von Neuronen, die über entsprechende Synapsen miteinander verbunden sind,
mit einer Einstelleinrichtung zum Einstellen einer bestimmten Funktion,
mit einer ersten Recheneinrichtung zum Berechnen entsprechender Schwellwerte für jedes der Neuronen in der genannten neuronalen Netzwerkschaltung auf der Basis des abgetasteten Wertes des Videobildes und der genannten bestimmten Funktion,
und mit einer zweiten Recheneinrichtung zum Berechnen entsprechender Kopplungskoeffizienten für jede der Synapsen der genannten neuronalen Netzwerkschaltung auf der Basis der genannten bestimmten Funktion,
wobei die genannte neuronale Netzwerkschaltung die genannten Schwellwerte und die genannten Kopplungskoeffizienten derart verarbeitet, daß das genannte binäre Videobild gebildet ist.
Diese Videobildverarbeitungsanordnung ist dadurch gekennzeichnet, daß das eingangsseitige analoge Videobild ein Computer-Hologramm ist
und daß die genannte bestimmte Funktion eine Fensterfunktion ist, die kennzeichnend ist für einen Bereich eines gewünschten Bildes eines wiedergegebenen Videobildes,
welches aus der Fourier-Transformation des genannten Computer-Hologramms resultiert.
Unter einem anderen Aspekt betrachtet schafft die Erfindung eine Videobildverarbeitungsanordnung zum Umsetzen eines analogen Videobildes in ein binäres Videobild,
mit einer Eingangseinrichtung für die Aufnahme des genannten analogen Videobildes,
mit einer Abtasteinrichtung zum Abtasten des aufgenommenen analogen Videobildes,
mit einer neuronalen Netzwerkschaltung, umfassend eine Vielzahl von Neuronen, die über entsprechende Synapsen miteinander verbunden sind,
mit einer Einstelleinrichtung zum Einstellen einer bestimmten Funktion,
mit einer ersten Recheneinrichtung zum Berechnen entsprechender Schwellwerte für jedes der genannten Neuronen in der neuronalen Netzwerkkschaltung auf der Basis des abgetasteten Wertes des Videobildes und der genannten bestimmten Funktion,
und mit einer zweiten Recheneinrichtung zum Berechnen entsprechender Kopplungskoeffizienten für jede der Synapsen der genannten neuronalen Netzwerkschaltung auf der Basis der genannten bestimmten Funktion,
wobei die genannte neuronale Netzwerkschaltung die genannten Schwellwerte und die Kopplungskoeffizienten derart verarbeitet, daß das genannte binäre Videobild gebildet ist. Diese Videobildverarbeitungsanordnung ist dadurch gekennzeichnet, daß das eingangsseitige analoge Videobild ein Computer-Hologramm ist
und daß die genannte bestimmte Funktion einen Frequenzverlauf aufweist, der dem menschlicher Augen entspricht.
Die Erfindung wird nunmehr unter Bezugnahme auf die beigefügten Zeichnungen beispielsweise erläutert, in denen entsprechende Einzelteile durch entsprechende Bezugszeichen bezeichnet sind. In den Zeichnungen zeigen
Fig. 1 in einem Blockdiagramm ein Ausführungsbeispiel einer Videobildverarbeitungsanordnung gemäß der vorliegenden Erfindung,
Fig. 2A in einem schematischen Diagramm ein Beispiel einer neuronalen Netzwerkschaltung vom Hopfield-Typ,
Fig. 2B in einem schematischen Diagramm eine Anordnung von Neuronen,
Fig. 3 ein Diagramm zur Erläuterung einer neuronalen Netzwerkschaltung,
Fig. 4 in einem Diagramm ein Beispiel eines nach einem früheren Verfahren gewonnenen binären Videobildes,
Fig. 5 in einem Diagramm ein Beispiel eines durch eine Videobildverarbeitungsanordnung gemäß der vorliegenden Erfindung gewonnenes binären Videobildes,
Fig. 6A in einem Diagramm ein früheres Beispiel eines wiedergegebenen Bildes eines Computer-Hologramms und
Fig. 6B in einem Diagramm ein Beispiel eines unter Verwendung eines Ausführungsbeispiels gemäß der vorliegenden Erfindung wiedergegebenen Bildes eines Computer-Hologramms.
Gemäß Fig. 1 wird ein analoges Videobildsignal über eine analoge Videobild-Eingangseinrichtung 1 einer Abtasteinrichtung 2 zugeführt, in der das betreffende Signal einer horizontalen und vertikalen Abtastung in ähnlicher bzw. entsprechender Weise unterzogen wird, wie sie bei der Fernsehabtastung durchgeführt wird, um Werte entsprechender Pixel zu gewinnen.
Eine neuronale Netzwerkschaltung 3, beispielsweise eine neuronale Netzwerkschaltung vom Hopfield-Typ, die weiter unten vollständiger beschrieben werden wird, ist vorzugsweise mit viermal so vielen Neuronen versehen wie durch die Anzahl von abgetasteten Pixeln gegeben ist, was den kleinen Pixeln bei der zuvor beschriebenen früheren Konvertierung entspricht.
Außerdem ist in Fig. 1 eine Funktionseinstelleinrichtung 4 dargestellt, in der eine bestimmte Funktion eingestellt ist, die beispielsweise eine einer Frequenzcharakteristik eines menschlichen Auges bzw. menschlicher Augen entsprechende binäre Frequenz aufweist. Die in der Funktionseinstelleinrichtung 4 eingestellte Funktion und die Werte der durch die Abtasteinrichtung 2 abgetasteten entsprechenden Pixel werden einer Recheneinrichtung 5 zugeführt, welche Schwellwerte für entsprechende Neuronen der neuronalen Netzwerkschaltung 3 berechnet. Die in der Funktionseinstelleinrichtung 4 eingestellte Funktion wird außerdem einer Recheneinrichtung 6 zugeführt, welche Kopplungskoeffizienten für Synapsen der neuronalen Netzwerkschaltung 3 berechnet.
Die Verarbeitung wird in der neuronalen Netzwerkschaltung 3 durchgeführt, und in den entsprechenden Neuronen gebildeten konvergierten Werte werden einer Ausgangs- bzw. Ausgabeeinrichtung 7 als binäres Ausgangs-Videobildsignal zugeführt.
Alternativ dazu kann der Wert des durch die Abtasteinrichtung 2 abgetasteten jeweiligen Pixels mit einem gewünschten Schwellwert verglichen werden, woraufhin das Vergleichsausgangssignal an das jeweilige Neuron der neuronalen Netzwerkschaltung 3 als ein Initialwert abgegeben werden kann.
Infolgedessen wird das eingangsseitige analoge Videobildsignal von der Eingangseinrichtung 1 her in einen Binärwert konvertiert.
Es sei insbesondere angenommen, daß ein menschliches Bildfokussierungssystem inkohärent ist. Ein resultierendes Bild (m) wird durch Multiplizieren eines Original-Videobildes g(m) mit bzw. durch ein Filter mit einer Charakteristik W(f) menschlicher Augen bereitgestellt, welches grundsätzlich eine Tiefpaßfiltercharakteristik zeigt.
Die Substituierung der Fourier-Transformation von W(f), die als w(m) dargestellt ist, führt zur folgenden Gleichung (1):
(m) = g(m) * w(m) ...(1)
Hierin bedeutet * die Faltung.
Andererseits sei angenommen, daß u(m) ein bingres Videobild darstellt und daß α(m) das binäre Videobild darstellt, wie es auf der Retina eines menschlichen Auges fokussiert ist, wobei α einen Koeffizienten darstellt, der durch das Videobild ausgewählt ist. (m) kann wie folgt ausgedrückt werden:
(m) = u(m) *w(m) ...(2)
Eine Ausführungsform der vorliegenden Erfindung konvertiert ein analoges Videobild in ein binäres Bild bzw. in einen Binärwert, so daß die Differenz, wie sie auf der Retina eines menschlichen Auges zwischen dem binären Videobild und dem Original-Videobild gebildet ist, minimiert ist.
Eine Fehlerenergie E kann definiert werden als:
Ein Einsetzen von Gleichung (2) in Gleichung (3) führt zu:
Ferner sei angenommen, daß folgende Beziehung gilt:
Das Einsetzen des obigen Ausdrucks in Gleichung (4) führt zur folgenden Gleichung (5):
Ferner sei angenommen, daß folgende Beziehung gilt: falls
Das Einsetzen der obigen Ausdrücke in die Gleichung (5) führt sodann zum folgenden Ausdruck für die Fehlerenergie E:
Die neuronale Netzwerkschaltung 3 vom Hopfield-Typ kann beispielsweise so aufgebaut sein, wie dies in Fig. 2A veranschaulicht ist, gemäß der ein Neuron als Komparator gebildet ist und gemäß der Synapsen als Widerstände gebildet sind (siehe US-A-4 660 166 und US-A-4 719 591). Falls in dieser Situation die Größe S(i) ein Schwellwert eines Neuron ist, ist V(i) in Ausgangssignal der neuronalen Netzwerkschaltung, und T(i,j) ist ein Kopplungskoeffizient zwischen entsprechenden Neuronen. Das Ausgangssignal V(i) kann wie folgt ausgedrückt werden: falls
Diese Schaltung kann schematisch so dargestellt werden, wie dies in Fig. 28 veranschaulicht ist. Falls jedoch fünf Neuronen vorhanden sind, ist die neuronale Netzwerkschaltung so aufgebaut, wie dies in Fig. 3 gezeigt ist.
Falls der Kopplungskoeffizient der Synapsen, die zum selben Neuron zurückkehren, 0 ist und falls die Kopplungskoeffizienten zwischen den Neuronen einander gleich sind, dann arbeitet die in Fig. 3 dargestellte neuronale Netzwerkschaltung so, daß die Fehlerenergie E minimiert ist, die ihrerseits ausgedrückt werden kann als:
Demgemäß wird, wie aus Gleichungen 6 und 7 ersichtlich sein dürfte, in dem Fall, daß bei der oben beschriebenen Schaltungsanordnung die Schwellwerte S(i) der entsprechenden Neuronen in der neuronalen Netzwerkschaltung 3 durch die Recheneinrichtung 5 auf der Basis des Wertes g(m), der durch die Abtasteinrichtung 2 abgetastet ist, und der in der Einstelleinrichtung 4 eingestellten Funktion w(m) berechnet werden, und daß die Kopplungskoeffizienten T(i,j) der entsprechenden Synapsen der neuronalen Netzwerkschaltung 3 durch die Recheneinrichtung 6 berechnet werden, das analoge Videobild in einen binären Wert konvertiert, der einen relativ minimalen Fehler bei Betrachtung auf der Retina eines menschlichen Auges bzw. menschlicher Augen aufweist.
Bei einer bevorzugten Ausführungsform der oben beschriebenen Anordnung bzw. Anlage werden die in der neuronalen Netzwerkschaltung 3 erforderlichen Berechnungen durch einen Computer ausgeführt.
Die Fig. 4 und 5 veranschaulichen aktuelle Beispiele von Binärwert-Videobildern, bei denen ein Originalbild, welches 480 × 480 Pixel aufweist, in ein binäres Videobild konvertiert wird, welches 960 × 960 Pixel aufweist. Fig. 4 veranschaulicht dabei insbesondere ein Beispiel eines binären Videobildes, welches gemäß einem früheren Verfahren erzeugt ist, während Fig. 5 ein binäres Videobild von ausgezeichneter Qualität veranschaulicht, welches durch die Anlage bzw. Anordnung gemäß der vorliegenden Erfindung gebildet ist.
Nunmehr wird die Bildung eines Computer-Hologramms beschrieben.
Bei der Formulierung eines Computer-Hologramms wird eine Videobildinformation einer Fourier-Transformation unterzogen, und der Fourier-transformierte analoge Wert wird in einen entsprechenden binären Wert konvertiert, der dann als Hologramm aufgezeichnet wird. Demgemäß stellt das Fourier-transformierte Videobild ein Hologrammspektrum dar. Deshalb konvertiert das Computer-Hologramm einen Fourier-transformierten analogen Signalverlauf in einen binären Wert, in welchem das Hologrammspektrum einen gewünschten Bereich repräsentiert. Beim Stand der Technik ist jedoch verschiedentlich beobachtet worden, daß dann, wenn ein analoges Videobild durch einen einfachen Abschnittspegel in einen binären Wert konvertiert wird, Quantisierungsrauschen auftritt, das dazu führt, daß sich der Störabstand verschlechtert.
Deshalb sei angenommen, daß G(k) ein Signal in einer Spektrumsfläche darstellt, das heißt ein wiedergegebenes Videobild ist. Ferner sei angenommen, daß ein Bereich, aus welchem eine Störung auf der Spektrumsfläche zu entfernen ist, durch eine Fensterfunktion W(k) ausgedrückt werden kann, die beispielsweise ausgedrückt werden kann als: 1, falls Störung aus dem Bereich zu beseitigen ist 0, falls Störung in Bereich zugelassen ist
Ferner sei angenommen, daß die Störung aus einem Bereich zu entfernen ist, in welchem das Signal G(k) definiert ist, das heißt:
W(k) = 1, falls G(k) ≠ 0 ist. ...(a)
g(m) repräsentiert die Fourier-Transformation des Signals G(k); da g(m) typischerweise eine komplexe Zahl ist, kann die betreffende Größe nicht direkt aufgezeichnet werden. Anstelle von g(m) wird daher
aufgezeichnet. Infolgedessen wird ein in der Spektrumsfläche auftretendes Signal zu B(k) anstelle des idealen Signals G(k), wobei B(k) die Fourier-Transformation von b(m) ist
Im vorliegenden Fall besteht die Absicht, b(m) derart festzulegen, daß die Differenz zwischen B(k) und G(k) minimiert ist.
Demgemäß ist die Fehlerenergie E wie folgt definiert:
Gemäß dem Parsevalschen Theorem führt die oben erwähnte Definition zu:
In diesem Falle sei angenommen, daß G(k) und W(k) eine konjugierte symmetrische Beziehung in bezug auf den Originalpunkt erfüllen. Dies bedeutet G(k) = G*(m) und W(k) = W*(k).
Zu diesem Zeitpunkt werden die Fourier-Transformationen g(m) und w(m) reelle Zahlen.
Das Ordnen der Energiefunktion E durch Nutzung dieser Beziehung führt zu:
wobei gilt: falls
Auf der Basis der Gleichung (d) und der Gleichung (7) der neuronalen Netzwerkschaltung vom Hopfield-Typ sei demgemäß (i) als Schwellwert des jeweiligen Neurons, P(i,j) als Kopplungskoeffizient der jeweiligen Synapse und b(i) als Ausgangssignal des jeweiligen Neuron angenommen. Somit ist es möglich, die Fehlerenergie E durch Verwendung der neuronalen Netzwerkschaltung zu minimieren.
Die Fig. 6A und 6B veranschaulichen tatsächliche Beispiele von wiedergegebenen Videobildern eines Computer-Hologramms. Dabei veranschaulicht insbesondere Fig. 6A ein bisher bzw. früher wiedergegebenes Videobild, bei dem der Störabstand erheblich verschlechtert ist, während demgegenüber, wie in Fig. 6B veranschaulicht, ein ausgezeichnetes wiedergegebenes Videobild unter Verwendung einer Ausführungsform einer Videobildverarbeitungsanlage gemäß der vorliegenden Erfindung erzeugt werden kann, bei der die Störung bzw. das Rauschen im gewünschten Bereich des Videobildes reduziert ist.
Wie oben bezüglich einer Ausführungsform der Videobildverarbeitungsanlage gemäß der vorliegenden Erfindung beschrieben, wird ein Videobild durch die Verwendung der neuronalen Netzwerkschaltung verarbeitet, wodurch das analoge Videobild in zufriedenstellender Weise in einen Binärwert umgesetzt und ein Computer-Hologramm in zufriedenstellender Weise gebildet werden können.
Mit der oben beschriebenen Videobildverarbeitungsanlage werden die Schwellwerte der entsprechenden Neuronen und die Kopplungskoeffizienten der entsprechenden Synapsen in der neuronalen Netzwerkschaltung auf der Grundlage des eintreffenden analogen Videobildes und einer bestimmten Funktion berechnet, wie sie zuvor beschrieben worden ist.
Die Differenzkomponente E zwischen dem eintreffenden bzw. eingangsseitigen analogen Videobild und dem binären Videobild ist wie folgt definiert:
Dabei stellen α den Koeffizienten, u(i) den Wert, der aus der Konvertierung des eingangsseitigen analogen Videobildes in den binären Wert resultiert, P(i,j) den Wert, der aus der Funktion erhalten wird, und g(i) den Wert, der aus der Funktion und dem eingangsseitigen analogen Videobild erhalten wird, dar. Infolgedessen ist es möglich, das eingangsseitige analoge Videobild unter Verwendung der neuronalen Netzwerkschaltung in den binären Wert zu konvertieren.
Überdies ist es durch Festlegen der Funktion in der Weise, daß sie die Frequenzcharakteristik eines menschlichen Auges bzw. von menschlichen Augen aufweist, möglich, ein binäres Videobild zu erhalten, welches für ein menschliches Auge ausgezeichnet sichtbar ist.
Falls das eingangsseitige analoge Videobild ein Computer- Hologramm ist und die Funktion eine Fensterfunktion ist, die den Bereich des gewünschten Bildes des wiedergegebenen Videobildes angibt, welches seinerseits aus der Fourier- Transformation des Computer-Hologramms resultiert, kann ferner die Störung bzw. das Rauschen in dem Bereich des gewünschten Bildes im wiedergegebenen Videobild reduziert werden, und es kann ein ausgezeichnet wiedergegebenes Videobild erhalten werden.

Claims

1. Videobildverarbeitungsanordnung zum Umsetzen eines analogen Videobildes in ein binäres Videobild,

mit einer Eingangseinrichtung (1) für die Aufnahme des genannten analogen Videobildes,

mit einer Abtasteinrichtung (2) zum Abtasten des aufgenommenen analogen Videobildes,

mit einer neuronalen Netzwerkschaltung (3), umfassend eine Vielzahl von Neuronen, die über entsprechende Synapsen miteinander verbunden sind,

mit einer Einstelleinrichtung (4) zum Einstellen einer bestimmten Funktion,

mit einer ersten Recheneinrichtung (5) zum Berechnen entsprechender Schwellwerte für jedes der Neuronen in der genannten neuronalen Netzwerkschaltung (3) auf der Basis des abgetasteten Wertes des Videobildes und der genannten bestimmten Funktion,

und mit einer zweiten Recheneinrichtung (6) zum Berechnen entsprechender Kopplungskoeffizienten für jede der Synapsen der genannten neuronalen Netzwerkschaltung (3) auf der Basis der genannten bestimmten Funktion,

wobei die genannte neuronale Netzwerkschaltung (3) die genannten Schwellwerte und die genannten Kopplungskoeffizienten derart verarbeitet, daß das genannte binäre Videobild gebildet ist,

dadurch gekennzeichnet,

daß das eingangsseitige analoge Videobild ein Computer- Hologramm ist

und daß die genannte bestimmte Funktion eine Fensterfunktion ist, die kennzeichnend ist für einen Bereich eines gewünschten Bildes eines wiedergegebenen Videobildes,

welches aus der Fourier-Transformation des genannten Computer-Hologramms resultiert.

2. Videobildverarbeitungsanordnung zum Umsetzen eines analogen Videobildes in ein binäres Videobild,

mit einer Einstelleinrichtung (4) zum Einstellen einer bestimmten Funktion,

mit einer ersten Recheneinrichtung (5) zum Berechnen entsprechender Schwellwerte für jedes der genannten Neuronen in der neuronalen Netzwerkkschaltung (3) auf der Basis des abgetasteten Wertes des Videobildes und der genannten bestimmten Funktion,

wobei die genannte neuronale Netzwerkschaltung (3) die genannten Schwellwerte und die Kopplungskoeffizienten derart verarbeitet, daß das genannte binäre Videobild gebildet ist, dadurch gekennzeichnet,

daß das eingangsseitige analoge Videobild ein Computer-Hologramm ist

und daß die genannte bestimmte Funktion einen Frequenzverlauf aufweist, der dem menschlicher Augen entspricht.

3. Anordnung nach Anspruch 1 oder 2, wobei eine Differenzkomponente zwischen dem eingangsseitigen analogen Videobild und dem genannten binären Videobild eine Funktion des von der genannten bestimmten Funktion erhaltenen Wertes und des von dem eingangsseitigen analogen Videobild und der genannten bestimmten Funktion erhaltenen Wertes ist.