DE3855648T2

DE3855648T2 - Verfahren und vorrichtung für eine hierarchische kodierung zum wirksamen übertragen von bildfolgen

Info

Publication number: DE3855648T2
Application number: DE3855648T
Authority: DE
Inventors: S. Staffan Manchester Ma 01944 Ericsson
Original assignee: Picturetel Corp
Current assignee: Polycom Inc
Priority date: 1987-06-02
Filing date: 1988-03-24
Publication date: 1997-03-06
Anticipated expiration: 2008-03-25
Also published as: EP0705035A2; WO1988010047A1; EP0316418A1; DE3856536D1; CA1333501C; US4849810A; EP0705035B1; DE3855648D1; JPH01503509A; EP0316418B1; EP0705035A3; EP0316418A4; DE3856536T2

Description

Die Erfindung bezieht sich allgemein auf Verfahren und Vorrichtungen zur Datenkommunikation und Signalverarbeitung und speziell auf ein Verfahren und eine Vorrichtung zur verläßlichen und effizienten Codierung und Decodierung von Folgen von Bilddaten, die beispielsweise über einen Telefonkommunikationskanal übertragen werden.
Die Übertragung von Bildfolgen und speziell von Folgen natürlich auftretender Bilder, wie sie beispielsweise durch ein Fernsehsignal repräsentiert werden, ist das Ziel beträchtlicher Entwicklungsbemühungen. Typischerweise haben Entwickler auf das in hohem Maße redundante Wesen aufeinanderfolgender Bilder der Folge aufgebaut und haben die Bilddaten oft als einen Markov-Prozeß mit einem Korrelationskoeffizient nahe eins modelliert. Das dreidimensionale Markov-Modell liefert eine Begründung für die Verwendung differentieller Puls-Code- Modulation (DPCM) und von Transformationscodierungsverfahren, um die Redundanz zwischen Einzelbildern zu berücksichtigen.
Durch die Analyse des Wesens eines typischen, sich bewegenden Videobildes kommt man zu der Einsicht, daß die hauptsächliche Veränderung, die zwischen nachfolgenden Einzelbildern auftritt, die inhomogene Bewegung der Objekte innerhalb des Einzelbildes ist. Es wurde ebenfalls erkannt, daß eine fehlerlose Vorrichtung und ein fehlerloses Verfahren zur Abschätzung und Kompensierung dieser raumabhängigen Bewegung die Gestaltung eines Verfahrens und einer Vorrichtung zur Kompression von Intereinzelbilddaten ermöglicht, die eine wesentlich bessere Leistungsfähigkeit aufweisen als durch Senden eines Signals erreicht werden kann, das nur die Differenz zwischen nachfolgenden Einzelbildern repräsentiert.
Folglich wurden verschiedene bewegungskompensierende Codierungsverfahren und Vorrichtungen entwickelt. Diese Systeme sind typischerweise entweder empfängergestützte Bewegungskompensationssysteme oder sendergestützte Bewegungskompensationssysteme. Bei empfängergestützten Bewegungskompensationssysteme erstellt der Empfänger eine Voraussage bezüglich der Bewegung und kompensiert das vorhergehende Einzelbild bezüglich der erwarteten Bewegung. Der Sender, der in der gleichen Weise arbeitet, sendet daraufhin nur ein Fehlersignal, das beschreibt, was am Empfänger durchgeführt werden muß, um das vom Empfänger vorausgesagte Einzelbild zu korrigieren. Das Fehlersignal ist typischerweise codiert, um seine Bandbreite zu verringern.
Bei einem sendergestützten Bewegungskompensationssystem wird der Bewegungsabschätzungsprozeß nur am Sender durchgeführt. Verschiebungsvektoren werden im allgemeinen für bestimmte Bereiche des Bildes bestimmt und diese Daten werden daraufhin gemeinsam mit einem Fehlerinformationsdatensignal zu dem Empfänger übertragen. Am Empfänger wird der Kompensationsprozeß auf dem zuvor codierten Bild zunächst unter Verwendung der durch den Sender bereitgestellten Bewegungsinformation durchgeführt. Die Fehlersignaldaten, die durch den Sender zur Verfügung gestellt werden, werden daraufhin zu dem kompensierten Empfängerbild addiert, um die Bildqualität aufrechtzuerhalten.
Bei einem sendergestützten Bewegungskompensationssystem sind daher typischerweise mehrere Verschiebungsvektoren bereitgestellt und in wenigstens einem bevorzugten Ausführungsbeispiel ist jeder Vektor einem speziellen Bereich oder Block des Bildes zugeordnet. Die Blöcke überlappen sich typischerweise nicht und weisen beispielsweise eine Größe von acht Bildelementen (Pixel) auf acht Bildelemente auf. Verschiedene Verfahren wurden zur Codierung der Bewegungskompensationsdaten, die jedem der Blocks zugeordnet sind, verwendet. In seiner ebenfalls anhängigen U.S. Patentanmeldung Serien-Nr. 740,898, eingereicht am 03. Juni 1985, nun US-A-4 703 350, beschreibt Hinman ein verlustbehaftetes Codierungsverfahren zur Codierung der Verschiebungsinformation für die Bewegungskompensation.
Für die Codierung des Fehlerinformationsdatensignals in einem sendergestützten Bewegungskompensationssystem wurden ebenfalls zahlreiche Verfahren verwendet. In der oben angeführten Hinman-Anmeldung ist ein Verfahren und eine Vorrichtung zur verlustbehafteten Kompression beschrieben. Während diese Verfahren in hohem Maße vorteilhaft sind und ausgezeichnete Ergebnisse bereitstellen, ist es dennoch wünschenswert, die Kompression der Dateninformation weiter zu verbessern und dadurch eine Bildreproduktion hoher Qualität bei Verwendung von noch weniger Kanalbandbreite zu ermöglichen. Es ist weiterhin wünschenswert, eine bessere Kontrolle über die Datenübertragung bereitzustellen, indem beispielsweise die dem Bild zugeordnete Bitrate gesteuert wird.
Oftmals ist, beispielsweise während eines Szenenwechsels, eine beträchtliche zu übertragende Informationsmenge vorhanden, so daß während des Zeitraums eines einzelnen Einzelbildes die verfügbare Bandbreite nicht ausreicht, um alle Informationen zu übertragen. Demgemäß wurden verschiedene Verfahren implementiert, um die Anzahl der Informationsbits, die über den Kanal übertragen werden, selektiv zu begrenzen. Eines dieser Verfahren, beschrieben bei Ericsson, U.S. Serien-Nr. 001. 326, eingereicht am 07. Januar 1987, nun US-A-4 816 914, betitelt "A Method and Apparatus for Efficiently Coding and Decoding Image Sequences", verwendet eine Viererbaumcodierung in Verbindung mit der Übertragung von Teilen eines Datensatzes von Transformationskoeffizienten. Die Viererbaumcodierung stellt vorteilhafterweise einen feineren Qualitätsverlust des Bildes während heftiger Bewegung oder Szenenwechseln bereit.
Ein Artikel, betitelt mit "Hierarchical encoding of image sequences using multistage vector quantization" von B. Hammer et al. in "ICASSP 87, Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, Dallas, Texas, US", der den Anschein erweckt, sich auf eine Präsentation im April 1987 zu beziehen, bezieht sich auf Vektorquantisierung als Codierungsverfahren für eine Bildübertragung mit niedriger Datenrate und auf vielstufige Vektorquantisierung in Verbindung mit einer blocküberlappenden Pyramidentransformation, um die Quantisierung großer Blöcke in einer hierarchischen Art und Weise für die Übertragung von Bildphasenfolgen zu erlauben.
Es ist ein Ziel der vorliegenden Erfindung, Bildfolgen über einen Kommunikationskanal unter Verwendung relativ geringer Bandbreite zu übertragen und eine hohe Zuverlässigkeit und Wiedergabetreue bereitzustellen.
Entsprechend einem ersten Gesichtspunkt der Erfindung weist ein Verfahren zur Codierung von Intereinzelbildfehlerdaten in ein Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern folgende Schritte auf:
Dezimieren vorausgesagter Intereinzelbild-Bilddaten, die eine Voraussgae des letzten Einzelbilds repräsentieren, um eine Voraussagepyramidendatenstruktur, die die Voraussage für das letzte Bild darstellt, mit einer Vielzahl von Dezimierungsniveaus zu erzeugen;
Dezimieren uncodierter Letztbilddaten, die das uncodierte letzte Einzelbild darstellen, um eine Pyramidenstruktur von Letztbilddaten, die das letzte Bild repräsentieren, mit der Vielzahl der Dezimierungsniveaus zu erzeugen;
und Anwenden eines hierarchischen Vektorquantisierungscodierungsverfahrens auf die Pyramidenstruktur von Voraussage- und Letztbilddaten Niveau für Niveau, um eine codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen. Das Verfahren ist insbesondere in einem bewegungskompensierenden Bildübertragungssystem anwendbar, wobei die Einzelbilder von einer Sendestation zu einer Empfängerstation übertragen werden.
Gemäß weiteren Gesichtspunkten weist das Verfahren die Schritte des Anwendens eines hierarchischen Codierungsverfahrens auf die Datenstrukturen eines Niveaus Block für Block und das Verwischen von Blöcken der vorausgesagten Bilddarstellung auf, wenn vorausgesagte Bilddaten den Blockabschnitt des ursprünglichen Bildes nicht adäquat darstellen. Das Verfahren weist weiterhin das Verschieben von Blockgrenzen von Einzelbild zu Einzelbild in der Folge von Einzelbildern auf, um die Effizienz der Codierung zu verbessern. Das Verfahren weist weiterhin den Schritt der Verwendung arithmetischer Codierung auf, um die codierte Darstellung teilweise zu erzeugen.
Gemäß einem weiteren Gesichtspunkt der Erfindung weist das Verfahren das Anwenden verlustbehafteter hierarchischer Kompressionscodierung auf die Struktur von Voraussage- und Letztbilddaten Niveau für Niveau auf, um die codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen. Der Schritt des Anwendens weist den Schritt des Interpolierens von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau auf.
Gemäß einem weiteren Gesichtspunkt der Erfindung weist das Verfahren den Schritt des Bildens eines Differenzbildes Pixel für Pixel auf, das die Differenz zwischen vorausgesagten Bilddaten für ein letztes Einzelbild und uncodierten Letztbilddaten, die das uncodierte letzte Einzelbild darstellen, darstellt. Das Verfahren beinhaltet weiterhin das Dezimieren des Differenzbildes, um eine Pyramidenstruktur von Differenzbilddaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen, und das Anwenden einer hierarchischen Vektorquantisierungscodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen. Entsprechend einem speziellen Gesichtspunkt des Verfahrens werden die vorausgesagten Bilddaten durch Verwendung von Intereinzelbild Bewegungskompensation gebildet.
Nach einem weiteren Gesichtspunkt der Erfindung bezieht sich das Verfahren auf das Codieren von Daten, die als mehrdimensionale Matrix von Datenwerten dargestellt sind, und weist die Schritte des Quantisierens dieser Datenwerte, des Löschens aller quantisierten Datenwerte, die für jeden ihren nächsten Nachbarn einen Wert gleich null aufweisen, und des Anwendens einer Vektorquantisierungscodierung auf die verbliebenen Datenwerte auf. Gemäß einem weiteren Gesichtspunkt weist das Verfahren das Anwenden einer Verstärkung/Form Vek- torquantisierung auf Blöcke der Matrix von Datenwerten zur Codierung der Werte und das Variieren der Größe eines Formcodebuchs für die Vektorquantisierung als Funktion der Verstärkung auf, die der Form zugeordnet ist.
Die erfindungsgemäße Vorrichtung beinhaltet Schaltkreise zum Dezimieren vorausgesagter Intereinzelbild-Bilddaten fur ein letztes Einzelbild, um die Pyramidenstruktur von Voraussagedaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen, Schaltkreise zum Dezimieren uncodierter Letztbilddaten, die das uncodierte letzte Einzelbild darstellen, um eine Pyramidenstruktur von Letztbilddaten mit der Vielzahl der Dezimierungsniveaus zu erzeugen, und Schaltkreise zum Anwenden einer hierarchischen Vektorquantisierungscodierung auf die Pyramidenstruktur von Vorhersage- und Letztbilddaten Niveau für Niveau, um eine codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen. Die Vorrichtung weist weiterhin Schaltkreise zum Anwenden des hierarchischen Codierungsverfahrens auf die Datenstrukturen eines Niveaus Block für Block und Schaltkreise zum Verwischen von Blöcken der vorausgesagten Bilddarstellung, wenn die vorausgesagten Bilddaten den Blockabschnitt des ursprünglichen Bildes nicht adäquat darstellen, auf. Gemäß weiteren Gesichtspunkten beinhaltet die Vorrichtung Schaltkreise zur arithmetischen Codierung, um die codierte Darstellung wenigstens teilweise zu erzeugen; und Schaltkreise zum Verschieben von Blockgrenzen von Einzelbild zu Einzelbild in der Folge von Einzelbildern, um die Effizienz der Codierung zu verbessern.
Entsprechend einem weiteren Gesichtspunkt beinhaltet die Vorrichtung weiterhin Schaltkreise zum Anwenden verlustbehafteter hierarchischer Kompressionscodierung auf die Pyramidenstruktur von Voraussage- und Letztbilddaten Niveau für Niveau, um eine codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen. Die Schaltkreise zum Anwenden weisen Elemente zum Interpolieren von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau auf.
Gemäß einem weiteren Gesichtspunkt der Erfindung beinhaltet die Vorrichtung zur Codierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern Schaltkreise zum Bilden eines Differenzbildes Pixel für Pixel, das die Differenz zwischen vorausgesagten Bilddaten für ein letztes Einzelbild und uncodierten Letztbilddaten, die ein uncodiertes letztes Einzelbild darstellen, darstellt. Dezimierungsschaltkreise zum Dezimieren des Differenzbildes sind bereitgestellt, um eine Pyramidenstruktur von Differenzbilddaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen; und zum Anwenden einer hierarchischen Vektorquantisierungscodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine codierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den uncodierten Letztbilddaten zu erzeugen.
Die oben beschriebenen Merkmale stellen ein System bereit, bei dem die Anzahl der Bits, die verwendet wird, um jedes Bild einer Folge von Bildern zu übertragen, gesteuert wird, wodurch ein feinerer Qualitätsverlust des Bildes während eines Szenenwechsels oder während Zeiträumen heftiger Bewegung erzielt wird. Das System kann zuverlässig eine genaue Abschätzung der Verschiebung der Pixel eines abgetasteten Bildes in einer Folge übertragen und empfangen. Eine verbesserte Bewegungsabschätzung kann bei einem Verfahren und einer Vorrichtung zur Codierung und Decodierung erzielt werden, die eine genaue Bestimmung der gebietsweisen Verschiebung in einer Bildübertragungsvorrichtung in Echtzeit ermöglichen.
Die Erfindung wird nun beispielhaft unter Bezugnahme auf die Zeichnungen beschrieben, die folgendes darstellen:
Fig. 1 ist ein elektrisches Blockschaltbild eines typischen Bildkommunikationssystems in Übereinstimmung mit der beanspruchten Erfindung;
Fig. 2 ist ein elektrisches Blockschaltbild des Senders einer bewegungskompensierten Bildcodierungsvorrichtung, die die Erfindung verwendet;
Fig. 3 ist ein elektrisches Blockschaltbild des Empfängers eines bewegungskompensierten Bildcodierungssystems, um die Kanalsignale des Senders der Fig. 2 zu empfangen;
Fig. 4 ist ein elektrisches Blockschaltbild einer Bewegungskompensationsvorrichtung für ein Feld von mit niedriger Auflösung abgetasteten Bewegungsvektoren;
Fig. 5 ist eine schematische Darstellung eines räumlichen Interpolationsprozesses;
Fig. 6 ist ein elektrisches Blockschaltbild einer iterativen, im Raumbereich arbeitenden Bewegungsabschätzungsvorrichtung, die eine adaptive Fehlerminimierung nach der Methode des steilsten Abfalls verwendet;
Fig. 7 ist ein elektrisches Blockschaltbild einer iterativen, im Raumbereich arbeitenden Bewegungsabschätzungsvorrichtung mit einer verbesserten Datenverarbeitungsstruktur, die eine adaptive Fehlerminimierung nach der Methode des steilsten Abfalls verwendet;
Fig. 8 ist eine schematische Darstellung der relativen Positionen benachbarter Blöcke, die bei der Voraussage eines anfänglichen Verschiebungsbewegungsvektorwerts verwendet werden;
Fig. 9 ist ein Blockschaltbild des verlustbehafteten Komprimierers 28 der Fig. 2;
Fig. 10 ist ein Blockschaltbild des verlustbehafteten Komprimierers 46 der Fig. 2;
Fig. 11 ist eine schematische Darstellung eines eindimensio- nalen Dezimierungsprozesses;
Fig. 12 ist ein detailliertes elektrisches Blockschaltbild des verlustbehafteten Komprimierers 46;
Fig. 13 ist ein elektrisches Blockschaltbild des Senders einer bewegungskompensierten Bildcodierungsvorrichtung, die eine adaptive Filterung aufweist und die Erfindung verwendet;
Fig. 14 ist ein elektrisches Blockschaltbild des Empfängers eines bewegungskompensierten Codierungssystems, um die Kanalsignale des Senders der Fig. 13 zu empfangen; und
Fig. 15 ist ein allgemeines Blockschaltbild eines alternativen Ausführungsbeispiels eines verlustbehafteten Komprimierers.
Unter Bezugnahme auf die Fig. 1 weist ein Kommunikationssystem 6 einen Sender 8 auf, der in Übereinstimmung mit einem bevorzugten Ausführungsbeispiel der Erfindung eine Kamera 10 beinhaltet, um einem Analog/Digital-Wandler und Einzelbildpuffer 12 ein Videosignal zur Verfügung zu stellen. Der Einzelbildpufferabschnitt des Analog/Digital-Wandlers und Einzelbildpuffers 12 ist in der Lage, ein volles Einzelbild des Videos zu speichern, das beispielsweise auf acht Bit über ein 256x240 Pixelraster abgetastet ist.
Der gesamte Codierungs- und Bewegungskompensationsprozeß findet im digitalen Bereich statt. Der Sender weist eine Fehlersignalschaltung 14 und eine Bewegungsabschätzungs- und Codierungsschaltung 16 auf. Ein Kanalcodierer 18 codiert die Ausgaben der Fehlerschaltung 14 und der Bewegungsabschätzungs- und Codierungsschaltung 16 und gibt die auf diese Weise codierten Daten zur Übertragung zu einem Empfänger 21 auf einen Kanal 20.
Die dargestellte Bewegungsabschätzungs- und Codierungsschaltung 16 der Fig. 1 vergleicht, in Übereinstimmung mit einem bevorzugten Ausführungsbeispiel der Erfindung und bezogen auf Fig. 2, ein vorliegendes ursprüngliches Eingabeeinzelbild, das auf der Leitung 22 verfügbar ist, mit dem vorherigen ursprünglichen Eingabebild, das in diesem dargestellten Ausführungsbeispiel von einem Einzelbildpuffer 24 verfügbar ist. Eine Bewegungsabschätzungsschaltung 26 erzeugt ein Maß der Bewegungsverschiebung zwischen den, in diese eingegebenen Einzelbildern und kann jede Anzahl von Bewegungsabschätzungsvorrichtungen, wie sie nach dem Stand der Technik bekannt sind, aufweisen. In einem bevorzugten Ausführungsbeispiel, das im folgenden beschrieben wird, verwendet die Bewegungsabschätzungsvorrichtung ein adaptives Fehlerminimierungsverfahren nach der Methode des steilsten Abfalls, um das Maß für die Bewegungsverschiebung zu erzeugen, wie in Hinman, U.S. Patent US-A-4 661 849 beschrieben ist.
Die Ausgabe des Bewegungsabschätzers 26 ist ein Feld von Bewegungsvektoren, die, wie oben bemerkt, ein Maß der Bewegungsverschiebung zwischen eingegebenen Einzelbildern bereitstellen. Dieses Vektorfeld stellt eine Beschreibung bereit, wie ein vorheriges eingegebenes Einzelbild oder Eingabebild von dem Puffer 24 zu einer besten Approximation des vorliegenden eingegebenen Einzelbilds oder Bilds auf der Leitung 22 angepaßt werden kann. Mit "besten" ist ein Fehlermaß gemeint, wie beispielsweise ein mittlerer quadratischer Fehler. Typischerweise und in dem dargestellten Ausführungsbeispiel verwendet der Bewegungsabschätzer ein Bereichsanpassungsverfahren zwischen nichtüberlappenden Blöcken der vorherigen und vorliegenden Eingabebilder. Sollte in einem Bereich des vorliegenden Bildes Bewegung auftreten, wird der Abschätzer bestimmen, welcher Block des vorherigen Bilds die beste Anpassung für den Block des vorherigen Bildes ist, und der Wert der Verschiebung ist die Differenz zwischen einem neuen Koordinatenpaar für den Block in dem vorliegenden Bild und dem ursprünglichen Koordinatenpaar für den Block in dem früheren Bild. Diese Bestimmung legt den Bewegungsvektor so fest, daß er dem Block des vorliegenden Bilds zugeordnet ist.
Da Szenen im allgemeinen aus verschiedenen großen Objekten bestehen, die sich über der Zeit gleichförmig bewegen, tritt in dem Bewegungsvektorfeld ein hoher Korrelationsgrad auf. Um die Übertragung redundanter Information zu vermeiden, und um die Datenbitanforderungen zu verringern, modifiziert das bevorzugte Ausführungsbeispiel der Erfindung das Bewegungsvektorfeld, wobei einige Informationen verlorengeht, um die Kompression der die Bewegung darstellenden Daten zu erleichtern. In dem dargestellten Ausführungsbeispiel wird dieser Arbeitsvorgang durch einen "verlustbehafteten Komprimierer" 28 dargestellt, der die Menge der Daten und folglich die Bandbreite reduziert, die erforderlich ist, um das Bewegungsvektorfeld darzustellen. Unter Berücksichtigung der Ähnlichkeit zwischen dem Bewegungsvektorfeld und den natürlichen Bildern, kann eine Voraussage-, Transformations- oder Interpolationscodierung der zwei unabhängigen Komponenten des Vektorfelds von dem verlustbehafteten Komprimierer 28 verwendet werden.
Auf diese Weise wird die Schaltung des verlustbehafteten Komprimierers 28 zur Codierung des Bewegungsvektorfelds verwendet, das auf den Leitungen 32 verfügbar ist, und stellt auf den Leitungen 30 ein codiertes Bewegungssignal bereit, das die Bewegungsvektoren repräsentiert. Diese Ausgabe des verlustbehafteten Komprimierers wird, wie oben bemerkt, beim Dekodieren nicht exakt die Signale auf den Leitungen 32 (die das Maß der Bewegungsverschiebung bereitstellen) reproduzieren und weist daher ein Fehlersignal auf, das dieser zugeordnet ist. Nichtsdestotrotz ist die Verringerung in bezug auf die Datenanforderungen eines verlustbehafteten Komprimierers so wesentlich, wenn sie beispielsweise mit einem PCM exakten Codierungsverfahren verglichen wird, daß die Verwendung eines verlustbehafteten Komprimierers ein deutlicher Fortschritt ist. Eine bevorzugte Schaltung eines verlustbehafteten Komprimierers verwendet eine diskrete Kosinustransformation und die Schaltung verwendet ein Verarbeitungsverfahren, das in der ebenfalls anhängigen Anmeldung, U.S. Serien-Nr. 740 806, nun US-A-4 754 492, betitelt mit "Method and System for Adapting a Digitized Signal processing System for Block Processing With Minimal Blocking Artifacts", eingereicht am 03. Juni 1985, beschrieben ist. Der Erfinder ist Henrique Malvar.
Die Schaltung des verlustbehafteten Komprimierers 28 sorgt in dem dargestellten Ausführungsbeispiel der Erfindung für eine Blocktransformation und beinhaltet zusätzliche Schaltungen, um die Anzahl der Bits (die Bandbreite) zu verringern, die erforderlich sind, um das transformierte Bewegungsvektorfeld zu beschreiben. Der verlustbehaftete Komprimierer kann auf diese Weise die Quantisierungsschrittgröße (und falls notwendig die Schwelle) verändern, mit der die Transformationskoeffizienten, die das Bewegungsvektorfeld festlegen, "digitalisiert" werden, wodurch die Anzahl der Ausgabebits verringert wird, wenn entweder der Wert der Quantisierungsschrittgröße oder der Schwelle (oder beider) steigt. Der verlustbehaftete Komprimierer verwendet ebenfalls vorzugsweise eine arithmetische Codierung, die auf die Transformationskoeffizienten, die als Markov-Prozeß modelliert sind, angewendet wird. Dieses Codierungsverfahren stellt eine wesentliche Verringerung der Ausgabebits beispielsweise gegenüber dem System bereit, das in US-A-4 703 350 beschrieben ist.
Die Ausgabe der Schaltung des verlustbehafteten Komprimierers auf den Leitungen 30 wird, wie oben bemerkt, dem Codierer 18 übergeben. Zusätzlich werden diese Signale durch die Fehlerschaltung 14 verwendet, um zu bestimmen, was der Empfänger, vorausgesetzt im Kanal treten keine Fehler auf, empfanger hätte, wodurch der Mechanismus für die Bestimmung des Voraussagefehlersignais bereitgestellt wird, d.h. für das Signal, das die Differenz zwischen dem, was der Empfänger basierend auf der codierten Bewegungssignaldarstellung auf den Leitungen 30 vorausgesagt hätte, und der tatsächlichen Bildeingabe darstellt.
Die Ausgabe des verlustbehafteten Komprimierers auf den Leitungen 30 wird von einer Rekonstruktionsschaltung 34 verwendet, um an ihrem Ausgang ein Signal zu erzeugen, das ein Maß der Bewegungsverschiebung, die Bewegungsvektoren, auf den Leitungen 32 wiedergibt. Die Differenz zwischen den Signalen auf den Leitungen 36, der Ausgabe der Rekonstruktionsschaltung, und den Signalen auf den Leitungen 32, stellt den Codierungsfehler dar, der durch die Vorrichtung 28 zur verlustbehafteten Kompression verursacht ist. Die Ausgabe der Rekonstruktionsvorrichtung 34 auf den Leitungen 36 wird zu einer Bewegungsfeldinterpolationsschaltung 38 geleitet, die im Raumbereich arbeitet, um jedem Bildelement einen Bewegungsverschiebungsvektor zuzuordnen. Während die Eingabesignale auf den Leitungen 36 Bewegungsverschiebungen für Gruppen oder Bereiche von Elementen darstellen, beispielsweise die Bildelemente eines 4x4-Blocks, löst der Bewegungsfeldinterpolierer, wie unten genauer beschrieben, diese Daten so auf, daß jedem Bildelement ein Bewegungsverschiebungsvektor zugeordnet ist. Die sich ergebende Ausgabe des Bewegungsfeldinterpolierers auf den Leitugen 40 wird als Bewegungsrekonstruktionssignal bezeichnet.
Das Bewegungsrekonstruktionssignal wird einer Bewegungskompensationsvorrichtung 42 zugeführt, die Teil einer Fehlerrekonstruktionsschleife 43 ist. Die Fehlerrekonstruktionsschleife beinhaltet einen Einzelbildpuffer 44, eine Schaltung 46 für verlustbehaftete Kompression und eine Rekonstruktionsschaltung 48. Die Eingaben für die Schaltung 46 für verlustbehaftete Kompression auf den Leitungen 22 und 51 sind jeweils das ursprüngliche Eingabebild für das letzte Einzelbild und das abgeschätzte Empfängersignal, d.h., das Signal, das der Empfänger ohne jegliche weitere Daten rekonstruieren und anzeigen wird. Der verlustbehaftete Komprimierer 46 versorgt den Empfänger mit weiteren codierten Daten, nämlich dem Fehlerrekonstruktionssignal, um die Differenz zwischen dem ursprünglichen Eingabebild und dem abgeschätzten Empfängersignal zu verringern und im Grunde zu beseitigen. Diese Differenz ist codiert, um ihre Bandbreite zu verringern und das sich ergebende Signal, das Fehlerrekonstruktionssignal auf der Leitung 52, wird dem Kanalcodierer 18 zugeführt. Der verlustbehaftete Komprimierer 46 in der oben erwähnten Ericsson- Patentanmeldung ist ein zweidimensionaler Blockcodierer, der einen Quantisierer mit gleichförmiger Quantisierungsschrittgröße verwendet; und die Ausgabe der Blocktransformation kann vorteilhafterweise entsprechend den oben in Verbindung mit dem verlustbehafteten Komprimierer 28 beschriebenen Prozessen weiter in der Bandbreite reduziert und codiert werden. In dem bevorzugten und dargestellten Ausführungsbeispiel der Erfindung werden jedoch vorteilhafterweise bei der Verwirklichung des verlustbehafteten Komprimierers 46 ein Verfahren und eine Vorrichtung zur hierarchischen Vektorquantisierungscodierung verwendet.
Das Fehlerrekonstruktionssignal wird ebenfalls zu der Rekonstruktionsvorrichtung 48 gesendet, die eine Operation durchführt, die zu der, die der verlustbehafteter Komprimierer 46 durchführt, invers ist. Es ergibt sich daher am Ausgang der Rekonstruktionsvorrichtung 48 ein Fehlerrekonstruktionsbild auf den Leitungen 54. Das Fehlerrekonstruktionsbild wird zu der erwarteten Ausgabe des Bewegungskompensators hinzuaddiert (die das abgeschätzte Empfängerbild auf den Leitungen 51 ist) und das sich ergebende Signal, ein abgeschätztes vorheriges Empfängerbild (das vorausgesagte Empfängerbild für das vorherige Einzelbild), wird in dem Einzelbildpuffer 44 gespeichert.
Wie oben bemerkt, ist die Eingabe in den Einzelbildpuffer 44 das abgeschätzte vorherige Empfängerbild. Dieses Empfängerbild, das alle Daten, die durch den Empfänger empfangen wurden, berücksichtigt, entspricht für ein Einzelbild dem rekonstruierten Empfängerbild. Die Bildausgabe von dem Einzelbildpuffer auf den Leitungen 64 ist das Bild, das die Bewegungskompensationsschaltung 42 entsprechend der Ausgabe des Bewegungsfeldinterpolierers 38 auf den Leitungen 40 modifiziert. Die Ausgabe des Bewegungskompensators 42 stellt daher das vorausgesagte Empfängerbild als Ergebnis der Rekonstruktion der Ausgabedaten von dem verlustbehafteter Komprimierer 28 dar.
Unter Bezugnahme auf Fig. 3 werden im Empfänger 21 die Daten von dem Kanal durch eine Kanaldecodiererschaltung 70 decodiert und das sich ergebende empfangene Fehlerrekonstruktionssignal auf den Leitungen 72 und die empfangene codierte Bewegungssignaldarstellung auf den Leitungen 74 werden jeweils der Rekonstruktionsschaltung 76, dem Bewegungskompensator 99 und der Rekonstruktionsschaltung 78 zugeführt. Die Rekonstruktionsschaltungen 76 und 78 sind dafür ausgelegt, die Codes zu dekodieren, die von dem Sender dazu verwendet werden, die Arbeitsvorgänge der Rekonstruktionsschaltungen 48 und 34 des Senders durchzuführen, wie nachfolgend näher beschrieben wird. Die Ausgabe der Fehlerrekonstruktionsschaltung 76 wird einer Wiedergewinnungsschleife 80 zugeführt, in der die Bewegungskompensationssignale auf den Leitungen 82 der Fehlerbilddarstellung auf den Leitungen 84 hinzuaddiert werden, um ein rekonstruiertes Empfängersignal auf den Leitungen 86 zu erzeugen. Dieses Signal wird einer Digital/Analog-Schaltung 90 und dann zum Betrachten einem Monitor 92 zugeführt.
Die Bewegungsrekonstruktionssignale werden von einem Bewegungsfeldinterpolierer 96 erzeugt, der dem Bewegungsfeldinterpolierer 38 der Fig. 2 entspricht. Der Bewegungsfeldinterpolierer stellt, wie oben bemerkt, für jedes Bildelelement des Bildes einen Bewegungsvektor bereit und ermöglicht dadurch dem Einzelbildinterpolierer genau vorauszusagen, wie das Bild zu jeder ausgewählten Zeit zwischen empfangenen Einzelbildern ausgesehen hätte. Die rekonstruierten Empfängerbilder auf den Leitungen 86 werden nacheinander in einem Einzelbildpuffer 98 gespeichert und werden einem Bewegungskompensator 99 zugeführt, der ebenfalls Signale von dem Bewegungsfeldinterpolierer 96 empfängt. Die Ausgabe des Bewegungskompensators, die das erwartete Empfängerbild ohne Fehlerkorrektur darstellt, entspricht im Sender dem Signal auf den Leitungen 51 und wird dem Addierer 100 zur Kombination mit der Ausgabe der Fehlerrekonstruktionsschaltung auf den Leitungen 84 zugeführt.
Die Sender- und Empfängerschaltungen der Fig. 2 und 3 können auf verschiedene Art und Weise modifiziert werden, wie beispielsweise in US-A-4 703 350 und in US-A-4 816 914 beschrieben ist. Während diese alternativen Ausführungsbeispiele der Sender- und Empfängerstruktur bei verschiedenen Kommunikationskonfigurationen anwendbar sind, ist die hier beschriebene und beanspruchte Erfindung, die sich auf ein hierarchisches Codierungssystem bezieht, nicht davon abhängig, welche dieser speziellen Senderkonfigurationen verwendet wird und wird daher nur in Verbindung mit der typischen, oben erläuterten Sender- und Empfängerkonfiguration beschrieben werden.

Der Bewegungsfeldinterpolierer (38, 96)

Unter Bezugnahme auf die Fig. 4 empfängt der Bewegungsfeldinterpolierer 38 von der Rekonstruktionsschaltung 34 für jeden Blockbereich des Bildes einen Bewegungsverschiebungsvektor auf den Leitungen 36. Bei einem Farbvideosignal kann ein typisches Luminanzbild beispielsweise eine Blockgröße von 8x8 Pixel haben, wohingegen ein typisches Chrominanzbild beispielsweise eine Blockgröße von 4x4 Pixel haben kann. Der Bewegungsfeldinterpolierer, der ein ausgewähltes Interpolationsverfahren verwendet, ordnet daraufhin jedem Pixel des Einzelbildes einen interpolierten Bewegungsvektorverschiebungswert zu.
Gemäß dem bevorzugten Gesichtspunkt der Erfindung wird eine potenzierte Kosinusinterpolationsfunktion für die Zuordnung eines Verschiebungswerts zu jedem Pixel verwendet. Die Interpolationsfunktion wird in 130 gespeichert. Das Eingabevektorfeld wird in einem Puffer 132 gespeichert und hat eine niedrige, der Blockgröße entsprechende Auflösung.
In Übereinstimmung mit diesem Gesichtspunkt der Erfindung wird jeder Verschiebungsvektor von der Rekonstruktionsschaltung 34 dem Mittelpunkt eines Bereichs aus mehreren Pixeln zugeordnet. Unter Bezugnahme auf Fig. 5 sind für einen 4x4- Blockbereich die Interpolationsvektoren daher einer Mittenposition zugeordnet, d.h., den Positionen 400, 402, 404, die bei einem 4x4-Block keinem Bildelement zugeordnet sind.
Der Interpolationsprozeß, der durch einen Vektorinterpolierer 134 (Fig. 4) durchgeführt wird, arbeitet sowohl in der X- als auch in der Y-Richtung. Der Verschiebungsvektor, der dem 4x4- Pixel-Blockbereich zugeordnet ist, der seine Mittenposition bei 400 hat, und der entsprechende Verschiebungsvektor, der dem Bereich zugeordnet ist, der seine Mittenposition bei 402 hat, können beispielsweise bezüglich der X-Richtung interpoliert werden, wohingegen die Verschiebungsvektoren der Bereiche, die ihren Mittelpunkt bei 400 und bei 404 haben, bezüglich einer Interpolation in Y-Richtung verwendet werden können. Im allgemeinen verwendet der Interpolationsprozeß mehrere Verschiebungsvektoren, die einen Punkt umgeben, um den Wert des Verschiebungsvektors an diesem Punkt abzuleiten. Auf diese Weise wird jedem Pixel des Bildes von dem Vektorinterpolierer 134 in Übereinstimmung mit der verwendeten Interpolationsfunktion ein in X- und Y-Richtung interpolierter Verschiebungsvektorwert zugeordnet. In anderen Ausführungsbeispielen der Erfindung können andere Interpolationsfunktionen als der potenzierte Kosinus verwendet werden. Beispielsweise kann eine lineare Interpolationsfunktion oder eine trapezförmige Interpolationsfunktion verwendet werden, letztere zur Verringerung der erforderlichen Rechenleistung.
Die Ausgabe des Senderbewegungsfeldinterpolierers 38 oder des Empfängerbewegungsfeldinterpolierers 96 (der in gleicher Weise wie der Interpolierer 38 arbeitet) wird der Schaltung für volle Bewegungskompensation 42 im Sender und der Schaltung für volle Bewegungskompensation 80 in dem Empfänger zugeführt. Die Schaltungen für volle Bewegungskompensation 42 und 80, die jeweils Einzelbilddaten von den Einzelbildpuffern 44 und 98 und Ausgabedaten von dem Bewegungsfeldinterpolierer verwenden, bewirken im Sender die Erzeugung des abgeschätzten Empfängerbilds auf den Leitungen 51 und im Empfänger die Erzeugung des empfangenen abgeschätzten Bilds auf den Leitungen 82. Die Bewegungskompensationsschaltung bildet jeden ausgegebenen Pixelort auf einen Ort in dem vorherigen Einzelbild ab, wie es durch den Verschiebungsvektorwert, der diesem ausgegebenen Pixelort zugeordnet ist, angezeigt ist. Die Verschiebungsvektoren werden durch die zugeordnete Bewegungsfeldinterpolationsschaltung spezifiziert. Bezogen auf Fig. 4 ist dies die Ausgabe des Vektorinterpolierers 134.
Für einige Koordinatenorte des neuen Bildfeldes ergibt sich jedoch eine Abbildung von Pixelkoordinaten in dem vorherigen Einzelbild, die nicht auf einen Gitterort fallen. Das heißt, der interpolierte Bewegungsverschiebungsvektor kann beispielsweise eine Bewegung um 1¼ Bildelemente fordern. In solchen Fällen verwendet die Bewegungskompensationsvorrichtung eine räumliche (oder Pixel) Interpolation, beispielsweise eine lineare räumliche Interpolation des 2x2-Pixelblocks, der den nicht ganzzahligen Ort umgibt, um einen Pixelwert von dem vorherigen Bild zu bestimmen. Andere Interpolationsfunktionen könnten selbstverständlich verwendet werden, beispielsweise kann der für die nicht ganzzahlige Koordinate des vorherigen Einzelbilds ausgewählte Wert der Wert des Pixels sein, der dieser am nächsten liegt. Alternativ kann eine potenzierte Kosinusinterpolationsfunktion verwendet werden.
Der Bewegungsfeldinterpolierer 38 und der Bewegungskompensator 42 können durch Hardware, durch Software oder durch eine Kombination von Hardware und Software verwirklicht werden.

Der verlustbehaftete Komprimierer (28)

In Übereinstimmung mit einem bevorzugten Ausführungsbeispiel der Erfindung verwendet die Schaltung zur verlustbehafteter Kompression 28 ein Blocktransformationscodierungsverfahren zur Codierung des Bewegungsabschätzungsausgabesignals.
Die Ausgabe der Bewegungsabschätzungsschaltung 26 hat im wesentlichen das Ansehen eines in hohem Maße korrelierten Bildes, worin jedes Bildelement nicht einen Abschnitt eines visuellen Bildes, sondern einen Verschiebungswert darstellt.
In dem dargestellten Ausführungsbeispiel der Erfindung verwendet die Schaltung zur verlustbehafteten Kompression 28 eine diskrete Kosinustransformation. Die Schaltung 28 arbeitet daher beispielsweise mit der Verschiebungsvektorausgabe der Bewegungsabschätzungsschaltung 26, um Koeffizientendaten bereitzustellen, die daraufhin adaptiv einem Schwellwert- und gleichförmigen Quantisierungsprozeß unterworfen werden. In diesem Fall verwendet die Rekonstruktionsschaltung 34 die inverse diskrete Kosinustransformation, die im Stand der Technik bekannt ist.
Gemäß einem weiteren Gesichtspunkt der Erfindung und wie in US-A-4 754 492 beschrieben ist, können Vorlaufverfahren verwendet werden, um das oben beschriebene Transformationsverfahren weiter zu verbessern und die Artefakte der Blockkodierung im wesentlichen zu eliminieren. In einem weiteren Ausführungsbeispiel der Erfindung kann der verlustbehaftete Komprimierer unter Verwendung einer Short-Space-Fouriertransformation verwirklicht werden, wie beispielsweise in der U.S.- Patentanmeldung Serien-Nr. 713 478, eingereicht am 19. März 1985 (US-A-4 703 349) beschrieben ist, die auf ein Verfahren und eine Vorrichtung für mehrdimensionale Signalverarbeitung unter Verwendung einer Short-Space-Fouriertransformation gerichtet ist und die dem Rechtsnachfolger der vorliegenden Erfindung zugewiesen ist.
Die Schaltung zur verlustbehafteten Kompression 28 enthält Elemente zur Kompression der Datenbandbreite, um die ausgegebene Bitrate, die dem Kanalcodierer 18 zugeführt wird, zu steuern und zu verringern. Bei der auf Fig. 9 bezogenen genaueren Untersuchung des verlustbehafteten Komprimierers 28 in Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung wird deutlich, daß die Blocktransformation 450, der die Eingabe in den verlustbehafteten Komprimierer unterworfen wird, bewirkt, daß jeder Block im Raumbereich in eine Matrix von Transformationskoeffizienten (von denen einige oder alle gleich null sein können) transformiert wird. Diese Koeffizienten werden daraufhin quantisiert und falls notwendig einem Schwellwertprozeß unterworfen, um die Anzahl der von null verschiedenen Koeffizienten weiter zu verringern. In Übereinstimmung mit der Erfindung verringert ein vergrößerter Schwellwert und/oder eine erhöhte Quantisierungsschrittgröße die Anzahl der zu codierenden, von null verschiedenen Koeffizienten und weiterhin die Länge der Codeworte, die erforderlich ist, um die durch das Blocktransformationsverfahren ausgegebenen Koeffizienten zu beschreiben.
In Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung wird die Quantisierungsschrittgröße für ein Einzelbild vorteilhafterweise vor der Codierung des Einzelbilds vorausgesagt. Eine Quantisierungsvoraussage und Steuerung 452 wird von dem verlustbehafteten Komprimierer 28 verwendet, und zwar entsprechend der in den Bewegungssignalen enthaltenen Energie, die von dem Bewegungsabschätzer 26 auf den Leitungen 188 zur Verfügung gestellt werden.
Unter Verwendung der vorausgesagten Quantisierungsschrittgröße codiert der verlustbehafteter Komprimierer bei 454 die verbleibenden Blocktransformationskoeffizienten indem beispielsweise ein arithmetisches Codierungsverfahren verwendet wird. Dieses Verfahren, das aus der Bildfunktechnik bekannt ist, ist implementiert, um die Orte der von null verschiedenen Koeffizienten effizient zu codieren. Die Vorrichtung codiert die quantisierten, von null verschiedenen Matrixkoeffizientenwerte, die gesendet werden sollen, erneut unter Verwendung des arithmetischen Codierungsverfahrens mit variabler Länge bei 456 und stellt die Codedaten mit variabler Länge den Kanalcodierer 18 zur Verfügung. (Der verlustbehaftete Komprimierer stellt die codierten Daten des Quantisierers dem Rekonstruierer und alle arithmetisch codierten Daten nur dem Kanalcodierer zur Verfügung).
Im Betrieb werden die zur Aktualisierung ausgewählten Koeffizienten jedes tranformierten Blocks unter Verwendung der vorausgesagten Quantisierungsschrittgröße, die abhängig von dem anfänglichen Schwellwertprozeß ist, quantisiert; und hiernach werden die Orte in der Koeffizientenmatrix codiert. Der Prozeß der Kompression besteht daher aus verschiedenen Operationen: Quantisierung, Rekonstruktion, Codeworterzeugung und Erzeugung des Bitstroms. Die Quantisierung, Rekonstruktion und die Codeworterzeugung werden in dem dargestellten Ausführungsbeispiel zusammen durchgeführt.
Für jeden, einem Block zugeordneten Transformationskoeffizienten wird der Koeffizientenwert, wie oben bemerkt, einem Schwellen-Abschneide-Wert und dann einer Quantisierung unterworfen. Der hier verwendete Quantisierer ist ein gleichförmiger Quantisierer und die Schwelle und die Quantisiererschrittgröße kann, wie oben bemerkt, festgelegt werden. Eine typische Schwelle ist das 1,5-fache der Quantisierungsschrittgröße und der erwartete Spitzen-Spitzenwert des zu quantisierenden Signals wird in dem dargestellten Ausführungsbeispiel in 256 gleiche Schritte unterteilt. Jeder Transformationskoeffizient wird zuerst mit dem Schwellwert verglichen. Falls der Wert des Koeffizienten größer ist als der Schwellenwert (entweder positiv oder negativ), wird der Koeffizient quantisiert und codiert. Falls der Wert unter dem Schwellenwert liegt, wird der Koeffizient auf null gesetzt und nicht codiert.
Bei den Koeffizienten, die quantisiert werden, wird der Wert des Koeffizienten mit der inversen Schrittgröße multipliziert. Falls der sich ergebende Quantisierungswert in dem dargestellten Ausführungsbeispiel größer als acht Bit ist, wird der Koeffizientenwert auf den größten erlaubten acht Bit-Wert abgeschnitten (+127 oder -128 in dem dargestellten Ausführungsbeispiel). Dieser Wert wird dann als Eingabe für die arithmetische Codierung im Sender zur Ableitung des Sendercodeworts variabler Länge verwendet. Der acht Bit-Codewortwert wird im Sender ebenfalls dazu verwendet, die Transformationskoeffizienten zu rekonstruieren. Der quantisierte Koeffizientenwert wird mit der Schrittgröße multpliziert und wird für jeden gesendeten Block dem zugeordneten Rekonstruierer zur Verfügung gestellt. In dem dargstellten Ausführungsbeispiel wird dieselbe Schwelle und Quantisiererschrittgröße für alle Koeffizienten, die einem Einzelbild zugeordnet sind, verwendet. Zusätzlich werden Wahrscheinlichkeitsschätzungen für alle Koeffizienten eines Einzelbildes verwendet.
Die Quantisierung jedes Transformationskoeffizienten wird bei 454 als Teil des gesamten Codierungsprozesses durchgeführt. Die Codeworte identifizieren den Ort in der Transformationsmatrix, dem jedes der gesendeten Amplitudencodeworte entspricht.
Wie oben bemerkt, stellt der verlustbehafteter Komprimierer eine Begrenzung der Anzahl der Bits in jedem Einzelbild auf ein konstantes Niveau bereit. In Hinsicht auf die Verwendung eines Codes mit variabler Länge, wie nachfolgend beschrieben, ist es nicht möglich, die Anzahl der erzeugten Bits exakt vorherzusagen und das Problem ist daher nicht "trivial". Der traditionelle Ansatz des Sammelns des Bitstroms in einen Puffer und der Vermeidung von Überlauf oder Unterbesetzung des Puffers durch eine Rückkopplungskonfiguration bringt eine nachteilig lange Pufferverzögerungszeit mit sich. In Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung wird die vorbestimmte Anzahl der Bits durch Voraussagen der Quantisiererschrittgröße in Abhängigkeit von der Bewegungsenergie des Einzelbildes approximiert.
Die Voraussage der Quantisierungsschrittgröße, die Codierung und die Decodierung kann durch Hardware, durch Software oder durch eine Kombination der beiden verwirklicht werden.

Der verlustbehaftete Komprimierer (46)

Wie oben bemerkt, empfängt der verlustbehaftete Komprimierer 46 als Eingaben das ursprüngliche uncodierte Signal auf der Leitung 22 und Signale auf den Leitungen 51, die das abgeschätzte Empfängerbild darstellen. Der verlustbehaftete Komprimierer 46 verwendet diese Signale zur Codierung der Differenz zwischen diesen und gibt das codierte Fehlerrekonstruktionssignal auf den Leitungen 52 aus. Dieses Signal korrigierte die meisten Fehler, die durch das Bewegungskompensationssystem nicht richtig kompensiert wurden. In dem bevorzugten Ausführungsbeispiel der Erfindung wird ein Verfahren und eine Vorrichtung zur hierarchischen Vektorquantisierungscodierung verwendet; in anderen Ausführungsbeispielen können jedoch andere hierarchische Verfahren verwendet werden, die eine dezimierte Pyramidenstruktur und eine Interpolation, wie unten beschrieben, verwenden.
Unter Bezugnahme auf die Fig. 10 werden das abgeschätzte Empfängerbild auf der Leitung 51 (das oft als das "verwundene" Bild bezeichnet wird) und das ursprüngliche uncodierte Bild auf den Leitungen 22 durch die Dezimierungsschaltungen 502, 504 jeweils vier mal dezimiert (d.h. wie unten beschrieben gefiltert und unterteilt). Auf jeder Dezimierungsstufe wird das Bild durch einen Faktor 2 sowohl horizontal als auch vertikal unterteilt. Auf diese Weise sind fünf Bildniveaus für das Luminanzbild, in dem dargestellten Ausführungsbeispiel mit Auflösungen von 256x240, 128x120, 64x60, 32x30 und 16x15 Bildelementen für die Luminanz, vorhanden. Dieser Satz von Bildern mit den verschiedenen Bildauflösungen wird im allgemeinen als "Auflösungspyramide" bezeichnet. Die Basis der Pyramide ist das Bild mit der vollen Auflösung, während die Spitze der Pyramide in dem dargestellten Ausführungsbeispiel das 16x15 Pixel-Bild ist.
Ähnliche Auflösungspyramiden werden für die "I" und "Q" Chrominanzkomponenten eines Farbbildes gebildet. Für die untenstehende Diuskussion wird jedoch nur die Luminanzkomponente des Bildes diskutiert. Die gleiche Vorrichtung und die gleichen Verarbeitungsschritte sind in gleicher Weise auf die Chrominanzkomponenten des Bildes anwendbar.
In Übereinstimmung mit dem hierarchischen System wird das Codieren der Bilddifferenz zwischen dem verwundenen Bild und dem ursprünglichen uncodierten Bild durch eine Codierschaltung 506 Niveau für Niveau durchgeführt, und zwar von dem obersten Niveau zu dem niedrigsten Niveau der Auflösungspyramide. Der Prozeß stoppt bei der Auflösung, bei der für eine Videoübertragung keine zusätzlichen Bits mehr vorhanden sind. Während einer mäßigen Bewegung wird das System daher typischerweise das niedrigste oder das Basisniveau von 256x240 Pixeln erreichen, während die Codierung bei einer heftigen Bewegung auf den 128x120 Niveau stoppen kann. Typischerweise wird die Vorrichtung während eines Szenenwechsels bereits früher in der Pyramide nicht mehr genügend Übertragungsbits zur Verfügung haben. Im allgemeinen werden daher große Wechsel von Bildern oder Szenen typischerweise zunächst auf den höheren Niveaus beschrieben und die Einzelheiten werden in späteren Einzelbildern hinzugefügt.
Genauer beginnt in Übereinstimmung mit einem bevorzugten hierarchischen Codierungssystem, das eine Vektorquantisierung verwendet, die Codierung auf dem obersten Niveau, d.h. dem 16x15 Bild. Die 16x15 Ausführung des verwundenen Bildes wird als die Voraussage verwendet. Es sei daran erinnert, daß dies dem Bild (dezimiert) entspricht, das in dem Empfänger ohne jede zusätzliche Information erzeugt wird. Diese Voraussage auf dem obersten Niveau wird von den dezimierten 16x15 Bild auf dem obersten Niveau des ursprünglichen Bildes subtrahiert. Das Differenzbild, das den Fehler auf diesem obersten Niveau darstellt, wird quantisiert und die quantisierte Information wird dem Codierer 18 für die Übertragung zu dem Empfänger zugeführt. Hiernach wird das quantisierte Differenzbild zu dem Voraussagebild auf dem 16x15 Niveau hinzuaddiert, um ein rekonstruiertes 16x15 Bild zu bilden, das der Empfänger ebenfalls erzeugen wird.
Auf den niedrigeren Niveaus wird die Voraussageausführung des Bildes in verschiedener Art und Weise gebildet. In Übereinstimmung mit der Erfindung wird die Voraussage aus dem rekonstruierten Bild des höheren Niveaus und aus dem verwundenen Bild des derzeitigen Niveaus wie folgt abgeleitet.
Zunächst wird ein Interpolationsfehlerbild durch Interpolieren des verwundenen Bildes des höheren Niveaus und Subtrahieren dieses Bildes von den verwundenen Bild des derzeitigen Niveaus abgeleitet. Das sich ergebende verwundene Interpolationsfehlerbild extrahiert daher im wesentlichen die räumlich höheren Frequenzen des verwundenen Bildes, d.h., die Information, die in dem Bild des höheren Niveaus nicht vorhanden ist. Das rekonstruierte Bild des höheren Niveaus wird daraufhin interpoliert, um ein interpoliertes Rekonstruktionsbild auf dem derzeitigen Niveau zu bilden. Schließlich wird das verwundene Interpolationsfehlerbild adaptiv zu dem interpolierten Rekonstruktionsbild addiert, um das Voraussagebild zu erzeugen. Wie weiter unten beschrieben ist, wird das verwundene Interpolationsfehlerbild jedoch nur verwendet, wenn es die Voraussage verbessert. Dies wird Block für Block entschieden und die Entscheidungen werden dem Empfänger als "Seiten-" Information gesendet.
Hiernach sind die Schritte, um das Differenzsignal auf diesem niedrigeren Niveau zu erzeugen, die gleichen wie die auf dem obersten Niveau, d.h., das Voraussagebild auf dem derzeitigen Niveau wird von dem ursprünglichen Bild des derzeitigen Niveaus subtrahiert und diese Differenz wird quantisiert und zu dem Empfänger übertragen. Hiernach wird die quantisierte Differenz auf das Voraussagebild auf diesem Niveau addiert, um ein neues Rekonstruktionsbild zu bilden. Diese Prozedur wird über die Auflösungspyramide hinweg wiederholt, bis das unterste Niveau erreicht ist. Das rekonstruierte Bild auf diesem untersten Niveau ist das Ausgabebild auf dem Niveau und ist das Bild, das durch den Decodierer angezeigt wird. Dieses Bild wird ebenfalls, wie oben beschrieben, dazu verwendet ein verwundenes Bild für das nächste Einzelbild zu bilden Die Rekonstruktion des verwundenen Bildes im Sender wird, wie oben bemerkt, durch die Rekonstruktionsschaltung 48 bewirkt.
Falls alle verfügbaren Bits verwendet wurden, bevor das unterste Niveau erreicht ist, werden die Voraussagen auf den niedrigeren Niveaus immer noch in der gleichen Art und Weise erzeugt; es wird jedoch keine Codierung, d.h., keine quantisierte Differenzinformation, zu dem Empfänger gesendet. Stattdessen wird die Voraussage auf den niedrigsten Niveaus direkt als Ausgabe oder Rekonstruktionsbild auf diesem Niveau und als Fehlerrekonstruktionsbild auf den Leitungen 54 von der Rekonstruktionsschaltung 48 verwendet.

Einzelheiten des hierarchischen Vektorguantisierungscodierungssystems

Unter Bezugnahme auf Fig. 11 wird die Auflösungspyramide, wie oben erwähnt, in diesem dargestellten Ausführungsbeispiel durch viermaliges Dezimieren des obersten Auflösungsniveaus des Bildes gebildet. In der eindimensionalen Beziehung, die in der Fig. 11 dargestellt ist, wird jedes Pixelpaar auf einem niedrigeren Niveau gemittelt, um einen einzelnen Pixel auf einem höheren Niveau zu bilden. Dies wird sowohl horizontal als auch vertikal durchgeführt, so daß jedes Bildelement eines höheren Niveaus in dem Mittelpunkt einer 2x2 Pixelgruppe des niedrigeren Niveaus angeordnet ist. Das Codierungsverfahren ermöglicht unter Verwendung einer Interpolationsprozedur ebenfalls die Erzeugung der Pixel eines niedrigeren Niveaus ausgehend von einem höheren Niveau. Der Interpolationsprozeß wird beispielsweise auf die verwundenen und rekonstruierten Bilder angewendet, um Bilder für die Verarbeitung auf dem nächst niedrigeren Niveau zu erhalten, und wird durch eine bilineare Interpolation bewirkt. Die Interpolationsfaktoren sind 0,75 und 0,25.
In dem dargestellten Ausführungsbeispiel der Erfindung wird eine arithmetische Codierung sowohl für die Codierung von Information, die für eine Übertragung von dem verlustbehafteten Komprimierer 28 vorgesehen ist, als auch, wie unten genauer beschrieben wird, für die Codierung von skalaren Daten von dem verlustbehafteten Komprimierer 46 verwendet. Eine arithmetische Codierung ist dem Fachmann gut bekannt. Insbesondere kann sie vorteilhaft auf die Beschreibung der Orte der vor null verschiedenen Transformations- oder anderen Matrixvariablen angewendet werden. Die Symbolwahrscheinlichkeiten werden abhängig von zuvor übertragenen Werten und der Position des Koeffizienten in einer Folge geändert. Zuvor gespeicherte Wahrscheinlichkeiten werden verwendet, da eine on-line Adaption, gemäß der Erfahrung des Erfinders, bei dieser Anwendung keine deutliche Verbesserung bewirkt.
Betrachtet man die Codierung der Auflösungspyramiden genauer und unter Bezugnahme auf Fig. 12, weisen die ursprünglichen und verwundenen Bilder auf dem obersten Niveau eine Auflösung von 15x16 Pixel für die Luminanz und 8x8 Pixel für die Chrominanz auf. Fig. 12 beschreibt die Verarbeitung der Luminanzkomponente; die Verarbeitung der Chrominanzkomponente (nicht gezeigt) kann in gleicher Weise dargestellt werden. Das Voraussagebild besteht aus dem verwundenen Bild auf dem obersten Niveau, das ursprünglich durch viermaliges Dezimieren der verwundenen Luminanz- und Chrominanzbilder erhalten wurde. Der Voraussagefehler wird durch Subtrahieren des Voraussagebilds 510 von dem ursprünglichen, uncodierten dezimierten Bild 512 auf dem obersten Niveau erzeugt. Die Bilddifferenzen auf der Leitung 514 werden durch einen skalaren Quantisierer 516 mit einer festen Schrittgröße quantisiert. Die quantisierte Information auf der Leitung 518 wird für jede Komponente, die Y-, die I- und die Q-Komponente, getrennt codiert, und zwar unter Verwendung des gleichen arithmetischen Codierers 520, der ebenfalls für die Bewegungsvektortransformationskoeffizienten verwendet wird. Der Codierer 520 verwendet ein Markov-Modell, um die von null verschiedenen Datenorte zu codieren. Der Codierer weist 16 Zustände auf, die davon abhängig sind, ob die bereits codierten vier nächsten Nachbarn die den in Fig. 8 dargestellten vier nächsten Nachbarn entsprechen, null oder von null verschieden sind. Die von null verschiedenen Werte werden von einem speicherlosen Codierer codiert, der die acht Bit Quantisierungsindices zu dem Bitstrom codiert. Das quantisierte Differenzbild wird zu dem Voraussage, wie oben erwähnt, hinzuaddiert und das Ergebnis ist das Ausgabe- oder Rekonstruktionsbild (auf den Leitungen 522) auf dem obersten Niveau.
Der skalare Quantisierer 516, der in Verbindung mit dem Voraussagefehler auf dem obersten Niveau verwendet wird, ist ein gleichförmiger Quantisierer, der eine Tot-Zone um null aufweist. Die Schwellen (T(i)) liegen wie folgt:
Die Rekonstruktionsniveaus (R(i)) sind wie folgt festgelegt:
Einem Wert von X wird daher, wenn X größer als T(k) aber kleiner als T(k+1) ist, ein Quantisiererindexwert k zugeordnet und wird im Empfänger rekonstruiert, als ob er den Wert R(k) aufweisen würde. Der Quantisierer ist auch symmetrisch um null und setzt alle Werte mit einem Betrag kleiner als T(1) gleich null.
In Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung eliminiert der Quantisierer 516, nachdem die Quantisierung in Übereinstimmung mit der obigen Gleichung stattgefunden hat, kleine, von null verschiedene Werte, die nur von null-Werten umgeben sind. Das Kriterium, einen Wert auf null zu setzen ist, daß er auf die kleinste, von null verschiedene Amplitude quantisiert wurde, (d.h., ein Quantisiererindez von plus oder minus eins) und daß seine acht zu sammenhängenden Nachbarn auf einen Wert von null quantisiert wurden. Diese Prozedur erhöht die Effizienz der Adressierung des arithmetischen Codierers und vermindert den Eindruck zufällig erscheinender oder "herausspringender" Blöcke in einem Bild.
Für die niedrigeren Niveaus der Auflösungspyramide wird das Voraussagebild durch Kombinieren des Ausgabebildes von dem nächsthöheren Niveau mit dem verwundenen Bild des gleichen Niveaus erzeugt. Daraufhin wird der Voraussagefehler durch Bilden der Differenz zu dem ursprünglichen Bild auf dem derzeitigen Niveau bestimmt. Das Differenzbild wird unter Verwendung eines Verstärkung/Form-Vektorquantisierers codiert und die quantisierte Differenz wird zu der Voraussage hinzu addiert, um ein neues Ausgabebild auf dem derzeitigen Niveau zu erhalten. Die Y-, I- und Q-Komponenten werden als drei getrennte Bilder behandelt.
Betrachtet man die niedrigeren Niveaus genauer, so wird das Voraussagebild durch Kombinieren des verwundenen Bildes auf dem derzeitigen Niveau mit den Ausgabe- und verwundenen Bild von dem nächsthöheren Niveau erzeugt. Insbesondere wird der Interpolationsfehler des verwundenen Bildes unter Verwendung des verwundenen Bildes 524 auf dem derzeitigen Niveau und einer interpolierten Ausführung des verwundenen Bildes von dem nächsthöheren Niveau (interpoliert durch die Schaltung 526) erzeugt. Dieser Interpolationsfehler ist daher die Differenz zwischen dem verwundenen Bild auf dem derzeitigen Niveau und dem gleichen Bild, das dezimiert und interpoliert wurde. Wie oben bemerkt, enthält es die Einzelheiten des verwundenen Bildes, die bei der Dezimierung zur Bildung des Bildes auf dem nächst höheren Niveau verlorengingen. Das Ausgabebild von dem nächsthöheren Niveau wird daraufhin in der Interpolationsschaltung 527 interpoliert, um ein Bild auf dem derzeitigen Niveau zu erhalten. Hierauf wird der verwundene Interpolationsfehler auf der Leitung 528 durch den Addierer 530 dem interpolierten Ausgabebild bedingt hinzuaddiert, um die Voraussage zu bilden. Das heißt, für jeden Block von 8x8 Pixel wird das Fehlerquadrat zwischen dem ursprünglichen Bild, das bei 532 gespeichert ist, und zwei möglichen Voraussagen bestimmt, d.h., dem interpolierten Ausgabebild des nächsthöheren Niveaus mit und ohne Einbeziehung des verwundenen Interpolationsfehlers.
Die Eliminierung des verwundenen Interpolationsfehlers ist gleichwertig mit einer Tiefpaßfilterung des verwundenen Bildes für die Voraussage. Dieser wirksame Filterungsprozeß wird bei allen Blöcken durchgeführt, bei denen er eine deutliche Verringerung des Voraussagefehlers bewirkt, d.h., bei den Blöcken, bei denen die Bewegungskompensation nicht erfolgreich war. Das Ergebnis des Filterungsprozesses, mit "Verwischen" bezeichnet, wird angenommen, falls der "Verwischungsfehler" multipliziert mit einem Gewichtungsfaktor, wie beispielsweise 1,5 in dem dargestellen Ausführungsbeispiel, geringer ist als der Fehler unter Verwendung des verwundenen Interpolationsfehlers. Weiterhin wird, falls ein 8x8 Block auf einem Niveau verwischt wird, das Verwischen auf alle niedrigeren Niveaus angewendet, die diesem Teil des Bildes entsprechen. Das heißt, daß auf dem nächst niedrigeren Niveau das Verwischen eine Fläche von 16x16 Pixel betrifft und auf einem noch niedrigeren Niveau wird es eine Fläche von 32x32 Pixeln betreffen.
Die Unschärfeinformation erzeugt ein Ein-Bit-Wort für jeden 8x8-Block. Beispielsweise bezeichnet eine eins das Verwischen und eine null bezeichnet kein Verwischen. Die Information wird unter Verwendung eines arithmetischen Codierers 534, wie beispielsweise der zuvor erläuterte, codiert und da jedes Wort nur ein Bit enthält, ist es nicht erforderlich, die von null verschiedenen Werte zu codieren, wenn die "Unschärfepositionsabbildung" einmal codiert wurde.
Der spezielle arithmetische Codierer 534 für die Unschärfeinformation verwendet fünf binäre Variablen, um einen von 32 Zuständen mit entsprechenden Wahrscheinlichkeiten auszuwählen. Die binären Variablen sind die vier zuvor codierten Unschärfeworte für benachbarte Blöcke auf demselben Niveau und das Unschärfewort für den Nachbarn auf dem höheren Niveau, d.h., der Block auf dem nächsthöheren Niveau, der dem derzeitigen Block entspricht. Der Codierer verwendet daher die Tatsache, daß das Verwischen auf einem Niveau zu den niedrigeren Niveaus fortschreitet nicht explizit und stattdessen wird diese Beziehung in den Wahrscheinlichkeiten für die verschiedenen Zustände, die einen von null verschiedenen Nachbarn auf höherem Niveau aufweisen, wiedergespiegelt.
Die Voraussagefehler selbst werden durch einen Vektorquantisierer 536 codiert. Auf jedem Niveau werden daher die Y-, I- und Q-Komponenten als drei getrennte Bilder behandelt. Jedes verschiedene Bild, das für jedes Niveau erzeugt wird, wird daher in Blöcke von 4x4-Pixeln geteilt. Jeder Block wird daraufhin der "Vektor" und wird durch die Verstärkung/Form- Vektorquantisierung codiert, indem zunächst die am besten passende Form bestimmt wird und hiernach die geeignete Ver- stärkung angewendet wird. Das Formcodeverzeichnis enthält normierte Vektoren (ausgewählt gemäß dem LBG Algorithmus, wie im Stand der Technik bekannt ist) und der optimale Formvektor ist der Codeverzeichnisvektor, der mit dem zu quantisierenden Datenvektor die höchste Korrelation aufweist. Das heißt, daß das innere Produkt des Datenvektors für den optimalen Form vektor ein Maximum aufweist. Der Datenvektor wird im Empfänger durch den ausgewählten Formvektor, multipliziert mit ei- nem Verstärkungsfaktor, rekonstruiert. Die Verstärkung, die für den ausgewählten "Form-"Vektor das kleinste Fehlerquadrat ergibt, wird durch Auswählen eines Rekonstruktionswerts aus dem Verstärkungscodeverzeichnis quantisiert. Dies ist die oben erwähnte skalare Quantisierung.
Für Berechnungszwecke ist ein erschöpfendes Durchsuchen des Formcodeverzeichnisses, das typischerweise L=2**D Formvektoren (mit D gleich 12 oder 13) aufweist, in Echtzeit nicht praktikabel. Stattdessen wird eine binäre Baumsuche verwendet, die erfordert, daß D+1 innere Produkte berechnet werden (verglichen mit 2**D inneren Produkten für ein erschöpfendes Durchsuchen). Auf jedem Niveau der Baumsuche wird das innere Produkt zwischen dem Datenvektor und einer vorher abgespeicherten Differenz zwischen zwei Formvektoren bestimmt. Die Entscheidung hängt davon ab, ob das innere Produkt positiv oder negativ ist; und wenn alle D-Niveaus der binären Baumsuche überquert wurden&sub1; ist der Formvektor bestimmt. Hiernach wird das innere Produkt zwischen dem ausgewählten Formvektor und dem Datenvektor bestimmt, um den Verstärkungsfaktor zu erhalten. Diese Suchprozedur ist im Stand der Technik bekannt.
In dem dargestellten Ausführungsbeispiel besteht das binäre Codeverzeichnis der Größe 2**D tatsächlich aus einer Ansammlung von Codeverzeichnissen verschiedener Größen für jedes Niveau; und auf dem Niveau M ist ein Codeverzeichnis der Größe 2**M, M=1,2,... ,D vorhanden. In dem Vektorquantisierer 536 wird diese Struktur dazu verwendet, die Formcodeverzeichnisgröße abhängig von dem Verstärkungsfaktor zu verändern. Folglich wird ein kleineres Codeverzeichnis der Größe 2**D1, wobei D1 kleiner ist als D, für Blöcke verwendet, bei denen die Verstärkung auf den kleinsten, von null verschiedenen Wert R(1) quantisiert wurde. Bei Blöcken, bei denen die Verstärkung größer ist, wird jedoch ein Codeverzeichnis voller Größe verwendet.
Wie oben erwähnt, werden die Verstärkungsfaktoren durch eine gleichförmige Quantisierung quantisiert, um einen Index mit einem maximalen Wert von 2**B bereitzustellen. Isolierte Verstärkungsfaktoren werden, wie oben erwähnt, eliminiert und eine Codierung wird durch einen arithmetischen Codierer bewirkt. Die von null verschiedenen Orte werden unter Verwendung von fünf binären Variablen (32 Zustände) codiert, die die vier zuvor codierten Nachbarn auf demselben Niveau und den Nachbarn auf dem höheren Niveau einschließen, der sowohl dem Empfänger als auch dem Sender zur Verfügung steht. Die von null verschiedenen B-Bitwerte werden durch einen speicherlosen Codierer codiert.
Die Formvektoren werden unter Verwendung von Codes mit fester Länge codiert. Für jeden von null verschiedenen Verstärkungswert muß der Formvektor daher übertragen werden. Für Verstärkungswerte größer als eins, beschreiben D-Bits den Formvektor, wohingegen für Verstärkungen mit einem Quantisiererindex gleich eins das kleinere Codeverzeichnis, das D1-Bits erfordert, verwendet wird.
Wenn eine Form/Verstärkung-Vektorquantisierungscodierung wiederholt auf dasselbe Bild angewandt wird, um das Bild zu seiner vollen Auflösung aufzubauen, wird die Codierung weniger und weniger wirksam. Dies tritt nicht nur deshalb auf, da der Codierungsfehler selbst rauschartiger wird, sondern auch deshalb, weil die "guten Vektoren" in dem Codeverzeichnis aufgebraucht werden. Der Codierungsfehler wird daher schnell "orthogonal" zu dem Codeverzeichnis. Dieser Effekt wird in Übereinstimmung mit der beanspruchten Erfindung durch Verändem der Bildblockgrenzen von Einzelbild zu Einzelbild deutlich verringert. Auf den unteren Niveaus werden die Blöcke daher von Einzelbild zu Einzelbild und vorzugsweise sowohl entlang der horizontalen und der vertikalen Achsen um wenige Pixel verschoben. Dieser Prozeß erhöht die effiziente Codierung in dem System wesentlich.
Die verbliebenen Niveaus können unter Verwendung der auf dem (30x32)-Niveau angewendeten Prozeduren und unter Verwendung von Entsprechungen der Elemente 524, 526, 527, des Addierers 538 und der Elemente 530, 534 und 536 codiert werden, aber mit der Ausnahme, daß die Bilddaten in dem bevorzugten Aus führungsbeispiel wie unten beschrieben codiert werden.
In Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung stellt das System auf dem obersten Niveau kein adaptives Verwischen bereit und eine reine skalare Quantisierung wird verwendet. Auf dem nächsten Niveau, dem 32x30- Niveau für die Y-Komponente und dem 15x16-Niveau für die. Chrominanzkomponenten, wird der verwundene Interpolationsfehler wahlweise zu den interpolierten Ausgabebildern des obersten Niveaus hinzuaddiert und auf diesem Niveau daher Unschärfeinformation übertragen. In dem bevorzugten Ausführungsbeispiel der Erfindung wird jedoch keine Codierung dei Bildinformation, d.h., des Ausgabebildfehlers, in dem dargestellten Ausführungsbeispiel durchgeführt. Die Voraussagebilder selbst sind die Ausgaben von diesem Niveau. In den drei unteren Niveaus, die alle identisch behandelt werden, wird ein adaptives Verwischen beim Erzeugen der Voraussagebilder verwendet und der Voraussagefehler wird unter Verwendung vor Verstärkung/Form-Vektorquantisierung codiert. Dies ist schematisch in der Fig. 12 gezeigt.
Die primäre Strategie für den Codierungsprozeß ist, eine feste Anzahl von Bits für die Codierung jedes Einzelbilds zu verwenden. Die Codierung beginnt auf dem obersten Niveau und arbeitet sich durch die Pyramidenniveaustruktur zu dem niedrigsten Niveau durch; und auf allen Niveaus mit Ausnahme des niedrigsten Niveaus werden feste Quantisierer verwendet. Für jedes Niveau werden die Quantisiererrnerkmale aufgrund subjektiver Bildqualitätskriterien ausgewählt. Auf dem niedrigsten Niveau wird der Quantisierer jedoch so ausgewählt, daß die Anzahl der erzeugten Bits ungefähr gleich zu der Anzahl der Bits ist, die für das Einzelbild noch verfügbar sind.
Während heftiger Bewegung können jedoch alle verfügbaren Bits bereits verwendet sein, bevor das niedrigste Niveau erreicht ist. In diesem Fall kann der Quantisierer beispielsweise für das zweitniedrigste Niveau selektiv eingestellt werden, um die gewünschte Anzahl von Ausgabebits für das Einzelbild bereitzustellen. Folglich wird auf dem niedrigsten Niveau, während die Voraussage immer noch in der üblichen Art und Weise erzeugt wird und die Unschärfeinformation codiert und übertragen wird, keine Vektorquantisierung durchgeführt und stattdessen ist das Voraussagebild selbst das Ausgabebild.
In dem dargestellten Ausführungsbeispiel können Umstände auf treten, beispielsweise ein Szenenwechsel, bei denen es nicht möglich ist, wenigstens das zweitniedrigste Niveau zu codie ren. In diesem Fall stoppt die Codierung auf dem nächsthöheren Niveau (60x64 für Luminanz und 30x32 für Chrominanz) Falls die Codierung auf diesem Niveau mehr Bits als die ge wünschte Anzahl von Bits pro Einzelbild erzeugt, wird die Codierung dennoch durchgeführt und die Einzelbildrate wird sich zeitweise aufgrund der großen Anzahl der erzeugten Bits verlangsamen. Für die zwei niedrigeren Niveaus wird die Voraussage wie üblich erzeugt und die Unschärfeinformation wird übertragen; eine Vektorquantisierung wird jedoch nicht durchgeführt.
Unter Bezugnahme auf Fig. 3 werden im Empfänger die übertragenen und codierten Daten decodiert und das neue Einzelbild erzeugt. Speziell werden die Daten, die die Auflösungspyramiden darstellen, durch die Rekonstruktionsschaltung 76 Niveau für Niveau von der Spitze der Pyramide bis zur Basis decodiert. Auf dem obersten Niveau wird das quantisierte Differenzbild dekodiert und dem verwundenen Bild auf diesem Niveau hinzuaddiert (in dem selektiven Addierer 100, der eine Dezimierungsschaltung einschließt). Dadurch wird das Ausgabebild auf dem obersten Niveau rekonstruiert. Daraufhin werden die niedrigeren Niveaus rekonstruiert (durch den Addierer 100), indem zunächst die Voraussage unter Verwendung der übertragenen Unschärfeinformation, die auf den Leitungen 84 von der Rekonstruktionsschaltung 76 zur Verfügung steht, gebildet wird und daraufhin das Differenzbild decodiert wird und se lektiv zu dem Voraussagebild hinzuaddiert wird, um ein neues rekonstruiertes Bild für dieses Niveau zu bilden. Der Prozeß setzt sich fort, bis das niedrigste Niveau erreicht ist und das Bild auf dem niedrigsten Niveau zu dem Einzelbildanzeigepuffer 98 übertragen wird.
Der arithmetische Decodierer, der in einer Anzahl von Prozessen verwendet wird, d.h., bei der Decodierung der Bewegungstransformationskoeffizienten, der Unschärfeinformation und der Bildinformation von dem verlustbehafteten Komprimierer 46, arbeitet in nach dem Stand der Technik bekannter Weise. Da die von null verschiedenen Orte unter Verwendung verschiedener Wahrscheinlichkeiten, abhängig vom Zustand des Codierers, codiert wurden, regeneriert der arithmetische Decodierer beim Fortschreiten der Decodierung den Zustand für jede Position in der Abbildung der Orte. Der Zustand bestimmt darin in Verbindung mit den codierten Daten, ob eine null oder keine null für jeden Abbildungsort verwendet ist. Wenn einmal die Abbildung, die die Orte der von null verschiedenen Werte anzeigt, decodiert ist, werden die B-Bitwerte decodiert, mit eins inkrementiert und an den geeigneten Orten in der Abbildung plaziert.
Betrachtet man die Erzeugung und die Decodierung der Auflösungspyramiden genauer, so folgt der Prozeß dem Verfahren, das zu dem im verlustbehafteten Komprimierer 46 verwendeten invers ist. Da der Empfängerdecodierungsprozeß dem Codierungsprozeß des Senders folgt, wird die Voraussage auf dem obersten Niveau aus dem verwundenen Bild des obersten Niveaus erzeugt. Die Quantisiererindices werden unter Verwendung des arithmetischen Decodierers decodiert und das quantisierte Differenzbild wird aus den Quantisiererindices rekonstruiert und dann dem Voraussagebild hinzuaddiert, um das Ausgabebild auf dem obersten Niveau zu erzeugen (was dem Addierer 522a und der Ausgabe auf den Leitungen 522 des Senders entspricht). Auf den niedrigeren Niveaus wird die Voraussage durch wahlweises Addieren des verwundenen Interpolationsfehlers zu dem interpolierten Ausgabebild des nächsthöheren Niveaus gebildet (was dem Addierer 530 in dem Sender entspricht). Dieses Ausgabebild und das verwundene Bild auf dem nächsten Ausgabeniveau werden interpoliert, um Bilder auf dem derzeitigen Niveau zu ergeben. Die Unschärfeinformation wird unter Verwendung des arithmetischen Decodierers decodiert und daraufhin wird zu jedem 8x8-Block der interpolierten Ausgabe des höheren Niveaus&sub1; für den der Unschärfecode null ist, die Differenz zwischen dem verwundenen Bild auf dem derzeitigen Niveau und dem interpolierten verwundenen Bild auf dem höheren Niveau hinzuaddiert (entsprechend dem Addierer 538 des Senders).
Auf allen niedrigeren Niveaus wird, gemäß dem bevorzugten Ausführungsbeispiel der Erfindung, die vektorquantisierte Information zunächt durch Decodieren der Verstärkungswerte durch den arithmetischen Decodierer und dann durch Decodieren der Formindices für die von null verschiedenen Werte decodiert. Für jeden Block mit einem Verstärkungsquantisiererin dex von eins wird ein D1-Bit-Wort aus dem Bitstrom extrahiert, um den Formvektor anzuzeigen, während für Blöcke mit einem Index größer als eins ein Bitwort der Länge D aus dem Bitstrom extrahiert wird. Das Differenzbild wird durch Auslesen des Formvektors aus dem geeigneten Codeverzeichnis und dessen Skalierung mit dem Verstärkungswert rekonstruiert. Dies wird für jeden von null verschiedenen 4x4-Pixelblock durchgeführt. Das Ausgabebild wird hiernach durch Hinzuaddieren dieser rekonstruierten Differenz zu der Voraussage gebildet. (Dies entspricht der Operation des Addierers 540 des Senders). Das Ausgabebild von dem niedrigsten Niveau in dem endgültigen rekonstruierten Bild wird dann zu dem Einzelbildanzeigepuffer als das endgültige Ausgabebild übertragen.
Der dargestellte verlustbehaftete Komprimierer 46 kann durch Hardware, durch Software oder durch eine Kombination hiervon verwirklicht werden.

Der Bewegungsabschätzer

Unter Bezugnahme auf Fig. 6 und in Übereinstimmung mit dem dargestellten Ausführungsbeispiel verwendet die Bewegungsabschätzungsschaltung 26 einen iterativen Ansatz im Raumbereich, der durch einen Fehlerminimierungsprozeß schnell konvergiert, zur Bestimmung der Verschiebungsvektoren eines Eingabesignals. In dem bevorzugten Ausführungsbeispiel wird ein adaptives Verfahren nach der Methode des steilsten Abfalls verwendet. Das Verfahren weist ein gutes Konvergenzverhalten auf.
In Hinman, B., "Theory and Application of Image Motion Estimation", Master Abschlußarbeit, M.I.T. (1984), beschreibt die Gleichung 3.12, die Iterationen, um einen Verschiebungsvektor v für einen Pixel mit dem Ort p in einem Bild f zu bestimmen Das neue Bild wird durch g dargestellt. Diese Gleichung ist hier als Gleichung 3 wiedergegeben, wobei "i" einen früheren Wert des Verschiebungsvektors darstellt und "i + 1" einen nächsten Wert des Verschiebungsvektors darstellt.
Die Gleichung 3 kann in Übereinstimmung mit der Fig. 9 verwirklicht werden, wo die Eingabeeinzelbilder g und f jeweils in Puffern 200 und 202 gespeichert werden. Der Gradientenwert des Einzelbildes wird durch einen Gradientenrechner 204 bestimmt und räumliche Interpolierer 206, 208 stellen die Werte von f bereit, die für die Summenbildung in Gleichung 3 erforderlich sind. Ein Summierelement 210 und Multiplizierelernent 212 liefern den Fehlergradientenwert, der in einem Zwischenspeicher 214 gespeichert wird. Die Ausgabe des Zwischenspeichers 214 wird mit einem Schrittgrößenadapter 215 in einem Multiplizierer 216 multipliziert; und das Ergebnis wird dazu verwendet, den Vektorverschiebungswert in einem Zwischenspeicher 218 zu aktualisieren. Der Zwischenspeicher empfängt den anfänglichen Vektorvoraussagewert von einer Voraussagehardware 220.
Die aktualisierten Vektoren werden von den Interpolierern 206 und 208 bei der Bestimmung der Werte von "f" verwendet und das Vektorausgabefeld wird in einem Puffer 222 gespeichert. Die gesamte Vorrichtung arbeitet unter der Steuerung einer Systemsteuerung 224, die den Wert der Ausgabe des Fehlergradientzwischenspeichers überwacht und dementsprechend adaptiv die Schrittgröße verändert.
Unter Bezugnahme auf Fig. 7 stellt ein verbessertes Verfahren zur Verwirklichung des iterativen, im Raumbereich arbeitenden Bewegungsabschätzers 26, mit einer adaptiven Fehlerminimierung nach der Methode des steilsten Abfalls, definiert durch Gleichung 3, die Verwendung eines einzelnen Interpolierers 240 bereit, der mit dem f-Einzelbild arbeitet, und eine Gradientenrechnerschaltung arbeitet dann mit dem interpolierten Ausgabewert des Interpolierers 240. Aus dieser Schaltung ergibt sich die Eliminierung eines der Interpolierer der Fig. 6, woraus sich eine Einsparung von Hardware und/oder Software ergibt.
Bei der Verwendung dieses Verfahrens sind die drei wichtigen Parameter die anfängliche Schrittgröße e, die Anhalte- oder Abschneideschwelle T und der Voraussagesatz ak. Die anfängliche Schrittgröße spielt eine wichtige Rolle bei der Bestimmung der Rate, mit der das Verfahren bezüglich der Bewegungsvektorverschiebung konvergiert. Wenn e sehr klein gewählt wird, erfordert das Verfahren eine übermäßige Anzahl von Iterationen, um dem Minimum ausreichend nahe benachbart zu sein. Wenn der Wert von e ansteigt, steigt die Konvergenzrate ebenfalls an, aber ab einem bestimmten Wert ist e so groß, daß die Suchprozedur um das Minimum oszillieren wird, ohne zu konvergieren. Der Wert von e muß durch empirische Tests bestimmt werden. Bei einer Blockgröße von 4x4 wurde festgestellt, daß ein Wert von 3x10 das beste Konvergenzverhalten bereitstellt.
Die Abschneideschwelle wird für jede Iteration mit dem Betrag des Produkts des Fehlergradienten mit der anfänglichen Schrittgröße e verglichen. Diese Schwelle muß unter Berücksichtigung von zwei Randbedingungen ausgewählt werden. Zunächst muß sie ausreichend klein sein, so daß eine Verschiebung erreicht wird, die nahe an der tatsächlichen Verschiebung liegt. Die zweite und entgegengesetzte Randbedingung ist, daß sich bei einer Verringerung der Schwelle die Anzahl der erforderlichen Iterationen dramatisch erhöht. Daher muß die geeignete Abschneideschwelle, genau wie die Schrittgröße, empirisch bestimmt werden. (Wenn sich die Schrittgröße verändert, wie unten beschrieben, wird die Schwelle T, wie oben festgelegt, immer noch mit dem multiplikativen Produkt der anfänglichen Schrittgröße e und dem Fehlergradienten verglichen).
Bei der empirischen Bestimmung der Abschneideschwelle sind zwei Indikatoren von Interesse. Dies sind die durchschnittliche Anzahl der Iterationen pro Block und die Differenzenergie des bewegungskompensierten Einzelbildes. Um den besten Wert für T zu finden, wird der Abschätzungs- und Kompensationsprozeß mehrere Male durchlaufen. Beginnend mit einer kleinen Abschneideschwelle wird ein minimaler Wert der Differenzenergie des bewegungskompensierten Einzelbildes bestimmt. Wenn die Schwelle vergrößert wird, fällt die durchschnittliche Anzahl der Iterationen stetig ab, während die Differenzenergie des bewegungskompensierten Einzelbildes im wesentlichen konstant bleibt. Schließlich wird jedoch ein Wert der Schwelle erreicht, bei dem die abgeschätzten Verschiebungen ungenau werden und die Differenzenergie des bewegungskompensierten Einzelbildes zu steigen beginnt. Bei der Suche des Wendepunkts der Differenzenergie des bewegungskompensierten Einzelbildes als Funktion von T wurde festgestellt,daß ein Wert von 7x10&supmin;³ am geeignesten ist. Diese Schwelle entspricht einer minimalen Vektoraktualisierung von 7x10 -3 Pixeln.
Die Auswahl der Voraussagekoeffizienten beeinflußt sowohl die durchschnittliche Anzahl der Iterationen und die Differenzenergie des bewegungskompensierten Einzelbildes.
Die Auswahl des anfänglichen Werts des Verschiebungsvektors für jeden Block ist in dem dargestellten Ausführungsbeispiel eine Linearkombination der hieran angrenzenden Verschiebungsvektoren. Unter Bezugnahme auf Fig. 8 greift das Verfahren nach der Methode des steilsten Abfalls folglich auf die Verschiebungsvektoren oberhalb und links eines gegenwärtigen Verschiebungsvektors V&sub0; zu. In Übereinstimmung mit dem dargestellten Ausführungsbeispiel wird der gegenwärtige Verschiebungsvektor durch die Gleichung 4 wie folgt festgelegt:
aj sind die Voraussagekoeffizienten, während vj die zuvor bestimmten Verschiebungsvektoren sind.
Die bevorzugten Vektorvoraussagekoeffizienten aj sind a&sub1; = 0,3, a&sub2; = 0, a&sub3; = 0,4 und a&sub4; = 0,3. Für diese Werte der Vektorvoraussagekoeffizienten in Verbindung mit dem Schrittwert und den Schweliwerten, die oben angegeben wurden, war die durchschnittliche Anzahl der Iterationen für einen Datensatz 6,71 und die Differenzenergie des bewegungskornpensierten Einzelbildes war 14,1 dB niedriger als die Differenzenergie des nichtbewegungskompensierten Einzelbildes.
In Übereinstimmung mit einem bevorzugten Ausführungsbeispiel der Erfindung kann der ausgewählte Wert für e, die anfängliche Schrittgröße, angepaßt werden, so daß er sich als Funktion des Fehlergradienten ändert. Auf diese Weise wird, entsprechend dem dargestellten Ausführungsbeispiel der Erfindung und unter der Steuerung der Systemsteuerung 224, der Schritt größenwert angepaßt, sich abhängig von dem gegenwärtigen Fehlergradientenwert oder den gegenwärtigen und einem oder mehreren vorherigen Fehlergradientenwerten zu ändern, so daß die Schrittgröße für die Vektorverschiebung nicht übertrieben klein wird. Eine Beschreibung der zwei Verfahren zur Auswahl der Schrittgröße ist in der Hinman-Abschlußarbeit beginnend auf Seite 33 zu finden.
Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung wird das zweite Verfahren, das durch die Gleichungen 3.18, 3.19 und 3.20 der Hinman-Arbeit definiert ist&sub1; modifiziert, um die Prozeßlast des Systems zu verringern. In diesem Ausführungsbeispiel sind die Gleichungen 3.18, 3.19 und 3.20 wie folgt modifiziert:
"Gradient E" stellt den Gradienten der gegenwärtigen x- oder y-Fehlerfunktion dar und "Sign [ ]" hat den Wert ±1, abhängig vom Vorzeichen des Arguments. Die auf diese Weise festge- legte Gleichung 6 stellt ein drittes Verfahren für einen adaptiven Ansatz nach der Methode des steilsten Abfalls bereit Wie oben bemerkt, wird jedoch die Abschneide-Schwelle T an der anfänglichen Schrittgröße gemessen. Daher kann das dargestellte T als das Produkt einer Konstante mit dem Fehlergradienten definiert werden.
In Übereinstimmung mit dem bevorzugten Ausführungsbeispiel der Erfindung verhindert die Systemsteuerung 224 ebenfalls, daß die Verschiebungsinkrementschrittgröße größer als eine gewählte Schwelle wird, beispielsweise größer als ein Pixel und verhindert weiterhin, daß der maximale Wert des Verschiebungsvektors größer als eine zweite gewählte Schwelle wird, beispielsweise größer als 7½ Pixel. Auf diese Weise wird eine bessere Steuerung des Prozesses nach der Methode des steilsten Abfalls möglich und Singularitäten, die die Konvergenz verhindern, können vermieden werden.
Der dargestellte Bewegungsabschätzer kann durch Hardware, durch Software oder durch eine Kombination hiervon verwirklicht werden. In einem speziellen Ausführungsbeispiel, das als Anhang C beigefügt ist, wird eine Software-Verwirklichung eines adaptiven Verfahrens und einer Vorrichtung für die Methode des steilsten Abfalls bereitgestellt.

Adaptives Filterausführungsbeispiel

Unter Bezugnahme auf Fig. 13 wird bei einem anderen dargestellten Ausführungsbeispiel der Erfindung die Unschärfeinformation, die durch den verlustbehafteten Komprimierer 46 bereitgestellt ist, eliminiert und stattdessen ist ein selektiv betreibbarer adaptiver Filter 700 bereitgestellt. Beim Betrieb dieses Ausführungsbeispiels der Erfindung wird das Signal auf den Leitungen 56 für die Blöcke, bei denen die Bewegungskompensationsdaten richtig sind, durch den adaptiven Filter 700 direkt zu seiner Ausgabe auf den Leitungen 702 gegeben. Bei den Blöcken, bei denen die Bewegungskompensation nicht adäquat ist, wie unten genauer beschrieben, kann der adaptive Filter die Ausgabedaten auf den Leitungen 56 für den Block einer Tiefpaßfilterung unterziehen und stellt auf den Leitungen 702 für die Bereiche, für die eine Filterung vorteilhaft ist, eine Tiefpaßausführung des bewegungskompensierten, rekonstruierten Empfängerbilds für den Block bereit. Zusätzlich stellt der adaptive Filter auf den Leitungen 704 dem Kanalcodierer Filterdaten zur Übertragung als Seiteninformation zu dem Empfänger zur Verfügung.
Unter Bezugnahme auf die Fig. 14 decodiert der Empfänger die Filterungsinformation und stellt auf der Leitung 708 ein Filterdatensignal bereit. Die verbleibende Schaltung des Empfängers in der Fig. 14 arbeitet in einer Weise, die der in der Fig. 3 dargestellten entspricht, mit der Ausnahme, daß das Filterdatensignal festlegt, ob die Bewegungskompensationsdaten für einen Block vor der Verwendung tiefpaßgefiltert werden.
In Übereinstimmung mit diesem Ausführungsbeispiel der Erfindung empfängt das hierarchische Codierungsverfahren daher Daten, die vor dem Empfang gefiltert werden. Demgemäß stellt das Codierungsverfahren in diesem dargestellten Ausführungsbeispiel keine weitere Unschärfeinformation bereit, die zum großen Teil bezüglich der adaptiven Filterungsdaten, die bereits zu dem Empfänger übertragen sind, redundant wären. Betrachtet man den adaptiven Filter genauer, so stellt die Ausgabe des Bewegungskompensators 42 das bewegungskompensierte Empfängerbild dar, als Ergebnis der Anwendung der codierten Bewegungssignaldarstellung von dem verlustbehafteten Komprimierer 28 auf das vorherige Einzelbild, das in dem Einzelbildpuffer 44 gespeichert ist. Das bewegungskompensierte Empfängerbild kann unter bestimmten Umständen in verschiedenen räumlichen Bereichen (Blöcke) durch selektives Anwenden eines räumlichen Tiefpaßfilters verbessert werden. Um zu entscheiden, ob der Filterungsprozeß auf einen Block des bewegungskompensierten Empfängerbilds angewendet werden sollte, wird ein Vergleich des Voraussagefehlerquadrats zwischen dem ursprünglichen Bild und der nichtgefilterten und gefilterten Voraussage Block für Block durchgeführt.
In diesem dargestellten Ausführungsbeispiel wird ein Block als 8x8-Gruppierung von Bildelementen bezeichnet. Für jeden Block wird die Voraussage mit der geringsten Fehlerenergie (beispielsweise durch eine Konstante gewichtet, um eine Tendenz in Richtung ungefilterter Voraussage zu erzeugen) ausgewählt und diese Entscheidungsinformation, die auf der Leitung 704 verfügbaren Filterdaten, werden dem Codierer 18 zur Verfügung gestellt. Die Filterdaten werden zu dem Empfänger gesendet, um diesen in die Lage zu versetzen&sub1; während des Rekonstruktionsprozesses des Empfängerbildes auf jedem entsprechenden Block die gleiche Operation wie der Sender durchzuführen. Dem Empfänger dekodiert die Filterdaten und stellt sie dem Bewegungskompensator 99 auf den Leitungen 708 zur Verfügung. Nachdem die Entscheidung bezüglich der adaptiven Tiefpaßfilterung für einen Block getroffen wurde, wird das sich ergebenden Blockbild, gefiltert oder nicht gefiltert, als das abgeschätzte Empfängerbild auf den Leitungen 702 verwendet.
Der adaptive Filter hat vier Betriebsstufen. Zunächst wird der Block tiefpaßgefiltert. Zweitens wird eine Energiemessung sowohl für die gefilterten als auch die ungefilterten Ausführungen des Blocks im Vergleich mit dem ursprünglichen Bild durchgeführt. Drittens wird eine Entscheidung getroffen, ob der tiefpaßgefilterte Block anstelle des ungefilterten bewegungskompensierten Empfängerbildes eingefügt werden soll. Schließlich wird die Information, die die Filterverwendung für jeden Block beschreibt, codiert (die Filterdaten auf der- Leitungen 704) und zu dem Codierer 18 gesendet. Weitere Einzelheiten des Betriebs des adaptiven Filters sind in US-A-4 816 914 beschrieben, auf die Bezug genmommen wird.
Das Verfahren und die Vorrichtung zur hierarchischen Codierung, die obenstehend beschrieben wurden, können vorteilhafterweise ebenfalls in Verbindung mit dem Senden einer Folge von Bildern verwendet werden, bei der keine Bewegungskompensation durchgeführt wird. In diesem Fall wird beispielsweise das abgeschätzte Empfängerbild auf den Leitungen 51 in der Fig. 2 das rekonstruierte Empfängerbild sein, das als die Einzelbildausgabe des Einzelbildpuffers 44 auf den Leitungen 64 bezeichnet wird. Weiterhin müssen das Eingabebild auf den Leitungen 22 und das abgeschätzte Empfängerbild auf den Leitungen 51 nicht einzeln durch den verlustbehafteten Komprimierer 46 dezimiert werden, sondern können unter Bezugnahme auf Fig. 15 in eine Differenzschaltung 720 eingegeben werden, deren Ausgabe, die das Fehlersignal am Empfänger darstellt daraufhin in einen verlustbehafteten Komprimierer zur Dezimierung und hierarchischen Codierung in Übereinstimmung mit der hier beschriebenen Erfindung eingegeben werden kann. Beim Empfänger würden der Bewegungskompensator 99 und die hiermit verbundene Schaltung in gleicher Weise eliminiert, falls keine Bewegungskompensation verwendet wird. In gleicher Weise würde die Rekonstruktionsschaltung 76 in Übereinstimmung mit dem Betrieb des Senders modifiziert werden, um die Fehlerbilddarstellung auf den Leitungen 84 zu rekonstruieren, wenn die Schaltung der Fig. 15 verwendet wird. Diese Veränderungen sind für den Fachmann naheliegend.
Hinzufügungen, Abzüge, Löschungen und andere Modifikationen des bevorzugten speziellen Ausführungsbeispiels der Erfindung werden dem Fachmann offensichtlich sein und liegen innerhalb des Rahmens der folgenden Ansprüche.
Auf die abgetrennte Anmeldung Nr. 95118510.7, die auf ein Verfahren zur Codierung von Daten, die als mehrdimensionale Matrix repräsentiert sind, gerichtet ist, wird hingewiesen.

Claims

1. Verfahren zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem (6) zur Übertragung einer Folge von Einzelbildern, wobei das Verfahren folgende Schritte aufweist:

Dezimieren vorausgesagter Intereinzelbild Bilddaten für ein letztes Einzelbild, um eine Pyramidenstruktur von Voraussagedaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen,

Dezimieren uncodierter Letztbilddaten, die das uncodierte letzte Einzelbild darstellen, um eine Pyramidenstruktur von Letztbilddaten mit der Vielzahl der Dezimierungsuiveaus zu erzeugen,

und Anwenden von hierarchischer Vektorquantisierungskodierung auf die Pyramidenstruktur von Voraussage- und Letztbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es ein Verfahren zur Kodierung von Intereinzelbildfehlerdaten in einem bewegungskompensierenden Bildübertragungssystem ist.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Schritt des Anwendens folgende Schritte aufweist:

Subtrahieren der vorausgesagten Bilddatenstruktur von der Letztbilddatenstruktur auf einem obersten Niveau, um ein Ausgabebild für das oberste Niveau zu erzeugen,

Bilden einer verwundenen Interpolationsfehlerdatenstruktur auf den niedrigeren Niveaus durch Bestimmen der Differenz zwischen den vorausgesagten Bilddaten auf dem niedrigeren Niveau und den interpolierten vorausgesagten Bilddaten auf dem nächst höheren Niveau;

und Bilden eines Voraussagebildes auf jedem niedrigeren Niveau durch Kombinieren eines interpolierten Ausgabebildes des nächst höheren Niveaus mit einer verwundenen Interpolationsfehlerdatenstruktur auf dem niedrigeren Niveau.

4. Verfahren zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, wobei das Verfahren folgende Schritte aufweist:

Bilden eines Differenzbildes Pixel für Pixel, das die Differenz zwischen vorausgesagten Bilddaten für ein letztes Einzelbild und unkodierten Letzbildaten, die das unkodierte letzte Einzelbild darstellen, darstellt,

Dezimieren des Differenzbildes, um eine Pyramidenstruktur von Differenzbilddaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen,

und Anwenden einer hierarchischen Vektorquantisierungskodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen.

5. Verfahren nach Anspruch 1, Anspruch 2 oder Anspruch 4, das weiterhin den Schritt des

Anwendens der Kodierung auf die Datenstrukturen eines Niveaus Block für Block,

und des Verschiebens von Blockgrenzen von Einzelbild zu Einzelbild in der Folge von Einzelbildern aufweist, um die Effizienz der Kodierung zu verbessern.

6. Verfahren nach Anspruch 2 oder Anspruch 4, wobei der Schritt des Anwendens folgende Schritte aufweist:

Anwenden der hierarchischen Kodierung auf die Datenstrukturen Block für Block

und Verwischen von Blöcken der vorausgesagten Bilddarstellung, wenn vorausgesagte Bilddaten einen Blockabschuitt des letzten Bildes auf einem Niveau der Pyramidenstruktur nicht adäquat darstellen.

7. Verfahren zur Kodierung von Jntereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, wobei das Verfahren folgende Schritte aufweist:

Dezimieren von vorausgesagten Intereinzelbild Bilddaten für ein letztes Einzelbild um eine Pyramidenstruktur von Voraussagedaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen,

Dezimieren von unkodierten Letztbilddaten, die das unkodierte letzte Einzelbild darstellen, um eine Pyramidenstruktur von Letztbilddaten mit der Vielzahl der Dezimierungsuiveaus zu erzeugen,

und Anwenden verlustbehafteter hierarchischer Kompressionskodierung auf die Pyramidenstruktur von Voraussage- und Letztbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen, wobei der Schritt des Anwendens den Schritt des Interpolierens von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau aufweist.

8. Verfahren nach Anspruch 1 oder Anspruch 7, wobei der Schritt des Anwendens folgende Schritte aufweist:

Bilden einer Voraussageinterpolationsfehlerdatenstruktur auf den niedrigeren Niveaus durch Bestimmen der Differenz zwischen den vorausgesagten Bilddaten auf dem niedrigeren Niveau und den vorausgesagten hiterpolationsbilddaten auf dem nächst höheren Niveau,

und Bilden eines Voraussagebildes auf jedem niedrigeren Niveau durch Kombinieren eines interpolierten Ausgabebildes des nächst höheren Niveaus mit einer Voraussageinterpolationsfehlerdatenstruktur auf dem niedrigeren Niveau.

9. Verfahren nach Anspruch 3 oder Anspruch 8, das weiterhin folgende Schritte aufweist:

ausschließliches Anwenden der Vektorquantisierung und Kodierung auf den Voraussagebildfehler auf einer Vielzahl von Niveaus am unteren Ende der Pyramidendatenstrukturen, ausschließliches übertragen von Unschärfeinformation auf dem zweithöchsten Niveau, und ausschließliches übertragen von skalaren Quantisierungsdaten auf dem obersten Verarbeitungsuiveau.

10. Verfahren nach einem der Ansprüche 3, 7 oder 8, wobei der Schritt des Bildens einer Voraussage weiterhin den Schritt des

Interpolierens des Ausgabebildes von dem nächsthöheren Niveau aufweist, um das interpolierte Ausgabebild zu erzeugen.

11. Verfahren zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, wobei das Verfahren folgende Schritte aufweist:

Bilden eines Differenzbildes Pixel für Pixel, das die Differenz zwischen vorausgesagten Bilddaten für ein letztes Einzelbild und unkodierten Letztbilddaten, die das unkodierte letzte Einzelbild darstellen, darstellt,

und Anwenden verlustbehafteter hierarchischer Kompressionskodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbiiddaten zu erzeugen, wobei der Schritt des Anwendens den Schritt des

Interpolierens von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau aufweist.

12. Verfahren nach einem der Ansprüche 4, 7 oder 11, das weiterhin den Schritt des

Bildens der vorausgesagten Bilddaten durch Verwendung von Intereinzelbild Bewegungskompensation aufweist.

13. Verfahren nach eineni der Ansprüche 1, 2, 4, 7 oder 11, dadurch gekennzeichnet, daß der Schritt des Anwendens den Schritt der Verwendung arithmetischer Kodierung aufweist um die kodierte Darstellung teilweise zu erzeugen.

14. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß der Schritt des Anwendens den Schritt des Anwendens der hierarchischen Kodierung auf die Datenstrukturen Block für Block und des Verwischens von Blöcken der vorausgesagten Bilddarstellung vor dem Erzeugen der Differenz aufweist, wenn die vorausgesagten Bilddaten einen Blockabschnitt des letzten Bildes nicht adäquat darstellen.

15. Verfahren nach Anspruch 4 oder Anspruch 11, dadurch gekennzeichnet, daß der Schritt des Anwendens den Schritt des Bildens einer Interpolationsfehlerdatenstruktur auf den medrigeren Niveaus aufweist, durch Bestimmen der Differenz zwischen den Differenzbilddaten auf dem niedrigeren Niveau und interpolierten, rekonstruierten Differenzbilddaten auf dem nächst höheren Niveau.

16. Vorrichtung zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungs- System zur Übertragung einer Folge von Einzelbildern, dadurch gekennzeichnet, daß die Vorrichtung folgendes aufweist:

Mittel (502) zum Dezimieren vorausgesagter Intereinzelbild Bilddaten für ein letztes Einzelbild, um eine Pyramidenstruktur von Voraussagedaten mit einer Vielzahl von Dezimierungsuiveaus zu erzeugen,

Mittel (504) zum Dezimieren uncodierter Letztbilddaten, die das uncodierte letzte Ein zelbild darstellen, um eine Pyramidenstruktur von Letztbilddaten mit der Vielzahl der Dezimierungsniveaus zu erzeugen,

und Mittel (506) zum Anwenden einer hierarchischen Vektorquantisierungskodierung au die Pyramidenstruktur von Vorhersage- und Letzbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen.

17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, daß sie zur Kodierung von Intereinzelbildfehlerdaten in einem bewegungskompensierenden Bildübertragungssystem vorgesehen ist.

18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß die Mittel zum Anwenden folgendes aufweisen:

Mittel (514) zum Subtrahieren der vorausgesagten Bilddatenstruktur von der Letztbilddatenstruktur auf einem obersten Niveau, um ein Ausgabebild für das oberste Niveau zu erzeugen,

Mittel (524, 526, 528) zum Bilden einer verwundenen Interpolationsfehlerdatenstruktur auf den niedrigeren Niveaus durch Bestimmen der Differenz zwischen den vorausgesagten Bilddaten auf dem niedrigeren Niveau und den interpolierten vorausgesagten Bilddaten auf dem nächst höheren Niveau;

und Mittel (527, 530) zum Bilden eines Voraussagebildes auf jedem niedrigeren Niveau durch Kombinieren eines interpolierten Ausgabebildes des nächst höheren Niveaus mit einer verwundenen Interpolationsfehlerdatenstruktur auf dem niedrigeren Niveau.

19. Vorrichtung zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, dadurch gekennzeichnet, daß die Vorrichtung folgendes aufweist:

Mittel (51A) zum Bilden eines Differenzbildes Pixel für Pixel, das die Differenz zwischen vorausgesagten Bilddaten für das letzte Einzelbild und unkodierten Letzbilddaten, die das unkodierte letzte Einzelbild darstellen, darstellt,

Mittel (51B) zum Dezimieren des Differenzbildes, um eine Pyramidenstruktur von Differenzbilddaten mit einer Vielzahl von Dezimierungsniveaus zu erzeugen,

und Mittel (51C) zum Anwenden einer hierarchischen Vektorquantisierungskodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bllddaten und den unkodierten Letztbilddaten zu erzeugen.

20. Vorrichtung nach einem der Ansprüche 16, 17 und 19, und gekennzeichnet durch

Mittel (536) zum Anwenden der Kodierung auf die Datenstrukturen eines Niveaus Block für Block

und Mittel (536) zum Verschieben von Blockgrenzen von Einzelbild zu Einzelbild in der Folge von Einzelbildern, um die Effizienz der Kodierung zu verbessern.

21. Vorrichtung zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, dadurch gekennzeichnet, daß die Vorrichtung folgendes aufweist:

Mittel (502) zum Dezimieren von vorausgesagten Intereinzelbild Bilddaten eines letzten Einzelbildes zur Erzeugung einer Pyramidenstruktur von Voraussagedaten mit einer Vielzahl von Dezimierungsniveaus,

Mittel (504) zum Dezimieren von unkodierten Letztbilddaten, die das unkodierte letzte Einzelbild darstellen, zur Erzeugung einer Pyramidenstruktur von Letztbilddaten mit der Vielzahl der Dezimierun gsniveaus,

und Mittel (506, 46) zum Anwenden verlustbehafteter hierarchischer Kompressionskodierung auf die Pyramidenstruktur von Voraussage- und Letztbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen, wobei die Mittel zum Anwenden Mittel (526, 527 zum Interpolieren von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau aufweisen.

22. Vorrichtung nach Anspruch 16 oder Anspruch 24, dadurch gekennzeichnet, daß die Mittel zum Anwenden folgendes aufweisen:

Mittel (514) zum Subtrahieren der vorausgesagten Bilddatenstruktur von der Letztbild datenstruktur auf einem obersten Niveau, um ein Ausgabebild für das oberste Niveau zu erzeugen,

Mittel (530) zum Bilden einer Voraussageinterpolationsfehlerdatenstruktur auf den niedrigeren Niveaus durch Bestimmen der Differenz zwischen den vorausgesagten Bilddaten auf dem niedrigeren Niveau und den interpolierten, vorausgesagten Bilddaten auf dein nächst höheren Niveau,

und Mittel (527, 530) zum Bilden eines Voraussagebildes auf jedem niedrigeren Niveau durch Kombinieren eines interpolierten Ausgabebildes des nächst höheren Niveaus mit einer Voraussageinterpolationsfehlerdatenstruktur auf dem niedrigeren Niveau.

23. Vorrichtung zur Kodierung von Intereinzelbildfehlerdaten in einem Bildübertragungssystem zur Übertragung einer Folge von Einzelbildern, dadurch gekennzeichnet, daß die Vorrichtung folgendes aufweist:

Mittel (51A) zum Bilden eines Differenzbildes Pixel für Pixel, das die Differenz zwischen vorausgesagten Bilddaten für ein letztes Einzelbild und unkodierten Letztbilddaten, die das unkodierte letzte Einzelbild darstellen, darstellt,

Mittel (51B) zum Dezimieren des Differenzbildes, um eine Pyramidenstruktur von Differenzbilddaten mit der Vielzahl von Dezimierungsniveaus zu erzeugen,

und Mittel (51C, 46) zum Anwenden verlustbehafteter hierarchischer Kompressionskodierung auf die Pyramidenstruktur von Differenzbilddaten Niveau für Niveau, um eine kodierte Datendarstellung der Differenz zwischen den vorausgesagten Bilddaten und den unkodierten Letztbilddaten zu erzeugen, wobei die Mittel zum Anwenden Mittel (526, 527) zum Interpolieren von Bilddaten von einem höheren Niveau für wenigstens ein niedrigeres Niveau aufweisen

24. Vorrichtung nach einem der Ansprüche 19, 21 und 23 und weiter gekennzeichnet durch

Mittel (16, 34, 38, 42) zum Bilden der vorausgesagten Bilddaten durch Verwendung von Intereinzelbild Bewegungskompensation.

25. Vorrichtung nach einem der Ansprüche 16, 17 und 24, dadurch gekennzeichnet, daß die Mittel zum Anwenden weiterhin folgendes aufweisen:

Mittel (536) zum Anwenden der hierarchischen Kodierung auf die Datenstrukturen Block für Block

und Mittel (510-530, 539) zum Verwischen von Blöcken der vorausgesagten Bilddarstellung, wenn die vorausgesagten Bilddaten einen Blockabschnitt des letzten Bildes nicht adäquat darstellen.

26. Vorrichtung nach einem der Ansprüche 16,17, 19, 21 und 23, dadurch gekennzeichnet, daß die Mittel zum Anwenden weiterhin Mittel (534, 506) zur arithmetischer Kodierung aufweisen, um die kodierte Darstellung teilweise zu erzeugen.

27. Vorrichtung nach Anspruch 19 oder Anspruch 23, dadurch gekennzeichnet, daß die Mittel zum Anwenden weiterhin folgendes aufweisen:

und Mittel (510-530, 539) zum Verwischen von Blöcken der vorausgesagten Bilddarstellung vor dem Erzeugen der Differenz, wenn die vorausgesagten Bilddaten einen Blockabschnitt des letzten Bildes nicht adäquat darstellen.

28. Vorrichtung nach Anspruch 19 oder Anspruch 23, dadurch gekennzeichnet, daß die Mittel zum Anwenden Mittel (530) zum Bllden einer Interpolationsfehlerdatenstruktur auf den niedrigeren Niveaus aufweist, durch Bestimmen der Differenz zwischen den Differenzbllddaten auf dem niedrigeren Niveau und interpolierten, rekonstruierten Differenzbilddaten auf dem nächst höheren Niveau.