-
Die Erfindung betrifft ein System
zur Verarbeitung eines Bilder darstellenden digitalen Signals. Insbesondere
betrifft die Erfindung ein Speicher-Vexwaltungs-Verfahren in einem
mit MPEG kompatiblen Bildsignal-Dekodierer.
-
Schnelle Fortschritte in der digitalen
Signalverarbeitungs-Technologie
haben entsprechende Fortschritte in der digitalen Bildsignal-Verarbeitung
in verschiedenen Sachgebieten erzeugt, einschließlich zum Beispiel bei dem
direkten Rundfunk-Satelliten- und
hoch auflösenden
Fernsehen (ADTV). Die MPEG (Motion Picture Experts Group) Signalverarbeitungs-Norm
(ISO/IEC 13818-2, 10. Mai 1994) ist eine verbundene Entwicklung.
Es wurde gefunden, dass diese in breitem Umfang akzeptierte Bildverarbeitungs-Norm
besonders attraktiv für
die Verwendung bei Satelliten-, Kabel- und terrestrischen Rundfunksystemen,
einschließlich
hoch auflösenden Fernsehsystemen
(HDTV) ist.
-
In einem MPEG-Videosignal-Dekodierer wird üblicherweise
mehr als die Speicherung eines Vollbildes benötigt, um einen gemäß MPEG kodierten
digitalen Datenstrom zu dekodieren, der bekanntlich I-, P- und B-Vollbilder
darstellt. Drei gespeicherte Vollbilder werden allgemein benötigt, um
einen MPEG-Datenstrom zu dekodieren: zwei Vollbilder werden benötigt, um
I- oder P-Bezugs-Vollbilddaten zu
speichern, und ein Vollbild wird verwendet, um B-Vollbilddaten zu
speichern. Z. B. kann ein konventioneller MPEG-Dekodierer in einem
direkten Rundfunk- Satelliten-empfänger-Dekodierer einen Speicher
mit willkürlichem
Zugriff (RAM) für
16 Mbits enthalten, und ein MPEG-Dekodierer in einem HDTV-System,
das von der Grand Alliance in den USA vorgeschlagen wurde, erfordert
einen RAM für etwa
80 Mbits. Gegenwärtig
sind die Kosten für
einen so großen
RAM-Speicher beträchtlich.
Die Notwendigkeit, die Speichererfordernisse zu begrenzen, insbesondere
in Verbraucher-Produkten wie Video- und Fernsehsystemen, ist wichtig,
um die Kosten solcher Produkte auf einer vernünftigen Höhe zu halten.
-
Gemäß den Prinzipien der vorliegenden
Erfindung wird hier als wünschenswert
erkannt, die Speichererfordernisse eines digitalen Bildverarbeitungs-Systems
wirksam zu verwalten, insbesondere im Fall von MPEG-kompatiblen
Systemen, die eine ausgedehnte Verwendung in Verbraucher-Produkten finden
können.
-
Das Dokument EP-A-0 687 111 befasst
sich mit einem Prozess, der die Schritte von Neu-Sortieren wie auch
Komprimieren bzw. Dekomprimieren von Daten umfasst. Für die Neu-Sortierung
werden die Daten zwischengespeichert und in einer verschiedenen
Reihenfolge dekomprimiert und wieder ausgelesen. Der offenbarte
Prozess erlaubt die Verminderung der erforderlichen Speicherkapazität für den Zwischenspeicher,
der erforderlichen Speicher-Bandbreite und des in dem Zwischenspeicher zu
speichernden Daten-Durchsatzes. Die bei diesem offenbarten Prozess
erzielte Bildqualität
ist manchmal unzureichend.
-
Das US-Patent 5,847,762 betrifft
ein Code-Umwandlungs-System für
die Bandkompression von digitalen Signalen. Die Übertragungsqualität wird verbessert,
indem eine Kombination aus binären Worten
mit fester und variabler Länge
gesendet wird, wobei Konverter für
Signale fester und variabler Länge
parallel geschaltet sind. Eine Entscheidungen treffende Schaltung
trennt die aufeinanderfolgenden binären Worte in Abhängigkeit
von logische Entscheidungen treffenden Regeln, die sich auf ein
Wort mit durchschnittlicher Länge
beziehen.
-
In einem Bildsignal-Dekodierer, der
die Prinzipien der vorliegenden Erfindung verwendet, werden zuvor
dekomprimierte Bilddaten komprimiert, bevor sie in einen Speicher
eingeschrieben werden, der in dem Dekodierungs-Prozess verwendet
wird.
-
Die Erfindung bezieht sich somit
auf ein System zur Verarbeitung von Bilder darstellenden Daten, das
einen MPEG-kompatiblen
Dekodierer umfasst, wie im Anspruch 1 beschrieben, und auf ein entsprechendes
Verfahren, wie im Anspruch 9 offenbart. Die Erfindung erlaubt dadurch
die Ausführung
von Dekompressions-Kompressions-Dekompressions-Operationen, wobei
durch die kombinierte Verwendung von Kompressoren mit jeweils einer
Variablen und einer festen Charakteristik eine hohe Bildqualität ermöglicht wird.
-
Ausführungen für ein bevorzugtes System und
Verfahren sind in den Unteransprüchen
2 bis 8 bzw. 10 bis 15 angegeben. Bei einer offenbarten MPEG-kompatiblen
Dekodierer-Ausführung
werden die Daten komprimiert, bevor sie in den Vollbild-Speicher
eingeschrieben werden, und die gespeicherten Daten werden für die Anzeige
dekomprimiert, oder – wenn
nötig – für MPEG-Dekodierungs-Funktionen, wie
z. B. Bewegungs-Kompensations-Verarbeitung.
-
Gemäß einem Merkmal der Erfindung
ist die Kompression eine auf Blöcken
beruhende Kompression unter Verwendung von komprimierten Daten aus einem
von zwei verschiedenen Kompressionswegen.
-
Kurze Beschreibung der Zeichnungen
-
1 ist
ein Blockschaltbild eines Teils eines die Prinzipien der Erfindung
verwendenden MPEG-Dekodierers.
-
2 zeigt
eine Speicher-Abbildung für
volle und verminderte Speicher-Situationen.
-
3 ist
ein Blockschaltbild eines Kompressions-Netzwerkes, das für den MPEG-Dekodierer von Fig.
1 nützlich
ist.
-
4 und 5 zeigen zusätzliche
Einzelheiten des Netzwerks von 3.
-
6 und 7 zeigen Pixel-Anordnungen,
die hilfreich zum Verständnis
vom Aspekten der Operation der in 4 und 5 dargestellten Netzwerke
sind.
-
8 zeigt
ein alternatives Zwei-Weg-Kompressions-Netzwerk.
-
1 zeigt
einen Teil eines Videosignal-Prozessors, der zum Beispiel in einem
Fernsehempfänger
oder einem Satellitenempfänger
gefunden werden kann. Der Videoprozessor enthält einen üblichen MPEG-Dekodierer, der
durch die Blöcke 10, 12, 14, 16, 18, 20 und 22 gebildet
wird. Ein MPEG-Kodierer und - Dekodierer werden beispielsweise von
Ang et al., „Video
Compression Makes Big Gains", IEEE Spectrum, Oktober 1991, beschrieben.
Gemäß- den Prinzipien
der vorliegenden Erfindung enthält
der MPEG-Dekodierer zusätzlich
eine Block-Kompressor- Einheit 30 zum
Komprimieren von Daten, bevor sie in einen Vollbild-Speicher eingeschrieben
werden.
-
Das System von 1 empfängt einen gesteuerten Datenstrom
von gemäß MPEG kodierten komprimierten
Daten aus einem vorangehenden Eingangs-Prozessor, z. B. einem Transport-Dekodierer, der Datenpakete
nach Eingangssignal-Demodulationen trennt. Die empfangenen Daten
sind in Form von Datenblöcken,
die 8 × 8
Pixel (Bildelemente) darstellen. Diese Daten stellen sowohl Intra-Vollbild-Informationen
dar, die kodiert worden sind, als auch vorhersagende Inter-Vollbild-Bewegungs-kodierte
restliche Bildinformationen dar, die die Bilddifferenz zwischen
benachbarten Vollbildern darstellen. Die Inter-Vollbild-Bewegungs-Kodierung
beinhaltet die Erzeugung von Bewegungs-Vektoren, die den Versatz zwischen einem
gegenwärtig
verarbeiteten Block und einem Block in einem zuvor rekonstruierten
Bild darstellen. Der Bewegungs-Vektor, der die beste Anpassung zwischen
gegenwärtigen
und vorangehenden Blöcken
darstellt, wird kodiert und übertragen. Auch
die Differenz (Rest) zwischen jedem bewegungskompensierten 8 × 8-Block
und dem zuvor rekonstruierten Block wird einer DCT-Transformation unterworfen,
quantisiert und einer variablen Längenkodierung unterzogen, bevor
die Aussendung erfolgt. Dieser bewegungskompensierte Kodierungs-Prozess
ist in größeren Einzelheiten
in Odem oben erwähnten
Artikel von Ang et al. beschrieben.
-
Die komprimierten Eingangs-Pixel-Datenblöcke werden
durch die Einheit 10 gepuffert, bevor sie durch die Einheit 12 einer
variablen Längendekodierung
unterzogen werden. Der Puffer 10 weist eine Speicherkapazität von 1,75
Mbits im Fall eines Haupt-Pegel-,
Haupt-Profil-MPEG-Datenstroms auf. Dekodierte komprimierte Daten
von der Einheit 12 werden durch die inverse Quantisierungseinheit 14 und
durch die Einheit 16 für
inverse diskrete Cosinus-Transformation (DCT) dekomprimiert, bevor
sie einem Eingang einer Addierschaltung 18 zugeführt werden.
Die von dem inversen Quantisierer 14 erzeugte Schrittgröße wird
durch ein Signal vom Puffer 10 gesteuert, um einen glatten
Datenfluss sicherzustellen. Dekodierte Bewegungs-Vektoren werden vom
Dekodierer 12 an eine Bewegungs-Kompensations-Einheit 22 geliefert,
was nachfolgend noch beschrieben wird. Der Dekodierer 12 erzeugt
auch ein Inter/Intra-Vollbild-Betriebsart-Auswahl-Steuersignal, wie
bekannt, was zur Vereinfachung der Zeichnung nicht dargestellt ist.
Die von den Einheiten 12, 14 und 16 ausgeführten Operationen
sind invers zu den entsprechenden von einem Kodierer, z. B. bei
einem Sender ausgeführten
Operationen. Der MPEG-Dekodierer von 1 stellt
das empfangene Bild unter Verwendung bekannter MPEG-Verarbeitungsverfahren
wieder her, die nachfolgend kurz beschrieben werden.
-
Am Ausgang der Addierschaltung 18 wird durch
Summieren der restlichen Bilddaten von der Einheit 16 mit
vorhergesagten Bilddaten, die am Ausgang der Bewegungs-Kompensations-Einheit 22 auf der
Basis des Inhalts des Vollbild-Speichers 20 erzeugt werden,
ein rekonstruierter Pixelblock erzeugt. Wenn ein vollständiges Vollbild
aus Pixelblöcken
verarbeitet worden ist, wird das resultierende rekonstruierte Bild
im Vollbild-Speicher 20 gespeichert. Bei der Inter-Vollbild-Betriebsart
werden vom Dekodierer 12 gewonnene Bewegungs-Vektoren dazu
verwendet, den Ort der vorhergesagten Blöcke aus der Einheit 22 zu
liefern.
-
Der Bild-Rekonstruktions-Prozess,
der die Addierschaltung 18, den Speicher 20 und
die Bewegungs-Kompensations-Einheit 22 beinhaltet, weist vorteilhafterweise
beträchtlich
verminderte Speicher-Erfordernisse aufgrund der Verwendung eines auf
Blöcken
beruhenden Kompressors 30 gemäß den Prinzipien der vorliegenden Erfindung
auf. Genauer gesägt
wird das Maß an
Speicherung, das für den
Vollbild-Speicher 20 erforderlich ist, um ein vorgegebenes
Maß, z.
B. 50% (oder mehr) als Funktion der Kompression vermindert, die
durch die Einheit 30 ausgeführt wird. Zusätzliche
Einzelheiten des Kompressors 30 werden in Verbindung mit 3 beschrieben.
-
Eine bildliche Darstellung der verminderten Speicher-Erfordernisse der
Speicher-Vorrichtung 20 zeigt 2. In 2 stellt
die Speicher-Abbildung links die Abbildung von Pixelblöcken innerhalb
eines Speichers mit voller Größe dar.
Die Abbildung rechts veranschaulicht, wie ein 50% kleinerer Speicher
verwendet wird, um durch die Einheit 30 komprimierte Blöcke zu speichern.
Wie man aus der folgenden Erläuterung
des Kornpressions-Netzwerks von 3 sieht,
wird garantiert, dass jeder Block (z. B. Block C) in 50% des Raums
passt, der normal für
einen Speicher mit voller Größe oder
weniger erforderlich ist. Dies bedeutet, dass die von der Einheit 30 erzeugte Kompression
50% oder mehr beträgt.
Bei diesem Beispiel bleibt jeder unbenutzte Speicherraum, der nach
der Kompression verbleibt, ungenutzt, so dass die Startposition
der Daten für
jeden Block ein bekannter Ort oder eine Startadresse ist.
-
Bei dem Speicher mit voller Größe kann
jedes besondere Pixel wegen einer festen Abbildung zwischen den
Video-Vollbild-Pixeln und den Speicher-Pixel-Adressen lokalisiert
und zu ihm Zugriff genommen werden. Der Speicher mit verminderter
Größe weist keine Pixel-für-Pixel-Abbildung auf. Statt dessen
werden Pixelblöcke
in dem Speicher abgebildet. Wenn ein besonderes Pixel aus einem
besonderen Block benötigt
wird, kann es erforderlich sein, Zugriff zu dem gesamten Datenblock
zu nehmen.
-
Ein übliches MPEG 2 Haupt-Pegel-, Haupt-Profil-System
(720 × 480
Pixel) erfordert eine Vollbils-Speicherkapazität von 12.441.600 Bits zur Speicherung
von drei Video-Vollbildern. Durch Komprimieren dieser Vollbilder
um 50% vor der Speicherung gemäß der vorliegenden
Erfindung, wie oben beschrieben; werden nur 7.970.800 Bits an Speicherung
für die
MPEG-Dekodierung benötigt.
Dies bedeutet 6.220.800 Bits an Vollbild-Speicherung für die Einheit 20 und
1.750.000 Bits an Pufferspeicherung für die Einheit 10.
Wenn daher das System eine übliche
externe 16-Mbit-Speicher-Vorrichtung
verwendet, wird ein Speicherraum von nur 8 Mbits für die MPEG-Dekodierung
benötigt,
wobei die verbleibende externe Speicherkapazität für andere Zwecke verfügbar bleibt,
z. B. für
On-Screen-Anzeige, Mikroprozessor RAM, Transportpuffer oder andere
spezielle Puffer. Da kleinere integrierte Schaltungen entwickelt werden,
kann es möglich
sein, den Dekodierer-Speicher auf derselben integrierten Schaltung
mit den anderen Kodierer-Netzwerken zu integrieren. Die Verminderung
der Speicher-Erfordernisse in einem HDTV-Dekodierer-System führt zu beträchtlichen Einsparungen.
Bei dem von der Grand Alliance in den Vereinigten Staaten vorgeschlagenen HDTV-System
ist u. B. das Vollbild-Speicher-Erfordernis 1920 × 1080 × 12 × 3 = 75.202.560
Bits.
-
Bei einer Kompression von 50% wird
das Speicher-Erfordernis auf 37.601.280 Bits vermindert.
-
Die Verwendung von Kompression mittels des
Kompressors 30 vor der Speicherung von Daten im Speicher 20 erfordert,
dass die Daten vor der Einheit 22 in der Bewegungs-Kompensations-Verarbeitungsschleife
dekomprimiert werden. Dies wird durch den auf Blöcken beruhenden Dekompressor 32 bewirkt,
der das Inverse der Operation des Kompressors 32 aufweist.
Der auf Blöcken
beruhende Dekompressor 34 ist ähnlich der Einheit 32 und
dekomprimiert gespeicherte Pixelblöcke bevor sie einem Anzeige- Prozessor 26 zugeführt werden.
Der Prozessor 26 kann beispielsweise Schaltungen zur Konditionierung
der Pixeldaten für
die Anzeige, ein Anzeige-Ansteuer-Netzwerk und eine Bildwiedergabe-Vorrichtung
enthalten.
-
Das beschriebene Speicherverminderungs-Verfahren
kann bei einem MPEG 2 Haupt-Pegel-, Haupt-Profil-Dekodierer verwendet
werden, der in der Lage ist, MPEG 2 Datenströme mit einer Bildauflösung bis
hinauf zu CCIR 601 (720 × 480
Pixel) zu dekodieren. Dieses Verfahren ist ebenso anwendbar bei
MPEG 1 Datenströmen
und bei anderen Bildauflösungen
einschließlich
hoch auflösender
Formate, die beispielsweise Rundfunk-, Kabel- und Satelliten-Fernsehsignalen
und anderen Informationen tragenden Signalen zugeordnet sein können.
-
Zu Daten von gespeicherten Anker-Vollbildern
- wie I-Vollbildern – wird allgemein
Zugriff in willkürlicher
Weise gemäß den Bewegungs-Vektoren genommen,
die in dem komprimierten Eingangs-Datenstrom empfangen werden. Ein
auf Blöcken
beruhendes Kompressions-Schema hält
eine vernünftige Zugriffsmöglichkeit
zu Pixeldaten aus dem Vollbild-Speicher aufrecht. Es wurde gefunden,
dass ein 8 × 8-Pixelblock
gut mit dem offenbarten Kompressions-Schema arbeitet. Größere Pixelblöcke erlauben die
Verwendung von verfeinerten Kompressions-Verfahren auf Kosten. von
verminderten Pixel-Zugriffsmöghichkeit.
Kleinere Blöcke
erlauben eine feinere Körnigkeit
beim Zugriff auf Pixel auf Kosten von weniger Optionen für die Kompression.
Verschiedene Arten von Kompression, einschließlich Quantisierung und Transformation
können
verwendet werden, um die Funktion des Kompressors 30 je
nach den Erfordernissen eines bestimmten Systems auszuführen.
-
Der verwendete Kompressions-Typ sollte vorzugsweise,
aber nicht notwendigerweise, bestimmte Eigenschaften aufweisen.
Jeder Block sollte um ein vorbestimmtes Maß oder mehr komprimiert werden,
so dass der Ort jedes komprimierten Blocks leicht bestimmt wird,
wie in Verbindung mit der in Fig. 2 dargestellten Speicher-Abbildung
beschrieben wurde. Jeder Block sollte unabhängig von anderen Blöcken komprimiert/dekomprimiert
werden. Somit kann zu jedem Block Zugriff genommen werden, ohne dass
ein anderer Block gelesen werden muss. Im Idealfall sollte der Kompressions/Dekompressions-Prozess
verlustlos sein, aber dies kann nicht für irgendeine Blockgröße garantiert
werden. Somit sollte der Kompressions/Dekompressions-Prozess keine
zu beanstandenden Artefakte in einem wiedergegebenen Bild erzeugen.
-
Ein besonders vorteilhaftes Kompressions-Verfahren
für die
Verwendung durch den Kompressor 30 ist in 3 dargestellt. Dieses Kompressions-Verfahren
verwendet ein variables Kompressions-Netzwerk parallel mit einem
festen Kompressions-Netzwerk.
Die Kompressions-Netzwerke wirken gleichzeitig auf denselben Pixelblock
ein. Das veränderbare
Kompressions-Netzwerk hat den Vorteil, verlustlos oder nahezu verlustlos
zu sein, und es ist das vorzuziehende Kompressions-Netzwerk. Wenn
das variable Kompressions-Netzwerk nicht erfolgreich beim Erzielen
eines vorbestimmten gewünschten Maßes an Datenkompression
ist, wird statt. dessen der Ausgang des festen Kompressions-Netzwerks verwendet.
Während
das feste Kompressions-Netzwerk das gewünschte Maß an Kompression erzielen kann,
hat dieses Netzwerk den Nachteil, verlustbehaftet zu sein.
-
In 3 werden
Daten von einer Quelle 18 einem Eingangsanschluss 312 eines
Daten-Kompressions-Netzwerks zugeführt, das parallele unabhängige Daten-Kompressions-Wege 314 und 320 enthält. Der
Weg 314 ist ein im wesentlichen verlustloser Weg und enthält einen
variablen Kompressions-Prozessor 316,
der komprimierte Daten einem der Signaleingänge eines Multiplexers (MUX) 325 zuführt, und
einen Bit-Zähler 318.
Der Zähler 318 überwacht
die Bit-Zählung
jedes Datenblocks, der von der Einheit 316 komprimiert
wird, und liefert ein Schalt-Steuersignal
an einen Steuereingang von MUX 325. Zusätzliche Einzelheiten des Kompressions-Weges 314 sind
in 4 dargestellt und
werden im Zusammenhang mit dieser Figur erläutert. Der Weg 320 ist
ein verlustbehafteter Weg, der einen festen Kompressions-Prozessor 322 enthält, was
in größeren Einzelheiten
in 5 dargestellt ist.
Komprimierte Ausgangsdaten von der Einheit 320 werden an
einen anderen Signaleingang von MUX 325 geliefert. MUX 325 liefert
entweder die komprimierten Daten aus dem Weg 314 oder die
komprimierten Daten aus dem Weg 320 an einen Ausgangs-Anschluss 328 des-Kompressions-Netzwerks,
was in größeren Einzelheiten
nachfolgend erläutert
wird. Die komprimierten Ausgangsdaten werden dem Vollbild-Speicher 20 in 1 zugeführt.
-
Das auf Blöcken beruhende Kompressions-Netzwerk 314, 320 komprimiert
jeden Pixelblock unabhängig.
und prinzipiell, dass jeder Block mit einem vorbestimmten Kompressions-Faktor
oder mehr komprimiert wird. Der Ausgang entweder des Kompressions-Weges 314 oder
des Weges 320 wird für den
Eingang zum Speicher 20 so ausgewählt, dass eine zufriedenstellende
Bildqualität
und der gewünschte
Kompressions-Faktor (50% bei diesem Beispiel) erzeugt wird. Kompressions-Faktoren
größer als
50% können
ebenfalls verwendet werden. Es wurde jedoch festgelegt, dass Kompressions-Faktoren,
die 50% nicht übersteigen,
gute Ergebnisse erzielen. Ein Kompressions-Faktor von 25% ist weitgehend
transparent im Vergleich zu einer konventionellen Dekodierer-Verarbeitung
ohne eine solche Kompression. Bei 50% Kompression sind die Ergebnisse weniger
transparent, aber die Ergebnisse sind annehmbar und werden nicht
als nennenswert unterschiedlich im Vergleich zu konventioneller
Dekodierer-Verarbeitung
ohne Speicher-Verminderung angesehen.
-
Die Mehrweg-Eigenschaft des Kompressions-Netzwerks
erzielt eine hohe Bildqualität
und stellt sicher, dass wenigstens der festgelegte Kompressions-Faktor
erreicht wird. Der variable Kompressions-Weg 314 weist
eine verlustlose oder nahezu verlustlose Kompression auf, aber die
Zahl der durch den Weg 314 gelieferten Ausgangs-Bits ist
variabel. Die Zahl von komprimierten Block-Ausgangs-Bits vom Weg 314 wird
durch den Zähler 318 überwacht.
Wenn die Zahl der komprimierten Block-Bits-314 gleich oder kleiner als
eine vorbestimmte Ziel-Bit-Zählung
ist, die mit dem vorbestimmten Kompressions-Faktor verbunden ist,
werden die komprimierten Daten, die vom Weg 314 ausgegeben werden,
durch den MUX 325 ausgewählt und zum Speicher 20 übertragen.
Andernfalls wird der komprimierte Block-Ausgang von dem festen Kompressor 322 verwendet.
Der feste Kompressor 320 verwendet ein verlustreichen Kompressions-Programm
mit Quantisierung, um einen festen Ziel-Bit-Ausgang zu erzeugen.
Um die Dekompression zu erleichtern, fügt jedes Kompressions-Netzwerk für jeden
komprimierten Block eine Signalisierungs-Information in den Datenstrom ein, um
den Typ der Kompression anzuzeigen, der bei dem Block ausgeführt wurde,
Die Signalisierungs-Informationen können ein oder mehrere Bits
sein, die am Beginn jedes komprimierten Datenblocks, z. B. in einem
Header, eingefügt
werden. Die Signalisierungs-Bits werden durch die Dekompressions-Netzwerke 32 und 34 (1) erfühlt, die das Inverse der Kompression
ausführen,
die verwendet wurde, um den Blck zu komprimieren, der den gegebenen
Signalisierungs-Bits zugeordnet ist. Der Header kann andere Steuer-Informationen
enthalten, z. B. Quantisierungs-Steuer-Informationen.
-
Eine variable Kompression wird vorzugsweise
in glatten Bereichen eines Bildes verwendet, um störende Konturbildungs-Artefakte zu vermeiden.
Die Bildqualität
wird im wesentlichen über
solchen Bereichen als hoch garantiert, weil der variable Kompressor 316 wenig
oder keine Quantisierung verwendet, was ein weitgehend verlustloser
Prozess ist. Andererseits kann der feste Kompressor 322 in
Bildbereichen verwendet werden, die bemerkenswerte Detail-Informationen
enthalten. Da das Quantisierungs-Rauschen in solchen Bereichen wahrscheinlich
keinen sehr wahrnehmbaren Fehler einführt, wird die wahrgenommene
Qualität
eines Bildbereiches, der einer festen Kompression im Weg 320 unterworfen
wird, sehr wahrscheinlich gut sein. Es ist jedoch nicht erforderlich,
wahlweise variable und feste Kompression auf diese Art zu verwenden,
obwohl es in vielen Systemen nützlich
sein wird, dies zu tun. Die Wahl, welcher der beiden komprimierten
Blöcke
verwendet werden soll, beruht einfach auf der Bit-Zählung des
komprimierten Blocks aus dem variablen Kompressor 316.
Wenn der Bit-Wert anzeigt, dass der Kompressor 16 die gewünschte Kompression
erzielt hat, wird er verwendet. Andernfalls wird der Kompressor 22 verwendet.
-
Die auf Blöcken beruhende Kompression, die
von dem Kompressions-Netzwerk 314, 320 durchgeführt wird,
und die unabhängige
Kompression jedes Blocks erlaubt, dass ein Dekodierer jeden Block
dekodiert, ohne Informationen bezüglich irgendeines anderen Blocks
zu benötigen.
Da jeder Block mit einem vorbestimmten Kompressions-Faktor komprimiert
wird, ist die Speicher-Adresse des ersten Pixels jedes Blocks im
voraus bekannt. Somit kann auf jeden Block vom Speicher ohne Informationen
hinsichtlich irgendeines anderen Blocks Zugriff genommen werden.
In dieser Hinsicht sei bemerkt, dass im Speicher für jeden
Block Bereiche reserviert werden. Im Fall von 50% Kompression hat
jeder reservierte Bereich die Größe des halben
ursprünglichen
Blocks. Somit passt jeder komprimierte Block in den Speicherbereich,
der für
ihn reserviert ist, aufgrund der Tatsache, dass Bits gezählt werden
und der Ausgang des Kompressors 320 verwendet wird, wenn
es notwendig ist. Wenn der bevorzugte Kompressor 316 im
Erzielen eines Kompressions- Maßes,
das größer als
das Ziel-Kompressions-Maß ist, erfolgreich
ist, wird der Ausgang des Kompressors 316 verwendet, und
etwas von dem reservierten Speicherraum wird von den komprimierten
Blockdaten nicht benutzt. Dies bedeutet, dass jeder komprimiert
e Block beginnt, seinen reservierten Speicherbereich zu füllen, beginnend
mit einer vorbestimmten Start-Adresse und in Fortsetzung zu einer
Adresse, die weniger ist als die letzte Adresse, die für diesen Block
reserviert war. Dieser Prozess wird in Verbindung mit 2 erläutert.
-
Es ist erwünscht, für auf Blöcken beruhende Kompression
in der Lage zu sein, sowohl einen hohen Kompressions-Wirkungsgrad
als auch einen leichten Zugriff zu jedem Pixel eines Pixelblocks
zu erzielen, selbst wenn diese beiden Ergebnisse von Natur aus konkurrieren.
Dies bedeutet, dass ein hoher Kompresssions-Wirkungsgrad eine große Blockgröße erfordert,
während
ein leichter Zugriff zu den Pixeln eine kleine Blockgröße erfordert.
Es wurde gefunden, dass diese beiden Eigenschaften im wesentlichen
mit Pixelblock-Größen von
8 × 8
Pixeln und 16 × 4
Pixeln erreicht werden können.
Die Blöcke
werden in der Einheit 10, wie zuvor erwähnt, in die erforderlichen
N × N
Pixelgrößen gebracht.
-
Bei diesem Beispiel wird jeder auf
Halbbildern beruhende Pixelblock in einer Raster-Weise von links
nach rechts in einer Richtung nach unten abgetastet, wie in Fig.
6 dargestellt ist. Diese Abtastung erfolgt in beiden Einheiten 316 und 322 unter
Verwendung von Verzögerungselementen 452 bis 456 und Verzögexungselementen 452 bis 556,
wie in 4 bzw. 5 dargestellt
ist, was noch erläutert
wird. Das variable Kompressions-Netzwerk ist in 4 dargestellt. Dieses Netzwerk verwendet
eine DPCM-Schleife mit adaptiver Vorhersage, um ein Differenzsignal
(Rest) unter Verwendung bekannter Verfahren zu erzeugen. Diese Differenz
wird einer variablen Längenkodierung
unterzogen, und die resultierende Zahl von kodierten Differenz-Bits wird überwacht,
um anzuzeigen, ob der gewünschte
Kompressions-Faktor für
den gegenwärtigen
Block erreicht wurde oder nicht.
-
In 4 erzeugt
das differenzbildende Netzwerk 442 einen Ausgang, der die
Differenz (Rest) zwischen Eingangs-Pixelwerten, die einem nicht
invertierenden Eingang (+) der Einheit 442 zugeführt werden,
und vorhergesagten Pixelwerten, die einem invertierenden Eingang
(-) der Einheit 442 zugeführt werden, darstellt. Der
vorhergesagte Wert wird unter Verwendung einer DPCM-Verarbeitungs-Schleife
erhalten, die einen Differenzbildner 442, einen variablen
Längenkodierer 444 und
einen variablen Längendekodierer 446 enthält, der
das Inverse der Kodierungs-Operation
ausführt,
die von der Einheit 444 ausgeführt wird. Der variable Längenkodierer
kann einen optionalen hoch auflösenden
Quantisierer und einen Entropie-Kodierer (z. B. einen Huffman-Kodierer) für eine verlustlose
oder nahezu verlustlose Kompression enthalten. Der variable Längenkodierer enthält einen
inversen Quantisierer und einen Entropie-Dekodierer. Der invers
dekodierte Ausgang von der Einheit 446 wird in einer Einheit 448 mit
einem Ausgang von einem Vorhersage-Netzwerk summiert, das eine Vorhersage-Schaitung 450 und
zugeordnete Pixel-Verzögerungselemente 452, 454 und 456 enthält. Diese
Elemente liefern Verzögerungen
von einem bzw. sieben bzw. einem Pixel. Ein vorhergesagter Pixelwert-Ausgang
von der Einheit 450 wird den Eingängen der Addierschaltung 448 und
des Differenzbildners 442 zugeführt.
-
7 zeigt
eine beispielsweise Anordnung einer Gruppe von vier Pixeln A, B,
C und X (das vorherzusagende Pixel), denen eine vorhersagende Verarbeitungs-
und Kodierungs-Operation des DPCM-Netzwerks zugeordnet ist. Auf
diese Gruppe von Pixeln wird auch in dem in 6 dargestellten Pixelblock Bezug genommen.
Bei diesem Beispiel wird das Pixel B um ein Pixel-Intervall relativ
zum Pixel C verzögert,
das Pixel A wird um ein Sieben-Pixel-Intervall
relativ zum Pixel B verzögert,
und das Pixel X wird um ein Ein-Pixel-Intervall relativ zum Pixel
A verzögert.
Der DPCM-Vorhersage-Prozess ist allgemein bekannt und wird nachfolgend
erläutert.
Die komprimierten Pixeldaten vom Ausgang des variablen Längenkodierers 444 werden
durch eine Einheit 460 gepuffert, bevor sie dem MUX 325 von 3 zugeführt werden. Der Puffer 460 speichert
den Ausgang des variablen Kompressions-Prozesses, bis der vollständige Block
verarbeitet worden ist, und bei diesem Zeitpunkt kann bestimmt werden,
ob der Ziel-Kompressions-Faktor
erreicht worden ist oder nicht.
-
Der Bit-Zählwert jedes komprimierten Block-Ausgangs
vom Kodieren 444 wird durch den Bit-Zähler 418 überwacht,
was durch eines von verschiedenen bekannten Verfahren ausgeführt werden kann.
Nachdem jeder Pixelblock variabel komprimiert worden ist, liefert
der Zähler 418 ein
Steuer-Ausgangssignal, wenn der komprimierte Bit-Zählwert an oder
unter einer vorbestimmten Schwelle liegt, die anzeigt, dass das
gewünschte
Maß an
Kompression durch den variablen Kompressor erreicht oder überschritten
worden ist. Dieses Steuersignal wird dem Schalt-Steuereingang vom MUX 325 zugeführt, um den
MUX 32
5 zu veranlassen, den Ausgang von dem variablen
Längenkompressor
dem Nutz-Netzwerk zuzuführen. Andernfalls wird der comprimierte Block-Ausgang
(für denselben
Pixelblock) von dem festen Längenkompressor
dem Nutz-Netzwerk zugeführt.
-
Das feste Kompressions-Netzwerk ist
in 5 dargestellt. Dieses
Netzwerk verwendet ebenfalls eine DPCM-Schleife mit adaptiver Vorhersage, wie
im Fall des variablen Kompressors. In 5 führen die
Elemente 548, 550, 552, 554 und 556 dieselben
Funktionen aus wie die entsprechenden Elemente in 4. Das differenzierende Netzwerk 542 dient auch
demselben Zweck wie die Einheit 442 in 4 zur Erzeugung eines restlichen Pixelwertes,
aber in einem leicht unterschiedlichen Zusammenhang, was nachfolgend
erläutert
wird.
-
Das feste Kompressions-Netzwerk verwendet
eine nicht-lineare Quantisierung der Differenz-(Rest)-Pixelwerte,
die am Ausgang der Einheit 542 als Ergebnis der DPCM-Verarbeitung
geliefert werden. Ein nicht-invertierender Eingang (+) der Einheit 542 empfängt Eingangs-Pixelwerte,
die um 64 Pixel-Intervalle durch ein 64-Pixel-Verzögerungselement
555 verzögert
sind. Der invertierende Eingang (-) der Einheit 542 empfängt vorhergesagte
Pixelwerte von der Vorhersage-Schaltung 550. Der restliche Pixelwert-Ausgang
von der Einheit 542 wird durch die Einheiten 556 bzw. 558 einer
Quantisierung und einer inversen Quantisierung unterworfen. Die
von der Einheit 556 erzeugte Quantisierung ist fest und
garantiert ein gewünschtes
festes Maß an
Datenkompression. Um beispielsweise 50% Kompression eines 8-Bit-Datenwortes zu
erzielen, entfernt die Einheit 556 die letzten vier Bits
niedrigster Wertigkeit. Das Maß an
fester Kompression ist nicht weniger als das gewünschte Maß an Kompression. Die Einheiten 556 und 558 arbeiten
unter Steuerung eines Min/Max-Vergleichs-Netzwerks 560,
das die Minimum- und Maximum-Pixelwerte für jeden Pixelblock bestimmt.
-
Der Quantisierer 556 könnte auch
so ausgebildet sein, dass er eine feste Quantisierungs-Regel verwendet.
Es ist jedoch wirksamer, die Quantisierer-Regel an die Minimum-
und Maximum-Pixelwerte anzupassen,
die dem verarbeiteten Block zugeordnet sind. Die Min/Max-Vergleichs-Einheit
560 bestimmt diese Werte. Das Element 555 erzeugt die Zeitverzögerung,
die für
die Minimum- und Maximum-Werte aller 64 Pixel eines gegebenen zu
prüfenden
Blocks benötigt
werden, bevor das erste Pixel des Blocks verarbeitet wird.
-
Der Kompressor 322 in 3 hat keine eigene Verzögerung,
aber die Kombination des Min/Max-Vergleichs und des Verzögerungselements 555 (5) bewirkt, dass der Kompressor 322 eine Verzögerung von
einem Block aufweist, was eine Anpassung an die Verzögerung von
einem Block bedeutet, die der variable Kompressionsweg aufweist.
Das feste Längen-Kompressions-Netzwerk
ermittelt jeden der 64 Pixelwerte von jedem 8 x 8-Pixelblock zweimal,
um die Minimum- und Maximum-Pixelwerte dieses
Blockes zu bestimmen. Dieser. Prozess wird durch die Verzögerung von
64 Pixeln (1 Block), die von dem Element 555 erzeugt wird,
erleichtert. Die Minimum- und Maximum-Werte dienen zur adaptiven Auswahl zwischen
nicht-linearen Quantisierungs-Regeln, die für jeden verarbeiteten Block
verwendet werden sollen. Die Lösung
mit zwei Durchläufen,
die benötigt
wird, um jeden Block zweimal zu ermitteln, fügt dem System keine zusätzliche
Latenz wegen der Latenz von einem Block zu, die der Puffer 460 des variablen
Kompressionsweges aufweist, wenn bestimmt wird, ob der variable
Kompressor die gewünschte
Kompression erreicht hat.
-
Wenn die Kompressoren 316 und 322 parallel
angeordnet sind und der feste Kompressor einen Min/Max-Vergleich
verwendet, gibt es - wie oben erwähnt - eine Verzögerung von
einem Block im Kompressor 322. Der variable Kompressor 316 hat
keine eigene Verzögerung
von einem Block, so dass der Bit-Puffer 460 die Bits für die Zeit
eines Blocks länger hält, um auf
den Ausgang des Kompressors 322 zu warten. Wenn der feste
Kompressor 322 keinen Min/Max-Vergleich verwendet, dann
würde der
Kompressor 322 keine Verzögerung von einem Block aufweisen.
Der variable Kompressor 316 besitzt keine eigene Verzögerung von
einem Block wegen des Puffers 460. Der Puffer 460 speichert
die Bits des Kompressors 316, bevor eine Entscheidung dahingehend
getroffen wird, welcher von dem variablen oder festen Kompressions-Ausgang
verwendet werden soll. Der Bit-Zähler 318 bestimmt,
welcher Ausgang zu verwenden ist, wenn das variable und feste Kompressions-Netzwerk
parallel angeordnet sind.
-
Die Kompressoren 316 und 322 müssen jedoch
nicht parallel angeordnet sein, wie in 8 dargestellt ist. In diesem Fall verarbeitet
der Kompressor 316 zuerst einen Pixelblock, und gleichzeitig
bestimmt die Min/Max-Vergleichs-Einheit 560 die Minimum- und Maximum-Pixelwerte
für den
Block, wie zuvor erläutert
wurde. Nach einer Verzögerung
von einem Block ist bekannt, ob der Kompressor 316 die Ziel-Kompression
erreicht hat oder nicht und dadurch, ob der feste Kompressor 322 den
Block verarbeiten muss oder nicht. Wenn der variable Kompressor 316 den
Ziel-Kompressions-Faktor erreicht hat, gibt er den variabel komprimierten
Block an den Vollbild-Speicher aus. Andernfalls komprimiert die
Einheit 322 den Block. Da die Kompressoren 316 und 322 die
gleiche Architektur und gleiche funktionelle Elemente enthalten
können,
erlaubt diese Ausführung
vorteilhafterweise die erneute Verwendung solcher gleichen, für die variable
Kompression in der Einheit 316 verwendeten Elemente für die feste
Längenkompression
in der Einheit 322.
-
Es ist nicht wesentlich, die Quantisierer-Regeln
in Bezug auf den Quantisierer 556 von 5 adaptiv zu ändern. Es könnte eine einfache lineare Quäntisierung
verwendet werden. Die Anpassung der Quantisierer-Regel gemäß den Min/Max-Pixelwerten
vermindert das Maß an
Verlust. Jeder Block wird einmal abgetastet, um die Min/Max-Pixelwerte zu
finden. Die Kenntnis dieser Werte erlaubt die Wahl einer geeigneten
Quantisierer-Regel,
bevor der erste (Rest) Wert quantisiert wird. Das Element 555 verzögert das
erste Pixel, bis die Quantisierer-Regel errichtet ist, wobei diese
Regel auch von dem inversen Quantisierer 558 verwendet
wird. Dies kann erfordern, dass die Signalisierungs-Bits dem Datenstrom hinzugefügt werden,
um die Dekompressions-Funktion der Quantisierer-Regel, die verwendet
wird, anzuzeigen.
-
Der Quantisierer kann als eine Art
Nachschlagetabelle angesehen werden, wobei Ausgangs-ßits von
der Einheit 542 Adressen darstellen. Im Fall einer Kompression
von 50% gibt der Quantisierer 556 4-Bit-Daten aus. Der
Ausgang des Quantisierers 556 ist ein Index, der von der
Einheit 558 verwendet wird, um den Ausgang der Einheit 542 anzunähern. Hier
kann ein Verlust auftreten, denn, wenn nur 4-Bit-Daten in die Einheit 558 eingegeben werden,
sind nur 16 Datenkombinationen möglich, während die
Einheit 542 bis zu 256 mögichen Ausgängen erzeugen kann. Das feste
Kompressions-Netzwerk von 5 erfordert
keinen Ausgangs-Puffer.
-
Bei diesem Ausführungsbeispiel wird derselbe
vorhersagende DPCM-Kodierprozess von den Kompressions-Netzwerken
von 4 und 5 verwendet. Das gegenwärtig kodierte
Pixel wird vorhergesagt durch Verwendung von zuvor kodierten Pixeln, die
den Dekompressoren 32 und 34 (1) bekannt sind. Der Vorhersage-Prozess
kann in Bezug auf 7 erklärt werden,
wo das Pixel X der Pixelwert ist, der vorhersagend kodiert werden
soll. Die Pixel A, B und C sind vorhersagend zuvor kodiert worden
und dem Dekompressions-Abschnitt bekannt. Eine Vorhersage von X,
Xpred, verwendet die Werte von A, B und
C gemäß dem folgenden
Pseudo-Code, der den zu verwendenden Algorithmus beschreibt:
wenn
(|A–C| < e1 && |B–C| > e2),
Xpred = B
sonst wenn (|B–C| < e1 && |A–C| > e2),
Xpred = A
sonst Xpred =
(A + B)/2
-
Die Werte e1 und e2 sind Konstante,
die vorbestimmte Schwellwerte darstellen. Dieser Algorithmus wird
nur für
Pixel verwendet, die sich nicht in der ersten Reihe oder der ersten
Spalte des verarbeiteten Blocks befinden. Einige Ausnahmen werden
wie folgt gehandhabt: das erste Pixel in einem Block wird sehr fein
ohne Bezug auf irgendein anderes Pixel kodiert, Pixel der ersten
Reihe verwenden den Pixelwert A als Vorhersage-Wert, und die Pixel
in der ersten Spalte verwenden den Pixelwert B als Vorhersage-Wert.
Grundsätzlich
versucht dieser Algorithmus einen Rand festzustellen. Im ersten
Fall wird ein vertikaler Rand zwischen den Pixeln C und B und zwischen
den Pixeln A und X vorgeschlagen. Somit. ist B der beste Vorhersage-Wert.
Der zweite Fall schlägt einen
horizontalen Rand zwischen A und C und zwischen B und X vor. Somit
ist A der beste Vorhersage-Wert. Im dritten Fall wird kein deutlicher
Rand gefunden. In diesem Fall. sind sowohl A als auch B gleich gute
Vorhersage-Werte, so dass ihr Durchschnitts-Wert verwendet wird.
-
Das offenbarte auf Blöcken beruhende
Kompressions-Netzwerk wird vorteilhafterweise verwendet, um MPEG-kompatible
Datenworte zu verarbeiten. Das Netzwerk weist eine nahezu verlustlose Kompression
für die
Verminderung der Speichermenge auf, die zur Speicherung von 8 x
8 Luminanz-Daten oder 4 x 4 U-, V-(Chrominanz)-Daten benötigt wird.
Das Maß an
Kompression ist wählbar
und kann beispielsweise 25% oder 50% sein. Niedriger Kontrast, Blöcke mit
niedrigen Bild-Einzelheiten werden üblicherweise verlustlos komprimiert,
während Datenblöcke mit
hohem Kontrast und hohen Einzelheiten einen gewissen akzeptablen
Verlust erfahren können,
insbesondere im Fall einer Datenkompression von 50%. Obwohl in einigen
Fällen
dekomprimierte Pixelblöcke
Unterschiede im Vergleich zu ursprünglichen Pixelblöcken aufweisen
können,
wird das offenbarte Kompressions-System gegenüber einer horizontalen Detail-Verminderung
zur Verminderung von Speicher-Erfordernissen bevorzugt. Das in 3 dargestellte Kompressions-System
kann mit allen Profilen und allen Pegeln der MPEG-Vorschrift wie
auch mit anderen digitalen Datenverarbeitungs-Schemata verwendet
werden.
-
Obwohl der Kompressor 30 vorteilhafterweise
doppelte Kompressions-Netzwerke – wie in 3 und 8 dargestellt- verwendet, kann
eines der Kompressions-Netzwerke entfallen, um das System zu vereinfachen.
Beispielsweise kann es zur Vereinfachung der Hardware in einigen
Systemen ausreichend sein, nur das feste Längen-Kompressions-Netzwerk
zu verwenden.