DE69614675T2

DE69614675T2 - MPEG-2 Dekodierung mit reduziertem RAM Bedürfnis durch ADPCM Rekomprimierung vor der Speicherung von dekomprimierten MPEG-2 Daten, wahlweise nach einem Unterabtastungsalgorithmus

Info

Publication number: DE69614675T2
Application number: DE69614675T
Authority: DE
Inventors: Danilo Pau
Original assignee: STMicroelectronics SRL
Current assignee: STMicroelectronics SRL
Priority date: 1996-06-28
Filing date: 1996-06-28
Publication date: 2001-12-06
Anticipated expiration: 2016-06-29
Also published as: DE69614675D1; EP0817498B1; US5986711A; EP0817498A1; JPH1084524A

Description

Die vorliegende Erfindung bezieht sich auf einen integrierten Videodecodierer, der auf der Verwendung des MPEG-Komprimierungsalgorithmus, sogar entsprechend einer zweiten und fortgeschritteneren Version des MPEG-1-Standards, die MPEG genannt wird, basiert und einen reduzierten Bedarf an Videospeicher besitzt.
Der MPEG-1-Standard wurde als Antwort auf den Industriebedarf am Implementieren einer effizienten Weise des Speicherns und des Wiedergewinnens von Videoinformationen auf digitalen Datenträgern, wie z. B. CD-ROMs, entwickelt. Selbstverständlich ist der MPEG-1-Standard außerdem ein leistungsfähiges Werkzeug zum effizienten Speichern von Daten auf ähnlichen Trägern, wie z. B. DATs, Winchester-Platten, optischen Platten und ISDN- und LAN-Netzen. Eine effizientere Version des Standards, die MPEG genannt wird, ist zur Unterstützung des Bitraten-Bedarfs im Gebiet der Anwendungen digitaler Videoübertragungen entwickelt worden. Der Standard ist für digitale Fernsehsysteme allgemein akzeptiert worden, um Bilder in Fernsehauflösung, die vollständig verschachtelt sind, auf eine Bitrate von etwa 15 Mbit/s zu komprimieren.
Es wird erwartet, daß eine spezielle Version des MPEG-Standards in den HIDTV-Systemen einer zukünftigen Generation verwendet wird.
Der MPEG-Standard vereinigt und verwendet wichtige Algorithmen und Kriterien, die durch vorhergehende internationale Standards definiert sind, wie z. B. den Algorithmus H.261 zur Bestimmung von CCITT-Bewegungsvektoren und die ISO-10918-Standard des ISO-JPEG-Ausschusses zum Codieren von Standbildern. Eine Definition des MPEG-Standards (1 und 2) und eine umfassende Beschreibung der verschiedenen Anwendungstechniken und der entsprechenden Codierungs- und Decodierungssysteme der Daten bezüglich komprimierter Videobilder gemäß den MPEG-Standards, sind in einer Fülle von Artikeln und Veröffentlichungen über das Thema beschrieben, unter denen die folgenden zitiert werden können:
- Internationaler Entwurf ISO/IEC DIS 13818-2 "Information technology - Generic coding of movirig pictures and associated audio information";
- "MPEG coding and transport system" von Leonardo Chiariglione, Digital Television Broadcasting - Proceedings.
- DIGEST OF TECHNICAL PAPERS OF THE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE), Rosemont, 21-23. Juni 1994, 21. Juni 1994, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, 5.324/325, 'AN INTEGRATED MPEG-1 AND MPEG-2 DECODER'.
- "The MPEG video compression algorithm" von Didier J. Le Gall, Signal Processing Image Communication, Elsevier Science Publishers B. V., Bd. 4, Nr. 2, April 1992.
- Sammlung Nr. 1995/012, Electronics Division, Institution of Electrical Engineers - London, Kolloquium über: "MPEG-2 - what it is and what it isn'2".
- "An Overview of the MPEG-2 Compression Algorithm", technische Notiz, freigegeben von SGS-THOMSON MICROELECTRONICS (An 529/0294).
- Datenblatt "STi3500A", Datenblatt der SGS-THOMSON MICROELEC- TRONICS.
- "STi3520A - Advanced Information for an MPEG Audio / MPEG-2 Video Integrated Decoder" (Juni 1995).
Entsprechend einer typischen Architektur eines MPEG-2-Decodierers, wie z. B. derjenigen, die in der Fig. 3 der Veröffentlichung Nr. STi3520A bezüglich eines von SGS-THOMSON MICROELECTRONICS vermarkteten integrierten MPEG-Audio/MPEG-2-Video-Decodierers gezeigt ist, die hierin als Fig. 1 wiedergegeben ist, gibt es wohldefinierte Anforderungen an den Videospeicher, d. h. an die Kapazität eines externen DRAM-Speichers, die für eine PAL- und eine NTSC-Anwendung, die 16-Mbit-PAL-Videosignale unterstützen kann, wie folgt geschätzt werden kann.
In Anbetracht dessen, daß sowohl ein MPEG-2-Video-Decodierer als auch ein MPEG-Audio-Decodierer durch eine gemeinsame Schnittstelle auf einen einzigen externen 16-Mbit-DRAM-Speicher zugreifen, kann der Audio-Decodierer nur Zugriff auf 131.072 Bit erfordern, wobei er die verbleibenden 16.646.144 Bit zum Erfüllen der Anforderungen des MPEG-2-Video-Decodierers verfügbar läßt. Der Videospeicher kann wie folgt konfiguriert sein.
- Ein "Bitpuffer": Das ist ein Puffer für komprimierte Daten, den der MPEG-2-Standard in Anbetracht auf einen tatsächlich ausgeführten nichtidealen Prozeß der Dekomprimierung auf 1,75 Mbit plus einen zusätzlichen Betrag, z. B. 983.040 Bit, fixiert.
- Ein erster "I-Vollbild-Puffer" für das dekomprimierte Intrabild oder kurz das I-Bild in einem 4 : 2 : 0-Format.
- Ein zweiter "P-Vollbild-Puffer" für das dekomprimierte Prädiktionsbild oder kurz das P-Bild in einem 4 : 2 : 0-Format.
- Ein dritter "B-Vollbild-Puffer" für das dekomprimierte bidirektionale Prädiktionsbild oder kurz das B-Bild in einem 4 : 2 : 0-Format, das schließlich so optimiert ist, daß es nur eine reduzierte Menge an Speicher erfordert, die 0,7407 oder 0,6111 eines Vollbildes in einem PAL- bzw. NTSC- System beträgt.
Entsprechend der tatsächlichen MPEG-2-Standardtechnik und ungeachtet, ob ein I-, P- oder B-Bild behandelt wird, kann abhängig vom Typ des Videostandards jeder "Vollbild-Puffer" im 4 : 2 : 0-Format eine Menge an Speicher beanspruchen, die durch die folgende Tabelle gegeben ist.
Deshalb ist im Fall des PAL-Systems, das den schwersten Fall darstellt, wobei es als ein Bezugsbeispiel dienen kann, die tatsächliche Gesamtmenge an erforderlichem Speicher gegeben durch:
1.835.008 + 835.584 + 4.976.640 + 4.976.640 +
(4.976.640 · 0,7407) = 16.310.070 Bit
Diese Berechnung berücksichtigt eine 0,7407-Optimierung des Vollbild-Puffers des B-Bildes.
Eine weitere Optimierung kann im Ausführen der Dekomprimierung des B- Bildes durch das interne Ausführen einer äquivalenten Funktion in der integrierten Decodierervorrichtung durch einen funktional auf der Eingangsseite der Anzeigeeinheit angeordneten dedizierten Schaltungsblock bestehen, ohne zu einem Speicherschritt im externen RAM zu greifen.
In Anbetracht dieser weiteren Optimierung fällt die Anforderung an Video- RAM auf:
1.835.008 + 835.584 + 4.976.640 + 4.976.640
= 12.623.872 Bit.
Dabei ist der B-Puffer im selben Chip realisiert, der den "Kern" des Decodierers enthält, der erforderlich ist, um das Abtasten jedes 8 · 8-Blocks, der im MPEG-2-komprimierten Datenstrom definiert ist, in dasjenige jeder Zeile des Bildes (Halbbild oder Vollbild) umzusetzen, das vom Videoanzeigeprozeß des Bildes selbst benötigt wird. Eine derartige Umsetzungs-Makrozelle wird gewöhnlich als "Makroblock-in-Rasterabtast-Umsetzer" bezeichnet.
In der früheren europäischen Patentanmeldung Nr. 96830106.9, eingereicht am 11. März 1996, veröffentlicht am 11. Juni 1997 als EP-A-0 778 709, im Namen des gleichen Anmelders, sind ein Verfahren und eine entsprechende Vorrichtung beschrieben, die eine beachtliche Verringerung der oben zitierten Videospeicheranforderung auf 8 Mbit erlauben.
Die Idee hinter der Erfindung, die in der oben angegebenen früheren Patent1 anmeldung beschrieben und beansprucht ist, ist die Erkenntnis, daß die für den MPEG-Decodierungsprozeß erforderliche Menge an Speicher, wie sie in den obigen Berechnungen dargelegt ist, bemerkenswert reduziert werden kann, wenn eine Rekomprimierung der Bilder, die als ein Bezug für die Vorhersage verwendet werden (I-Bild und P-Bild für den Fall der Standards MPEG-1 und MPEG-2), anschließend an die MPEG-Dekomprimierung und bevor sie im externen Videospeicher vorübergehend gespeichert werden, und ihre Dekomprimierung, wenn sie aus dem externen Speicher gelesen werden, berücksichtigt wird.
Es ist nun entdeckt worden, wobei dies die Aufgabe dieser neuen Patentanmeldung darstellt, daß die Videospeicheranforderung synergetisch minimiert werden kann, wobei sie in der Praxis auf lediglich 4 Mbit verringert wird, indem vor der ADPCM-Rekomprimierung, die verwendet wird, um die Speicheranforderung auf 8 Mbit zu reduzieren, eine Daten-Unterabtastung wenigstens der I- und P-Bilder nach der MPEG-Dekomprimierung und vor dem Codieren und Speichern dieser Daten in den entsprechenden Videospeicherpuffern ausgeführt wird. Anschließend werden die decodierten Daten, die während der Rekonstruktionsphase und bevor sie zu einer Einheit zur "Makroblockabtast-in-Rasterabtast-Umsetzung" gesendet werden von Blöcken aus Bildelemente dekomprimiert wurden, übereinstimmend mit dem vor ihrer Rekomprimierung verwendeten Unterabtastfaktor überabgetastet.
Es ist festgestellt worden, daß die Verschlechterung der Bildqualität (Bilddefinition), die dieser Unterabtastoperation und dem anschließenden Überabtasten der Daten folgt, etwa innerhalb der Grenzen verbleibt, die kaum bemerkt werden, wenn das Bild auf einem Fernsehschirm angezeigt wird.
Außerdem berücksichtigt die "Kern"-Architektur des Datenprozessors gemäß der vorliegenden Erfindung eine vereinfachte Implementierung der richtigen Mittel, die eine Betriebsart der vollen Verringerung der Videospeicheranfordering auswählen, in dem sie derartige Unterabtast- und Uberabtastoperationen zur Wirkung bringen, oder die diese optionale Betriebsart der Minimierung der Speicheranforderung sperren, wodurch eine höhere Bildqualität mit einer Videospeicheranforderung von 8 Mbit erhalten wird, die weit niedriger bleibt als die Speicheranforderung der vorher bekannten Systeme.
Im wesentlichen erlaubt die Erfindung die Implementierung eines "adaptiven" Systems zum automatischen Managen der Videospeicher-Ressourcen, um die Leistung des Vorrichtungs-"Kerns" als Funktion der Betriebsbedingungen und demzufolge der vorherrschenden Speicheranforderungen zu optimieren.
In der Praxis kann der ADPCM-Rekomprimierungsfaktor in einer derartigen Weise variiert werden, daß die innerhalb des externen Videospeichers verfügbare Kapazität optimiert ist.
Falls die Speicherkapazität für den Zweck ausreichend ist, wird die Makrozelle zum Reduzieren der Speicheranforderung, die Aufgabe der vorliegenden Erfindung ist, überbrückt, wodurch die volle Qualität des Bildes bewahrt wird, wie sie vom MPEG-Decodierersystem erzeugt wird.
Im Fall von unzureichend Speicher implementiert das System die Verringerung auf den in der vorangehenden Anmeldung Nr. 96830106.9 beschriebenen 8-Mbit- Speicheranforderungs-Algorithmus, um wenigstens die I- und P-Bil- der zu rekomprimieren. Vorausgesetzt, es ist ein externer 16-Mbit-Speicher vorhanden, kann deshalb die verbleibende Speicherkapazität verwendet werden, um das Bild oder die Graphik eines "On-Screen-Anzeigesystems" zu speichern (für eine derartige Anwendung wie TELETEXT usw.).
Falls die Verfügbarkeit von Videospeicher weiter reduziert ist, gibt das System schließlich den Algorithmus frei, der auf dem Unterabtasten basiert, das Aufgabe der vorliegenden Erfindung ist, um die Speicheranforderung weiter auf etwa 4 Mbit herunter zu reduzieren. Der Algorithmus zur Rekomprimierung der Bilder mit einer maximalen Speicheranforderung von 8 Mbit gemäß dem in der vorherigen Patentanmeldung Nr. 96830106.9 beschriebenen Verfahren ist in der Praxis durch einfache Überbrückung des Unterabtastsystems der vorliegenden Erfindung implementiert.
Selbstverständlich wird die Aktivierung oder Deaktivierung des Unterabtastungsschritts dynamisch und automatisch von dem System ausgeführt, um die Verwendung des Videospeichers völlig zu optimieren.
Das Verfahren der Erfindung besteht, wie in der früheren Patentanmeldung Nr. 96830106.9 bereits beschrieben ist, im Rekomprimieren wenigstens des I- Bildes und des P-Bildes, während angenommen wird, daß die Dekomprimierung der B-Bilder nach der MPEG-Dekomprimierung und vor dem Senden der Bilder zur Anzeigeeinheit ohne Rückgriff auf eine Speicherphase der relevanten Daten im externen Videospeicher durch die Verwendung eines "Makroblockabtast-in-Rasterabtast"-Umsetzungspuffers der B-Bilder ausgeführt wird. Eine derartige Rekomprimierungsphase der I- und P-Bilder wird in Übereinstimmung mit einem adaptiven differentiellen Impulscode-Modulationsschema (ADPCM-Schema) ausgeführt.
Die ADPCM-Rekomprimierung der I- und P-Bilder erfolgt als Antwort auf die folgenden Anforderungen:
Effektivität: Die Menge des von den komprimierten Bildern beanspruchten Speichers, die zu demjenigen hinzugefügt wird, der zum Ausführen ihrer Dekomprimierung verwendet wird, ist kleiner als der für die Decodierer verwendete Gesamtspeicher, die diese ADPCM-Rekompri- mierung nicht erfordern.
Effizienz: (1) die Rekomprimierung der Bilder wird in einer einfachen Weise ausgeführt, so daß die Gesamtkosten der Vorrichtung im Vergleich zu der Einsparung, die aus dem Nichtverwenden eines Teils des Speichers abgeleitet wird, nicht stark zunehmen;
(2) die Qualität der wiederhergestellten Bilder erfährt eine vernachlässigbare Verschlechterung, die außerdem hinsichtlich Kosten/Qualität akzeptabel ist;
(3) optional und vorzugsweise kann die Anzahl der primären Taktzyklen, die das Funktionieren des externen Speichers steuert, die erforderlich sind, um aus diesem externen Speicher den Prädiktor für den Prozeß der Bewegungskompensation zu beziehen, vorteilhaft reduziert werden. Um dies zu erhalten und gemäß einer bevorzugten Ausführungsform ist ein Teil der komprimierten Informationen im Chip des "Kerns" des Decodierers in einem dedizierten Puffer gespeichert, wie im folgenden veranschaulicht ist.
In der Praxis wird eine Rekomprimierung entsprechend dem ADPCM-Schema durch das Codieren der Daten z. B. entsprechend einer Vier-Bit-Komprimierang der Helligkeitsblöcke (z. B. von jeweils 8 · 8-Bildpunkten) und einer Drei-Bit-Komprimierung der Farbwertblöcke (z. B. von jeweils 8 · 8-Bildpunkten) an den Daten der Farbwert- und Helligkeitsblöcke ausgeführt, wie sie durch die Verarbeitungsschaltung für die diskrete inverse Kosinustransformation des MPEG-Dekomprimierungsblocks (für die I-Bilder und nach der Bewegung für die P-Bilder) ausgegeben wurden.
Optional kann außerdem jeder Block aus n · m Bildelementen der Helligkeit (Y) und/oder der Farbwerte U und V vorbeugend in zwei Unterblöcke aus (n/2) · m Bildelementen unterteilt werden, um folglich den Prozeß der Pufferung, der Unterabtastung, der ADPCM-Komprimierung, der Codierung, des Schreibens in den Speicher, des Lesens aus dem Speicher, des Decodierens, der ADPCM-Dekomprimierung, der Überabtastung an derartigen Daten-Unterblöcken zu implementieren.
Das ADPCM-Komprimierungsverfahren, das im folgenden erklärt wird, erfüllt die oben dargelegten Anforderungen, zu denen ein bestimmter Grad der Flexibilität beim Komprimieren hinzugefügt werden sollte, um in einer sehr einfachen Weise die Modifizierung der Codierungs- und Decodierungsschaltungen zu erlauben, falls sie für eine andere Stufe der Komprimierung optimiert werden sollten.
Vorzugsweise wird die Unterabtastung der Daten gemäß einem "Fünffach"- Gitter ausgeführt, wie später mit mehr Einzelheiten veranschaulicht ist. Das Uberabtasten der Daten nach der ADPCM-Dekomprimierung erfordert die Erzeugung von Abtastwerten (Bildelementen), die während der Codierungsphase nicht gespeichert wurden. Um dies auszuführen, wird von den Werten bezüglich der angrenzenden Abtastwerte (Bildelemente), die innerhalb eines bestimmten aktiven Bereichs enthalten sind, der aus bestimmtem Grund definiert ist, wie im folgenden beschrieben ist, Gebrauch gemacht.
Im vorliegenden Kontext wird die Bezeichnung "Bildelement" anstelle von "Bildpunkt" verwendet.
Ein Verfahren und ein Decodierer gemäß der Erfindung sind durch die Ansprüche 1 bzw. 3 definiert.
Gemäß einem Aspekt der Erfindung kann ein MPEG-Videodecodierer, der mit einem Steuerbus und einem Videodatenverarbeitungsbus, der zu den Videobildern gehört, die in entsprechende Speicherpuffer zu schreiben und aus diesen zu lesen sind, eine Schnittstelle bildet, typischerweise einen ersten "First- InfFirst-Out"-Puffer für die Erfassung und das Schreiben der komprimierten Daten in einem entsprechenden ersten Puffer für Videobits eines externen DRAM-Speichers, der durch einen entsprechenden Controller gemanagt wird, eine Erfassungsschaltung eines Bildanfangscodes, die durch eine Steuerschaltung synchronisiert wird, einen bidirektionalen Puffer zum Speichern der On- Schreen-Anzeigedaten (OSD-Daten), einen Decodierungsblock mit variabler Länge für den Eingangsstrom aus komprimierten Daten, eine Dekomprimierungspipeline für die durch diesen Decodierungsblock mit variabler Länge decodierten Daten, der eine "Lauflängen"-Decodierungsstufe enthält, eine Schaltung zum Ausführen einer inversen Quantisierungsftmnktion, eine Verarbeitungsschaltung für die inverse diskrete Kosinustransformation (I_DCT) und ein Netz zur Erzeugung eines Prädiktor-Wertes enthalten, wobei er dadurch gekennzeichnet ist, daß er ferner umfaßt:
- einen Puffer für die Daten-Makroblöcke,
- eine Fünffach-Unterabtastungsschaltung,
- eine Schaltung zum Codieren und Rekomprimieren gemäß einem adaptiven differentiellen Impulscode-Modulationsschema (ADPCM-Schema), die die I- und P-Bilder dekomprimiert, die die Ausgangsdaten des I_DCT-Blocks codiert, die nach der Bewegungskompensation in die jeweiligen Puffer des externen Speichers geschrieben werden;
- eine Schaltung zum Dekomprimieren und Decodieren der Ausgangsdaten (ADPCM-Daten) aus dem I_DCT-Block bezüglich der auf diese Weise rekomprimierten I- und P-Bilder, die aus den jeweiligen Puffern des externen Speichers gelesen werden, die einen Videodatenstrom bezüglich der I- und P-Bilder erzeugen kann, zusammen mit den Ergebnisdaten aus dem I_DCT-Block bezüglich der dekomprimierten B-Bilder;
- einen Puffer für einen derartigen Videodatenstrvm; und
- eine Überabtastungsschaltung dieses Videodatenstroms.
Gemäß einer Ausführungsform der Erfindung kann die Codierungs- und Rekomprimierungsschaltung umfassen:
- einen Erfassungspuffer für die vom MPEG-Dekomprimierungsblock erzeugten dekomprimierten I-DCT-Daten;
- eine Schaltung, die den Energiegehalt des Puffers schätzt und einen digitalen Wert der Varianz der Werte der Bildelemente der von dem I_DCT-Block ausgegebenen verschiedenen Datenblöcke, die im entsprechenden Puffer des externen Speichers gespeichert werden sollen, erzeugt;
- einen mehrstufigen Quantisierer, der durch den tatsächlichen oder momentanen, durch diese Schaltung erzeugten digitalen Wert der Varianz kohärent konditioniert wird;
- einen Differentiator, der durch einen ersten Eingang den vom MPEG- Dekomprimierungsblock erzeugten I-DCT-Datenstrom empfangen und durch einen zweiten Eingang einen Prädiktor-Wert empfangen und einen Ausgangsdatenstrom erzeugen kann, der an den Eingang dieser Quantisierers gesendet werden soll;
- eine Codierungs- und Schreibschaltung für die rekomprimierten Daten in den entsprechenden Puffern des externen Speichers, die den Ausgangsstrom des Quantisierers als einen Eingang empfangen kann;
- ein Netz zur Erzeugung dieses Prädiktor-Wertes, das einen Multiplexer umfaßt, der durch einen ersten Eingang den I_DCT-Eingangsdatenstrom und durch einen zweiten Eingang den durch das Netz erzeugten Prädiktor-Wert empfangen kann;
- einen Addierer, der durch einen ersten Eingang den Ausgangsstrom des Quantisierers und durch einen zweiten Eingang die von diesem Multiplexer ausgegebenen Daten empfangen und einen Ausgangsstrom der Summendaten erzeugen kann;
- eine Begrenzerschaltung, die als einen Eingang den durch diesen Addierer erzeugten Summendatenstrom empfangen kann, wobei dieser in Kaskade eine Schaltung folgt, die den Prädiktor-Wert erzeugt, der an den zweiten Eingang der Differentiatorstufe und des Multiplexers geliefert wird.
Die Dekomprimierungs- und Codierungsschaltung kann eine Decodierungsschaltung, die durch einen ersten Eingang einen komprimierten und codierten Datenstrom, der von den entsprechenden externen Speicherpuffern kommt, und durch einen zweiten Eingang den Wert der relativen Varianz, der vorher in denselben externen Speicherpuffern gespeichert wurde, empfangen kann, und ein Dekomprimierungsnetz umfassen, das aus einer Summationsstufe eines Addierers, die durch einen ersten Eingang den von der Decodierungsschaltung ausgegebenen decodierten Datenstrom und durch einen zweiten Eingang den Prädiktor-Wert bezüglich des dekomprimierten Wertes des Bildelements, der bereits an einem Ausgang des Addierers erzeugt wurde, empfangen kann, gefolgt von einem Begrenzer der Bildpunkt-Werte besteht.
Selbstverständlich werden sowohl die Dimensionen in den Bildelementen der Datenblöcke der Helligkeit und der Farbwerte, das Format der I-DCT-Daten entsprechend dem MPEG-Komprimierungsschema, das Format der Rekomprimierungsdaten der bereits dekomprimierten I- und P-Bilder gemäß dem ADPCM-Schema, wie es durch die Erfindung beabsichtigt ist, als auch das Format des geschätzten digitalen Wertes der Varianz und die Anzahl der Stufen des entsprechenden Quantisierers von denjenigen verschieden sein, die in der vorliegenden Beschreibung beispielhaft angegeben sind, wobei sie normalerweise auf der Grundlage der Konstruktionsprioritäten des Videodecodierers odLer des Empfängers definiert sind.
Die verschiedenen Aspekte und entsprechenden Vorteile der Erfindung werden noch deutlicher durch die folgende Beschreibung einer wichtigen Ausführungsform und durch Bezugnahme auf die beigefügte Zeichnung, worin:
Fig. 1 ein Blockschaltplan des "Kerns" eines Videodecodierers gemäß der vorliegenden Erfindung ist;
Fig. 2 eine Einzelheit des MR-Codierers/Decodierers des allgemeinen Schemas nach Fig. 1 zeigt;
Fig. 3 ein Schema des Pufferungsschemas, der Unterabtastung, der Rekomprimierung und der ADPCM-Codierung ist;
Fig. 4 ein mögliches Schema des Fünffach-Unterabtastungsblocks zeigt;
Fig. 5 ein spezielles Merkmal des ANTIALIASTNG-Filterblocks nach Fig. 3 ist;
Fig. 6 ein Schema des Decodierungsblocks, der ADPCM-Dekomprimierung, der Pufferung und des Überabtasten ist;
Fig. 7 ein ausführlicheres Schema der ADPCM-Rekomprimierung und des Codierungs-Schaltungsblocks zeigt;
Fig. 8 und 9 ein ausführliches Funktionsschema des Varianz-Vorhersageblocks des Schemas nach Fig. 7 zeigen;
Fig. 10 ein Funktionsschema einer Schaltung ist, die die Schwelle für den Quantisierungsblock des Schemas erzeugt, das in Fig. 3 gezeigt ist;
Fig. 11 ein Funktionsschema einer mehrstufigen Quantisierungsschaltung ist;
Fig. 12 ein ausführlicheres Schema der ADPCM-Decodierungs- und Dekomprimierungsschaltung zeigt;
Fig. 13 ein ausführliches Schema des Überabtastungsblocks ist;
Fig. 14 das Abtasten eines sich aus der I-DCT ergebenden 16 · 16-Helligkeits- Makroblocks nach der Unterteilung in zwei Punkte und einer 8 · 8-Unterabtastung und einer ADPCM-Komprimierung zeigt.
Figur. 15 veranschaulicht den 8 · 8-Block nach der ADPCM-Dekomprimierung und der Verwirklichung zwischen den Bildpunkten, die die Medianüberabtastung berücksichtigt;
Fig. 16 stellt die umgebenden Bildelemente dar, die für die Rekonstruktion der perimetrischen Bildelemente des 16 · 8-Fensters benötigt werden.
Die in den Figuren gezeigte Musterausführungsform bezieht sich auf einen MPEG-Videodecodierer, der in PAL- und NTSC-Anwendungen verwendbar ist, 16-Mbit-PAL unterstützen kann und unter dieser Voraussetzung die Größe des erforderlichen Video-RAMs herunter auf etwa 4 Mbit reduzieren kann.
Gemäß der in Fig. 1 gezeigten Architektur greift der MPEG-Videodecodierer (der "Videokern") durch einen eine Schnittstelle bildenden Speicherdatenbus auf einen externen DRAM-Speicher zu, der außerdem durch einen MPEG-Audiodecodierer zum Zugreifen auf einen entsprechenden Audiopuffer mitbenutzt werden kann, der im selben externen DRAM organisiert sein kann. Außer dem Bilden der Schnittstelle mit dem Speicherdatenbus bildet der Videodecodierer außerdem eine Schnittstelle mit einem Steuerbus, durch den ein Steuer-Mikroprozessor des Systems durch den die Schnittstelle bildenden Block (Mikrocontroller-Schnittstelle) eingreift.
Der Videodecodierer kann außerdem einen Controller (CONTROLLER) für das Management der Synchronismen (DSYNC) und (VSYNC) umfassen.
Entsprechend einer herkömmlichen MPEG-Architektur umfaßt der Decodierer einen "First-In/First-Out"-Puffer (FIFO für komprimierte Daten), z. B. mit einer Kapazität von I kbit, für die Erfassung und das Schreiben der komprimierten Daten in einen ersten Puffer (Bitpuffer) des externen DRAMs, einen Startcode-Detektor, einen bidirektionalen Speicherpuffer (Speicher-E/A-Einheil) für die On-Screen-Anzeige (OSD), einen ersten Decodiererblock (VLD) mit variabler Länge für den komprimierten Eingangsdatenstrom (BitStream). Die MPEG-DCT-Datendekomprimierung wird durch den entsprechenden Dekomprimierungsblock ausgeführt (Pipeline-RDL, I_QUANT, I_DCT, Predictor Construction). Die Pipeline enthält typischerweise eine "Lauflängen"-Decodierungsstufe (RLD), eine inverse Quantisierungsschaltung (I_QUANT), einen Prozessor I_DCT für die inverse diskrete Kosinustransformation und ein Netz zur Erzeugung oder Konstruktion eines Prädiktor-Wertes (Predictor Construction).
In einer bekannten Architektur wurden die von der I_DCT-Verarbeitungsschaltung, die die inverse diskrete Kosinustransformation und die Bewegungskompensation berechnet, ausgegebenen Blöcke der I_DCT-Daten bezüglich der I-, P- und B-Bilder in die entsprechenden Puffer des externen Speichers in einer codierten Form geschrieben, d. h. als Wörter mit einer bestimmten Anzahl an Bits, bevor sie decodiert und zur Anzeigeeinheit gesendet werden. Im Gegensatz können gemäß der vorliegenden Erfindung die dekomprimierten I_DCT-Daten bezüglich der I- und P-Bilder unterabgetastet werden oder nicht, bevor sie ADPCM-rekomprimiert werden, wobei sie danach mittels eines in Fig. 1 als Ganzes als MR-Codierer/Decodierer bezeichneten Blocks codiert und in den entsprechenden Puffer des externen Speichers geschrieben werden. Die aus dem DRAM gelesenen rekomprimierten Daten werden dann decodiert, dekomprimiert und schließlich überabgetastet, um zusammen mit den dekomprimierten B-Bildern zur Anzeigeeinheit gesendet zu werden.
Optional kann ein interner Hilfsspeicher (MR-Speicher) realisiert sein, um das Management des externen Speichers zu optimieren, wie in der früheren europäischen Patentanmeldung Nr. 96830106.9 spezifiziert ist und wie in der folgenden Beschreibung veranschaulicht ist.
Das optionale Vorhandensein eines internen Hilfsspeichers (MR-Speicher) besitzt während derjenigen Phasen seine eigene Relevanz, in denen das System die Reduktion der Videospeicheranforderung auf 8 Mbit adaptiv ermöglicht, d. h. durch Freigeben nur der ADPCM-Rekomprimierung, während der Unterabtast-Algorithmus vor der ADPCM-Rekomprimierung gemäß der vorliegenden Erfindung gesperrt ist. Unter dieser Betriebsart ist die Verwendung des externen Videospeichers optimiert, indem die Notwendigkeit des Speicherns von Wörtern aus einigen Bits kleiner als 16 berücksichtigt wird, das die übliche Anzahl ist, in der der externe Videospeicher organisiert ist, wie in dem vorhergehenden europäischen Patent umfassend erörtert ist. Die Möglichkeit der Optimierung wird nicht länger benötigt, wenn das System eine Reduktion der vollen Speicheranforderung auf etwa 4 Mbit durch Freigeben des Unterabtast-Algorithmus vor der ADPCM-Rekomprimierung ermöglicht.
Im bevorzugten Fall einer "direkten" Rekonstruktion der B-Bilder ist dieses dann wie folgt realisiert:
- die ADPCM-komprimierten I- und P-Prädiktoren werden aus dem externen DRAM-Speicher gelesen und ADPCM-dekomprimiert, um die Bewegungskompensation des B-Bildes auszuführen, das momentan von der "Pipeline" MPEG-dekomprimiert wird, wobei sie einem Median-Unterabtastungsverfahren unterworfen werden.
Die Makroblöcke der auf diese Weise rekonstruierten I-DCT-Daten werden zur Umsetzungsschaltung "Makroblock-in-Rasterabtastung" gesendet, die sich auf der Eingangsseite der Anzeigeeinheit der in Fig. 1 gezeigten Darstellung befindet, wobei sie dann angezeigt werden.
Dieses Verfahren erfordert keinen Puffer im externen Speicher, der für das Speichern des B-Bildes bestimmt ist, weil ein derartiger Puffer in der Makrozelle "Makroblock-in-Rasterabtast-Umsetzer für das B-Bild" vorhanden ist.
In Übereinstimmung mit einem fundamentalen Aspekt des Systems diese Erfindung, der durch seine Anpassungsfähigkeit an sich ändernde Bedingungen der Verfügbarkeit des Videospeichers (z. B. indem angenommen wird, daß 16 Mbit externer Speicher verfügbar sind) gekennzeichnet ist, ist das System perfekt in der Lage, den Algorithmus zu deaktivieren, der die Speicheranforderung durch die ADPCM-Rekomprimierung, die Codierung und das nachfolgende Schreiben in den Videospeicher verringert, oder ihn ansonsten zu aktivieren.
Diese Operation ist durch die Steuerung von zwei Multiplexern durch den Mikroprozessor implementiert.
Das Schema des Freigebens/Sperrens der Funktion, die die Speicheranforderung in einer adaptiven Weise durch den steuernden Mikroprozessor reduziert, ist in Fig. 2 veranschaulicht. In dieser teilweisen Ansicht sind zwei Multiplexer ausführlich gezeigt, die durch den Mikroprozessor gesteuert werden, die die Aktivierung oder die Deaktivierung des ADPCM-Rekomprimierungssystems durch den MR-Codierer- und den MR-Decodiererblock ausführen.
Die ausführliche Ansicht des MR-Codierer/Decodiererblocks nach Fig. 1 zeigt außerdem einen eingebetteten MR-Speicher für die Optimierung des Managements des externen Speichers in Übereinstimmung mit der zitierten vorherigen europäischen Patentanmeldung.
In Fig. 3 ist ein Merkmal des Pufferungs-, "Fünffach"-Unterabtastungs- und Rekomprimierungsblocks nach Fig. 1 bezüglich der durch den I-DCT-Block ausgegebenen Daten (die um der Kürze willen die I-DCT-Daten genannt werden) gezeigt, die zu den dekomprimierten I- und P-Bildern gehören.
Die Darstellung nach Fig. 3 enthält außerdem zwei Multiplexer MUX, die die Auswahl zwischen einer Reduktion des Speichers auf lediglich 4 Mbit durch ein Unterabtasten der Daten vor der ADPCM-Rekomprimierung oder auf 8 Mbit durch die ADPCM-Rekomprimierung allein betätigen, in der Praxis durch Sperren des Unterabtast-Algorithmus.
Die innerhalb des homologen Blocks verwirklichte Fünffach-Unterabtastung kann stattfinden, indem alle zwei Bildpunkte einer verworfen wird, die zu den Helligkeitsdaten einer Videozeile (Zeile) gehören, die in den RAM zu schreiben sind. Dieser Prozeß wird Zeile für Zeile wiederholt, wobei auf diese Weise die Position eines Bildpunktes "versetzt" wird.
Wie in Fig. 4 graphisch gezeigt ist, kann die Fünffach-Unterabtastung einfach dadurch verwirklicht sein, daß der Strom der Bildpunkte durch eine Anordnung aus D-Flipflops gelenkt wird, die parallel arbeiten, wobei sie im Vergleich zur Frequenz des Stroms der Bildpunkte durch einen Takt mit der halben Frequenz angesteuert werden. Dieser Takt mit halber Frequenz kann durch einen Multiplexer MUX gewählt werden, wobei an dessen Eingang die komplementären Taktsignale mit der Frequenz F/2 im Vergleich zur Grundfrequenz F des Stroms der Bildpunkte durch die Flipflop-Bank angelegt sind. Das Signal der Leitungsparität befiehlt die Taktauswahl und erzeugt auf diese Weise ein Fünffach-Unterabtastungs-Gitter.
Die Technik der Fünffach-Unterabtastung setzt voraus, daß auf der Eingangseite der Unterabtastungsstufe in bezug auf den digitalen Datenstrom eine Frequenzreduktion des Bandes des Videosignals stattfindet, um mit dem Unterabtast-Algorithmus übereinzustimmen. In dem Fall, daß das Unterabtasten die effektive Anzahl der Abtastwerte der Daten einer Videozeile auf die Hälfte reduziert, wird das Band ebenfalls auf die Hälfte verringert werden müssen. Eine derartige notwendige Filterung wird durch das Antialiasing-Filter ausgeführt, dessen Funktionsschema in Fig. 5 angegeben ist. Die Filterung wird ausgeführt, indem die Summe der Produkte zwischen geeigneten Koeffizienten und benachbarten Bildpunkten gebildet wird. Die T-Register können D-Flipflops sein, die diese benachbarten Bildpunkte für die Zeit speichern, die für das Filter notwendig ist, um die gefilterten Bildpunkte auszugeben. Diese nebeneinanderliegenden Bildpunkte werden mit vorher festgesetzten Koeffizienten multipliziert und addiert, um das Ausgangsdatum zu erzeugen.
In. Fig. 7 umfaßt der ADPCM-Codiererblock einen 64 · 8-Bit-Puffer (Blockpuffer) zum Erfassen der I_DCT-Eingangsdaten. Eine dedizierte Schaltung (Varianzschätzeinrichtung) berechnet den durchschnittlichen Wert der Bildelemente jedes Blocks der I_DCT-Eingangsdaten und den Mittelwert der Summe der Absolutwerte der Differenzen zwischen jedem Bildelement des Blocks der I_DCT-Daten. Mit derartigen Parametern ist es möglich, die Varianz des Bllocks der Eingangsdaten (Bildelemente) zu schätzen.
Die Fig. 8 und 9 zeigen ein ausfiührliches Funktionsschema der Varianz-Vorhersageblocks gemäß einer bevorzugten Ausführungsform. Das ausführliche Schema nach den Fig. 8 und 9 des Varianz-Prädiktor-Blocks verwendet eine Standardterminologie, die von einem Fachmann unmittelbar verstanden wird. Eine weitere Definition und Beschreibung jeder der Stufen, die den Schaltungsblock der Varianzschätzung bilden, wird für ein völliges Verständnis der Architektur der vorliegenden Erfindung als nicht notwendig betrachtet.
Der ROM-Block (Nur-Lese-Speicher-Block) kann aus 56 Zeilen bestehen, wovon jede aus 8 Spalten (8 Bit) besteht, wie im veranschaulichten Beispiel angegeben ist. In diesem progammierbaren (nichtflüchtigen) ROM sind die Koeffizienten der Quantisierung der Helligkeit und der Farbwerte gespeichert. In der Tat ist z. B. die Helligkeit 4-Bit-codiert, was bedeutet, daß jedes Wort einen unter 16 möglichen Koeffizienten einer Zeile auswählt, die durch den VARIANCE ESTIMATOR ausgewählt wird. Diese Koeffizienten sind in bezug auf die Null symmetrisch, folglich enthalten die Zeilen Absolutwertkoeffizienten (8 anstatt 16).
Als eine Alternative zur Verwendung eines programmierbaren ROMs kann die Verwendung eines programmierbaren Logik-Arrays PLA hinsichtlich der verwendeten Siliciumfläche billiger sein, das als Eingabe einen bestimmten Wert der Varianz empfängt und das die Werte der erforderlichen Koeffizienten ausgibt. Das PLA kann in UND-, ODER-, NICHT-Gattern angeordnet sein, um die Boolesche Umsetzung der Varianz in mehrere Koeffizienten auszuführen.
Das DPCM-Komprimierungsnetz, das einen Prädiktor-Wert erzeugt, der in den entsprechenden Eingang des Differentiators (-) einzugeben ist, ist aus einem Multiplexer (MUX) mit zwei Eingängen aufgebaut, wobei in dessen ersten Eingang der Wert des ersten Bildelements (A1) jedes Blocks der I_DCT- Eingangsdaten eingegeben wird, wohingegen der durch das Netz erzeugte Prädiktor-Wert in den anderen Eingang eingegeben wird. Der Addierer (+) empfängt durch den ersten Eingang den Ausgangsstrom der Quantisiererschaltung (Quantisierer), der zum Ausgangswert des Multiplexers (MUX) hinzuzufügen ist. Das Ergebnis dieser Summe wird in den Eingang einer Begrenzerschaltung (UM. 0-255) eingegeben, deren Ausgangsstrom an den Eingang einer Schaltung geliefert wird, die den Prädiktor-Wert (COEFF) erzeugt.
Die Begrenzerstufe (LIM. 0-255) kann durch eine angemessene kombinatorische Logikschaltung gebildet werden. Die Verwendung einer derartigen Stufe ist für das Komprimieren nachfolgender maximaler Bildpunkt-Werte über einer gegebenen Grenze notwendig, die im Fall der 8-Bit-Codierung der Bildpunkt-Werte bei 255 fixiert sein kann. In der Tat kann während der Komprimierungs- und Dekomprimierungsphasen der Bildpunkt-Wert gelegentlich die Grenze von 255 überschreiten, wobei, falls dies der Fall ist, die Begrenzerschaltung den Maximalwert des Bildpunktes innerhalb der gesetzten Grenze wiederherstellt.
Eine Drei-Bit-Schreib-Codierungsschaltung (CODER) für die I_DCT-Farbwert- Daten und eine Vier-Bit-Codierungsschaltung für die Helligkeits-I_ DCT-Daten empfangen den Ausgangsstrom des QUANTIZERs und schreiben die auf diese Weise rekomprimierten Daten in die entsprechenden Puffer des externen Speichers.
Mit dem Zweck der besseren Veranschaulichung der Funktionen des Codierungs- und ADPCM-Rekomprimierungsblocks folgt eine ausführliche Beschreibung, die die verschiedenen Blockfunktionen erklärt.

DIE ADPCM-REKOMPRIMIERUNG

Bei I ein durch eine Matrix aus M Zeilen und N Spalten aus Bildpunkten dargestelltes digitales Bild, und sei I(x, y) der durch die Zeile y und die Spalte x definierte Bildpunkt, der als eine ganze Zahl durch eine Anzahl B von Bits definiert ist (Binärzahlen).
Bei das Bild I in rechteckige Blöcke mit einer Größe von R · C unterteilt (R Zeilen und C Spalten). Die maximale Effizienz für die Komprimierung wird erhalten, falls R und C aus den ganzzahligen Teilern von M bzw. N gewählt werden.
Der Algorithmus führt eine Komprimierung jedes Blocks aus, d. h. eine Verkleinerung der Anzahl der Bits, die notwendig ist, um den Block selbst darzustellen, wobei gerade die Daten ausgenutzt werden, die aus dem Block selbst extrahiert werden, dies erfolgt mit dem Ziel des Vereinfachens des Zugriffs auf den Block im Strom der komprimierten Daten und außerdem der Dekomprimierung des Blockes selbst.
Der ADPCM-Komprimierungsmechanismus nutzt die Korrelation aus, die zwischen benachbarten Bildpunkten eines Bildes besteht, um so die Anzahl der notwendigen Bits für die binäre Beschreibung des Bildes selbst zu vermindern. Es ist in der Tat möglich, den Wert eines Bildpunktes anzunähern, indem nur die Werte der Bildpunkte des fünffach-unterabgetasteten Bildes geeignet kombiniert werden, die sich neben ihm befinden (ohne folglich den Wert des Bildpunktes selbst zu verwenden), um so das zu erzeugen, was gewöhnlich als eine "Vorhersage" des Bildpunktes bezeichnet wird.
Es ist deshalb möglich, durch Definieren des Vorhersagemechanismus und deshalb durch geeignete Codierung anstatt jedes Bildpunktes des Vorhersagefehlers allein die Menge der für eine digitale Darstellung eines Bildes notwendigen Binärzahlen zu reduzieren. 3e genauer die Vorhersage des Wertes des Bildpunktes ist, desto niedriger ist die Entropie des Vorhersagefehlers, d. h. desto niedriger ist die Anzahl der für das Codieren der letzteren notwendigen Bits.
Es wird z. B. eine Anordnung zum Abtasten der Bildpunkte jedes Blocks entsprechend einem Abtastschema betrachtet, so daß es für jeden Bildpunkt mit der Ausnahme des ersten einen weiteren gibt, der ihm vorangeht und der als ein Prädiktor für den Bildpunkt selbst verwendet werden kann. Bei P(i, j), i = 1, ..., C der Bildpunkt, der durch die Zeile i und die Spalte j irgendeines Blocks definiert ist, und sei P'(i, j) der als Prädiktor von P(i, j) verwendete Bildpunkt, dann ist die Anordnung wie folgt definiert:
*P(1, 1) = der erste Bildpunkt des Abtastens,
*P'(i, 1) = P(i - 1, 1); i = 2, ..., R,
*P'(i, j) = P(i, j - 1); i = 1, ..., R und j = 2, ..., C.
Sei E(i, j) = P(i, j) - P'(i, j) der Vorhersagefehler. Es ist bekannt, daß die Gesamtheit der Vorhersagefehler eine statistische Darstellung besitzt, die einer Folge unabhängiger zufälliger Variable gut angenähert werden kann, wobei sie gleich verteilt sind und eine Laplace-Wahrscheinlichkeitsdichte aufweisen. Durch das Ausnutzen dieser Kenntnis vor dem Vorhersagefehler ist es möglich, den letzteren zu Komprimieren, indem er auf eine kleine Gruppe von Werten Q(k), k = 1, ..., L mit L < 2 B abgebildet wird, ohne eine übermäßige Verzerrung einzuführen. Diese Abbildungsoperation wird gewöhnlich "Quantisierung" genannt. Wird vorausgesetzt, daß jeder der L Werte Q(k) mit einer Anzahl von Bits C codiert werden kann, die kleiner als B ist (was immer wahr ist, wenn z. B. L ≤ 2 C gilt), wird die Binärcodierung jedes Bildpunktes, der dem vorhersagenden Prozeß unterworfen wird, um einen Faktor C/B komprimiert.
Das ADPCM-Komprimierungsverfahren wird auf jeden Block angewendet, in den das Bild durch die folgenden Operationen zerlegt wird:
- Auswählen und Codieren eines geeigneten Quantisierers im digitalen Strom.
- Codieren des ersten Bildpunktes des Blocks.
- Entkorrelieren, Quantisieren und Codieren aller verbleibender Bildpunkte des Blocks.
Die verschiedenen Schritte und die Schaltungsarchitektur, die diese Operationen ausführt, sind im folgenden einzeln beschrieben:

1) Die Auswahl und das Codieren des Quantisieres.

Es ist gut dokumentiert, daß die durch den Prozeß der Quantisierung eingeführte Verzerrung reduziert werden kann, falls die Gruppe der Quantisierungswerte Q(k) berechnet wird, indem die Energie des zu quantisierenden Signals berücksichtigt wird. Es ist außerdem bekannt, das verschiedene Teile eines digitalen Bildes sehr verschiedene Energiewerte zeigen können. Das vorliegende Verfahren definiert die Gesamtheit der Werte Q(k) bezüglich jedes Blocks als eine Funktion der Energie des Blocks selbst wie folgt:
* Die Gesamtheit der Werte von Q1(k), k = 1, ..., L, die im Fall einer einheitlichen Energie verwendet werden, sind sowohl dem Codierer als auch dem Decodierer bekannt;
* die Energie U des Blocks wird im digitalen Strom geschätzt und codiert;
* die Werte Q(k), die von dem Block effektiv verwendet werden, werden als:
Q(k) = Q1(k) · U; k = 1, ...,L
berechnet.
Eine Schätzung der Blockenergie kann in einer relativ einfachen Weise ausgeführt werden, indem eine Laplace-Statistik des Vorhersagefehlers angenommen wird. In der Tat kann in diesem Fall die Energie durch das Multiplizieren des Mittels der Absolutwerte der Blockvorhersagefehler mit der Quadratwurzel aus zwei berechnet werden. Das Codieren der Energie kann einfach durch das Skalieren hinsichtlich des Maximalwerts und durch das Darstellen des Ergebnisses als eine Anzahl von K Bits erfolgen, um auf diese Weise im wesentlichen eine gleichförmige Quantisierung zu realisieren. Beim Auswählen des Quantisierers der Vorhersagefehler ist es außerdem notwendig, den Spitzenwert der Fehler der Quantisierung zu berücksichtigen, weil es im Fall großer Vorhersagefehler geschehen kann, daß der Spitzenwiederherstellungswert des Quantisierers entsprechend dem im folgenden gezeigten Schema zu klein ist. Folglich werden außerdem gleichzeitig zur Berechnung der Varianz die Spitzenwerte der Vorhersage für den ersten Spaltenfehler berechnet, innerhalb derer wahrscheinlich große Vorhersagefehler infolge des größeren Abstandes zwischen den Zeilen eines Halbbildes während des verschachtelten Abtastens und für jede Gruppe aus G aufeinanderfolgenden horizontalen Zeilen (d. h. G = 2) auftreten. Ein Bit wird zu der Codierung jeder dieser Gruppen aus Bildpunkten hinzugefügt, um den Fall einer übermäßigen Spitze des Vorhersagefehlers und im Ergebnis dessen die Wahl eines Quantisierers zu melden, der einer Energie 2 · U im Fall eines Zeilenpaars und 4 · U im Fall der ersten Spalte entspricht.
Eine Schaltungsarchitektur, wie sie in den Fig. 8 und 9 ausführlich veranschaulicht ist, kann zum Berechnen dieser Schätzung der Varianz verwendet werden.

2) Das Codieren des ersten Bildpunktes des Blocks

In dem Schema nach Fig. 7 wird der erste Bildpunkt des Blocks, der vorausgehend als P(1, 1) bezeichnet wurde, nicht irgendeiner Art der Vorhersage unterworfen, wobei er folglich entsprechend der ursprünglichen Auflösung durch B Bits codiert wird.

3) Die Entkorrelation, Quantisierung und Codierung aller anderen Bildpunkte des Blocks

Im Schema nach Fig. 7 wird für jeden Bildpunkt des Blocks der vorher definierte Bildpunkt P' als der Prädiktor übernommen. Es sollte angemerkt werden, daß dieser Prädiktor entsprechend der Abtastreihenfolge bereits quantisiert und rekonstruiert ist, wobei er deshalb nicht aus dem ursprünglichen Bild genommen wird. Dies erlaubt kohärent mit bekannten ADPCM-Techniken eine bessere Steuerung der Qualität des Bildes.
Fig. 7 zeigt eine Schaltung, die, außer daß sie einen allgemeinen Überblick über den Codierer gibt, außerdem die Einzelheiten der Vorhersage- und Quantisierungsschleife der einzelnen Bildpunkte bereitstellt. Die Berechnung des Vorhersagefehlers wird hinsichtlich des absoluten Betrags und des Vorzeichens ausgeführt. Dies erlaubt, die Quantisierung zu vereinfachen, indem die Anzahl der Stufen halbiert wird, auf denen die Quantisierung arbeitet. Es ist in der Tat bekannt, daß die Statistik des Vorhersagefehlers um die Null symmetrisch ist.
Die Fig. 10 und 11 veranschaulichen eine Schaltungsausführungsform des Quantisierers.
Das Schema nach Fig. 10 zeigt die zum Erzeugen der sieben Schwellenwerte SO, S1, S2, S3, S4, S5 und S6 verwendete Architektur, die das arithmetische Mittel der Wiederherstellungswerte T , ..., T7 darstellen. Insbesondere wird der Mittelwert zwischen benachbarten Wiederherstellungswerten berechnet (d. h. S2 = T2 + T3), wobei dieses Ergebnis nicht durch zwei geteilt wird, um die volle Genauigkeit aufrechtzuerhalten. Selbstverständlich wird dies kompensiert, indem der "err"-Wert des Schemas nach Fig. 11 mit zwei multipliziert wird, der in der Tat anstatt mit 8 Bits durch 9 Bits dargestellt wird (d. h., es wird 1 Vorzeichenbit hinzugefügt).
Fig. 11 zeigt die reale Quantisierungsschaltung.
Die in Fig. 10 berechneten Schwellenwerte definieren eine Folge von acht Intervallen des Absolutwertes (und für die Codierung der Helligkeit mit vier Bits), folglich wird dann, wenn "err" in ein durch S1 und S2 definiertes Intervall fällt, "err" durch den vorher entweder durch das PLA oder durch das Lesen des ROMs erzeugten Wert 72 ersetzt.
Deshalb steuern zwei mit S1 und S2 gespeiste Komparatoren mit der Untersfiützung einer kombinatorischen Logik den Multiplexer MUX beim Übertragen von 72 zum Ausgang, der den Namen "delta" annimmt. Das Vorzeichenbit von "err" wird statt dessen ungeschnitten zum Ausgang übertragen, wobei es sowieso das Vorzeichen von "delta" wird.
Abermals im vollständigen Schema des ADPCM-Codierers für die Rekomprimierung und das Schreiben in den Video-RAM nach Fig. 7 werden die auf diese Weise rekomprimierten unterabgetasteten Daten im externen DRAM gespeichert, der in 16-Bit-Wörtern organisiert ist. Folglich werden die NBits, die die Codierung repräsentieren, z. B. eines 8 · 8-Blocks der Helligkeit, auf 16-Bit-Wörter ausgerichtet und durch die Verwendung des Speicher-Controllers nach Fig. 1 zu dem externen DRAM-Speicher gesendet. Offensichtlich ist N kein Vielfaches von 16 Bit, folglich enthält ein 16-Bit-Wort keine nützlichen Informationen, wobei es deshalb zweckmäßig ist, ein derartiges Wort in einem Speicher mit kleinen Dimensionen (im Vergleich zu denjenigen des externen DRAMs) zu speichern, der auf dem Chip realisiert sein kann. Diese besonders vorteilhafte Form der Realisierung ist im Schema nach Fig. 2 durch die Anwesenheit eines sogenannten MR-Speicherblocks angezeigt, der einen derartigen optionalen Hilfsspeicher darstellt, der auf den Chip anwendbar ist.
Der MR-Decvdiererblock ist in Fig. 6 gezeigt, wo sich außerdem der Auswahl- Multiplexer des Unterabtastens befindet, um den Speicher auf 4 Mbit zu verkleinern, oder um ansonsten diesen Algorithmus zu sperren, wenn eine Verkleinerung des Speichers auf 8 Mbit durch die ADPCM-Rekomprimierung allein erforderlich ist.
Die Architektur des ADPCM-Decodiererblocks des Schemas nach Fig. 6 ist in Fig. 12 umfassend gezeigt.
Es wird angenommen, daß aus dem Speicher die N Bits gelesen wurden, worauf oben verwiesen worden ist. Die Varianz, wie sie daraus berechnet wurde, wählt einen im ROM (oder im PLA) gespeicherten Wert, (d. h. sie zielt auf einen der gespeicherten Werte). Deshalb werden die Werte T , T1, T2, T3, T4, T5, T6 und T7 erzeugt, die in den Multiplexer MUX gespeist werden. Das Unterwort aus 4 Bits (im Fall der Dekomprimierung der Helligkeit) wird aus den N Bits bezogen, wobei es den MUX beim Auswählen der T Werte ansteuert.
Schließlich wird der momentane T Wert, außer daß er das dekomprimierte Bildelement wird, außerdem der Wert, der zum nächsten vom MUX ausgewählten Wert hinzuzufügen ist.
Dieser Prozeß wird durch das erste Bildelement des 8 · 8-Blocks initialisiert, das durch die Komprimierung oder Dekomprimierung nicht beeinflußt wird.

EINBEISPIEL DER KOMPRIMIERUNG MIT NBIT JE BILDPUNKT

Es wird ein R x C-Block aus Bildpunkten nach der nachfolgenden Bewegungskompensation und nach der Fünffach-Unterabtastung betrachtet. Die Gesamtzahl der für die Komprimierung des Blocks verwendeten Bits beträgt:
K + 8 + (R · C-1) · N + 1 + R/G,
wobei:
- K = die für das Codieren der Energie verwendeten Bits,
- 8 = die für den ersten abgetasteten Bildpunkt verwendeten Bits,
- N = die für die Quantisierung verwendeten Bits,
- (R · C - 1) · N = die für die DPCM-Codierung der verbleibenden Bildpunkte verwendeten Bits,
- 1 = das Bit zum Anzeigen des geänderten Quantisierers in der ersten Spalte und
- R/G = das Bit zum Anzeigen des geänderten Quantisierers in den R/G Gruppen der Zeilen
sind.
Für den Fall K = 6, R = 8, C = 8, N = 3, G = 2 wird eine Gesamtmenge von:
6 + 8 + (8 · 8-1) · 3 + 1 + 8/2 = 208 Bits/Block
erhalten. Im Fall K = 5, R = 8, C = 8, N = 2, G = 2 wird im Vergleich zu den von der ursprünglichen Farbwert-Darstellung benötigten 8 · 8 · 8 = 512 und abweichend von den 16 · 8 · 8 = 1024, die für die Helligkeit benötigt werden, eine Gesamtmenge von:
5 + 8 + (8 · 8 - 1 ) · 2 + 1 + 4 = 144 Bits/Block
erhalten.

EIN BEISPIEL DER KOMPRIMIERUNG EINES MPEG-MAKROBLOCKS

Jeder Makroblock besteht aus vier 8 · 8-Blöcken der Helligkeit und zwei 8 · 8-Blöcken der Farbwerte; jeder Makroblock wird mit einer Anzahl an Bits codiert, die gleich:
(2 · 16 · 8 · 8) + (2 · 8 · 8 · 8) = 3.072 Bit
Helligkeit Farbwert
ist. In jedem PAL-Bild gibt es 1.620 Makroblöcke:
3.072 · 1.620 = 4976640 Bit.
Es ist bekannt, daß das Farbwert-Signal einen geringeren Inhalt an Informationen besitzt, der ein Band darstellt, das auf die niedrigsten Ortsfrequenzen eingeschränkt ist. Dies impliziert eine größere Vorhersagbarkeit der Farbwerte selbst, d. h. eine größere Effizienz der ADPCM-Komprimierung. Wird eine 3- BitsBildpunkt-Komprimierung für die Helligkeit und eine 2-BitsBildpunkt- Komprimierung für die Farbwerte betrachtet, würde erhalten werden:
(2 · 208) + (144 · 2) = 704 Bit
Helligkeit Farbwert
Deshalb beansprucht jedes Vollbild:
704 · 1.620 = 1.140.480 Bit
Der auf diese Weise erhaltene Makroblock-Komprimierungsfaktor ist gleich 4,36.

EIN BEISPIEL DER ANWENDUNG AUF EINEN MPEG-DECODIERER

Werden die obigen Beziehungen berücksichtigt, ist es möglich, das Ziel einer Verkleinerung auf 4 Mbit des Videospeicherregisters zu erreichen, indem eine derartige Komprimierung der MPEG-dekomprimierten I- und P-Bilder angenommen wird.
Dieses Ergebnis wird durch eine erste Fünffach-Unterabtastung und dann durch die ADPCM-Rekomprimierung der I- und P-Bilder nach der MPEG- Dekomprimierung und bevor sie im externen Speicher gespeichert werden erhalten. Dann werden sie dekomprimiert, wenn sie aus dem externen Speicher gelesen werden, wie in Fig. 1 gezeigt ist.
Die Komprimierung ist auf einen von der I-DCT und von der Bewegungskompensation ausgegebenen 16 · 8-Block entsprechend einem adaptiven DPCM- Schema anwendbar. Insbesondere im betrachteten Beispiel ist für die 16 · 8- Blöcke der Helligkeit eine 3-Bit-Komprimierung ausgewählt, wohingegen für die 8 · 8-Blöcke der Farbwerte eine 2-Bit-Komprimierung ausgewählt ist. Folglich ist für den Fall des PAL-Formats der Speicherbedarf wie folgt:
Für ein NTSC-Format würde die Anforderung dann 4.571.392 bit betragen.
Eine Veranschaulichung der Prozesse des Unterabtastens/Uberabtastens und der ADPCM-Komprimierung/Dekomprimierung ist in den Fig. 14 bis 16 veranschaulicht.
Das MPEG-dekomprimierte digitale Bild nach der inversen diskreten Kosinustransformation befindet sich im Makroblock-Format, das aus 16 · 16-Bildelementen für die Helligkeitskomponente und aus zwei 8 · 8-Bildelementen für jede der Farbwert-Komponenten U und Y gebildet wird.
Diese Blöcke, wie sie im Blockschaltplan nach Fig. 3 gezeigt sind, werden gepuffert und in zwei Blöcke aus 16 · 16-Bildelementen für den Fall der Helligkeitskomponente aufgespalten.
Jeder von diesen (für die Helligkeit allein) wird gemäß einem Gitter, das gewöhnlich als fünffach bezeichnet wird, unterabgetastet, wie in Fig. 14 gezeigt ist.
Auf diese Weise wird ein neuer Block aus 8 · 8 Bildelementen erhalten. Dieser Block wird in den ADPCM-Codiererblock nach Fig. 3 gemäß dem in Figur. 14 durch die gestrichelte Linie gezeigten Abtastweg eingespeist.
Danach findet die ADPCM-Komprimierung statt, die bereits oben beschrieben ist.
Nachdem ein derartiger Block ADPCM-dekomprimiert ist, werden während des folgenden Schrittes der Decodierung der Bilddaten die Daten überabgetastet, das bedeutet, daß die Abtastwerte, die während der Codierungsphase nicht gespeichert wurden, rekonstruiert werden müssen. Um dies auszuführen, wird von den angrenzenden Abtastwerten Gebrauch gemacht, die in einem richtig definierten Verarbeitungsbereich enthalten sind, wie in Fig. 15 schematisch gezeigt ist.
In dem in Fig. 15 dargestellten Beispiel muß ein nicht vorhandener @ -Bildpunkt konstruiert werden. Dieses Bildelement wird unter Verwendung der Formel berechnet, die in Fig. 15 am Fuß der Seite angegeben ist, wobei c0, c1, c2, c3, c4, c5 und c6 die Multiplikationskoeffizienten der folgenden Bildelemente sind:
- D4 ist ein ADPCM-dekomprimiertes Bildelement
- D5 ist ein durch die Medianfilterung der Bildelemente D4, C5 und E5 erzeugtes Bildelement, bei denen die Medianfilterung aus dem Wählen des dazwischenliegenden Bildelementes zwischen den ankommenden drei Bildelementen besteht (falls z. B. D4 < C5 < E5 gilt, ist C5 der Median);
- D6 ist ein ADPCM-dekomprimiertes Bildelement;
- D7 ist ein durch die Medianfilterung der Bildelemente D6, C7 und E7 erzeugtes Bildelement;
- D8 ist ein ADPCM-dekomprimiertes Bildelement;
- D9 ist ein durch die Medianfilterung der Bildelemente D8, C9 und E9 erzeugtes Bildelement;
- D10 ist ein ADPCM-dekomprimiertes Bildelement.
Um einen 16 · 8-Block so ähnlich wie möglich zu demjenigen zu rekonstruieren, der in einer Codierungsphase dem Unterabtasten und der ADPCM-Komprimierung unterworfen wurde, wird deshalb der 8 · 8-unterabgetastete Block ADPCM-dekomprimiert, wobei er danach durch die oben erwähnte Filterung überabgetastet wird.
Wird berücksichtigt, daß die Farbwert-Komponente aus 8 · 8-Blöcken mit im Vergleich zu den Helligkeitsblöcken niedrigem Energieinhalt zusammengesetzt ist, kann eine Wahl getroffen werden, um den Verlust der Bildqualität zu minimieren, indem die ADPCM-Rekomprimierung des 8 · 8-Blocks für den Farbwert allein verwendet wird, in Übereinstimmung mit dem, was in der europäischen Patentanmeldung Nr. 96830106.9 bereits beschrieben ist. Die Anzahl der Bits/Bildpunkte kann 2 betragen.
Die Medianfilterung, d. h. die Medianüberabtastung während der Decodierungsphase der ADPCM-dekomprimierten Daten wird durch den MEDIAN- UPSAMPLING-Block des Funktionsschemas nach Fig. 6 ausgeführt.
Fig. 13 zeigt eine praktische Form der Verwirklichung der Medianfilterungsschaltung.
Die zu drei benachbarten Videozeilen gehörenden Bildpunkte werden durch die entsprechenden Eingangsleitungen der Schaltung nach Fig. 13 eingespeist.
Die Verzögerungsblöcke T können aus D-Flipflops gebildet sein, die die an der gleichen Eingangsleitung vorhandenen Bildpunkte speichern, wobei sie folglich die folgende Anordnung erzeugen:
Deshalb werden die Werte oder Bildelemente P1, Q1, R1 in das Medianfilter gespeist, das wiederum das dazwischenliegende Bildelement der drei Bildelemente ausgibt (z. B. P1 = 1, Q1 = 10, R1 = 100 - OUT = 10). Selbstverständlich führen alle anderen Medianfilter den gleichen Prozeß aus.
Folglich werden die Werte Q1, M1, Q2, M2, Q3, M3, Q4 am Ausgang erhalten. Diese Werte werden jeweils mit c0, c1, ..., c6 multipliziert und addiert, um einen interpolierten Bildpunktwert zwischen Q2 und Q3 und gleich @ zu erzeugen.

Claims

1. Verfahren zum Reduzieren der Videospeicheranforderung eines MPEG- Decodierers, der eine Dekomprimierungsstufe für die jeweiligen I-, P- und optional die B-Bilder des MPEG-Kompressionsalgorithmus umfaßt, wobei die darauf bezogenen Daten in entsprechenden Puffern gespeichert werden sollen, die in dem Videospeicher organisiert sind,

dadurch gekennzeichnet, daß es umfaßt:

Unterabtasten und Rekomprimieren wenigstens der I- und P-Bilder nach der MPEG-Dekomprimierung und vor dem Speichern der darauf bezogenen Daten in den Videospeicherpuffern, Schätzen der Varianz jedes unterabgetasteten Blocks aus n · m Bildelementen in bezug auf die inverse diskrete Kosinustransformation der dekomprimierten Bilddaten, Multiplizieren des Wertes der Varianz jedes Blocks mit einer Menge aus Koeffizienten oder Verwenden des Varianzwertes als eine Adresse eines ROM oder als ein Eingangssignal eines programmierbaren Logik-Arrays, um einen adaptiven Mehrebenen- Quantisierer zu konfigurieren, sowie Codieren eines ersten Bildelements jedes unterabgetasteten Blocks mit einer Anzahl p von Bits, des geschätzten Wertes der Varianz mit einer Anzahl n - h von Bits, wobei h eine ganze Zahl größer als null ist, und der Differenzen zwischen jedem weiteren Bildelement nach dem ersten Bildelement und dem Durchschnittswert aller Bildelemente des Blocks mit einer Anzahl p - k von Bits, wobei k eine ganze Zahl größer als null ist, entsprechend einem adaptiven differentiellen Impulscode- Modulationsschema (ADPCM);

Speichern der Daten bezüglich der I- und P-Bilder in Form unterabgetasteter und rekomprimierter Blöcke, die auf diese Weise codiert sind, in den jeweiligen Puffern des Videospeichers;

Decodieren der gespeicherten Daten bezüglich unterabgetasterer und rekomprimierter Blöcke aus Bildelementen bezüglich der I- und P-Bilder;

Dekomprimieren der Daten bezüglich der Blöcke von Bildelementen entsprechend dem adaptiven differentiellen Impulscode-Modulationsschema (ADPCM);

Überabtasten der decodierten und dekomprimierten Daten durch Rekonstruieren von Blöcken aus Bildelementen; und

Senden der Blöcke aus Bildelementen an eine Schaltung zur Makroblockabtast-in-Rasterabtast-Umsetzung.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Betrag der Reduzierung der Videospeicheranforderung durch Freigeben des ADPCM- Neukompressionsalgorithmus und durch Codieren vor dem Schreiben der Daten in den Videospeicher sowie durch Decodieren und ADPCM- Dekompression derselben Daten, die aus dem Videospeicher gelesen werden, um eine erste Reduzierung der Videospeicheranforderung zu verwirklichen, und durch Freigeben des Datenunterabtast-Algorithmus vor der ADPCM- Rekomprimierung und der Median-Überabtastung der ADPCMdekomprimierten Daten, um eine maximale Reduzierung der Speicheranforderung zu implementieren, moduliert werden kann.

3. MPEG-Videodecodierer, der eine Schnittstelle mit einem Steuerbus und einem Datenverarbeitungsbus der Videobilder, die in entsprechende Puffer außerhalb des "Kerns" des Videodecodierers geschrieben und aus diesen gelesen werden sollen, bilden kann, wobei der "Kern" einen ersten "First-InlFirst- Out"-Puffer (FIFO-Puffer) zur Datenerfassung und zum Schreiben der komprimierten Daten in einen ersten Bit-Puffer eines externen DRAM-Speichers, eine Startcode-Detektorschaltung, die durch einen Controller synchronisiert wird, einen bidirektionalen Puffer (E/A-Einheit) für On-Screen-Anzeigedaten (OSD-Daten), einen Decodierer mit variabler Länge (VLD) für den Eingangsstrom aus komprimierten Daten (bitstream), einen MPEG- Dekompressionsblock (pipeline-RLD, I_QUANT, I_DCT, Predictor Construction) für die Daten, die durch den Decodierer mit variabler Länge decodiert werden, der einen "Lauflängen"-Decodierer enthält, eine inverse Quantisierungsschaltung, einen Prozessor für inverse diskrete Kosinustransformation, eine "Prädiktor"-Erzeugungsschaltung und eine Schaltung zur "Makroblockabtast-in-Rasterabtast"-Umsetzung für ein momentanes B-Bild auf der Eingangsseite einer Anzeigeeinheit umfaßt, dadurch gekennzeichnet, daß er ferner umfaßt:

eine Pufferungs- und Fünffach-Unterabtastschaltung zum Puffern und Unterabtasten der durch den Prozessor für inverse Konsinustransformation ausgegebenen Daten;

eine Schaltung zur Codierung und Neukomprimierung entsprechend einem adaptiven differentiellen Impulscode-Modulationsschema (MR- Codierer) zum Rekomprimieren der Daten wenigstens bezüglich der I- und P- Bilder des MPEG-Algorithmus und zum Codieren der rekomprimierten Daten, die in den jeweiligen Puffern des Speichers gespeichert werden sollen;

eine Decodierungs- und Dekomprimierungsschaltung (MR-Decodierer) zum Decodieren und Dekomprimieren der Daten bezüglich der I- und P- Bilder, die aus den jeweiligen Puffern des Speichers gelesen werden, und zum Erzeugen eines Stroms decodierter und dekomprimierteer Daten bezüglich der I- und P-Bilder;

eine Pufferungs- und Medianüberabtastungsschaltung zum Puffern und Überabtasten des decodierten und dekomprimierten Datenstroms;

erste Multiplexermittel zum Freigeben und Sperren der Pufferungs- und Fünffachüberabtastungsschaltungen und der Pufferungs- und Medianüberabtastungsschaltungen;

zweite Multiplexermittel zum Freigeben und Sperren der Schaltungen zum Rekomprimieren gemäß dem adaptiven differentiellen Impulscode- Modulationsschema, zum Codieren, Decodieren und Dekomprimieren gemäß dem adaptiven differentiellen Impulscode-Modulationsschema;

Mittel, die die jeweilige Auswahl der Freigabe/Sperrzustände der Multiplexer über Steuersignale verwirklichen können, die über den Steuerbus geschickt werden.