DE68924538T2 - Prädiktive kodierung und dekodierung. - Google Patents

Description

• Diese Erfindung bezieht sich auf prädiktives Codieren und Decodieren und insbesondere, jedoch nicht ausschließlich, auf ein Zwischenbild-Videocodiersystem, das von einer Transformationscodierung Gebrauch macht.
• Bei einem prädiktiven Codierungsschema erzeugt der Empfänger eine Vorhersage für den gegenwärtigen Wert eines Signals auf der Grundlage von dessen früheren Werten. Solche Schemata verwenden deshalb im allgemeinen eine Verzögerungs- oder Speicherstufe, Prädiktor genannt, die frühere Signalwerte (möglicherweise gewichtet) verwendet, um eine Vorhersage für gegenwärtige Signalwerte zu bilden.
• Im Sender wird eine ähnliche Vorhersage erzeugt, wobei die Differenz zwischen den Vorhersagesignalwerten und den gegenwärtigen Signalwerten codiert wird und als Differenzsignal zum Empfänger gesendet wird, wo es zur Vorhersage addiert wird, um eine Näherung des gegenwärtigen Signals wiederherzustellen.
• Solche Systeme können analog oder digital sein; ein Beispiel für ein digitales System ist ein digitales Videocodiersystem.
• Videodaten sind hochredundant, weshalb es üblich ist, Videodaten unter Verwendung eines Zwischenbildprädiktors zu übertragen, der auch Bewegungen zwischen Bildern kompensieren kann. Auf der Senderseite eines solchen Systems können die Differenzsignalwerte in Blöcken von z. B. 8x8 Bildelementen (Pixels) codiert werden, wobei eine räumliche Transformation verwendet wird, während im Empfänger die inverse Transformation ausgeführt wird, um das Differenzsignal zu decodieren.
• Eine häufig verwendete Transformation ist die diskrete Kosinustransformation. Die zu deren Durchführung erforderlichen mathematischen Operationen können mit einer endlichen Anzahl von Bits nicht exakt ausgedrückt werden. Deshalb können praktische Ausführungsformen mit unterschiedlichen internen Verarbeitungsarchitekturen, die z. B. von verschiedenen Herstellern hergestellt sind, leicht unterschiedliche Ergebnisse liefern.
• Sowohl im Codierer als auch im Decodierer befindet sich eine Stufe für innere Transformation. Wenn diese beiden an ihren Ausgängen nicht exakt die gleichen Differenzsignalwerte erzeugen, beginnen die Vorhersagen von Codierer und Decodierer zu divergieren, wobei der resultierende Fehler auf dem decodierten Bild sichtbar wird.
• Dieses Problem wird gelöst, indem der maximal zulässige Fehler bezüglich einer (fiktiven) sehr genauen Version der inversen Transformation festgelegt wird.
• Versuche haben gezeigt, daß die beiden gemittelten Fehlerparameter (der gemittelte Fehler in jedem Pixel und der gemittelte Gesamtfehler) sehr wichtig sind, da sie den systematischen Fehler wiedergeben, dessen Vorhandensein zu einem kumulativen Anwachsen der Divergenz zwischen den Bildern des Codierers und des Decodierers führen. Der gemittelte Gesamtfehler wird somit als stetig zunehmende oder abnehmende Helligkeit eines Bildblocks über mehrere Bilder oder als zunehmende Farbverwerfung sichtbar.
• Ähnliche Probleme treten in Codiersystemen für andere Datentypen (z.B. Sprache) auf.
• Gemäß einem Aspekt der Erfindung wird ein prädiktiver Decodierer geschaffen, mit einer Einrichtung, die ein Differenzsignal verarbeitet, einer Einrichtung, die ein Vorhersagesignal liefert und einer Einrichtung, die das verarbeitete Differenzsignal und das Vorhersagesignal kombiniert, um in Abhängigkeit davon ein Ausgangssignal zu erzeugen, wobei das Vorhersagesignal in der Weise aus dem Ausgangssignal abgeleitet wird, daß es von früheren Abschnitten des Differenzsignals abhängt, dadurch gekennzeichnet, daß Einrichtungen vorgesehen sind, die den Betrieb des Decodierers zwischen ersten und zweiten Zuständen periodisch wechseln, in denen die kumulative Wirkung jeglichen durch die Verarbeitungseinrichtung hervorgerufenen zeitgemittelten systematischen Fehlers das Vorhersagesignal erhöht bzw. erniedrigt, wobei die Längen der in den ersten bzw. in den zweiten Zuständen verbrachten Perioden so bemessen sind, daß die Neigung zu einer Akkumulation eines derartigen zeitgemittelten systematischen Fehlers im Vorhersagesignal reduziert wird.
• Dies hat den Vorteil, daß deutlich wahrnehmbare Langzeitfehler im decodierten Signal verringert werden und somit eine geringere Genauigkeit erforderlich ist bzw. eine größere Fehlertoleranz im Decodierer erhalten wird.
• Gemäß anderen Aspekten, die in den abhängigen Ansprüchen definiert sind, werden entsprechende Sender und Systeme sowie eine darin verwendete digitale Signalverarbeitungsvorrichtung geschaffen.
• In einer bevorzugten Ausführungsform, die insbesondere in Blocktransformationscodierungs-Videosystemen verwendbar ist, verringert die vorliegende Erfindung die gemittelten Fehler, indem die Polarität der Daten, die in die Stufe der inversen Transformation eingegeben bzw. von dieser ausgegeben werden, periodisch invertiert wird, so daß jeder systematische Fehler über eine bestimmte Zeitspanne herausgemittelt wird. Die Zeitspannen des invertierten und des nichtinvertierten Betriebs sind im Mittel vorzugsweise im wesentlichen gleich.
• Jeder solche Block des Bildes muß über eine Periode von mehreren aufeinanderfolgenden Bildern sowohl der normalen als auch der invertierten Verarbeitung unterworfen werden. Für einige Codierungsschemata ist es möglich, alternierende Betriebsarten auf alternierende Bilder anzuwenden. Jedoch verwenden einige Codierer Bildunterdrückungsverfahren, wobei in diesen eine Korrelation zwischen der Bildcodierungsfrequenz und der Umkehrungsfrequenz auftreten kann, so daß die Anzahl der im normalen Betriebsmodus und der im invertierten Betriebsmodus der inversen Transformation verwendeten Bildteile im wesentlichen nicht gleich sein wird.
• Deshalb wird vorzugsweise ein Zufallsgenerator oder ein Pseudozufallsgenerator verwendet, um die Betriebsart der inversen Transformation zu steuern.
• Ein Vorteil der Erfindung besteht darin, daß dieser invertierte Betriebsmodus ein Bestandteil des Decodierungsvorganges ist und die Daten außerhalb desselben nicht beeinflußt. Die Technik kann deshalb entweder im Codierer oder im Decodierer oder in beiden verwendet werden, wobei keine Organisationssignalisierung des normalen bzw. invertierten Betriebsmodus erforderlich ist.
• Im folgenden wird die Erfindung beispielhaft mit Bezug auf die beigefügten Zeichnungen beschrieben, in denen:
• Fig. 1 ein vereinfachtes Blockschaltbild eines Zwischenbild-Hybrid-DCT-Codierübertragungssystems gemäß einem Aspekt der Erfindung ist.
• Wie in Fig. 1 gezeigt, empfängt die Senderseite eines prädiktiven Zwischenbild-Videocodierers ein Videosignal. Eine Subtrahierstufe 1 subtrahiert vom Eingangssignal einen Schätzwert, den der Decodierer als erfolgte Eingabe voraussagen wird; dieser Schätzwert wird von einem Prädiktor 2 erzeugt, welcher einen Bildspeicher enthält. Das Differenzsignal wird von einer DCT-Umcodierungsstufe 3 in 8x8-Pixelblöcken von Zwischenbildabtastwerten codiert, wobei die sich ergebenden Umcodierungskoeffizienten, die dem codierten Differenzsignal entsprechen, zum Empfänger übertragen werden. Die Inhalte des Prädiktors 2 werden aktualisiert, indem die Transformationskoeffizienten an eine Stufe für inverse Transformation 4 übergeben werden, die das Differenzsignal wiederherstellt. Dieses wird in der Addierstufe 5 zu den rückgeführten, aktuellen Inhalten des Prädiktors 2 addiert, wobei das Ergebnis von der Prädiktorstufe 2 als aktualisierte Vorhersage gespeichert wird.
• Diese letzten Schritte entsprechen der Operation des Empfängers, bei dem die empfangenen Transformationskoeffizienten in einer Stufe für inverse Transformation 6 invers transformiert werden, um das Zwischenbilddifferenzsignal wiederherzustellen, welches in der Addierstufe 8 zu dem Vorhersagesignal, das vom Zwischenbildprädiktor 7 erzeugt wird, addiert wird, wobei das resultierende wiederhergestellte Videosignal zur Anzeige oder zur weiteren Verarbeitung ausgegeben und im Prädiktor 7 gespeichert wird.
• Typischerweise wird im Sender der Transformationsstufe 3 folgend ein Quantisierer angeordnet, wobei entsprechende inverse Quantisierer den Stufen für inverse Transformation 4, 6 am jeweiligen Ende vorangestellt sind; diese sind der Klarheit halber in Fig. 1 weggelassen.
• Soweit ist die Erfindung z. B. in unseren vorangegangenen, veröffentlichten europäischen Patentanmeldungen Nr. EP-A-0301712 und EP-A-0309280 offenbart.
• Ein Problem entsteht dann, wenn die Operation einer Komponente (z.B. der Stufe für inverse Transformation (6) im Signalpfad des Empfängers einen mittleren Fehler erzeugt, der sich von jenem unterscheidet, der entsprechend in den lokalen Decodierungsstufen im Sender erzeugt wird. Um den erzeugten kumulativen Bildfehler zu kompensieren, sind deshalb im Empfänger (und/oder in den lokalen Decodiererstufen im Sender) Vorrichtungen zum wahlweisen Invertieren des Differenzsignals vor der fehlererzeugenden Stufe vorgesehen, so daß während des invertierten Betriebs das Vorzeichen des Fehlers relativ zum Signal umgekehrt wird; wie in Fig. 1 gezeigt, besteht ein einfaches Verfahren darin, zwei schaltbare Inverter 9a, 9b vorzusehen, die von einer Steuervorrichtung 10 gesteuert werden und die fehlererzeugende Stufe (Stufe für inverse Transformation) 6 umschließen, so daß nach der Rückinvertierung das transformierte Signal das richtige Vorzeichen aufweist, der mittlere systematische Fehler jedoch invertiert ist.
• Ein weiteres Verfahren zur Ausführung der Erfindung verwendet einen Invertierer 9a vor der fehlererzeugenden Stufe 6, wobei jedoch, statt einen Invertierer 9b vor der Addierstufe 8 anzuordnen, zwei weitere Invertiererstufen vorgesehen sind; eine zwischen der Addierstufe 8 und dem Ausgang und eine zwischen dem Prädiktor 7 und der Addierstufe 8; ein Fachmann erkennt, daß das in diesem Fall erhaltene Ergebnis zu dem in der Fig. 1 gezeigten Ergebnis mathematisch äquivalent ist. Um den Invertierer 9b oder die beiden obenbeschriebenen Invertierer zu ersetzen, kann günstigerweise die Addierstufe 8 derart gesteuert werden, daß sie das Differenzsignal unter der Steuerung der Steuervorrichtung 10 abwechselnd zum Prädiktorsignal hinzuaddiert oder von diesem subtrahiert; dies verringert die Anzahl der enthaltenen mathematischen Operationen.
• Es kann jedoch ebenso vorteilhaft sein, die Invertierer 9a und 9b (und möglicherweise die Steuervorrichtung 10) als Teil einer einzelnen Digitalsignalverarbeitungsvorrichtug (DSP) mit einer Stufe für inverse Transformation 6 auszuführen; wobei ein solche selbständige Vorrichtung ein einfaches anschlußkompatibles "unsichtbares" Ersatzteil sein kann.
• Wenn die fehlererzeugende Stufe 6 eine digitale arithmetische Einheit ist, die gespeicherte Konstanten verwendet (z.B. eine Stufe für inverse Transformation), schafft eine alternative Ausführungsform der Erfindung alternierende Sätze solcher gespeicherten Konstanten, so daß die Operation der Stufe 6 bei Verwendung eines Satzes einen mittleren Fehler mit umgekehrten Vorzeichen im Vergleich zur Operation bei Verwendung des anderen Satzes erzeugt, wobei die Steuervorrichtung 10 im Betrieb periodisch die verwendeten Sätze wechselt.
• Es ist klar, daß in Digitalsystemen die Invertiererstufen 9a, 9b ohne Multiplikation einfach ausgeführt sind. In vorzeichenbehafteten Binärsystemen z. B. muß der Invertierer lediglich den Zustand des ersten Bits invertieren (z. B. durch Ausführen einer EXCLUSIV-ODER-Operation an einem logischen Steuersignal von der Steuervorrichtung 10)
• Die Steuervorrichtung 10 arbeitet in einer ersten Ausführungsform einfach als bistabiler Zähler, der die Betriebsart der Invertierer 9a und 9b in regelmäßigen, vorzugsweise gleichen Intervallen zwischen inaktiver und invertierender Betriebsart umschaltet (wenn bekannt ist, daß die Größe des mittleren Fehlers in einem Zustand nicht gleich jener im anderen Zustand ist, wird das Verhältnis der Intervalle in jedem Zustand gleich dem Verhältnis dieser Größen gewählt).
• In einer weiteren Ausführungsform, die in Videocodiersystemen mit Bildunterdrückungsverfahren verwendet wird, verwendet die Steuervorrichtung 10 einen Pseudozufallszahlengenerator, der Perioden von im zeitlichen Mittel gleicher Länge für jede Betriebsart erzeugt. Die Technik ist ebenso auf individuelle Hardwarevorrichtungen (prinzipiell auf Digitalvorrichtungen, jedoch im Grunde auch auf Analogvorrichtungen) sowie auf Mehrzweckcomputer oder individuelle Computer, die mit Speicherprogrammierung betrieben werden, anwendbar.

Claims (14)

1. Prädiktiver Decodierer, mit einer Einrichtung, die ein Differenzsignal verarbeitet, einer Einrichtung, die ein Vorhersagesignal liefert, und einer Einrichtung, die das verarbeitete Differenzsignal und das Vorhersagesignal kombiniert, um in Abhängigkeit davon ein Ausgangssignal zu erzeugen, wobei das Vorhersagesignal in der Weise aus dem Ausgangssignal abgeleitet wird, daß es von früheren Abschnitten des Differenzsignals abhängt, dadurch gekennzeichnet, daß Einrichtungen vorgesehen sind, die den Betrieb des Decodierers zwischen ersten und zweiten Zuständen periodisch wechseln, in denen die kumulative Wirkung jeglichen durch die Verarbeitungseinrichtung hervorgerufenen zeitgemittelten systematischen Fehlers das Vorhersagesignal erhöht bzw. erniedrigt, wobei die Längen der in den ersten bzw. in den zweiten Zuständen verbrachten Perioden so bemessen sind, daß die Neigung zu einer Akkumulation eines derartigen zeitgemittelten systematischen Fehlers im Vorhersagesignal reduziert wird.

2. Decodierer nach Anspruch 1, in dem die Einrichtung, die ein Differenzsignal verarbeitet, unter Verwendung von gespeicherten, digitalen konstanten Werten eine digitale arithmetische Operation an dem in den Decodierer eingegebenen Differenzsignal ausführt und der Decodierer eine Einrichtung enthält, die in einem der Zustände die Polarität des eingegebenen Differenzsignals relativ zu den digitalen konstanten Werten invertiert.

3. Decodierer nach Anspruch 2, in dem die Invertierungseinrichtung in der Weise arbeitet, daß sie das Differenzsignal vor der digitalen arithmetischen Operation invertiert.

4. Decodierer nach Anspruch 2, in dem die Invertierungseinrichtung in der Weise arbeitet, daß wenigstens einer der gespeicherten, digitalen konstanten Werte invertiert wird.

5. Decodierer nach Anspruch 2, in dem die Invertierungseinrichtung so angeschlossen ist, daß sie in jedem Zustand wenigstens eine unterschiedliche, gespeicherte digitale Konstante verwendet.

6. Decodierer nach irgendeinem der Ansprüche 2 bis 5, in dem die Verarbeitungseinrichtung, die ein Differenzsignal erzeugt, so beschaffen ist, daß sie eine inverse Transformationsoperation ausführt.

7. Decodierer nach irgendeinem vorangehenden Anspruch, der so beschaffen ist, daß er als Ausgangssignal ein Videosignal liefert.

8. Decodierer nach Anspruch 7, in dem die Einrichtung, die ein Vorhersagesignal liefert, ein Rahmenspeicher ist, der so angeschlossen ist, daß er das Ausgangssignal empfängt.

9. Decodierer nach irgendeinem vorangehenden Anspruch, der ferner eine Einrichtung enthält, die den Wechsel zwischen den Zuständen in der Weise steuert, daß aufeinanderfolgende Perioden in einem gegebenen Zustand nicht sämtlich gleiche Länge besitzen.

10. Decodierer nach Anspruch 9, in dem die Einrichtung, die den Wechsel steuert, ein Generator für Pseudozufallszahlen ist.

11. Prädiktiver Codierer, der ein codiertes Differenzsignal zum Senden erzeugt, einen Decodierer nach irgendeinem vorangehenden Anspruch enthält und so angeschlossen ist, daß er das codierte Differenzsignal empfängt, wobei das codierte Differenzsignal in Abhängigkeit von der Differenz zwischen dem Codierereingang und dem Vorhersagesignal erzeugt wird.

12. Sendesystem, das einen Codierer oder einen Decodierer nach irgendeinem vorangehenden Anspruch enthält.

13. Digitalsignal-Verarbeitungsvorrichtung für ein prädiktives Codierungssystem, wobei die Vorrichtung eine Einrichtung, die ein eingehendes, codiertes Differenzsignal verarbeitet, um ein ausgehendes Differenzsignal zu erzeugen, sowie eine Einrichtung enthält, die die Vorrichtung zwischen einem ersten und einem zweiten Zustand wechselt, wobei das zeitliche Mittel jeglichen systematischen Fehlers im ausgehenden Signal in den ersten bzw. zweiten Zuständen entgegengesetztes Vorzeichen besitzt, wobei der periodische Wechsel der Vorrichtung zwischen den ersten und zweiten Zuständen den Langzeit-Mittelungsfehler im ausgehenden Signal reduziert.

14. Digitalsignal-Verarbeitungsvorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß die Wechseleinrichtung zwei Invertierer enthält, wovon einer der Verarbeitungseinrichtung vorhergeht und der andere der Verarbeitungseinrichtung folgt.