DE10120395A1

DE10120395A1 - Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder

Info

Publication number: DE10120395A1
Application number: DE10120395A
Authority: DE
Inventors: Thomas Wedi
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2001-04-25
Filing date: 2001-04-25
Publication date: 2002-10-31
Also published as: JP2005501442A; US20040161035A1; EP1393574A2; WO2002089063A3; WO2002089063A2

Abstract

Für die Interpolation von Abtastwerten für eine bewegungskompensierende Prädiktion von Bildern einer Bewegtbildfolge wird eine Interpolationsfiltereinrichtung (IF) verwendet, deren Filterfunktion örtlich und/oder zeitlich für eine einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten eines Bildes variabel einstellbar ausgebildet ist.

Description

Die Erfindung geht aus von einer Einrichtung zur Interpolation von Abtastwerten für die bewegungskompensierte Prädiktion von Bildern einer Bewegtbildfolge.

Stand der Technik

Die Verfahren zur Codierung von digitalen Videosignalen verwenden eine bewegungskompensierende Prädiktion zur Redundanzreduktion in zeitlicher Richtung und eine Transformationscodierung, um die Redundanz in örtlicher Richtung zu reduzieren. Um Bewegungen zu beschreiben, die eine Amplitude von weniger als einem Bildpunkt aufweisen, muß das Bildsignal an Positionen zwischen dem Abtastraster interpoliert werden. Bisherige standardisierte Verfahren zur Codierung von Bewegtbildfolgen basieren auf dem Prinzip der hybriden Codierung. Sie verwenden im ersten Schritt eine bewegungskompensierende Prädiktion (MCP: Motion Compensated Prediction). Dabei wird die Korrelation aufeinander folgender Bilder ausgenutzt und das aktuell zu codierende Bildsignal aus dem vorangegangenen, bereits übertragenen Bildsignal prädiziert. Das verbleibende Prädiktionsfehlersignal wird in einem zweiten Schritt mit Hilfe einer Transformationscodierung übertragen, wobei die Redundanz in örtlicher Richtung reduziert wird.

Für die bewegungskompensierende Prädiktion wird das zu prädizierende Bild in Blöcke aufgeteilt, für die dann ein korrespondierender Block im vorangegangenen Bild gesucht wird. Seine Position wird mit Hilfe eines zweidimensionalen sogenannten Verschiebungsvektors (Displacement Vector) beschrieben. Die Verschiebungsvektoren besitzen eine Amplitudenauflösung von weniger als einem Bildpunkt und ermöglichen somit eine Korrespondenz zu einer Position im vorangegangenen Bild, welche zwischen dem Abtastraster liegt. Um das Bildsignal an Positionen zwischen dem Abtastraster zu rekonstruieren, werden Interpolationsfilter verwendet.

Vorteile der Erfindung

Das Verfahren nach den Hauptansprüchen gestattet eine Berücksichtigung der Veränderungen der Bildsignaleigenschaften, insbesondere des Aliasings, sowie Veränderungen der Genauigkeit der Bewegungsschätzung, was bei bisherigen Einrichtungen mit zeitlich und örtlich invarianten Interpolationsfilterungen nicht möglich ist. Die weiteren Ansprüche zeigen vorteilhafte Ausgestaltungen auf.

Aufgrund nicht idealer Tiefpässe im Aufnahmeprozeß kommt es zu Aliasing im digitalen, zu codierenden Bild. Da das Aliasing von den Tiefpässen im Aufnahmesystem abhängt, unterscheidet es sich je nach verwendetem Aufnahmesystem. Die bisher verwendeten Aliasing-reduzierenden Wiener-Filter sind jedoch zeitlich und örtlich invariant. Aus diesem Grund werden die veränderlichen Aliasingstörungen nicht optimal kompensiert. Mit Hilfe einer adaptiven Interpolationsfilterung, deren Filterfunktion örtlich und/oder zeitlich adaptiv für einen einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten eines Bildes einstellbar ausgebildet ist, ist es möglich, diese Veränderungen zu berücksichtigen und somit das Bildsignal genauer zu prädizieren.

Ein weiterer Vorteil einer adaptiven Interpolationsfilterung ist es, daß veränderliche Displacementschätzfehler berücksichtigt werden können. Aufgrund eines eingeschränkten Abbildungsmodells, welches unter anderem die Transformation, die Auflösung der Vektoren und die Blockgröße beinhaltet, aufgrund des verwendeten Schätzverfahrens für die Vektoren, z. B. RD-basiert, 3-Schritt Suche, und aufgrund des jeweiligen Bildinhaltes sind die Verschiebungsvektoren nicht exakt. Der daraus resultierende Displacementschätzfehler hängt von den jeweiligen Eigenschaften des Abbildungsmodells, des Schätzverfahrens und des Bildinhalts ab und ändert sich somit örtlich und zeitlich. Verweisen diese Vektoren auf eine subpel-Position, deren zugehöriger Signalwert mit Hilfe eines Interpolationsfilters aus örtlich benachbarten Signalwerten berechnet wird, kann ein adaptives Filter diese Ungenauigkeit der Vektoren berücksichtigen. Dies führt zu einer weiteren Verbesserung der Prädiktion und somit zu einer Steigerung der Codiereffizienz.

Die Erfindung verbessert die bewegungskompensierende Prädiktion und somit die Codiereffizienz eines hybriden Videocodierverfahrens. Dies geschieht durch die Verwendung eines insbesondere adaptiven FIR-Filters bei der bewegungskompensierenden Prädiktion. Mit Hilfe dieses adaptiven Filters ist es möglich, veränderliche Aliasingstörungen und veränderliche Displacementschätzfehler bei der Prädiktion zu berücksichtigen.

Zeichnungen

Anhand der Zeichnungen werden Ausführungsbeispiele der Erfindung erläutert.

Es zeigen:

Fig. 1 ein Blockschaltbild für das Prinzip der hybriden Codierung,

Fig. 2 ein Blockschaltbild eines hybriden Videoencoders/- decoders mit Übertragung der ausgewählten Filterkoeffizienten,

Fig. 3 ein Blockschaltbild eines hybriden Videoencoders/- decoders ohne Übertragung der ausgewählten Filterkoeffizienten.

Beschreibung von Ausführungsbeispielen

Das in Fig. 1 gezeigte Blockschaltbild für die hybride Codierung umfaßt folgende Baugruppen: Aus dem zu codierenden Eingangssignal s(k) und einem Schätzwert s^(k) wird durch die Differenzbildung der Prädiktions-Restfehler e(k) ermittelt. Letzerer wird transformationscodiert (Block DCT), quantisiert (Q) und für die nachfolgende Übertragung kanalencodiert (ENC). Das Schätzsignal s^(k) wird durch ein zeitlich davor liegendes Bildsignal s'(k-1) mit Hilfe eines Bewegungsschätzers BS und einer bewegungskompensierenden Prädiktion (Stufe BK) gewonnen. Dazu wird der transformationscodierte und quantisierte Prädiktions- Restfehler e(k) mittels einer inversen Quantisierung Q^-1 und der inversen Transformation IDCT rückgewandelt und zum Bildspeicher SP geleitet, der immer das zeitlich davor liegende Bildsignal s'(k-1) speichert. Das aktuelle Bildsignal s(k) wird mit dem Bildsignal s'(k-1) in der Stufe BS verglichen und aufgrund des Vergleichs wird ein Verschiebungsvektor d(k) erstellt, der ebenfalls kanalencodiert wird (ENG'). Aufgrund des ermittelten Verschiebungsvektors d(k) wird mit dem Signal s'(k-1) in der Stufe BK das Schätzsignal s^(k) erstellt. Die Verarbeitung der Bildinformation erfolgt insbesondere blockweise, d. h. für jeden einem Verschiebungsvektor d(k) zugeordneten Bereich (Block) von Abtastwerten des Bildes wird eine bestimmte Filterfunktion bzw. eines von mehreren verschiedenen Interpolationsfiltern ausgewählt. Anstelle von Blöcken können auch für andere Gruppen von Abtastwerten Verschiebungsvektoren erstellt werden, z. B. für bestimmte Konturen bei einer Konturcodierung.

Im Gegensatz zur bewegungskompensierenden Prädiktion mit einem nichtadaptiven Filter ist bei der Erfindung die Filterfunktion der Filtereinrichtung abhängig von der Zeit und/oder vom Ort. Die Filterkoeffizienten eines adaptiven Filters ändern sich mit der Zeit und/oder mit dem Ort. Dabei ist die Gültigkeit der Filterkoeffizienten variabel. Sie können z. B. für mehrere Bilder, jeweils für ein Bild oder nur für bestimmte Bildbereiche innerhalb eines Bildes gültig sein.

Für die Bestimmung der Filterkoeffizienten gibt es verschiedene Möglichkeiten, die nachfolgend näher beschrieben werden. Um dem Decoder die Koeffizienten zugänglich zu machen, gibt es ebenfalls verschiedene Möglichkeiten. Diese werden ebenfalls vorgestellt.

Um die optimalen Filterkoeffizienten für die Interpolationsfiltereinrichtung im Encoder zu finden, werden erfindungsgemäß die folgenden Maßnahmen getroffen:

a) Schätzung der Koeffizienten durch Minimierung der Prädiktionsfehlerleistung

Bei dieser Maßnahme zur Schätzung werden die Koeffizienten so geschätzt, daß der Prädiktionsfehler der gesamten bewegungskompensierenden Prädiktion e(k), vergleiche Fig. 1, minimiert wird. Dies kann in den folgenden Schritten geschehen:

1. Schätzung der Verschiebungsvektoren d(k) mit Hilfe eines Wiener-Filters
2. Schätzung der Filterkoeffizienten die bei Anwendung der Verschiebungsvektoren d(k) aus Schritt 1 die Leistung des Prädiktionsfehlers e(k) minimieren.

Dabei ist es möglich die Maßnahmen iterativ anzuwenden, d. h. es werden auf der Grundlage des in Schritt 2 geschätzten Filters die Verschiebungsvektoren erneut geschätzt und mit Hilfe der neuen Vektoren das Filter verbessert, usw.

b) Auswahl der Filter aus einer begrenzten Anzahl von vorgegebenen Filtern

Bei dieser Maßnahme wird ein bestimmter Satz von Filtern bereitgestellt und nur aus dieser begrenzten Zahl von Filtern das optimale ausgewählt. Werden für die Auswahl der Filter nur Informationen verwendet, die bereits übertragen wurden, so muß keine zusätzliche Seiteninformation übertragen werden, da der Decoder dieselbe Information zur Verfügung hat. Mögliche Auswahlkriterien sind z. B.:
Auswertung bereits übertragener Prädiktionsfehler-Signale:

- durch Analyse der Varianz,
- durch Frequenzanalyse, z. B. der Transformationskoeffizienten

Auswertung der bereits übertragenen Verschiebungsvektoren d(k):

- Länge,
- benachbarte Verschiebungsvektoren. . .

Eine weitere Möglichkeit zur Auswahl eines Filters aus einem Satz vorgegebener Filtereinrichtungen ist die Übertragung eines Indexes. Dabei wird jedem Filter ein eigener Index zugeordnet, an dem es identifiziert werden kann. Dies ist z. B. dann sinnvoll, wenn zur Auswahl der Filterkoeffizienten Informationen verwendet werden, die dem Decoder nicht zugänglich sind.

Wird die bewegungskompensierende Prädiktion (MCP) mit adaptiven Filtern im Rahmen eines hybriden Videocodierverfahrens verwendet, ist es nötig, der MCP des Decoders die Filterkoeffizienten, die in der MCP des Encoders verwendet werden, zugänglich zu machen. Für die Bestimmung der Filterkoeffizienten im Decoder gibt es die folgenden Möglichkeiten:

A) Bestimmung der Filterkoeffizienten durch Übertragung zusätzlicher Seiteninformationen

Bei diesem Verfahren gibt es grundsätzlich zwei Möglichkeiten:

1. Es werden die Koeffizienten codiert und übertragen, z. B. mit Hilfe
- a) einer PCM-Codierung,
- b) einer DPCM-Codierung, wobei die vorangegangenen bereits übertragenen Koeffizienten zur Prädiktion der zur codierenden Koeffizienten verwendet werden.
2. Die Koeffizienten werden nicht direkt übertragen, statt dessen wird ein Index übertragen, der aus einer Tabelle mit verschiedenen Filtern, die Koeffizienten auswählt. Es werden dabei die mögliche Anzahl verschiedener Filter auf die Anzahl der Filter in der Tabelle begrenzt.

B) Bestimmung der Koeffizienten aus den bereits übertragenen Daten, d. h. ohne Übertragung zusätzlicher Seiteninformation.

Werden für die Auswahl der Filter nur Informationen verwendet, die bereits übertragen wurden, so muß keine zusätzliche Seiteninformation übertragen werden. Der Decoder kann dann mit Hilfe des gleichen Verfahrens wie der Encoder das Filter auswählen. Mögliche Auswahlkriterien wurden bereits in Verbindung mit dem Encoder beschrieben.

Ausgehend von dem Blockschaltbild nach Fig. 1 werden in den Fig. 2 und 3 die für die Ausführung der Erfindung vorgesehenen Baugruppen näher erläutert. Die Fig. 2 und 3 zeigen jeweils einen Videoencoder und einen zugehörigen Videodecoder mit erfindungsgemässer adaptiver Bewegungskompensation. Die Bewegungskompensationssstufe BK nach Fig. 1 umfasst als wesentlichste Einheit die Interpolationsfiltereinrichtung, in den Fig. 2 und 3 mit IF bezeichnet. Die Einstellung der Filterkoeffizienten für diese Interpolationsfiltereinrichtung IF erfolgt über die Koeffizientenauswahlstufe KA. Diese erhält ihre notwendigen Informationen, also die jeweilige Position der zu interpolierenden Bildinformation zwischen dem Abtastraster (Subpelinformation) durch den Vergleich aktueller Bildinformation s(k) mit entsprechender Bildinformation des zeitlich davorliegenden Bildes s(k-1). Bei der Ausgestaltung nach Fig. 2 erfolgt diese Koeffizientenauswahl encoderseitig und wird zum Decoder separat zusammen mit der übrigen Bildinformation übertragen (mittels der Kanalcodier- bzw. -decodierstufe EN1 und DE1). Dort dient die übertragene Koeffizientenauswahlinformation (Seiteninformation bzw. Index zur Filterauswahl) zur Steuerung der empfangs-, d. h. decoderseitigen Koeffizientenauswahlstufe KA'. Bei der Ausgestaltung nach Fig. 3 erfolgt keine Übertragung der Filterkoeffizienten/Indizes. Diese werden wie zuvor beschrieben aus bereits übertragenen Daten bestimmt.

Claims

1. Einrichtung zur Interpolation von Abtastwerten für die bewegungskompensierte Prädiktion von Bildern einer Bewegtbildfolge, dadurch gekennzeichnet, daß eine Interpolationsfilterung (IF) vorgesehen ist, deren Filterfunktion örtlich und/oder zeitlich adaptiv für einen einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten eines Bildes variabel einstellbar ausgebildet ist.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Filtereinrichtung einen Satz von mehreren Einzelfiltern umfaßt, wobei für jeden einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten des Bildes eines der mehreren Einzelfilter zur Interpolationsfilterung (IF) auswählbar ist.

3. Bildencoder zur senderseitigen Aufbereitung von Übertragungssignalen für eine bewegungskompensierte Prädiktion von Bildern einer Bewegtbildfolge, dadurch gekennzeichnet, daß eine Interpolationsfiltereinrichtung (IF) zur Interpolation von Abtastwerten für die bewegungskompensierende Prädiktion vorgesehen ist, deren Filterfunktion örtlich und/oder zeitlich adaptiv für eine einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten eines Bildes variabel einstellbar ausgebildet ist, und daß die Filterkoeffizienten zur Einstellung der Interpolationsfiltereinrichtung so gewählt sind, daß die Leistung des Prädiktionsfehlers für einen geschätzten Verschiebungsvektor minimal ist.

4. Bildencoder nach Anspruch 3, dadurch gekennzeichnet, daß die Filterkoeffizienten zur Einstellung der Interpolationsfiltereinrichtung (IF) an einem Ausgang (EN1) des Bildencoders verfügbar sind, um sie insbesondere zu einem Bilddecoder zu übertragen.

5. Bilddecoder zur empfangsseitigen Aufbereitung von Übertragungssignalen für eine bewegungskompensierende Prädiktion von Bildern einer Bewegtbildfolge, dadurch gekennzeichnet, daß eine Interpolationsfiltereinrichtung (IF) zur Interpolation von Abtastwerten für die bewegungskompensierende Prädiktion vorgesehen ist, deren Filterfunktion örtlich und/oder zeitlich adaptiv für eine einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten eines Bildes variabel einstellbar ausgebildet ist, und daß die Filterkoeffizienten zur Einstellung der Interpolationsfiltereinrichtung (IF) so gewählt sind, daß die Leistung des Prädiktionsfehlers für einen geschätzten Verschiebungsvektor minimal ist.

6. Bildencoder nach einem der Ansprüche 3 oder 4 bzw. Bilddecoder nach Anspruch 5, dadurch gekennzeichnet, daß die Filterkoeffizienten zur Verbesserung der bewegungskompensierenden Prädiktion iterativ ermittelt sind.

7. Bilddecoder nach Anspruch 5, dadurch gekennzeichnet, daß die Interpolationsfiltereinrichtung (IF) einen Satz von mehreren Einzelfiltern umfaßt, wobei für jeden einem Verschiebungsvektor zugeordneten Bereich von Abtastwerten des Bildes eines der mehreren Einzelfilter zur Interpolationsfilterung auswählbar ist.

8. Bilddecoder nach Anspruch 7, dadurch gekennzeichnet, daß zur Auswahl eines jeweiligen Einzelfilters ein Index vorgesehen ist, der insbesondere vom Encoder aufbereitbar ist und zusammen mit den Bilddaten übertragbar ist.

9. Einrichtung nach Anspruch 1 oder 2, Bildencoder nach einem der Ansprüche 3 bis 5 oder Bilddecoder nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß die Interpolationsfiltereinrichtung (IF) aus einem adaptiven FIR-Filter besteht.