DE102009039095A1

DE102009039095A1 - Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms

Info

Publication number: DE102009039095A1
Application number: DE102009039095A
Authority: DE
Inventors: Andreas Dr. Hutter; Wenrong Weng
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2009-08-27
Filing date: 2009-08-27
Publication date: 2011-03-10
Also published as: CN102474616B; CN102474616A; WO2011023464A1; EP2420064A1; US20120155538A1

Abstract

Die Erfindung betrifft Verfahren und Vorrichtungen zum Erzeugen, Decodieren und Transcodieren eines skalierbaren codierten Videodatenstroms. Hierbei wird ein Bildblock mittels einer INTER-Layer-Prädikation in einen codierten ersten Bildblock codiert. Der codierte erste Bildblock wird in einen rekonstruierten ersten Bildblock decodiert und dieser auf Basis eines Codiermodus, der eine INTER-Layer-Prädikation ausschließt, in einen codierten zweiten Bildblock codiert. Schließlich wird der codierte zweite Bildblock in einen rekonstruierten zweiten Bildblock decodiert. Der codierte erste Bildblock wird in den codierten Videodatenstrom eingefügt. Bei der Codierung von Bildblöcken mittels eines der Codiermodi, der auf den rekonstruierten ersten Bildblock referenziert, wird die Referenz auf den rekonstruierten zweiten Bildblock geändert. Der hierbei codierte Bildblock wird in den codierten Videodatenstrom eingefügt. Durch diese Vorgehensweise wird erreicht, dass der codierte Videodatenstrom sowohl eine hohe Kompressionsrate bei hoher Bildqualität als auch eine geringe Komplexität bei einer Transcodierung ermöglicht. Die Verfahren und Vorrichtungen sind einsetzbar für Anwendungen, die mittels des skalierbaren codierten Videodatenstroms eine Vielzahl von unterschiedlichen Endgeräten bedienen müssen, wie bspw. bei einem Video-on-Demand Service.

Description

Die Erfindung betrifft Verfahren und Vorrichtungen zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms.
Ein Standard ITU H.264/AVC (AVC – Advanced Video Coding) wurde kürzlich mit einer Ergänzung erweitert, die eine skalierbare Codierung einer Videosequenz ermöglicht. Diese Ergänzung ist als SVC (SVC – Scalable Video Coding) bekannt. Hierbei kann die Skalierung örtlich, zeitlich und als SNR-Skalierbarkeit (SNR – Signal to Noise Ratio) ausgestaltet sein.
Es existiert derzeit eine Vielzahl von Implementierungen des Standards H.264, die nur den AVC Teil des Standards unterstützen. Daher müssen kodierte Videodatenströme, die mittels SVC codiert sind, in einen AVC-konformen codierten Videodatenstrom umgewandelt, d. h. transcodiert, werden. Eine bekannte Methode zur Transcodierung besteht darin, den SVC codierten Videodatenstrom vollständig zu decodieren und anschließend in einen AVC-konformen codierten Videodatenstrom zu codieren. Diese Vorgehensweise ist sehr komplex und zeitaufwendig. Daher wurde in den SVC eine Rewriter-Funktionalität aufgenommen, die eine einfache Transcodierung ermöglicht. Aus einem Dokument [1] ist beispielsweise eine Verbesserung Rewriter-Funktionalität bekannt Die Rewriter-Funktionalität, wie beispielweise auch die Verbesserung gemäß [1], bezieht sich auf die SNR-Skalierbarkeit.
Die Aufgabe ist ein Verfahren und eine Vorrichtung anzugeben, die eine einfache Transcodierung eines SVC-konform codierten Videodatenstroms in einen AVC-konform codierten Videodatenstrom für örtliche Skalierbarkeit ermöglicht.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Weiterbildungen der Erfindung sind den abhängigen Ansprüchen zu entnehmen.
Die Erfindung betrifft ein Verfahren zum Erzeugen eines codierten Videodatenstroms, wobei

– der codierte Videodatenstrom eine Bildsequenz codiert mittels einer ersten Schicht und mittels zumindest einer zweiten Schicht umfasst,
– die erste Schicht die Bildsequenz mit ersten Bildern in einer ersten Bildauflösung und die zweite Schicht (L1, L2) die Bildsequenz mit zweiten Bildern in einer zweiten Bildauflösung darstellen,
– die jeweiligen Bilder jeweils eine Mehrzahl an Bildblöcken aufweisen,
– einer der Bildblöcke der zweiten Bilder mittels einer Inter-Layer Prädiktion als codierter erster Bildblock codiert ist,

– Erzeugen eines rekonstruierten ersten Bildblocks durch Decodieren des codierten ersten Bildblocks;
– Erzeugen eines codierten zweiten Bildblocks durch Codieren des rekonstruierten ersten Bildblocks auf Basis eines Codiermodus, der eine Inter-Layer Prädiktion unterbindet;
– Erzeugen eines rekonstruierten zweiten Bildblocks durch Decodieren des codierten zweiten Bildblocks;
– Einfügen des codierten ersten Bildblocks und einer Kennung in die zweite Schicht, wobei die Kennung anzeigt, dass bei der Codierung eines Bildblocks einer der zweiten Bilder in einen codierten Bildblock, dessen Codierung den rekonstruierten ersten Bildblock als Referenz anzeigt, als Referenz der rekonstruierte zweite Bildblock verwendet wird.

Durch die Codierung des Bildblocks mit der INTER-Layer-Prädiktion wird eine hohe Kompressionsrate erreicht. Durch den Einsatz des rekonstruierten zweiten Bildblocks als Referenzbildblock für weitere Bildblöcke eines der zweiten Bilder wird eine Codierung der weiteren Bildblöcke ohne Referenz auf Bilder der ersten Schicht erreicht, wodurch eine einfache Transcodierung des zumindest zwei Schichten umfassenden codierten Videodatenstroms in einen eine Schicht umfassenden transcodierten Videodatenstrom erzielbar ist, da die weiteren Bildblöcke in ihrer codierten Form, d. h. als codierte Bildblöcke, lediglich in den transcodierten Videodatenstrom kopiert werden müssen. Ferner wird durch die oben aufgezählten Verarbeitungsschritte erreicht, dass eine Drift in dem transcodierten Videodatenstrom unterbunden wird. Ein jeweiliger Bildblock kann eine beliebige Lage innerhalb des dazugehörigen Bildes einnehmen.
Zudem kann bei der Codierung einer der Bildblöcke der zweiten Bilder, der mittels eines Codiermodus kodiert wird, der auf den rekonstruierten ersten Bildblock referenziert, die Referenz auf den rekonstruierten zweiten Bildblock geändert werden. Dabei referenziert der jeweilige Codiermodi von zu codierenden Bildblöcken anstelle auf den rekonstruierten ersten Bildbereich mittels einer Referenz auf die rekonstruierten zweiten Bildblöcke, wodurch ein Erstellen des transcodierten Videodatenstrom mit sehr geringer Komplexität, d. h. Rechenleistung, und sehr geringer Verzögerungszeit ermöglicht wird.
In einer alternativen Weiterbildung der Erfindung wird die Kennung derart erweitert, dass sie zumindest einen Parameter anzeigt, der bei der Codierung des rekonstruierten ersten Bildblocks in den codierten zweiten Bildblock verwendet wird. Durch diese Erweiterung des Verfahrens wird eine Vereinfachung bei der Erstellung des codierten zweiten Bildblocks gewährleistet, da Codierregeln direkt aus dem Parameter ablesbar sind.
Verzugsweise wird durch die Codierung des codierten Bildblocks nur auf einen Teilbereich des rekonstruierten ersten Bildblocks als Referenz verwiesen, so wird als Referenz ein Bildbereich des rekonstruierten zweiten Bildblocks ausgewählt, der den Teilbildbereich repräsentiert. Durch diese Weiterbildung kann das Verfahren auch für den Fall eingesetzt werden, bei dem nur ein Teilbildbereich referenziert wird. Dies ermöglicht eine Erhöhung der Codiereffizienz.
Ferner kann bei dem Erzeugen des codierten zweiten Bildblocks ein INTRA-Codiermodus, ein INTRA-Prädiktionsmodus oder ein PCM-Codierverfahren eingesetzt werden. Hierdurch wird die Transcodierung erheblich vereinfacht, da nur noch Referenzen auf Bildbereiche durch Decodierung erzeugter rekonstruierter zweiter Bilder vorliegen.
Die Erfindung betrifft des Weiteren eine Vorrichtung zum Erzeugen eines codierten Videodatenstroms, wobei

– der codierte Videodatenstrom eine Bildsequenz codiert mittels einer ersten Schicht und mittels zumindest einer zweiten Schicht umfasst,
– durch die erste Schicht die Bildsequenz mit ersten Bildern in einer ersten Bildauflösung und durch die zweite Schicht die Bildsequenz mit zweiten Bildern in einer zweiten Bildauflösung dargestellt ist,
– die jeweiligen Bilder jeweils eine Mehrzahl an Bildblöcken aufweisen,
– einer der Bildblöcke der zweiten Bilder mittels einer Inter-Layer Prädiktion als erster codierter Bildblock codiert ist,

– Eine erste Einheit zum Erzeugen eines rekonstruierten ersten Bildblocks durch Decodieren des codierten ersten Bildblocks;
– Eine zweite Einheit zum Erzeugen eines codierten zweiten Bildblocks durch Codieren des rekonstruierten ersten Bildblocks auf Basis eines Codiermodus, der eine Inter-Layer Prädiktion unterbindet;
– Eine dritte Einheit zum Erzeugen eines rekonstruierten zweiten Bildblocks durch Decodieren des codierten zweiten Bildblocks;
– Eine vierte Einheit zum Erzeugen der zweiten Schicht durch Einfügen des codierten ersten Bildblocks und einer Kennung, wobei die Kennung anzeigt, dass bei der Codierung eines Bildblocks einer der zweiten Bilder in einen codierten Bildblock, dessen Codierung den rekonstruierten ersten Bildblock als Referenz anzeigt, als Referenz der rekonstruierte zweite Bildblock zu verwenden ist.

Die Vorrichtung kann ferner eine fünfte Einheit aufweisen, die ausgestaltet ist zur Codierung einer der Bildblöcke der zweiten Bilder, der mittels eines Codiermodus kodiert wird, der auf den rekonstruierten ersten Bildblock referenziert, die auf den rekonstruierten zweiten Bildblock geändert ist.
Ferner kann die vierte Einheit derart ausgestaltet sein, dass die Kennung derart erweiterbar ist, dass sie zumindest einen Parameter anzeigt, der bei der Codierung des rekonstruierten ersten Bildblocks in den codierten zweiten Bildblock verwendbar ist.
Vorzugsweise ist die fünfte Einheit ferner derart ausgestaltet ist, dass falls die Codierung des codierten Bildblocks nur auf einen Teilbereich des rekonstruierten ersten Bildblocks als Referenz weist als Referenz ein Bildbereich des rekonstruierten zweiten Bildblocks auszuwählen ist, der den Teilbildbereich repräsentiert.
In einer Erweiterung der Vorrichtung kann die fünfte Einheit ferner derart ausgestaltet ist, dass bei dem Erzeugen des codierten zweiten Bildblocks ein INTRA-Codiermodus, ein INTRA-Prädiktionsmodus oder ein PCM-Codierverfahren verwendet ist.
Vorteile der einzelnen Ausgestaltungen der Vorrichtung sind analog zu den jeweiligen Vorteilen des Verfahrens. Mit Hilfe der Einheiten ist eine Realisierung des Verfahrens zum Erstellen des codierten Videodatenstroms implementierbar.
Ferner ist Teil der Erfindung ein Verfahren zum Decodieren eines codierten Videodatenstroms, wobei der codierte Videodatenstrom gemäß dem Verfahren zum Erzeugen erzeugt wird, bei dem folgende Schritte durchgeführt werden:
Erzeugen eines rekonstruierten Bildblocks bei Vorhandensein der Kennung in dem codierten Videodatenstrom durch Decodieren des codierten Bildblocks der zweiten Schicht, der auf den rekonstruierten ersten Bildblock referenziert, wobei zum Decodieren als Referenz der rekonstruierte zweite Bildblock verwendet wird.
Hiermit ist ein Anwenden der Erfindung auch bei einer Decodierung des codierten Videodatenstroms möglich ohne eine Transcodierung durchführen zu müssen. So kann ein Endgerät den mindestens zwei Schichten umfassenden codierten Videodatenstrom decodieren und an einem Ausgabegerät, z. B. einem Display, wiedergeben.
Auch umfasst die Erfindung eine Vorrichtung zum Decodieren eines codierten Videodatenstroms, wobei der codierte Videodatenstrom durch die Vorrichtung zum Erzeugen erzeugt ist, bei der eine sechste Einheit ausgebildet ist zum Erzeugen eines rekonstruierten Bildblocks bei Vorhandensein der Kennung in dem codierten Videodatenstrom durch Decodieren des codierten Bildblocks der zweiten Schicht, der auf den rekonstruierten ersten Bildblock referenziert, wobei zum Decodieren als Referenz der rekonstruierte zweite Bildblock verwendbar ist.
Hierbei kann das Verfahren zum Decodieren mittels der sechsten Einheit implementiert werden, wobei die Vorteile analog zum Verfahren zum Decodieren sind.
Als weiteres umfasst die Erfindung ein Verfahren zum Erzeugen eines transcodierten Videodatenstroms aus einem codierten Videodatenstrom, der nach dem Verfahren zum Erzeugen erzeugt wird, bei dem bei Vorhandensein der Kennung in dem codierten Videodatenstrom folgende Schritte durchgeführt werden:

– Erzeugen eines rekonstruierten ersten Bildblocks durch Decodieren des codierten ersten Bildblocks;
– Erzeugen eines codierten zweiten Bildblocks durch Codieren des rekonstruierten ersten Bildblocks auf Basis eines Codiermodus, der eine Inter-Layer Prädiktion unterbindet;
– Erzeugen des transcodierten Videodatenstroms durch Einfügen des codierten zweiten Bildblocks und eines codierten Bildblocks in den transcodierten Videodatenstrom, wobei der codierte Bildblock mittels eines Codiermodus codiert wurde, der auf den durch Decodierung des codierten zweiten Bildblocks rekonstruierten zweiten Bildblock referenziert.

Mittels dieser Verfahrensschritte ist die Erfindung auf eine Transcodierung des codierten Videodatenstroms umfassend zumindest zwei Schichten in einen transcodierten Videodatenstrom umfassend eine einzige Schicht möglich. Durch die spezifische Codierung der Bildblöcke, die ursprünglich den rekonstruierten ersten Bildblock referenzieren, kann mit sehr geringem Aufwand der transcodierte Videodatenstrom erzeugt werden. Ferner ist vorteilhaft, dass durch die spezifischen Schritte eine Drift in den Bildern des transcodierten Videodatenstroms vermieden wird.
Schließlich ist Teil der Erfindung eine Transcodiervorrichtung zum Erzeugen eines transcodierten Videodatenstroms aus einem codierten Videodatenstrom, der durch die Vorrichtung zum Erzeugen erzeugbar ist, bei der bei Vorhandensein der Kennung in dem codierten Videodatenstrom folgende Schritte durchgeführt werden:

– Eine erste Einheit zum Erzeugen eines rekonstruierten ersten Bildblocks durch Decodieren des codierten ersten Bildblocks;
– Eine zweite Einheit zum Erzeugen eines codierten zweiten Bildblocks durch Codieren des rekonstruierten ersten Bildblocks (RBB1) auf Basis eines Codiermodus, der eine Inter-Layer Prädiktion unterbindet;
– Eine siebte Einheit zum Erzeugen des transcodierten Videodatenstroms durch Einfügen des codierten zweiten Bildblocks und eines codierten Bildblocks in den transcodierten Videodatenstrom, wobei der codierte Bildblock mittels eines Codiermodus codiert wurde, der auf den durch Decodierung des codierten zweiten Bildblocks rekonstruierten zweiten Bildblock referenziert.

Diese Transcodiervorrichtung ermöglicht eine Implementierung des Transcodierverfahrens, wobei mittels der genannten Einheiten einzelne Verfahrensschritte durchführbar sind. Die Vorteile sind dabei analog zum Transcodierverfahren.
Die Erfindung und ihre Weiterbildungen werden anhand von Figuren näher erläutert. Es zeigen:
1 eine Bildsequenz, die in zwei Bildauflösungen darstellbar ist
2 ein Ablaufdiagramm und eine Vorrichtung zum Erzeugen eines codierten Videodatenstroms
3 ein Ausschnitt eines codierten Videodatenstroms
4 ein Ablaufdiagramm und eine Vorrichtung zum Decodieren des codierten Videodatenstroms
5 ein Ablaufdiagramm und eine Vorrichtung zum Transcodieren eines codierten Videodatenstroms mit zwei Schichten in eine transcodierten Videodatenstrom mit einer Schicht.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren mit denselben Bezugszeichen versehen.
Bei einem skalierbaren Videocodierverfahren, wie beispielsweise dem Standard SVC (SVC – Scalable Video Coding), der eine Erweiterung eines bestehenden Standards ITU-T H.264 (ITU – International Telecommunications Union) ist, wird eine Bildsequenz BS, die mehrere Bilder P1, P2, P3 aufweist, in zwei Bildauflösungen BA1, BA2, d. h. Qualitätsstufen, codiert, siehe 1. Die erste Bildauflösung BA1 wird durch eine erste Bildsequenz mit ersten Bildern P11, P12, P13 repräsentiert, die die Bildsequenz BS in einer reduzierten Bildauflösung wiedergibt, beispielsweise in QCIF (QCIF – Quarter Common Intermediate Format) mit 176×144 Bildpunkten. In einem codierten Videodatenstrom VDS wird diese erste Bildsequenz in einer ersten Schicht L1, die auch als Basis-Layer bezeichnet wird, codiert. Eine zweite, gegenüber der ersten Bildauflösung BA1 verbesserte, Bildauflösung BA2 wird durch eine zweite Bildsequenz mit zweiten Bildern P21, P22, P23 repräsentiert. Diese zweite Bildsequenz stellt die Bilder der Bildsequenz mit einer gegenüber der ersten Bildsequenz erhöhten Bildgröße CIF (CIF – Common Intermediate Format) mit 352×288 Bildpunkten dar. Die Bildinformation der zweiten Bildsequenz wird in dem codierten Videodatenstrom in einer zweiten Schicht L2, die auch als Enhancement Layer bezeichnet wird, codiert. Hierbei ist anzumerken, dass die Bildinformation der zweiten Bildsequenz oftmals in Abhängigkeit von der ersten Bildsequenz prädiktiv codiert wird, wodurch eine Datenmenge der zweiten Schicht erheblich reduzierbar ist. Somit wird in der Praxis die zweite Bildsequenz durch Decodierung der ersten und zweiten Schicht L1, L2 rekonstruiert.
Die Bilder P11, P12, P13, P21, P22, P23 werden in Bildblöcke BB, BB1 bspw. in einer Größe von 4×4 oder 8×8 Bildpunkten aufgeteilt. Im Allgemeinen können die Bildblöcke beliebige Formen annehmen, wobei die genannten Größen in dem Standard H.264 verwendet werden. Mittels eines Videocoders werden die Bilder blockweise codiert, wobei durch die Codierung eine Reduktion der Datenmenge erreicht wird.
Bei der Codierung von Bildblöcken sind allgemein folgende vier Codiermodi bekannt:

INTRA: ein Bildblock wird ohne Referenz auf zumindest einen anderen Bildblock codiert;
INTER-Prädiktion: die Codierung eines Bildblocks eines Bildes erfolgt durch Prädiktion auf einen Bildbereich, wobei der Bildbereich in einem zum Bild zeitlich zurückliegenden oder nachfolgenden Bild liegt. Dieser Bildbereich wird als Referenzbildbereich oder Referenz RF bezeichnet. Ferner sind das Bild und das zeitlich zurückliegende oder nachfolgende Bild beide entweder Teil der ersten oder zweiten Bildsequenz. Eine Prädiktion zwischen Bildinformationen der ersten und der zweiten Bildsequenz findet hierbei nicht statt.
INTER-Layer-Prädiktion (ILP): die Codierung eines Bildblocks eines Bildes erfolgt durch Prädiktion auf einen Bildbereich, wobei der Bildbereich, d. h. die Referenz, in einem anderen Bild als der Bildblock liegt und das Bild und das andere Bild in verschiedenen Schichten codiert werden. Somit findet eine Prädiktion zwischen den Schichten, d. h. zwischen den Layern, statt. Beispielsweise ist das Bild Teil der zweiten Bildsequenz und das andere Bild Teil der ersten Bildsequenz. Der Standard H.264 benutzt die Begriffe „interlayer-intra” und „interlayer-residual-predicted”, wobei diese Begriffe spezielle INTER-Layer-Prädiktionsmodi beschreiben.
INTRA-Prädiktion: die Codierung eines Bildblocks eines Bildes erfolgt durch Prädiktion auf einen Bildbereich, wobei der Bildbereich, d. h. die Referenz, in demselben Bild wie der Bildblock liegt.

Mit Hilfe von 2 werden die Schritte zur Durchführung des Verfahrens zum Erzeugen des codierten Videodatenstroms, soweit es die Erfindung betrifft, beispielhaft erläutert.
Bei der Codierung des ersten Bildblocks BB1 des zweiten Bildes P22 wird als Codiermodus die INTER-Layer-Prädiktion eingesetzt. So kann ein Referenzbildbereich in einem der Bilder der ersten Schicht gefunden, eine Bildgröße des Referenzbildblocks vergrößert, bspw. in vertikaler und horizontaler Richtung jeweils um den Faktor 2, eine Differenz zwischen dem Referenzbildbereich und dem ersten Bildblock als Differenzsignal gebildet, das Differenzsignal mittels einer DCT (DCT – Diskrete Cosinus Transformation) und anschließender Quantisierung in Form eines codierten ersten Bildblocks CB1 codiert werden. Die Erfindung ist auf beliebige Codierungen des Differenzsignals anwendbar.
In einem ersten Schritte S1 wird durch eine erste Einheit E1 ein rekonstruierter erster Bildblock RBB1 durch Decodieren des codierten ersten Bildblocks CB1 erzeugt. Die Dekodierung erfolgt dabei in inverser Weise zur Codierung. Aufgrund der Quantisierung bei der Codierung gibt es Unterschiede zwischen dem ersten Bildblock und dem rekonstruierten ersten Bildblock.
In einem zweiten Schritt S2 wird durch eine zweite Einheit E2 ein codierter zweiter Bildblock CB2 durch Codieren des rekonstruierten ersten Bildblocks RBB1 erzeugt. Hierbei ist darauf zu achten, dass zum Codieren nur diejenigen Codiermodi berücksichtigt werden, die keine INTER-Layer-Prädiktion ermöglichen, also die INTER-Layer-Prädiktion unterbinden. So kann als Codiermodus der INTER-Prädiktionsmodus eingesetzt werden, der bspw. als Referenzbildbereich einen Bildbereich aus einem zum zweiten Bild zeitlich vorangehenden Bild der zweiten Bildsequenz berücksichtigt.
In einem dritten Schritt S3 wird durch eine dritte Einheit E3 ein rekonstruierter zweiter Bildblock RBB2 durch Decodieren des codierten zweiten Bildblocks CB2 generiert.
In einem vierten Schritt S4 wird durch eine vierte Einheit E4 der codierte erste Bildblock CB1 und eine Kennung KEY in den codierten Videodatenstrom VDS eingefügt, siehe auch 3.
Wird in einem fünften Schritt S5 durch eine fünfte Einheit E5 einer der Bildblöcke eines der Bilder der zweiten Bildsequenz durch einen der Codiermodi codiert, welcher auf den rekonstruierten ersten Bildblock referenziert, so wird in diesem Fall anstelle des rekonstruierten ersten Bildblocks der rekonstruierte zweite Bildbildblock als Referenz verwendet. Wird ein Teilbildbereich des rekonstruierten ersten Bildblocks referenziert, so wird anstelle dieses Teilbereichs als Referenz derjenige Bildbereich des rekonstruierten zweiten Bildblocks benutzt, der den Teilbildbereich des rekonstruierten ersten Bildblocks repräsentiert. Wird bspw. der Teilbereich mit 1×4 Bildpunkten in jeder Dimension um einen Faktor zwei vergrößert (up-sampling), so umfasst der Bildbereich 2×8 Bildpunkte.
Hierbei zeigt die Kennung KEY an, dass bei einer Decodierung eines codierten Bildblocks CB der zweiten Schicht, der als Referenzbildblock auf den rekonstruierten ersten Bildblock RBB1 zeigt, als Referenz RF nicht der rekonstruierte erste Bildblock RBB1 sondern der rekonstruierte zweite Bildblock RBB2 zu verwenden ist. Analog die Kennung KEY für den Teilbereich anzuwenden.
Ferner kann die Kennung KEY derart erweitert werden, dass sie Parameter anzeigt, die bei der Codierung des rekonstruierten ersten Bildblocks in den codierten zweiten Bildblock verwendet worden sind. Dies umfasst bspw. den Codiermodus wie die INTER-Prädiktion-Codierung, den Quantisierungsparameter und den Bewegungsvektor, der den zur Codierung verwendeten Referenzbildblock identifiziert. Diese Erweiterung kann durch die vierte Einheit E4 erfolgen.
Mit Hilfe von 4 wird im Folgenden ein Verfahren zum Decodieren näher erläutert. Hierbei empfängt eine Vorrichtung zum Decodieren DVOR den codierten Videodatenstrom VDS und versucht im Schritt EE die Kennung KEY zu finden. Falls diese erkannt wurde, siehe Pfeil J, wird der codierte erste Bildblock CB1 aus dem codierten Videodatenstrom VDS ausgelesen und mittels der ersten Einheit in den rekonstruierten ersten Bildblock RBB1 decodiert. Mittels der zweiten Einheit E2 wird der rekonstruierte erste Bildblock RBB1 in den codierten zweiten Bildblock CB2 codiert, wobei optional Parameter zur Durchführung dieser Codierung aus der Kennung KEY entnehmbar sind. Der codierte zweite Bildblock CB2 wird durch Decodierung in den rekonstruierten zweiten Bildblock RBB2 überführt. Dieser rekonstruierte zweite Bildblock dient als Referenzbildbereich RF zur Decodierung des codierten Bildbocks CB durch eine sechste Einheit in einen rekonstruierten Bildblock.
Mit Hilfe von 5 wird im Folgenden ein Verfahren zum Transcodierung des codierten Videodatenstroms VDS in den transcodierten Videodatenstrom TVDS näher erläutert. Hierbei empfängt eine Transcodiervorrichtung TVOR den codierten Videodatenstrom VDS und analysiert die Kennung die Kennung KEY im Schritt EE. Falls diese erkannt wurde, siehe Pfeil J, wird der codierte erste Bildblock CB1 aus dem codierten Videodatenstrom VDS ausgelesen und mittels der ersten Einheit in den rekonstruierten ersten Bildblock RBB1 decodiert. Mittels der zweiten Einheit E2 wird der rekonstruierte erste Bildblock RBB1 in den codierten zweiten Bildblock CB2 codiert, wobei optional Parameter zur Durchführung dieser Codierung aus der Kennung KEY entnehmbar sind. Eine siebte Einheit E7 fügt in den transcodierten Videodatenstrom TVDS den codierten zweiten Bildblock CB2 und den codierten Bildblock CB ein. Der codierte Bildblock CB wurde mittels eines Codiermodus codiert, der auf den durch Decodierung des codierten zweiten Bildblocks CB2 rekonstruierten zweiten Bildblock RBB2 referenziert.
In den bisherigen Ausführungsbeispielen wird der codierte zweite Bildblock CB2 mittels Codieren des rekonstruierten ersten Bildblocks RBB1 unter Verwendung des INTER-Prädiktionsmodus erzeugt. Alternativ kann anstelle des INTER-Prädiktionsmodus der INTRA-Codiermodus, der INTRA-Prädiktionsmodus oder ein PCM-Codierverfahren (PCM – Pulse Code Modulation) eingesetzt werden. Dies hat den Vorteil, dass zur Codierung des codierten zweiten Bildblocks CB2 nur der rekonstruierte erste Bildblock RBB1 in Betracht gezogen werden muss. Dies reduziert sowohl eine Komplexität als auch ein Speichervolumen zur Durchführung des jeweiligen Verfahrens erheblich. Diese Alternative betrifft den Einsatz der Kennung KEY, bei der anstelle des INTER-Prädiktionsmodus der INTRA-Codiermodus, der INTRA-Prädiktionsmodus oder das PCM-Codierverfahren signalisiert wird – je nachdem, welcher Codiermodus bei der Codierung verwendet wurde.
Die Einheiten E1 bis E7 können in Hardware, Software oder in einer Kombination aus Hard- und Software implementiert und ausgeführt werden, wie bspw. durch einen Rechner oder einen Prozessor mit angefügtem Speichermodul. Ferner können die Verfahrensschritte, die diese Einheiten ausführen in Form eines Programmcodes auf einem Speichermedium abgelegt werden.
Die einzelnen Ausführungsbeispiele sind kombinierbar.
Literaturangabe

[1] Jan De Cock et al., „Advanced Bistream Rewriting From H.264/AVC to SVC", ICIP 2008, p. 2472–2475

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Standard ITU H.264/AVC [0002]
Standards H.264 [0003]
Standards ITU-T H.264 [0033]
Standard H.264 [0034]
Standard H.264 [0035]

Claims

Verfahren zum Erzeugen eines codierten Videodatenstroms (VDS), wobei – der codierte Videodatenstrom (VDS) eine Bildsequenz (BS) codiert mittels einer ersten Schicht (L1) und mittels zumindest einer zweiten Schicht (L2) umfasst, – die erste Schicht (L1) die Bildsequenz (BS) mit ersten Bildern (P11, P12, P13) in einer ersten Bildauflösung (BA1) und die zweite Schicht (L1, L2) die Bildsequenz (BS) mit zweiten Bildern (P21, P22, P23) in einer zweiten Bildauflösung (BA2) darstellen, – die jeweiligen Bilder (P11, P12, P13, P21, P22, P23) jeweils eine Mehrzahl an Bildblöcken (BB) aufweisen, – einer der Bildblöcke (BB1) der zweiten Bilder mittels einer Inter-Layer Prädiktion als codierter erster Bildblock (CB1) codiert ist, bei dem folgende Schritte durchlaufen werden: – Erzeugen eines rekonstruierten ersten Bildblocks (RBB1) durch Decodieren des codierten ersten Bildblocks (CB1); – Erzeugen eines codierten zweiten Bildblocks (CB2) durch Codieren des rekonstruierten ersten Bildblocks (RBB1) auf Basis eines Codiermodus (IAP, IRP), der eine Inter-Layer Prädiktion (ILP) unterbindet; – Erzeugen eines rekonstruierten zweiten Bildblocks (RBB2) durch Decodieren des codierten zweiten Bildblocks (CB2); – Einfügen des codierten ersten Bildblocks (CB1) und einer Kennung (KEY) in die zweite Schicht (L2), wobei die Kennung (KEY) anzeigt, dass bei der Codierung eines Bildblocks (BB) einer der zweiten Bilder (P23) in einen codierten Bildblock (CB), dessen Codierung den rekonstruierten ersten Bildblock (RBB1) als Referenz (RF) anzeigt, als Referenz (RF) der rekonstruierte zweite Bildblock (RBB2) verwendet wird.
Verfahren nach Anspruch 1, bei dem bei der Codierung einer der Bildblöcke (BB) der zweiten Bilder (P22), der mittels eines Codiermodus (IRP) kodiert wird, der auf den rekonstruierten ersten Bildblock (RBB1) referenziert, die Referenz (RF) auf den rekonstruierten zweiten Bildblock (RBB2) geändert wird.
Verfahren nach Anspruch 1 oder 2, bei dem die Kennung (KEY) derart erweitert wird, dass sie zumindest einen Parameter anzeigt, der bei der Codierung des rekonstruierten ersten Bildblocks (RBB1) in den codierten zweiten Bildblock (CB2) verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem durch die Codierung des codierten Bildblocks (CB) nur auf einen Teilbereich des rekonstruierten ersten Bildblocks (RBB1) als Referenz (RF) verwiesen wird, wird als Referenz (RF) ein Bildbereich des rekonstruierten zweiten Bildblocks (RBB2) ausgewählt, der den Teilbildbereich repräsentiert.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem bei dem Erzeugen des codierten zweiten Bildblocks (CB2) ein INTRA-Codiermodus, ein INTRA-Prädiktionsmodus oder ein PCM-Codierverfahren eingesetzt wird.
Vorrichtung (VOR) zum Erzeugen eines codierten Videodatenstroms (VDS), wobei – der codierte Videodatenstrom (VDS) eine Bildsequenz (BS) codiert mittels einer ersten Schicht (L1) und mittels zumindest einer zweiten Schicht (L2) umfasst, – durch die erste Schicht (L1) die Bildsequenz (BS) mit ersten Bildern (P11, P12, P13) in einer ersten Bildauflösung (BA1) und durch die zweite Schicht (L1, L2) die Bildsequenz (BS) mit zweiten Bildern (P21, P22, P23) in einer zweiten Bildauflösung (BA2) dargestellt ist, – die jeweiligen Bilder (P11, P12, P13, P21, P22, P23) jeweils eine Mehrzahl an Bildblöcken (BB) aufweisen, – einer der Bildblöcke (BB1) der zweiten Bilder mittels einer Inter-Layer Prädiktion als erster codierter Bildblock (CB1) codiert ist, mit folgenden Einheiten: – Eine erste Einheit (E1) zum Erzeugen eines rekonstruierten ersten Bildblocks (RBB1) durch Decodieren des codierten ersten Bildblocks (CB1); – Eine zweite Einheit (E2) zum Erzeugen eines codierten zweiten Bildblocks (CB2) durch Codieren des rekonstruierten ersten Bildblocks (RBB1) auf Basis eines Codiermodus (IAP, IRP), der eine Inter-Layer Prädiktion (ILP) unterbindet; – Eine dritte Einheit (E3) zum Erzeugen eines rekonstruierten zweiten Bildblocks (RBB2) durch Decodieren des codierten zweiten Bildblocks (CB2); – Eine vierte Einheit (E4) zum Erzeugen der zweiten Schicht (L2) durch Einfügen des codierten ersten Bildblocks (CB1) und einer Kennung (KEY), wobei die Kennung (KEY) anzeigt, dass bei der Codierung eines Bildblocks (BB) einer der zweiten Bilder (P23) in einen codierten Bildblock (CB), dessen Codierung den rekonstruierten ersten Bildblock (RBB1) als Referenz (RF) anzeigt, als Referenz (RF) der rekonstruierte zweite Bildblock (RBB2) zu verwenden ist.
Vorrichtung (VOR) nach Anspruch 5, bei der die Vorrichtung (VOR) ferner eine fünfte Einheit (E5) aufweist, die ausgestaltet ist zur Codierung einer der Bildblöcke (BB) der zweiten Bilder (P22), der mittels eines Codiermodus (IRP) kodiert wird, der auf den rekonstruierten ersten Bildblock (RBB1) referenziert, die Referenz (RF) auf den rekonstruierten zweiten Bildblock (RBB2) geändert ist.
Vorrichtung (VOR) nach Anspruch 6 oder 7, bei der die vierte Einheit (E4) ferner derart ausgestaltet ist, dass die Kennung (KEY) derart erweiterbar ist, dass sie zumindest einen Parameter anzeigt, der bei der Codierung des rekonstruierten ersten Bildblocks (RBB1) in den codierten zweiten Bildblock (CB2) verwendbar ist.
Vorrichtung (VOR) nach einem der Ansprüche 6 bis 8, bei der die fünfte Einheit (E5) ferner derart ausgestaltet ist, dass falls die Codierung des codierten Bildblocks (CB) nur auf einen Teilbereich des rekonstruierten ersten Bildblocks (RBB1) als Referenz (RF) weist als Referenz (RF) ein Bildbereich des rekonstruierten zweiten Bildblocks (RBB2) auszuwählen ist, der den Teilbildbereich repräsentiert.
Vorrichtung (VOR) nach einem der Ansprüche 6 bis 9, bei der die fünfte Einheit (E5) ferner derart ausgestaltet ist, dass bei dem Erzeugen des codierten zweiten Bildblocks (CB2) ein INTRA-Codiermodus, ein INTRA-Prädiktionsmodus oder ein PCM-Codierverfahren verwendet ist.
Verfahren zum Decodieren eines codierten Videodatenstroms (VDS), wobei der codierte Videodatenstrom (VDS) nach einem der Ansprüche 1 bis 5 erzeugt wird, bei dem folgende Schritte durchgeführt werden: – Erzeugen eines rekonstruierten Bildblocks (RBB) bei Vorhandensein der Kennung (KEY) in dem codierten Videodatenstrom (VDS) durch Decodieren des codierten Bildblocks (CB) der zweiten Schicht (L2), der auf den rekonstruierten ersten Bildblock (RBB1) referenziert, wobei zum Decodieren als Referenz (RF) der rekonstruierte zweite Bildblock (RBB2) verwendet wird.
Vorrichtung (DVOR) zum Decodieren eines codierten Videodatenstroms (VDS), wobei der codierte Videodatenstrom (VDS) nach einem der Ansprüche 6 bis 10 erzeugt ist, bei der eine sechste Einheit (E6) ausgebildet ist zum Erzeugen eines rekonstruierten Bildblocks (RBB) bei Vorhandensein der Kennung (KEY) in dem codierten Videodatenstrom (VDS) durch Decodieren des codierten Bildblocks (CB) der zweiten Schicht (L2), der auf den rekonstruierten ersten Bildblock (RBB1) referenziert, wobei zum Decodieren als Referenz (RF) der rekonstruierte zweite Bildblock (RBB2) verwendbar ist.
Verfahren zum Erzeugen eines transcodierten Videodatenstroms (TVDS) aus einem codierten Videodatenstrom (VDS), der nach einem der Ansprüche 1 bis 5 erzeugt wird, bei dem bei Vorhandensein der Kennung (KEY) in dem codierten Videodatenstrom (VDS) folgende Schritte durchgeführt werden: – Erzeugen eines rekonstruierten ersten Bildblocks (RBB1) durch Decodieren des codierten ersten Bildblocks (CB1); – Erzeugen eines codierten zweiten Bildblocks (CB2) durch Codieren des rekonstruierten ersten Bildblocks (RBB1) auf Basis eines Codiermodus (IAP, IRP), der eine Inter-Layer Prädiktion (ILP) unterbindet; – Erzeugen des transcodierten Videodatenstroms (TVDS) durch Einfügen des codierten zweiten Bildblocks (CB2) und eines codierten Bildblocks (CB) in den transcodierten Videodatenstrom (TVDS), wobei der codierte Bildblock (CB) mittels eines Codiermodus codiert wurde, der auf den durch Decodierung des codierten zweiten Bildblocks (CB2) rekonstruierten zweiten Bildblock (RBB2) referenziert.
Transcodiervorrichtung (TVOR) zum Erzeugen eines transcodierten Videodatenstroms (TVDS) aus einem codierten Videodatenstrom (VDS), der nach einem der Ansprüche 6 bis 10 erzeugbar ist, bei der bei Vorhandensein der Kennung (KEY) in dem codierten Videodatenstrom (VDS) folgende Schritte durchgeführt werden: – Eine erste Einheit (E1) zum Erzeugen eines rekonstruierten ersten Bildblocks (RBB1) durch Decodieren des codierten ersten Bildblocks (CB1); – Eine zweite Einheit (E2) zum Erzeugen eines codierten zweiten Bildblocks (CB2) durch Codieren des rekonstruierten ersten Bildblocks (RBB1) auf Basis eines Codiermodus (IAP, IRP), der eine Inter-Layer Prädiktion (ILP) unterbindet; – Eine siebte Einheit (E7) zum Erzeugen des transcodierten Videodatenstroms (TVDS) durch Einfügen des codierten zweiten Bildblocks (CB2) und eines codierten Bildblocks (CB) in den transcodierten Videodatenstrom (TVDS), wobei der codierte Bildblock (CB) mittels eines Codiermodus codiert wurde, der auf den durch Decodierung des codierten zweiten Bildblocks (CB2) rekonstruierten zweiten Bildblock (RBB2) referenziert.