Beschreibung
Verfahren zur Videocodierung einer Folge digitalisierter Bilder
Die Erfindung betrifft ein Verfahren zur Videocodierung einer Folge digitalisierter Bilder sowie ein Verfahren zum Aussenden der Bilder und ein Verfahren zum Decodieren der codierten Bilder. Darüber hinaus betrifft die Erfindung ferner einen entsprechenden Sender zum Aussenden der codierten Bilder und einen entsprechenden Empfänger zum Empfangen und Decodieren der ausgesendeten codierten Bilder.
Es gibt eine Vielzahl von Verfahren zur Videocodierung von digitalisierten Bildern. Diese Verfahren sind teilweise in entsprechenden Standards, wie z.B. dem Standard H.264/MPEG- 4 AVC festgeschrieben. Bei bekannten Videocodierverfahren werden die digitalisierten Bilder in Bildergruppen angeordnet (sog. GOP = Group of Pictures) , innerhalb derer die einzelnen Bilder codiert werden. Um eine effiziente Codierung zu erreichen, wird nur eine Auswahl von Bildern unabhängig von den anderen Bildern der Folge komplett intracodiert . Die restlichen Bilder werden einer Prädiktion unterzogen, bei der für ein jeweiliges Bild Bewegungsvektoren bestimmt werden, welche die Verschiebung von Bildblöcken in Bezug auf ein Referenzbild beschreiben. Auf diese Weise wird ein prädiziertes Bild ermittelt, wobei der Prädiktionsfehler zwischen ursprünglichem Bild und dem prädizierten Bild codiert wird und zusammen mit den Bewegungsvektoren übertragen wird. Die mit Hilfe ei- ner Prädiktion codierten Bilder einer Bildergruppe werden als Interbilder bezeichnet, da sie in Bezug auf ein oder mehrere Referenzbilder codiert werden.
Zur Übertragung von codierten Videoinhalten können beispiels- weise Broadcastkanäle verwendet werden, wodurch beliebige Benutzer die entsprechenden codierten Inhalte empfangen können. Aus dem Stand der Technik ist hierbei der Multimedia Broad-
cast Multicast Service (MBMS) bekannt, mit dem zukünftig codierte Videoinhalte über Mobilfunk übertragen werden sollen. Bei der Übertragung über Broadcastkanäle besteht das Problem, dass eine systematische Verzögerung beim Aufschalten auf ei- nen Broadcastkanal mit einem entsprechenden Endgerät eines Benutzers auftritt. Diese Verzögerung entsteht unter anderem dadurch, dass innerhalb des codierten Videostroms ein Punkt für den wahlfreien Zugriff (sog. Random Access Point) gefunden werden muss, ab dem der Videodecoder, der den Videodaten- ström empfängt, den Videodatenstrom verarbeiten kann. Diese Art der Verzögerung wird als sog. Video Tune-in Delay bezeichnet. Die Punkte für einen wahlfreien Zugriff sind dabei die oben beschriebenen Intrabilder, welche ohne Berücksichtigung von anderen Bildern codiert werden. Da nur ein Teil der Bilder Intrabilder sind, kommt es somit beim Aufschalten auf einen Broadcastkanal zu einer Verzögerung, bis ein entsprechendes Intrabild empfangen wird.
Bei der Übertragung von codierten Videoinhalten werden häufig Fehlerkorrekturverfahren eingesetzt, insbesondere die hinlänglich aus dem Stand der Technik bekannte Forward Error Correction (im Folgenden FEC) . Bei solchen Fehlerschutzverfahren werden neben Datenpaketen, welche Videobilder enthalten, auch Redundanzpakete übertragen, mit denen eine Fehler- korrektur von Videobildern bei fehlerhafter Übertragung durchgeführt werden kann. Beim Einsatz von Fehlerkorrekturverfahren muss zur Durchführung der Fehlerkorrektur eine bestimmte Zeit gewartet werden, bis ausreichend Videodaten und Redundanzdaten empfangen werden. Hierdurch kommt es zu einer weiteren Verzögerung, welche auch als Initial Delay bezeichnet wird.
Im Folgenden werden in Bezug auf Fig. 1 bis Fig. 4 verschiedene Ansätze aus dem Stand der Technik beschrieben, mit denen die oben beschriebene Verzögerung eines codierten Videostroms beim Aufschalten auf einen Broadcastkanal vermindert werden kann .
Fig. 1 zeigt eine aus dem Stand der Technik bekannte konventionelle Prädiktionsstruktur zur Codierung einer Bildergruppe GOP. Hier und im Folgenden werden dabei Intrabilder mit dem Bezugszeichen Ix (x = ganze Zahl) und Interbilder mit den Bezugszeichen Px bzw. Nx bezeichnet. Die Bilder mit dem Bezugszeichen Px sind hierbei Interbilder, aus denen weitere Bilder der Bildergruppe GOP prädiziert werden, wohingegen die Bilder mit dem Bezugszeichen Nx nicht-referenzierte Bilder sind, aus denen keine weiteren Bilder der Bildergruppe GOP prädiziert werden. Ferner sind die in allen Abbildungen dargestellten Bilderfolgen in der ursprünglichen Reihenfolge des Videostroms wiedergegeben, d.h. in der natürlichen zeitlichen Reihenfolge, wie die Bilder der Bilderfolge aufeinander folgen. D.h., die Zeitachse verläuft in allen nachfolgenden Abbildungen in horizontaler Richtung von links nach rechts, wobei höhere Nummerierungen entsprechende Bilder späterer Zeitpunkte darstellen. Die Pfeile in allen nachfolgenden Abbildungen verdeutlichen, welche Bilder zur Prädiktion eines Bildes he- rangezogen werden. D.h., die Pfeile zeigen von einem Referenzbild, aus dem die Prädiktion vorgenommen wird, zu dem prädizierten Bild, welches aus dem Referenzbild prädiziert wird.
In der herkömmlichen Prädiktionsstruktur gemäß Fig. 1, bei der die Bildergruppe GOP beispielhaft aus acht Bildern besteht, wird das erste Bild IO der Bilderfolge intracodiert und alle nachfolgenden Bilder Pl bis N7 werden intercodiert, wobei zur Prädiktion immer das zeitlich vorhergehende Bild verwendet wird. Üblicherweise wird die Bildergruppe GOP in der in Fig. 1 dargestellten Reihenfolge übertragen, wobei am Ende der Übertragung nochmals Redundanzinformationen FEC zum Fehlerschutz hinzugefügt wird. Die konventionelle Übertragungsreihenfolge lautet somit wie folgt:
IO Pl P2 P3 P4 P5 P6 N7 FEC.
Hierbei sind unter "FEC" Fehlerschutzdaten zu verstehen, die zur Rekonstruktion fehlerhafter Daten des GOPs herangezogen werden können.
Es ist ferner bekannt, dass die Bilder auch in einer modifizierten Übertragungsreihenfolge übertragen werden, welche die umgekehrte Reihenfolge der konventionellen Übertragungsreihenfolge ist und somit wie folgt lautet:
N7 P6 P5 P4 P3 P2 Pl IO FEC.
Mit dieser modifizierten Übertragungsreihenfolge wird erreicht, dass bei einem Aufschalten in eine Bildergruppe GOP zumindest die am Schluss empfangenen Bilder decodiert werden können, weil diese Bilder nur wenig bzw. überhaupt keine Information aus anderen Bildern benötigen. Analog zur herkömmlichen Übertragungsreihenfolge werden die Redundanzdaten FEC auch am Schluss auch in der modifizierten Übertragungsreihenfolge gesendet.
In der Druckschrift [1] wird weiterhin eine gegenüber der Fig. 1 modifizierte Prädiktionsstruktur vorgeschlagen, welche in Fig. 2 wiedergegeben ist. Gemäß dieser Prädiktionsstruktur enthält die Bilderfolge mehrere nicht-referenzierte Bilder Nl, N3, N5, N7 und N8, aus denen keine weiteren Bilder der
Folge prädiziert werden. Da ferner die Bilder P2, P4, P6 und N8 nicht mehr aus dem direkt vorhergehenden Bild prädiziert werden, werden die Bilder IO und P4 mehrfach zur Prädiktion von zeitlich späteren Bildern eingesetzt.
Aus der obigen Druckschrift [1] ist ferner eine weitere Prädiktionsstruktur in der Form von sog. Multiple Reference Frames bekannt, wobei diese Prädiktionsstruktur in Fig. 3 gezeigt ist. Gemäß dieser Struktur wird ein Interbild aus meh- reren anderen Bildern prädiziert, was sich daraus ergibt, dass mehrere Pfeile in einem Interbild enden. Beispielsweise wird das Interbild N5 aus dem zeitlich vorhergehenden Bild P4
sowie den zeitlich nachfolgenden Bildern P6 und N8 prädi- ziert. Die Prädiktion mit Hilfe von Multiple Reference Frames ist dabei nicht zu verwechseln mit der aus dem Stand der Technik bekannten bidirektionalen Prädiktion, bei der die einzelnen Blöcke eines Bildes mittels gewichteter Summe aus den Blöcken zweier unterschiedlicher Bilder prädiziert wird. Bei der Prädiktion mit Multiple Reference Frames wird nämlich jeder Bildblock des betrachteten Interbildes immer nur aus einem einzigen Bild prädiziert, wobei für jeden Bildblock je- doch ein anderes Bild verwendet werden kann, aus dem der entsprechende Bildblock prädiziert wird.
Auch in der Prädiktionsstruktur gemäß Fig. 3 sind nicht- referenzierte Bilder Nl, N3, N5, N7 und N8 enthalten. Her- kömmlicherweise werden die Bilder der Bildergruppen gemäß Fig. 2 und Fig. 3 in der Reihenfolge übertragen, wie der Strom aufgrund seiner Prädiktionsstruktur codiert wird. Die konventionelle Übertragungsreihenfolge lautet hierbei wie folgt:
10 P2 Nl P4 N3 P6 N5 N8 N7 FECl FEC2.
Die Redundanzinformation ist hierbei in die beiden Redundanzblöcke FECl und FEC2 eingeteilt. Hierbei schützt der erste Redundanzblock FECl die Bilder 10, P2, P4, P6 und N8, wohingegen der zweite Redundanzblock FEC2 die Bilder Nl, N3, N5 und N7 schützt.
Mit den Prädiktionsstrukturen der Fig. 2 und Fig. 3 wird eine zeitlich skalierbare Videocodierung mit mehreren Auflösungsstufen geschaffen. In der ersten Auflösungsstufe wird hierbei nur das Intrabild 10 übertragen. In der zweiten Auflösungsstufe werden neben dem Intrabild 10 die Prädiktionsbilder P2, P4, P6 und N8 übertragen und in der dritten Auflösungsstufe neben den Bildern 10, P2, P4, P6 und N8 die nicht-refere- nzierten Bilder Nl, N3, N5 und N7. Um beim Aufschalten in eine momentan übertragene GOP eine möglichst geringe Verzöge-
rung zu erreichen, können die Bilder in einer modifizierten Übertragungsreihenfolge angeordnet werden, welche wie folgt ist :
FEC2 Nl N3 N5 N7 FECl N8 P6 P4 P2 10.
Die Bilder werden hierbei in absteigender Reihenfolge der Auflösungsstufen in Untersequenzen derart angeordnet, dass zunächst die in der höchsten Auflösungsstufe hinzugekommenen Bilder Nl, N3, N5 und N7 übertragen werden und anschließend die Bilder, die in der nächstniedrigeren Auflösungsstufe hinzugekommen sind, nämlich die Bilder N8, P6, P4 und P2. Am Ende der Übertragungsreihenfolge wird schließlich das Intrabild 10 übertragen. Darüber hinaus werden die Redundanzblöcke der entsprechenden Auflösungsstufe immer am Anfang der Untersequenz der in der jeweiligen Auflösungsstufe hinzugekommenen Bilder angeordnet.
Mit der obigen modifizierten Übertragungsreihenfolge wird insbesondere erreicht, dass beim Aufschalten in eine GOP am
Anfang der GOP, beispielsweise innerhalb der Untersequenz der Bilder Nl, N3, N5 und N7 weiterhin eine Anzeige der Bilder mit verringerter Auflösung möglich ist, da die Bilder der niedrigen Auflösung später übertragen werden und keine Infor- mationen von den vorangegangenen Bildern benötigen. Die obigen Prädiktionsstrukturen gemäß Fig. 2 und Fig. 3 haben jedoch den Nachteil, dass beim Aufschalten in eine GOP ein ungleichmäßiges Aufspielen der Bilder auftreten kann. Werden z.B. nur die Bilder P2 und IO empfangen, da diese am Schluss des GOP übertragen werden, werden zunächst diese Bilder mit der halben zeitlichen Auflösung ausgespielt. Da die Bilder in der natürlichen Reihenfolge des Videostroms jedoch am Anfang der GOP stehen, entsteht hierdurch eine sehr große Lücke bis zur Anzeige der Bilder der nächsten GOP.
Aus dem Stand der Technik ist ferner die in Fig. 4 gezeigte Prädiktionsstruktur bekannt, welche in der Druckschrift [2]
wiedergegeben ist. Dort ist eine GOP mit fünfzehn Bildern gezeigt, wobei das Intrabild 17 nunmehr nicht am Anfang der GOP, sondern in der Mitte angeordnet ist. Auch diese Prädiktionsstruktur ermöglicht eine zeitliche Skalierbarkeit. In der niedrigsten Auflösungsstufe wird hierbei nur das Intrabild 17 übertragen, in der zweiten Auflösungsstufe neben dem Bild 17 die weiteren Prädiktionsbilder Pl, P5, P9 und P13, in der dritten Auflösungsstufe zusätzlich die Bilder P3 und PIl und in der höchsten Auflösungsstufe zusätzlich die nicht- referenzierten Bilder NO, N2, N4, N6, N8, NlO, N12 und N14. Die Prädiktionsstruktur gemäß Fig. 4 weist den Nachteil auf, dass die zeitliche Skalierung nicht regelmäßig ist, da Anzahl der Bilder in jeder Auflösungsstufe (ausgenommen der niedrigsten) nicht durch einen gemeinsamen Faktor teilbar ist. Wird beispielsweise die Bildergruppe mit der zweithöchsten
Auflösungsstufe übertragen (d.h. die Bilder NO bis N14 werden weggelassen) , entsteht eine Lücke aus zwei Bildern zwischen zwei GOPs, wohingegen innerhalb jeder GOP immer nur eine Lücke aus einem Bild entsteht. Dies liegt daran, dass in der zweithöchsten Auflösungsstufe jeweils die Bilder an beiden Enden einer GOP weggelassen werden.
Aufgabe der Erfindung ist es, ein Verfahren und eine entsprechende Vorrichtung zur Videocodierung und Videodecodierung zu schaffen, welche ein gleichmäßiges Ausspielen der Videobilder mit möglichst geringer Verzögerung gewährleisten, wenn sich ein Empfangsgerät auf einen die Videobilder übertragenden Kanal aufschaltet.
Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
In dem erfindungsgemäßen Verfahren werden Bildergruppen ge- bildet, wobei eine jeweilige Bildergruppe eine Mehrzahl von zeitlich aufeinander folgenden Bildern in einer ursprünglichen zeitlichen Reihenfolge umfasst. Die ursprüngliche zeit-
liehe Reihenfolge entspricht hierbei dem tatsächlichen zeitlichen Verlauf der im Videostrom wiedergegebenen Szenarien.
In dem Verfahren wird jede Bildergruppe codiert, indem eine Prädiktionsstruktur gebildet wird, gemäß der ein oder mehrere Bilder der Bildergruppe als Intrabilder bestimmt werden, welche jeweils intracodiert werden, und die anderen Bilder der Bildergruppe als Interbilder bestimmt werden, welche jeweils aus zumindest einem Referenzbild der Bildergruppe prädiziert werden und in Bezug auf das zumindest eine Referenzbild in- tercodiert werden. Die Prädiktionsstruktur ist hierbei derart ausgestaltet, dass: i) jedes Intrabild ein Referenzbild ist, aus dem wenigstens ein gegenüber dem Intrabild zeitlich früheres Bild der Bildergruppe und wenigstens ein gegenüber dem Intrabild zeitlich späteres Bild der Bildergruppe prädiziert werden; ii) die Interbilder mehrere nicht-referenzierte Bilder umfassen, aus denen keine Bilder der Folge prädiziert werden.
Aus den codierten Bildern der Bildergruppe wird anschließend eine Übertragungssequenz mit einer zeitlichen Übertragungsreihenfolge gebildet, wobei zumindest einige der codierten nicht-referenzierten Bilder die ersten Bilder der Übertra- gungsreihenfolge sind. Unter Übertragungsreihenfolge ist hierbei die Reihenfolge zu verstehen, in der die Bilder nach der Codierung anschließend zu übertragen sind.
Dadurch, dass in dem erfindungsgemäßen Verfahren nicht-refe- renzierte Bilder am Anfang der Bilderfolge stehen, wird es ermöglicht, dass beim Aufschalten in eine Bildergruppe oftmals die Wiedergabe dieser Bildergruppe in verminderter Auflösung möglich ist, da diejenigen Bilder, welche nicht zur Decodierung anderer Bilder benötigt werden, am Anfang der Bildergruppe übertragen werden. Darüber hinaus wird ein gleichmäßiges Ausspielen der Bilder dadurch ermöglicht, dass das Intrabild nicht am Rand der Bilderfolge angeordnet ist
und aus dem Intrabild zumindest ein zeitlich früheres und ein zeitlich späteres Bild prädiziert wird.
In einer bevorzugten Ausführungsform der Erfindung werden das oder die codierten Intrabilder als die letzten Bilder der Ü- bertragungsreihenfolge angeordnet. Hierdurch wird selbst beim Aufschalten in eine Bildergruppe zu einem späten Zeitpunkt weiterhin eine Wiedergabe zumindest des intracodierten Bildes der Bildergruppe ermöglicht.
In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens werden alle codierten nicht-referenzierten Bilder als erste Bilder am Anfang der Übertragungsreihenfolge angeordnet. Ferner wird in einer bevorzugten Variante eine im Wesentlichen mittige Anordnung des Intrabilds gewährleistet. Dies wird dadurch erreicht, dass bei ungeradzahliger Anzahl von Bildern in der Bildergruppe das mittlere Bild der Bildergruppe das Intrabild ist und bei einer geradzahligen Anzahl von Bildern in der Bildergruppe das Intrabild an derjenigen Stelle in der Bildergruppe steht, welche dem Ergebnis der Division der Anzahl von Bildern der Bildergruppe durch zwei o- der diesem Ergebnis plus eins entspricht.
In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung umfassen die Bildergruppen als Interbilder nicht nur nicht-referenzierte Bilder, sondern auch solche Bilder, aus denen ein oder mehrere Bilder der Bildergruppe prädiziert werden. In der Übertragungsreihenfolge werden diese codierten Referenzbilder vorzugsweise zwischen den zumindest einigen der codierten nicht-referenzierten Bilder und dem oder den codierten Intrabildern angeordnet. Auf diese Weise wird eine Abstufung der Bilder dahingehend vorgenommen, wie wichtig die entsprechenden Bilder bei der Decodierung sind. Je wichtiger ein Bild bei der Durchführung der Decodierung ist, desto spä- ter wird es in der Übertragungsreihenfolge angeordnet.
In einer weiteren bevorzugten Ausführungsform der Erfindung werden für die Bildergruppen jeweils Redundanzdaten zum Fehlerschutz bei der Übertragung der jeweiligen Bildergruppe erzeugt, wobei die Redundanzdaten bei der Bildung der Übertra- gungssequenz in die Übertragungsreihenfolge eingefügt werden. Es ist hierbei vorteilhaft, zumindest einen Teil der Redundanzdaten in der Übertragungsreihenfolge vor den ersten Bildern anzuordnen, da dann beim Aufschalten in eine Bildergruppe die eigentliche Bildinformation zu einem späteren Zeit- punkt folgt, als wenn die Redundanzinformation am Ende der Bildergruppe steht.
In einer weiteren Ausführungsform der Erfindung ist eine jeweilige Bildergruppe in mehreren zeitlichen Auflösungsstufen skalierbar, wobei die niedrigste Auflösungsstufe nur das oder die codierten Intrabilder umfasst und jede höhere Auflösungsstufe durch eine Anzahl von codierten Bildern charakterisiert ist, welche in der höheren Auflösungsstufe im Vergleich zur nächst niedrigeren Auflösungsstufe hinzukommen. Auf diese Weise wird eine vorteilhafte Kombination der Erfindung mit skalierbarer Videocodierung erreicht. Vorzugsweise werden hierbei die codierten Bilder in der Übertragungssequenz in Untersequenzen angeordnet, denen jeweils eine Auflösungsstufe zugeordnet ist, wobei eine jeweilige Untersequenz die codier- ten Bilder umfasst, welche in der der jeweiligen Untersequenz zugeordneten Auflösungsstufe im Vergleich zur nächst niedrigeren Auflösungsstufen hinzukommen, wobei die Untersequenzen in der Übertragungsreihenfolge in absteigender Reihenfolge der Auflösungsstufen angeordnet werden. Hierdurch wird si- chergestellt, dass beim Aufschalten in eine Bildergruppe eine möglichst hohe zeitliche Auflösung der Bilder erhalten bleibt.
In einer weiteren Ausgestaltung der Erfindung werden für zu- mindest einen Teil der Untersequenzen jeweils separate Redundanzdaten gebildet, welche jeweils vor der entsprechenden Untersequenz in der Übertragungsreihenfolge angeordnet werden.
Hierdurch kann eine flexible Festlegung des Fehlerschutzes je nach Auflösungsstufe dadurch erreicht werden, dass die separaten Redundanzdaten zumindest teilweise unterschiedliche Grade an Fehlerschutz aufweisen, wobei der Grad an Fehler- schütz für die Redundanzdaten einer Untersequenz vorzugsweise umso geringer ist, je höher die Auflösungsstufe der Untersequenz ist.
In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung wird eine regelmäßige zeitliche Skalierbarkeit dadurch sichergestellt, dass die Auflösungsstufen durch einen Faktor derart charakterisiert sind, dass alle Auflösungsstufen außer der niedrigsten eine Anzahl von Bildern umfasst, welche durch den Faktor ohne Rest teilbar ist.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist die Prädiktionsstruktur derart festgelegt, dass wenigstens einem nicht-referenzierten Bild eine vorbestimmte Anzahl von Bildern zugeordnet wird, wobei das nicht-refe- renzierte Bild aus demjenigen Bild der vorbestimmten Anzahl an Bildern prädiziert wird, welches durch die geringste Anzahl an Prädiktionen gebildet wurde. Es wird somit zur Prädiktion eines Bildes immer ein Bild verwendet, welches aus möglichst wenigen vorhergehenden Prädiktionsschritten ent- standen ist. Hierdurch wird die Fehlerrobustheit erhöht, da bei einer fehlerhaften Übertragung die Fehlerfortpflanzung geringer ist. Vorzugsweise sind hierbei die vorbestimmte Anzahl von Bildern die zwei in der Bilderfolge zeitlich am nächsten zu dem nicht-referenzierten Bild liegenden Referenz- bilder, d.h. die zwei zeitlich am nächsten liegenden Bilder, welche keine nicht-referenzierten Bilder sind.
In einer weiteren Ausführungsform der Erfindung wird zumindest ein Teil der Interbilder jeweils aus mehreren anderen Bildern prädiziert, wobei ein jeweiliges Interbild des zumindest einen Teils der Interbilder in eine Vielzahl von Blöcken unterteilt ist und für jeden Block ein einzelnes Bild aus den
mehreren anderen Bildern festgelegt ist, aus dem der Block prädiziert wird. Hierdurch wird das erfindungsgemäße Verfahren mit der eingangs erwähnten Prädiktion mit Multiple Refe- rence Frames kombiniert.
Neben dem oben beschriebenen Verfahren zur Videocodierung betrifft die Erfindung ferner ein Verfahren zum Aussenden einer Folge digitalisierter Bilder, wobei die Folge digitalisierter Bilder gemäß dem Verfahren der Erfindung codiert wird und die Bilder anschließend in der zeitlichen Übertragungsreihenfolge der Übertragungssequenz ausgesendet werden. Das Aussenden erfolgt hierbei vorzugsweise über einen Broadcast-Dienst auf einen oder mehreren Broadcastkanälen .
Neben dem oben beschriebenen Verfahren zur Videocodierung um- fasst die Erfindung ferner ein entsprechendes Verfahren zum Decodieren einer Folge digitalisierter Bilder, welche mit dem erfindungsgemäßen Verfahren decodiert und ausgesendet wurden. In dem Decodierverfahren werden die Übertragungssequenzen der codierten Bilder der Bildergruppe der Folge empfangen. Anschließend werden in Abhängigkeit von der verwendeten Prädiktionsstruktur die codierten Bilder jeder Übertragungssequenz decodiert. Schließlich werden die decodierten Bilder jeder Übertragungssequenz in der ursprünglichen zeitlichen Reihen- folge der Bildergruppe ausgelesen, wodurch der ursprüngliche Videostrom wiederhergestellt wird.
Neben den oben beschriebenen Verfahren umfasst die Erfindung ferner einen entsprechenden Sender zum Aussenden einer Folge digitalisierter Bilder, wobei der Sender Mittel aufweist, um das erfindungsgemäße Codierverfahren sowie das anschließende Aussenden der codierten Bilder gemäß jeder beliebigen Variante der Erfindung zu ermöglichen.
Die Erfindung betrifft darüber hinaus einen Empfänger zum
Empfangen und Decodieren einer mit dem erfindungsgemäßen Verfahren ausgesendeten Folge digitalisierter Bilder, wobei der
Empfänger derart ausgestaltet ist, dass er Mittel aufweist, mit denen das oben beschriebene Decodierverfahren durchführbar ist.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
Fig. 1 bis Fig. 4 Bildergruppen, welche gemäß Verfahren nach dem Stand der Technik codiert werden;
Fig. 5 bis Fig. 12 Bildergruppen, welche gemäß Ausfüh- rungsformen des erfindungsgemäßen Verfahrens codiert werden; und
Fig. 13 ein Übertragungssystem für einen Videostrom mit einem erfindungsgemäßen Sen- der und einem erfindungsgemäßen Empfänger .
Fig. 1 bis Fig. 4 zeigen verschiedene Bildergruppen GOP, welche mit Verfahren nach dem Stand der Technik codiert werden. Fig. 1 bis Fig. 4 wurden bereits im Vorangegangenen erläutert, so dass auf diese Figuren nicht mehr eingegangen wird.
Fig. 5 zeigt eine Bildergruppe in einer Bilderfolge, welche gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens codiert wird. Die gezeigte Prädiktionsstruktur ist an sich aus dem Dokument [2] bekannt, wobei die Bildergruppe GOP sieben Bilder aufweist und eine baumartige Prädiktion dadurch gebildet wird, dass das Bild in der Mitte der Bildergruppe das Intrabild 13 ist, aus dem das zeitlich vorhergehende Bild Pl und das zeitlich nachfolgende Bild P5 prädiziert werden.
Aus dem Bild Pl werden wiederum die nicht-referenzierten Bilder NO und N2 und aus dem Bild P5 die nicht-referenzierten
Bilder N4 und N6 prädiziert. Aus der Prädiktionsstruktur gemäß Fig. 5 wird erfindungsgemäß eine Übertragungsreihenfolge gebildet, welche zwei separate Redundanzblöcke FECl und FEC2 aufweist und bei der die nicht-referenzierten Bilder am An- fang der Übertragungsreihenfolge stehen. Die Übertragungsreihenfolge lautet wie folgt:
FEC2 NO N2 N4 N6 FECl Pl P5 13.
Der Redundanzblock FEC2 schützt hierbei die nicht-referenzierten Bilder und der Redundanzblock FECl das Intrabild sowie die Bilder Pl und P5, welche zur Prädiktion von den nicht-referenzierten Bildern verwendet werden.
Da die Bilder nicht in der ursprünglichen Reihenfolge der
Bilderfolge im Empfänger decodiert werden, müssen die Bilder zur späteren Anzeige in einem empfangsseitigen sog. Playout- Puffer gespeichert werden. Dabei muss nach der Decodierung des Intrabildes 13 dieses Bild zunächst gespeichert werden. Nach der darauf folgenden Decodierung des Interbildes Pl verbleiben 13 und Pl im Speicher. Während der anschließenden Decodierung des nicht-referenzierten Bildes NO wird dieses Bild ebenfalls in dem Playout-Puffer gespeichert und nach Ab- schluss der Decodierung zur Anzeige ausgelesen und aus dem Puffer gelöscht. Nachfolgend ist eine Inhaltsfolge gezeigt, welche die Inhalte des Playout-Puffers nach jeder Decodierung eines Bildes wiedergibt. Die Inhalte des Puffers zu den jeweiligen Zeitpunkten sind in Klammern zusammengefasst, wobei das am rechten Ende in einer Klammer stehende Bild dasjenige Bild ist, welches zum jeweiligen Zeitpunkt decodiert wurde.
Ferner ist mit einem Unterstrich angezeigt, welches Bild nach der Decodierung zum jeweiligen Zeitpunkt aus dem Puffer ausgelesen und gelöscht wird. Das nachfolgende Inhaltsfolge- Schema wird auch in Bezug auf die Beschreibung der weiteren Ausführungsformen der Erfindung verwendet. Die Inhaltsfolge des Playout-Puffers für die Bilderfolge gemäß Fig. 5 lautet wie folgt:
( 13 ) ( 13 Pl ) ( 13 Pl NO ) ( 13 Pl^ N2 ) ( 13 N2I P5 ) (JT3 P5 N4 ) ( P5 N£ N6 ) ( P5_ N6 ) (N6 ) .
Es ist somit für die Ausführungsform der Fig. 5 ein Playout- Puffer von drei decodierten Bildern bereitzustellen.
In der obigen Ausführungsform schützt der erste Redundanzblock FECl die Bilder 13, Pl und P5 und der zweite Redundanz- block FEC2 die Bilder NO, N2, N4 und N6. Da letztere Bilder nicht von anderen Bildern zur Prädiktion verwendet werden, ist der Schutz für diese Bilder vorzugsweise schwächer. Ggf. kann der Fehlerschutz FEC2 komplett entfallen, wobei in diesem Fall nur die Referenzbilder 13, Pl und P5 geschützt wer- den. Hierdurch wird ein ungleicher Fehlerschutz UEP (UEP = Unequal Error Protection) erreicht. Demgegenüber werden bei einem gleichmäßigen Fehlerschutz EEP (EEP = Equal Error Protection) beide Fehlerschutzblöcke FECl und FEC2 zu einem Fehlerschutzblock FEC zusammengefasst . Geht man davon aus, dass ein Bild bei der Übertragung verloren geht (wobei eine
Gleichverteilung beim Verlust der Bilder angenommen wird) , ergibt sich für die Prädiktionsstruktur gemäß Fig. 5 ein Erwartungswert E von gestörten Bildern, der wie folgt lautet:
E = l/7-(4-l + 2-3 + 1-7) = 2,43.
Fig. 6 zeigt eine zweite Variante mit einer Prädiktionsstruktur, welche eine Abwandlung der Prädiktionsstruktur gemäß Fig. 5 ist. In der Prädiktionsstruktur gemäß Fig. 6 werden sog. verkürzte Prädiktionspfade verwendet. Dies bedeutet, dass bei der Prädiktion eines nicht-referenzierten Bildes immer versucht wird, als Referenzbild ein Bild zu verwenden, welches selbst aus einer geringen Anzahl von Prädiktionen entstanden ist. In dem Beispiel der Fig. 6 werden die nicht- referenzierten Bilder N2 und N4 jeweils aus demjenigen der beiden Nachbarbilder prädiziert, welches aus weniger Prädiktionen entstanden ist. D.h., in Fig. 6 wird das Bild N2 im
Unterschied zu Fig. 5 nicht aus dem Bild Pl, sondern aus dem Bild 13 prädiziert, und das Bild N4 wird nicht aus dem Bild P5, sondern aus dem Bild 13 prädiziert. Dadurch wird die Feh- lerrobustheit erhöht, da bei einem Verlust von einem oder mehreren Bildern die Wahrscheinlichkeit dafür steigt, dass die übrigen Bilder decodiert werden können. Im Vergleich zur Ausführungsform gemäß Fig. 5 ergibt sich der Erwartungswert E von gestörten Bildern wie folgt:
E = l/7-(4-l + 2-2 + 1-7) = 2,14.
Die Fehleranfälligkeit wird somit in der Ausführungsform gemäß Fig. 6 gegenüber der Ausführungsform gemäß Fig. 5 reduziert .
Die Übertragungsreihenfolge in der Ausführungsform gemäß Fig. 6 wird hierbei wie folgt gewählt:
FEC2 NO N2 N4 N6 FECl Pl P5 P6 13.
Die Inhaltsfolge des Playout-Puffers im Empfänger ergibt sich dabei wie folgt:
(13) (13 Pl) (13 Pl NO) (13 Pl. N2) (13 N2: N4) (JE3_ N4 P5) (Nj4 P5 N6) (P5_ N6) (N6) .
Fig. 7 zeigt eine Prädiktionsstruktur nach dem gleichen Prinzip wie Fig. 6 mit verkürzten Prädiktionspfaden, wobei jedoch die Länge der Bildergruppe nunmehr auf fünfzehn Bilder erhöht wurde. Es ergibt sich dabei eine größere Anzahl von zeitlichen Skalierbarkeitsstufen und mehr Möglichkeiten, den Fehlerschutz auf die einzelnen Skalierbarkeitsstufen aufzuteilen .
Fig. 8 zeigt eine Prädiktionsstruktur mit einer dreistufigen regelmäßigen Skalierbarkeit. Regelmäßige Skalierbarkeit bedeutet hierbei, dass die zeitliche Auflösung über die aufein-
ander folgenden Bildergruppen GOP hinweg konstant bleibt und insbesondere keine vergrößerten Lücken zwischen den Bildergruppen entstehen. In dem Beispiel der Fig. 8 ist hierbei eine dyadische zeitliche Skalierbarkeit wiedergegeben. Dyadisch bedeutet, dass die Anzahl der Bilder in der jeweiligen Ska- lierbarkeits- bzw. Auflösungsstufe (außer der niedrigsten) immer durch 2 teilbar ist. Gemäß Fig. 8 wird hierbei die niedrigste erste Skalierbarkeitsstufe durch das Intrabild 14 dargestellt, die zweite Skalierbarkeitsstufe wird durch das Bild 14 und die weiteren Bilder NO, P2 und P6 gebildet, und die dritte Skalierbarkeitsstufe wird durch die Bilder der niedrigsten und der zweiten Skalierbarkeitsstufe sowie die Bilder Nl, N3, N5 und N7 gebildet. Erfindungsgemäß werden die Bilder der Bildergruppe in Fig. 8 in folgender Übertragungs- reihenfolge mit entsprechenden Redundanzblöcken FECl und FEC2 angeordnet :
FEC2 Nl N3 N5 N7 FECl NO P2 P6 P4.
Die Inhaltsfolge des Playout-Puffers im Empfänger lautet dabei wie folgt:
(14) (14 P2) (14 P2 NO) (14 P2 Nl) (14 P2_ N3) (14 N_3 N5) (14 N5 P6) (N_5 P6 N7) (.P^ N7) (N7_) .
Hierbei schützt der erste Redundanzblock FECl die Bilder 14, P2, NO und P6 und der zweite Redundanzblock FEC2 die Bilder Nl, N3, N5 und N7. Da letztere Bilder nicht von anderen Bildern zur Prädiktion verwendet werden, ist der Schutz für die- se Bilder schwächer. Dies realisiert einen ungleichen Fehlerschutz. Bei einem gleichmäßigen Fehlerschutz können die beiden Fehlerschutzblöcke FECl und FEC2 zu einem Fehlerschutzblock FEC zusammengefasst werden.
Fig. 9 zeigt eine Prädiktionsstruktur mit weiteren zeitlichen Skalierbarkeitsstufen . Insgesamt enthält die Prädiktionsstruktur in Fig. 9 vier Skalierbarkeitsstufen . Im Unterschied zu
Fig. 8 wird das nicht-referenzierte Bild NO direkt aus dem Bild 14 und nicht aus dem Bild P2 prädiziert. Hierdurch wird eine weitere Skalierbarkeitsstufe geschaffen. Gemäß Fig. 9 besteht die niedrigste erste Skalierbarkeitsstufe aus dem Bild 14. Die zweite Skalierbarkeitsstufe umfasst die Bilder 14 und NO. In der dritten Skalierbarkeitsstufe kommen die Bilder P2 und P6 hinzu. Die vierte Skalierbarkeitsstufe wird um die Bilder Nl, N3, N5 und N7 ergänzt. Aufgrund der weiteren Skalierbarkeitsstufe kann ein separater weiterer Fehler- schutzblock FEC3 gebildet werden. Die Übertragungsreihenfolge wird erfindungsgemäß hierbei wie folgt gewählt:
FEC3 Nl N3 N5 N7 FEC2 P2 P6 FECl NO 14.
Die Inhaltsfolge des Playout-Puffers ergibt sich dabei wie folgt:
(14) (14 NO) (14 P2) (14 P2 Nl) (14 P2_ N3) (14 N3 N5) (14 N5 P6) (N_5 P6 N7) (P6_ N7) (N7_) .
Auch in dieser Variante kann ein ungleicher Fehlerschutz erreicht werden. Der Redundanzblock FECl schützt dabei die Bilder 10 und 14, FEC2 schützt die Bilder P2 und P6 und FEC3 schützt die Bilder Nl, N3, N5 und N7.
Mit einer kleinen Änderung in der Prädiktionsstruktur gemäß Fig. 9 lassen sich die Anforderungen an den Playout-Puffer reduzieren, und zwar indem das Bild Nl nicht aus dem Bild P2, sondern aus dem Bild NO prädiziert wird (d.h. das Bild NO wird dann zum Bild PO) .
Fig. 10 zeigt eine weitere Ausführungsform der Erfindung mit einer Prädiktionsstruktur für eine mehrstufige dyadische zeitliche Skalierbarkeit, wobei die Länge der Bildgruppe nun- mehr 16 Bilder umfasst.
Erfindungsgemäß ergibt sich für Fig. 10 folgende Übertragungsreihenfolge :
FEC3 Nl N3 N5 N7 N9 NIl N13 N15 FEC2 N2 N6 NlO P14 FECl PO P4 P12 18.
Die Inhaltsfolge des Playout-Puffers lautet dabei wie folgt:
(18) (18 P4) (18 P4 PO) (18 P4 Nl) (18 P4 N2_) (18 P4 N_3) (18 P^ N5) (18 N_5 N6) (18 N^ N7) (18 N7_ N9) (JN3 N9 NlO) (N9 NlO P12) (NlO P12 NIl) (P12 NIl N13) (P12 N13 P14) (N13 P14 N15) (Pl£ N15) (NL5) .
Fig. 11 und Fig. 12 zeigen Prädiktionsstrukturen unter der Verwendung der oben beschriebenen Multiple Reference Frames, bei denen für die Prädiktion eines Bildes mehrere Referenzbilder verwendet werden können. Fig. 11 zeigt hierbei eine Prädiktionsstruktur für eine mehrstufige dyadische zeitliche Skalierbarkeit, bei der für die Bilder Nl, N3 und N5 zwei Bilder und für die anderen Interbilder ein Bild zur Prädiktion herangezogen werden. Demgegenüber zeigt die Fig. 12 eine Prädiktion für eine mehrstufige dyadische zeitliche Skalierbarkeit, bei der das Bild Nl aus drei Bildern, das Bild P2 aus zwei Bildern, das Bild N3 aus zwei Bildern, das Bild N5 aus zwei Bildern, das Bild N7 aus zwei Bildern und die anderen Interbilder aus einem Bild prädiziert wird.
Für Fig. 11 und 12 ergibt sich folgende erfindungsgemäße Ü- bertragungsreihenfolge für die Bilder der Bildergruppe GOP:
FEC3 Nl N3 N5 N7 FEC2 P2 P6 FECl PO 14.
Die Inhaltsfolge des Playout-Puffers lautet dabei wie folgt:
(14) (14 PO) (14 P0_ P2) (14 P2 Nl) (14 P2_ N3) (14 N_3 N5) (14 N5 P6) (N5 P6 N7) (P6 N7) (N7) .
Aus den oben beschriebenen Varianten der Erfindung ergeben sich mehrere Vorteile. Es wird ein gleichmäßigeres Ausspielen der Bilder beim Aufschalten auf einen Broadcastkanal ermöglicht. Ferner wird durch die gleichmäßige (z.B. dyadische) zeitliche Skalierbarkeit eine Möglichkeit geschaffen, dass mehrere Skalierbarkeitsstufen unterstützt werden können. Reicht z.B. der Fehlerschutz für nicht-referenzierte Bilder nicht aus, um diese korrekt zu decodieren, kann nur der restliche Videostrom mit der halben zeitlichen Auflösung (halbe Bildwiederholrate) angezeigt werden. Bei nicht regelmäßiger zeitlicher Skalierbarkeit würden die Bilder in unregelmäßigen zeitlichen Abständen angezeigt werden, was als störend empfunden wird. Ggf. können auch zwei unterschiedliche Serviceklassen definiert werden, wobei eine Klasse die volle zeitli- che Auflösung und die andere Klasse die reduzierte zeitliche Auflösung betrifft. Ein weiterer Vorteil der obigen erfindungsgemäßen Varianten mit verkürzten Prädiktionspfaden besteht darin, dass die Fehlerrobustheit der Übertragung erhöht wird.
Fig. 13 zeigt eine schematische Darstellung eines erfindungsgemäßen Übertragungssystems. Das System umfasst einen Sender 1 zum Aussenden eines Videostroms aus codierten Bildern. Dieser Sender umfasst ein Mittel 2 zum Bilden von Bildergruppen, wobei eine jeweilige Bildergruppe eine Mehrzahl von zeitlich aufeinander folgenden Bildern in einer ursprünglichen zeitlichen Reihenfolge umfasst. Darüber hinaus beinhaltet der Sender 1 ein Mittel 3 zum Codieren jeder Bildergruppe, indem eine Prädiktionsstruktur gebildet wird, gemäß der ein oder meh- rere Bilder der Bildergruppe als Intrabilder bestimmt werden, welche intracodiert werden, und die anderen Bilder der Bildergruppe als Interbilder bestimmt werden, welche jeweils aus zumindest einem Referenzbild der Bildergruppe prädiziert werden und in Bezug auf das zumindest eine Referenzbild interco- diert werden, wobei die Prädiktionsstruktur derart ausgestaltet ist, dass:
i) jedes Intrabild ein Referenzbild ist, aus dem wenigstens ein gegenüber dem Intrabild zeitlich früheres Bild der Bildergruppe und wenigstens ein gegenüber dem Intrabild zeitlich späteres Bild der Bildergruppe prädiziert wer- den; ii) die Interbilder mehrere nicht-referenzierte Bilder umfassen, aus denen keine Bilder der Folge prädiziert werden. Der Sender umfasst ferner ein Mittel 4 zum Aussenden der codierten Bilder, welches derart ausgestaltet ist, dass aus den codierten Bildern jeder Bildergruppe eine Übertragungssequenz mit einer zeitlichen Übertragungsreihenfolge gebildet wird und die codierten Bilder in der Übertragungsreihenfolge ausgesendet werden, wobei zumindest einige der codierten nicht- referenzierten Bilder die ersten Bilder der Übertragungsrei- henfolge sind.
Die Bilder werden von dem Sender 1 über eine Übertragungsstrecke 5, vorzugsweise über einen oder mehrere Broadcastka- näle, übertragen. Diese Broadcastkanäle können von einem Emp- fänger 6 empfangen werden, und der darin codierte Datenstrom kann von diesem Empfänger 6 ausgelesen werden. Der Empfänger 6 umfasst hierzu ein Mittel 7 zum Empfangen der Übertragungssequenzen der codierten Bilder der Bildergruppen des Videostroms sowie ein Mittel 8 zum Decodieren der Bilder jeder Ü- bertragungssequenz in Abhängigkeit von der Prädiktionsstruktur und ein Mittel 9 zum Auslesen der decodierten Bilder jeder Übertragungssequenz in der ursprünglichen zeitlichen Reihenfolge der Bildergruppe.
Literaturverzeichnis :
[1] Dong Tian, Vinod Kumar MV, Miska Hannuksela, Stephan
Wenger, Moncef Gabbouj , "Improved H.264 /AVC Video Broadcast/Multicast" , in Proceedings of SPIE Visual
Communications and Image Processing 2005 (VCIP 2005) , Bejing, China, JuIy 2005.
[2] C. Bergeron, C. Lamy-Bergot, G. Pau, and B. Pesquet- Popescu, "Temporal Scalability through Adaptive
M-Band Filter Banks for Robust H.264/MPEG4 AVC Video Coding", EURASIP Journal on Applied Signal Processing, vol. 2006, Article ID 21930, 11 pages, 2006.