DE60210757T2

DE60210757T2 - Vorrichtung zur videokodierung und -aufzeichnung

Info

Publication number: DE60210757T2
Application number: DE60210757T
Authority: DE
Inventors: J. Gerben HEKSTRA
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 2001-03-12
Filing date: 2002-01-28
Publication date: 2007-02-08
Anticipated expiration: 2022-01-29
Also published as: DE60210757D1; EP1374599B1; CN1224273C; JP2004521547A; ATE324013T1; CN1459200A; EP1374599A1; US20020159526A1; WO2002073974A1

Description

Die vorliegende Erfindung bezieht sich auf einen Videocodierer, entworfen zum Umwandeln einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder, der eine Bildneuordner umfasst.
Die vorliegende Erfindung bezieht sich weiterhin auf einen Videorecorder, der die nachfolgenden Elemente umfasst:

– Erfassungsmittel zum Erfassen von Videodaten, die eine Sequenz nicht komprimierter Bilder darstellen,
– einen Videocodierer, der entworfen ist zum Transformieren einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder, was eine Neuordnungsbilderdatei umfasst; und
– Speichermittel zur Speicherung von Daten, die komprimierte Bilder darstellen.

Ein Videocodierer der eingangs beschriebenen Art ist aus dem Buch: "Video coding, an introduction to standard codes", von M. Ghanbari, ISBN 0 85296 762 4, Seiten 46-48 und 90-107, bekannt.
In diesem Buch wird beschrieben, dass nicht alle Bilder einer Videosequenz auf dieselbe Art und weise codiert werden brauchen, und zwar wegen der strittigen Anforderungen von Codierung mit beliebigem Zugriff und Codierung mit hoher Effizienz. Es werden Techniken angewandt zum Ausnutzen der starken Beziehung zwischen aufeinander folgenden Bildern, damit der Betrag an Information, erforderlich zum Übertragen oder Speichern derselben, wesentlich reduziert wird. Diese Techniken, bekannt als "Prädiktion mit Bewegungsschätzung" bestehen aus dem Deduzieren der meisten Bilder einer Sequenz von vorhergehenden und sogar nachfolgenden Bildern, mit minimaler zusätzlicher Information, welche die Differenz zwischen den Bildern darstellt. Diese Techniken erfordern das Vorhandensein eines Bewegungsschätzers in einem Videocodierer.
In dem Buch werden die nachfolgenden Bildtypen in einer Videosequenz identifiziert:

– Bilder vom ersten Typ werden intra-Bild-codiert, mit einer mäßigen Kompression. Sie werden als I-Bilder bezeichnet. I-Bilder werden ohne Bezugnahme auf ein anderes Bild codiert, aber I-Bilder dienen als Bezugbilder, I-Bilder enthalten alle Information, erforderlich für deren Rekonstruktion durch den Decoder. Sie schaffen Zugriffsstellen auf die co dierte Sequenz zum Decodieren.
– Bilder vom zweiten Typ werden inter-Bild codiert. Sie werden als P-Bilder bezeichnet, wobei die Techniken der bewegungskompensierten Prädiktion angewandt werden. Sie selber können als ein Bezugsbild verwendet werden, d.h. als Anker, zum Codieren der künftigen Bilder, aber da Bewegungskompensation nicht einwandfrei ist, ist es nicht möglich, die Anzahl P-Bilder zwischen zwei I-Bildern stark zu erweitern. Die Kompressionsrate, d.h. der Grad der Kompression, von P-Bildern ist wesentlich höher als für I-Bilder.
– Bilder vom dritten Typ werden ebenfalls inter-Bild-codiert. Sie werden als B-Bilder bezeichnet. B-Bilder können in zwei Richtungen oder in nur einer Richtung codierte Bilder sein. B-Bilder können vergangene Bilder, künftige Bilder oder Kombinationen von beiden Bildern in ihrer Prädiktion benutzen. Dieser Gebrauch steigert die Effizienz der Bewegungskompensation, da Verstopfungsteile bewegender Objekte aus dem künftigen Frame besser kompensiert werden können. Da sie nicht zum Codieren nachfolgende Bilder verwendet werden, pflanzen B-Bilder keine Codierungsfehler fort. B-Bilder bieten die höchste Kompressionsrate.

In dem Buch: "Digital Television MPEG-1. MPEG-2 and principles of the DVB system", von H. Hervé, ISBN 0 340 69190 5, Seiten 36–42 wird beschrieben, wie P- und B-Bilder aus vorhergehenden und/oder nachfolgenden Bildern vorhergesagt werden können. In einer Sequenz von bewegenden Bildern führen bewegende Objekte zu Differenzen zwischen entsprechenden Zonen aufeinander folgender Bilder, so dass es hier keine deutliche Korrelation zwischen diesen zwei Zonen gibt. Bewegungsschätzung besteht aus der Festlegung eines Bewegungsvektors, der die Korrelation zwischen einer Eintreffzone in dem zweiten Bild und einer Abgangzone in dem ersten Bild gewährleistet, und zwar unter Anwendung einer Technik, die als Blockübereinstimmung ("Block Matching") bekannt ist. Dies geschieht durch Verlagerung eines Makroblocks, d.h. eines Blocks von 16 × 16 Pixeln des aktuellen Bildes innerhalb eines kleines Suchfensters von dem vorhergehenden Bild, und durch einen Vergleich desselben mit etwaigen Makroblöcken des Fensters um dasjenige Fenster zu finden, das demselben am meisten ähnlich ist. Die Differenz in der Lage der zwei übereinstimmenden Makroblöcke ergibt einen Bewegungsvektor. Für jeden Makroblock wird wenigstens ein Bewegungsvektor berechnet. Ein Bild wird in eine Anzahl Makroblöcke aufgeteilt. Die Bewegungsvektoren aller Makroblöcke eines einzigen Bildes bilden ein Bewegungsfeld. Beim vergleichen eines P-Bildes mit einem I-Bild, oder zweier P- Bilder, wird durch der zeitliche Abstand zwischen diesen Bildern im Allgemeinen Blockübereinstimmung nicht einwandfrei sein und Bewegungsvektoren können eine relativ hohe Amplitude haben. Das ist der Grund, dass die Differenz oder ein Prädiktionsfehler zwischen dem wirklich zu codierenden Block und dem übereinstimmenden Block berechnet und auf dieselbe Art und Weise wie die Blöcke der I-Bilder codiert werden, aufeinander folgend mit einem diskreten Kosinustransformator, einem Quantisierer, einem Laufpegelcodierer und einem variable-Länge-Codierer. Dieser Prozess wird als Bewegungskompensation bezeichnet.
Für B-Bilder werden Bewegungsvektoren durch zeitliche Interpolation der Vektoren der am nächsten liegenden Bezugsbilder auf drei verschiedene Weisen berechnet, d.h. vorwärts, rückwärts und in beiden Richtungen; das Ergebnis, das den kleinsten Prädiktionsfehler ergibt, wird beibehalten und der Fehler wird auf dieselbe Weise wie für P-Bilder codiert. Nur die Makroblöcke, die von den Bildern abweichen, die zur Prädiktion verwendet werden, sollen codiert werden, was den Betrag an Information, erforderlich zum Codieren von B-Bildern und P-Bildern wesentlich reduziert. Da die Größe der bewegenden Bilder im Allgemeinen größer ist als ein Makroblock, gibt es zwischen den Bewegungsvektoren aufeinander folgender Makroblöcke eine starke Korrelation und es wird ein differentielles Codierungsverfahren angewandt zum Codieren der Vektoren, wodurch auf diese Weise die Anzahl erforderlicher Bit reduziert wird. Wenn die Prädiktion nicht ein brauchbares Ergebnis liefert, beispielsweise in dem Fall einer bewegenden Kamera, wobei völlig neue Zonen in das Bild erscheinen, werden die entsprechenden Teile des Bildes intra-Bildcodiert, und zwar auf dieselbe Weise wie für I-Bilder.
Da B-Bilder danach I-Bilder und P-Bilder als Prädiktion verwenden, sollen sie später codiert werden. Dies erfordert eine Neuordnung der eintreffenden Bildersequenz. In dem Buch: "Video coding, an introduction to standard codes", von M. Ghanbari, ISBN 0 85296 762 4, Seite 97 wird beschrieben, dass die Neuordnung an dem Vorprozessor durchgeführt wird, der sich beim Eingang des Codierers befindet. Beim Eingang des Codierers wird das Codieren von B-Bildern hinausgeschoben und nach der Codierung der Anker I-Bilder und P-Bilder durchgeführt, die zum Codieren der B-Bilder erforderlich sind.
Ein Nachteil der Bilderneuordnung ist, dass die einstweilige Speicherung von Bildern zur Neuordnung große Mengen an Speicherraum erfordert und folglich viel Bandbreite des Speicherbusses. Diese Anforderung großer Mengen an Speicherraum und folglich Bandbreite wird insbesondere ein Problem für HD-Videocodierung.
Es ist nun u. a. eine erste Aufgabe der vorliegenden Erfindung einen Videocodierer der eingangs beschriebenen Art zu schaffen, der relativ geringe Speicheranforderungen zur Neuordnung von Bildern in einer Sequenz hat.
Es ist eine zweite Aufgabe der vorliegenden Erfindung, eine Videocodieranordnung zu schaffen, die einen Videocodierer aufweist, der relativ geringe Speicheranforderungen zur Neuordnen von Bildern in einer Sequenz hat.
Die erste Aufgabe der vorliegenden Erfindung wird dadurch erfüllt, dass der Bildneuordner, der auch als Neuordnungsbilderdatei bezeichnet wird, entworfen ist zum Neuordnen einer Anzahl komprimierter Bilder. Komprimierte Bilder sind kleiner zum Speichern als nicht komprimierte Bilder. Einige komprimierte Bilder gleichzeitig in der Größenordnung von drei oder dergleichen, werden in dem Bildneuordner gespeichert, um auf eine Weiterverarbeitung zu einem späteren Zeitpunkt zu warten.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung weist das Kennzeichen auf, dass die komprimierten Bilder prädiktive zwischenbildcodierte Bilder oder bidirektional zwischenbildcodierte Bilder sind. Ein Vorteil dieser Ausführungsform ist, dass man erwartet, dass die Konvergenz und die Kohärenz rekursiver Bewegungsschätzungsalgorithmen, wie 3D rekursive Suche (3D-RS) sich verbessert. Dies ist der Tatsache zuzuschreiben, dass die Bilder in Wiedergabeordnung in dem Videocodierer anlangen, und folglich geringe zeitliche Unterschiede aufweisen. Es sei bemerkt, dass nicht der Fall ist, wenn die Neuordnung an dem Eingang eines Videocodierers stattfindet. Es ist wahrscheinlich, dass das Suchfenster, das inkremental sein kann, kleiner gemacht werden kann und dass die Anzahl Kandidatbewegungsvektoren reduziert werden kann, während eine gleiche Leistung wie bei dem herkömmlichen Bewegungsschätzer erhalten wird. Ein günstiger Nebeneffekt der reduzierten Anzahl Bewegungsvektorkandidaten ist, dass die Rechen- und Speicherbandbreitenanforderungen des Bewegungsschätzungsprozesses stark reduziert werden.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung umfasst:

– eine Codiererkette, entworfen zum Transformieren nicht komprimierter Bilder in komprimierte Bilder mit einem Anfang und einem Ende, und mit nacheinander: einem Bewe gungsschätzer, einem diskreten Kosinustransformator, einem Quantisierer und einem Laufpegelcodierer;
– eine Decoderkette, entworfen zum Transformieren komprimierter Bilder in nicht komprimierte Bilder, mit einem Anfang und einem Ende, und mit nacheinander: einem Laufpegeldecoder, einem invertierten Quantisierer, einem invertierten diskreten Kosinustransformator und einem Bewegungskompensator;
– einen variable-Länge Codierer; und
– den Bildneuordner, der zwischen dem Ende der Codiererkette und dem Anfang der Decoderkette vorgesehen ist.

In dieser Ausführungsform, die durch die vorliegende Architektur stark beeinflusst ist, ist die Lage des Bildneuordners hinter dem Laufpegelcodierer (RLE) und vor dem variable-Länge Codierer (VLE). Die Lage der Bildneuordners kann im Grunde überall in der Codiererkette sein, die sich von dem diskreten Kosinustransformator (DCT) zu dem variabe-Länge-Codierer (VLE) erstreckt. Wenn er an dem VLE-Ende vorgesehen wird, bedeutet dies einen geringen Speicherraum, aber einen entsprechenden großen Rechenaufwand zur Dekompression. Auf gleiche Weise, wenn näher bei dem DCT vorgesehen, bedeutet dies weniger Rechenaufwand, aber mehr Speicherkapazität. Firmeneigene eingebettete Kompressions- und Dekompressionstechniken, verlustbehaftet und verlustfrei, können angewandt werden zum weiteren Reduzieren der Speicheranforderungen, für eine bestimmte Lage des Bildneuordners in der Codiererkette. Die Wahl der Lage beeinflusst den Typ und die Komplexität des eingebetteten Kompressionsalgorithmus. Der variable-Länge Codierer kann entworfen sein beispielsweise zum Durchführen einer Huffman-Codierung oder einer arithmetischen Codierung.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung ist entworfen zum Neuordnen wenigstens eines der prädiktiven zwischenbildcodierten Bilder in ein bidirektional zwischenbildcodiertes Bild. Nicht komprimierte Bilder werden in zwei Phasen zu komprimierten bidirektional zwischenbildcodierten Bildern transformiert. In einem ersten Durchgang werden nicht komprimierte Bilder in prädiktive zwischenbildcodierte Bilder umgewandelt. In einem zweiten Durchgang können diese letzteren Bilder in bidirektionale zwischenbildcodierte Bilder umgewandelt werden. Dies wird nachstehend detailliert erläutert. In dem ersten Durchgang werden die eintreffenden nicht komprimierten Bilder als ein Strom von I-Bildern, P-Bildern und B_vorwärts-Bildern komprimiert, wobei wir B_vorwärts-Bilder als B-Bilder mit nur Vorwärtsprädiktion von dem vorhergehenden Bezugsbild definieren. Es sei bemerkt, dass die P-Bilder und die B_vorwärts-Bilder einander in ihrer Struktur entsprechen, aber im Gebrauch voneinander abweichen: die P-Bilder können als Bezugsbilder dienen, während die B_vorwärts-Bilder dies nicht können, sondern später bidirektional zwischenbildcodierte Bilder werden. Wenn beispielsweise die beabsichtigte Gruppe von Bildern (GOP) Struktur {I, B, B, P, B, B, P} ist, werden die Bilder in dem ersten Durchgang wie folgt codiert: {B_vorwärts, B_vorwärts, P, B_vorwärts, B_vorwärts, P}. Diese komprimierten Bilder werden in dem Bildneuordner einstweilig gespeichert. Die I- und P-Bilder, die auch die Bezugsbilder formen, verlassen den Bildneuordner als erste, während die B_vorwärts Bilder, die dazwischen liegen, nachher folgen, aber nicht bevor sie als B-Bilder neu codiert worden sind. Die komprimierten I-Bilder und P-Bilder, die die Bezugsbilder bilden, werden dem Bildneuordner entnommen, wenn erforderlich, dekomprimiert und in einer Bezugsbilddatei gespeichert, die den erforderlichen Vorwärts- und Rückwärtsbezugbildern Platz bietet. In dem zweiten Durchgang werden die gespeicherten B_vorwärts-Bilder dadurch regeneriert, dass sie aus dem Bildneuordner extrahiert und mit Hilfe der Decoderkette dekomprimiert werden. Die regenerierten B_vorwärts-Bilder werden danach als B-Bilder codiert, mit einer hinzugefügten Rückwärtsprädiktion. Die Rückwärtsprädiktion erfolgt von dem künftigen Bezugsbild aus, das vorher extrahiert worden ist, und ist in dem Bildneuordner vorhanden. Ggf. wird die Vorwärtsprädiktion erneuert. Dies kann günstig sein, weil in dem zweiten Durchgang Information von anderen Vektorfeldern einverleibt werden kann, was zu einer besseren Bewegungsschätzung führt. Bewegungsvektoren werden durch einstweilige Interpolation der am nächsten liegenden Bezugsbilder auf drei verschiedene Weisen berechnet, d.h. vorwärts, rückwärts und bidirektional; das Ergebnis, das den kleinsten Prädiktionsfehler liefert. Wird beibehalten. Die auf diese Weise geschaffenen B-Bilder werden danach wieder mit Hilfe der Codiererkette komprimiert und fließen durch den Bildneuordner. Der Ausgang des Bildneuordners ist Übertragungsordnung. So ist beispielsweise durch Verwendung der oben genannten GOP Struktur die Übertragungsausgangsordnung wie folgt: {I, P, B, B, P, B, B}. Die Bilder, die den Bildneuordner verlassen, werden durch den variable-Länge Codierer zum Bilden eines Bitstroms noch weiter komprimiert. Es sei bemerkt, dass für eine zuverlässige Regeneration die Qualität der B_vorwärts Bilder hoch genug sein soll. Dies bedeutet eine feine Quantisierung, die von der der I-, P- und B-Bilder abweichen könnte, die zur Übertragung ausgesendet werden.
Es ist ein Vorteil dieser Ausführungsform, dass es eine Freiheit gibt um die Position der Bezugsbilder nach dem ersten Durchgang zu wählen. Komprimierte Bilder, die bei dem Bildneuordner anlangen, die anfangs als P bezeichnet wurden, können als B_vorwärts neu zugeordnet werden um die Prädiktionstiefe zu erweitern. Das Umgekehrte, zum Neuzuordnen von B_vorwärts als P-Bild und zum Festlegen desselben als Bezugsbild gilt auch. Während der Kompression wird mehr statistische Information über das Bild erhalten, die mit Vorteil benutzt werden kann bei dem Treffen von Entscheidungen. Statistische Information bezieht sich auf beispielsweise die Größe der Bewegungsvektoren und den Prädiktionsfehler.
Es ist ein weiterer Vorteil dieser Ausführungsform, dass der Kompressionsgrad relativ hoch sein kann. Es ist möglich, den zweiten Durchgang zu umgehen und die B_vorwärts Bilder unmittelbar über den Bildneuordner dem variable-Länge Codierer zuzuführen. Dieser Typ der Codierung ist wenigstens bekannt für {I, B_vorwärts, P, B_vorwärts, P, ... } Sequenzen. Der Kompressionsgrad von B_vorwärts Bildern kann höher sein als für P-Bilder, was zu einem gesamten höheren Kompressionsgrad als bei einem gleichen Kompressionsgrad führt.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung ist entworfen zur Neucodierung wenigstens eines der prädiktiven zwischenbildcodierten Bilder in ein prädiktives zwischenbildcodiertes Bild durch Anpassung der prädiktiven Zwischenbildcodierung. In dem zweiten Durchgang kann Information von anderen Vektorfeldern einverleibt werden, was zu einer besseren Bewegungsschätzung führt. Außerdem kann die prädiktive Zwischenbildcodierung mit Hilfe von Requantisierung angepasst werden. Der Vorteil der Requantisierung ist, dass dadurch ermöglicht wird, die verfügbaren Bits, die je Bild zugeordnet werden sollen, angepasst werden. Der Quantisierer kann statistische Information verwenden, erzielt während der Kompression des ersten Durchgangs, um auf adaptive Weise die Quantisierung über das Bild zu variieren. Dies ermöglicht es, auf effiziente Weise und mit einer gleichmäßigen Qualität eine gute Codierung zu erreichen.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung ist entworfen zum Durchführen von MPEG-Codierung an den nicht komprimierten Bildern, was zu komprimierten Bildern führt. Es können mehrere Typen von MPEG-Codierung durch mehrere Ausführungsformen, je nach der vorliegenden Erfindung, beispielsweise MPEG-1, MPEG-2 oder MPEG-4, durchgeführt werden.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung ist entworfen um die Anzahl komprimierter Bilder anzupassen, die einen Kompressionsgrad haben und die gleichzeitig in dem Bildneuordner gespeichert werden durch Änderung des Kompressionsgrades der komprimierten Bilder. Der Betrag an erforderlichem Speicherraum für den Bildneuordner ist abhängig von:

– der Größe der nicht komprimierten Bilder,
– der Anzahl aufeinander folgender B-Bilder zwischen den I- und P-Bildern, aus als Prädiktionstiefe bezeichnet, und
– dem Kompressionsgrad der komprimierten Bilder.

Wenn der verfügbare Speicher für den Bildneuordner fest ist, dann ist es möglich, den Kompressionsgrad der komprimierten Bilder zu variieren zur Steigerung der Anzahl Bilder, die simultan gespeichert werden können. Die meisten Codierer sind auf höchstens zwei aufeinander folgende B-Bilder begrenzt. Mit dieser Ausführungsform des Videocodierers nach der vorliegenden Erfindung kann die Anzahl aufeinander folgender zwischen den I- und den P-Bildern übertragener B-Bilder gesteigert werden. Die Größe der komprimierten Bilder kann beispielsweise durch den Quantisierungspegel mit einem Kompromiss für die Qualität beeinflusst werden.
Eine Ausführungsform des Videocodierers nach der vorliegenden Erfindung ist entworfen, damit dieser imstande ist, zu selektieren, welcher der nachfolgenden Typen von Neucodierung angewandt werden soll:

– Neucodierung prädiktiver zwischenbildcodierter Bilder in bidirektional zwischenbildcodierte Bilder,
– Neucodierung prädiktiver zwischenbildcodierter Bilder in bidirektional zwischenbildcodierte Bilder einschließlich einer erneuerten Vorwärtsprädiktion; oder
– Neucodierung prädiktiver zwischenbildcodierter Bilder in prädiktive zwischenbildcodierte Bilder durch Anpassung der prädiktiven Zwischenbildcodierung.

Diese Ausführungsform eignet sich für Laufzeitskalierung, d.h. sie ist parameterisiert um verschiedene Lösungen mit verschiedenen Eigenschaften zu haben. Diese Ausführungeform des Videocodierers kann in der Laufzeit zwischen den verschiedenen Neucodierungstypen umschalten, die je einen Punkt in den Raum der Rechenleistung, Speicheranforderungen, Speicherbandbreite, Leistung, Codierungseffizienz und Qualität setzen. Nebst dieser Laufzeitskalierbarkeit ist es auch möglich, preisgünstigere Versionen der Co diererkette und der Decoderkette einzuverleiben, beispielsweise nicht kooperationsbereite DCT und dergleichen, die weniger Rechenleistung oder Bandbreite erfordern, und zwar auf Kosten von beispielsweise Qualität. Es ist empfehlenswert, gelten zu lassen, dass die interne Decodierung der Bezugsbilder entsprechend Codierungsnormen durchgeführt wird.
Die zweite Aufgabe der vorliegenden Erfindung wird dadurch erfüllt, dass die Videocodieranordnung einen Videocodierer aufweist, der entworfen ist zur Umwandlung einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder, wobei diese Anordnung einen Bildneuordner aufweist, dadurch gekennzeichnet, dass der Bildneuordner entworfen ist zur Neuordnung einer Anzahl komprimierter Bilder.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine schematische Darstellung einer Ausführungsform des Videocodierers,
2 eine schematische Darstellung eines Beispiels einer Gruppe von Bildern,
3 eine Darstellung der Zweistufenprädiktion,
4 eine schematische Darstellung von Exemplaren von Datentypen im Kontext eines Bewegungsschätzers, und
5 eine schematische Darstellung von Elementen des Videorecorders.
1 zeigt schematisch eine Ausführungsform des Videocodierers 100, der entworfen ist zum Transformieren einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder. Der Videocodierer 100 umfasst:

– eine Codiererkette 102 mit einem Anfang und einem Ende, und mit nacheinander: einem Bewegungsschätzer 124, einem diskreten Kosinustransformator 126, einem Quantisierer 128 und einem Laufpegelcodierer 129;
– eine Decoderkette 116 mit einem Anfang und einem Ende und mit nacheinander: einem Laufpegeldecoder 123, einem invertierten Quantisierer 122, einem invertierten diskreten Kosinustransformator 120 und einem Bewegungskompensator 118;
– einen variable-Länge Codierer 134;
– einen Bildneuordner 104, der sich zwischen dem Ende der Codiererkette 102 und dem Anfang der Decoderkette 116 befindet;
– einen Bezugsbildspeicher 103 zum Speichern vorhergehender Bezugsbilder 130 und künftiger Bezugsbilder 132.

Der Bildneuordner 104 ist entworfen zum Festhalten einer Anzahl komprimierter Bilder. Die nachfolgenden Bildtypen können gespeichert werden: I-Bilder 106, P-Bilder 108, B_vorwärts-Bilder 109 und B-Bilder 110.
Die eintreffende Sequenz nicht komprimierter Bilder geht in den Videocodierer 100 an der Eingangsbüchse 112 hinein. Wir beschreiben die Codierung von Bildern auf einer Makroblockbasis, d.h. Blöcke von 16 × 16 Pixeln. In jedem Bild werden Makroblöcke in einer Sequenz von links nach rechts codiert. Für einen bestimmten Makroblock wird die Codierungsmode gewählt. Dies ist abhängig von dem Bildtyp und der Effektivität der bewegungskompensierten Prädiktion. Abhängig von der Codierungsmode wird eine kompensierte Prädiktion des Inhalts des Makroblocks auf Basis vergangener und/oder künftiger Bezugsbilder durch den Bewegungsschätzer 124 gebildet. Diese Bezugsbilder werden aus dem Bezugsbildspeicher 103 abgerufen. Die Prädiktion wird von den wirklichen Daten in dem aktuellen Makroblock subtrahiert, d.h. Pixel in dem nicht komprimierten Bild, zum Bilden eines Prädiktionsfehlers. Es sei bemerkt, dass ein Prädiktionsfehler eine Matrix von Pixeln ist. Der Prädiktionsfehler ist Eingabe für den diskreten Kosinustransformator 127, der den Prädiktionsfehler in 8 × 8 Pixelblöcke aufteilt und eine diskrete Kosinustransformation an jeweils 8 × 8 Pixelblöcken durchführt. Der resultierende zweidimensionale 8 × 8 Block von DCT Koeffizienten ist Eingabe für den Quantisierer 128, der eine Quantisierung durchführt. Quantisierung beeinträchtigt hauptsächlich die hohen Frequenzen. Das menschliche Gesichtssystem ist weniger empfindlich für Bildverzerrungen mit hohen Frequenzen. Der quantisierte zweidimensionale 8 × 8 Block mit DCT-Koeffizienten wird zickzackweise abgetastet und durch den Laufpegelcodierer 129 in einen eindimensionalen String quentisierter DCT Koeffizienten umgesetzt. Dieser String stellt ein komprimiertes Bild dar. Ein derartiges komprimiertes Bild kann in dem Bildneuordner 104 zur späteren Verwendung gespeichert werden, beispielsweise um als Bezugsbild zu dienen. Ein komprimiertes Bild kann auch in einen codierten String variabler Länge umgesetzt werden. Diese Umsetzung erfolgt durch den variable-Länge Codierer 134.
Nebst dem Prädiktionsfehler wird andere Information, beispielsweise der Typ des Bildes und das Bewegungsvektorfeld, auf ähnliche Weise codiert.
Bewegungsschätzung erfordert Bezugsbilder. Sowohl vorhergehende Bezugsbilder 130 als auch künftige Bezugsbilder werden mit Hilfe der Decoderkette 116 aus komprimierten Bildern rekonstruiert. Komprimierte Bilder werden erforderlichenfalls aus dem Bildneuordner 104 abgerufen. Sie werden nacheinander von dem Laufpegeldecoder 123, dem invertierten Quantisierer 122, dem invertierten diskreten Kosinustransformator 120 und dem Bewegungskompensator 118 verarbeitet. Diese vier Einheiten erledigen die invertierten Vorgänge in Bezug auf die vier Einheiten der Codiererkette 102, aber in umgekehrter Reihenfolge. Nach der Rekonstruktion werden die Bezugsbilder vorübergehend in dem Bezugsbildspeicher gespeichert um für die Bewegungsschätzung für ein nachfolgendes nicht komprimiertes Bild verwendet zu werden.
2 zeigt schematisch eine Sequenz von Bildern 202–206. Die nachfolgenden Bildtypen lassen sich dabei unterscheiden:

– I-Bilder 202 und 226,
– P-Bilder 208, 214 und 220, und
– B-Bilder 204, 206, 210, 212, 216, 218, 222 und 224.

Ein Teil der Sequenz wird als Gruppe von Bildern (GOP) bezeichnet. 2 zeigt ein Beispiel einer MPEG-Gruppe von Bildern (GOP) für N=3 und M=12, wobei:

– N der Abstand, in Anzahl Bilder, zwischen zwei aufeinander folgenden I-Bildern 202 und 226 ist, die eine GOIP definieren;
– M der Abstand, in Anzahl Bilder, zwischen zwei aufeinander folgenden P-Bildern 208, 214 und 220 ist.

Die gekrümmten Pfeile, beispielsweise 228, geben an, dass ein Bild als Bezugsbild verwendet wird zum Codieren eines anderen Bildes. So wird beispielsweise das I-Bild 202 als Bezugsbild zum Vorhersagen und Codieren des P-Bildes 208 verwendet. Das P-Bild 208 wird an sich wieder verwendet zum Vorhersagen des P-Bildes 214 und zum Deduzieren der B-Bilder 204, 206, 210 und 212, angegeben durch die gekrümmten Pfeile 230, 232, 234 bzw. 236.
3 zeigt schematisch eine Sequenz von Bildern 302–320 zweimal:

– nach einem ersten Durchgang, angegeben als Durchgang 1, durch den Videocodierer, wie in 1 beschrieben, und
– nach einem zweiten Durchgang, angegeben als Durchgang 2, durch den Videocodierer, wie in 1 beschrieben.

Die nachfolgende Tabelle zeigt, welche Bildertypen nach dem ersten und nach dem zweiten Durchgang unterschieden werden können und zeigt die Bezugswerte, wie diese in der Zeichnung verwendet werden:
Die gekrümmten Pfeile, beispielsweise 322, geben an, dass ein Bild als Bezugsbild zum Codieren eines anderen Bildes verwendet wird. So wird beispielsweise das I-Bild 302 als Bezugsbild zum Vorhersagen und Codieren des P-Bildes 308 verwendet. Das P-Bild 308 wird an sich zum Deduzieren der B-Bilder 305, 307, 310 und 312 verwendet, angegeben durch die gekrümmten Pfeile 328, 330, 332 bzw. 334.
4 zeigt schematisch einige Exemplare von Datentypen in dem Kontext einer Codiererkette 102, in Bezug auf Bewegungsschätzung. Die nachfolgenden Exemplare sind dargestellt:

– ein zu komprimierendes, nicht komprimiertes Bild 402
– ein Bezugsbild 404
– eine Prädiktion 406
– ein Bewegungsvektorfeld 408, und
– ein Prädiktionsfehler 410.

Auf Basis eines zu komprimierenden, nicht komprimierten Bildes 402 und eines Bezugsbildes 404 werden eine Prädiktion 406 und ein Bewegungsvektorfeld 408 berechnet. Die Prädiktion 406 wird von dem nicht komprimierten Bild 402 subtrahiert. Das Ergebnis ist ein Prädiktionsfehler 410. Der Prädiktionsfehler 410 und das Bewegungsvektorfeld 408 werden mit Hilfe des restlichen Teils der Codiererkette 102 codiert.
5 zeigt Elemente eines Videorecorders 500 nach der vorliegenden Erfindung. Der Videorecorder 500 hat ein Aufnahmemittel 508 zum Aufnehmen eines Videosignals, das aufzuzeichnende Bilder darstellt. Das Videosignal kann extern erzeugt und zu dem Videorecorder 500 übertragen werden. In dem Fall kann das Signal ein Sendesignal sein, das über eine Antenne oder ein Kabel empfangen wird. Das Videosignal kann intern erzeugt werden, mit Hilfe einer ladungsgekoppelten Anordnung (CCD) 502. Der Videorecorder 500, beispielsweise ein Camcorder, kann tragbar sein. Der Videorecorder 500 hat weiterhin einen Videocodierer 100 zum Komprimieren des eingefangenen Videosignals und einen Speicher 506 zum Speichern des Bitstroms, der das komprimierte Videosignal darstellt. Übertragung des komprimierten Videosignals ist auch möglich. Das komprimierte Videosignal wird an der Ausgangsbuchse 504 geliefert. Der Videocodierer 100 ist wie in 1 beschrieben, implementiert.
Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche alternative Ausführungsformen zu entwerfen. In den Patentansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch begrenzend betrachtet werden. Das Wort "umfassen" schließt das Vorhandensein von Elementen oder Schritten anders als die in einem Anspruch genannten nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus. Die vorliegende Erfindung kann mit Hilfe von Hardware mit vielen einzelnen Elementen und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In dem Anordnungsanspruch, in dem mehrere Mittel aufgelistet sind, können viele dieser Mittel in ein und demselben Hardware-Item ausgebildet sein.

Claims

Videocodierer (100), entworfen zum Transformieren einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder, der einen Bildneuordner (104) aufweist, dadurch gekennzeichnet, dass der Bildneuordner (104) den Neuordnungsvorgang nur an den genannten komprimierten Bildern durchführt.
Videocodierer (100) nach Anspruch 1, dadurch gekennzeichnet, dass die komprimierten Bilder prädiktive zwischenbildcodierte Bilder (108) oder bidirektional zwischenbildcodierte Bilder (110) sind.
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er die nachfolgenden Elemente umfasst: – eine Codiererkette (102), entworfen zum Transformieren nicht komprimierter Bilder in komprimierte Bilder mit einem Anfang und einem Ende, und mit nacheinander: einem Bewegungsschätzer (124), einem diskreten Kosinustransformator (126), einem Quantisierer (128), und einem Laufpegelcodierer (129); – eine Decoderkette (116), entworfen zum Transformieren komprimierter Bilder in nicht komprimierte Bilder, mit einem Anfang und einem Ende, und mit nacheinander: einem Laufpegeldecoder (123), einem invertierten Quantisierer (122), einem invertierten diskreten Kosinustransformator (120), und einem Bewegungskompensator (118); – einen variable-Länge Codierer (134); und – den Bildneuordner (104), der zwischen dem Ende der Codiererkette (102) und dem Anfang der Decoderkette (116) vorgesehen ist.
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er entworfen ist zum Neuordnen wenigstens eines der prädiktiven zwischenbildcodierten Bilder (108) in ein bidirektional zwischenbildcodiertes Bild (110).
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er ent worfen ist zum Neuordnen wenigstens eines der prädiktiven zwischenbildcodierten Bilder (108) in ein prädiktives zwischenbildcodiertes Bild (108) durch Anpassung der prädiktiven Zwischenbildcodierung.
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er entworfen ist zum Durchführen von MPEG-Codierung an den nicht komprimierten Bildern, was zu komprimierten Bildern führt.
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er entworfen ist zum Anpassen der Anzahl komprimierter Bilder, mit einem Kompressionsgrad und die gleichzeitig in dem Bildneuordner (104) gespeichert werden können, durch Variierung des Kompressionsgrades der komprimierten Bilder.
Videocodierer (100) nach Anspruch 2, dadurch gekennzeichnet, dass er entworfen ist um selektieren zu können, welcher der nachfolgenden Neucodierungstypen angewandt werden soll: – Neucodierung prädiktiver zwischenbildcodierter Bilder (108) in bidirektionale zwischenbildcodierte Bilder (110); oder – Neucodierung prädiktiver zwischenbildcodierter Bilder (108) in prädiktive zwischenbildcodierte Bilder (108) durch Anpassung der prädiktiven Zwischenbildcodierung.
Videoaufzeichnungsgerät (500), das die nachfolgenden Elemente umfasst: – Erfassungsmittel (502) zum erfassen von Videodaten, die eine Sequenz nicht komprimierter Bilder darstellen, – einen Videocodierer (100), der entworfen ist zum Transformieren einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder, was eine Neuordnungsbilderdatei (104) umfasst; und – Speichermittel (506) zur Speicherung von Daten, die komprimierte Bilder darstellen, dadurch gekennzeichnet, dass der Bilderneuordner (104) den Neuordnungsvorgang nur an den genannten komprimierten Bildern durchführt.
Videoaufzeichnungsgerät (500) nach Anspruch 9, dadurch gekennzeichnet, dass die komprimierten Bilder prädiktive zwischenbildcodierte Bilder (108) oder bidirektional zwischenbildcodierte Bilder (110) sind.
Videoaufzeichnungsgerät (500) nach Anspruch 9, dadurch gekennzeichnet, dass der Videocodierer entworfen ist zum Neuordnen wenigstens der prädiktiven zwischenbildcodierten Bilder (108) in ein bidirektional zwischenbildcodiertes Bild (110).
Videoaufzeichnungsgerät (500) nach Anspruch 9, dadurch gekennzeichnet, dass der Videocodierer entworfen ist zum Neucodieren wenigstens eines der prädiktiven zwischenbildcodierten Bilder (108) in ein prädiktives zwischenbildcodiertes Bild (108), indem die prädiktive Zwischenbildcodierung angepasst wird.