DE19734882C2 - Verfahren zum Kodieren von Bewegungsvektoren bei Filmaufnahmen - Google Patents

Description

Die Erfindung betrifft eine Bewegungsvektorkodierung entsprechend MPEG-4, und insbesondere ein Verfahren zum Kodieren eines Bewegungs­ vektors bei Filmaufnahmen, das geeignet ist, die Gesamtbitrate bei einer Filmaufnahmekodierung zu reduzieren.

Der Entwurf eines MPEG(Moving Picture Expert Group)-4 Standards, der in Vorbereitung ist, ist folgender.

Der MPEG-4 verfolgt eine Technik, die völlig verschieden von den Techni­ ken des MPEG-1 und des MPEG-2 ist, die bisher benutzt wurden, um mit dem gegenwärtigen Trend fertigzuwerden, bei welchem die Grenzen der Kommunikations-, Computer- und Rundfunksendetechniken im Hinblick auf Multimediatechniken wegbrechen. Das heißt, die Aufgabe des MPEG-4 liegt sowohl in der Realisation einer umfassenden Technik, die das gesam­ te Gebiet der obigen Techniken einschließen kann, die ihre technischen Innovationen unabhängig erlangt haben, als auch in der Erforschung von Gebieten, auf welche die neue Technik anwendbar ist. Die Richtung, die der MPEG-4 im großen verfolgt, liegt in der Realisation einer Technik, die eine AV(Audio und Video)-Kodierung bei einer besonders niedrigen Bitrate gestattet, und in einer neuen Technik, die vollständig verschieden von den bisherigen Techniken ist.

Um die Technik, die eine AV-Kodierung mit einer besonders niedrigen Bi­ trate gestattet, zu realisieren, wurden die folgenden Techniken vorge­ schlagen.

• 1. Eine völlig neue Kodierungstechnik, bei der die DCT-Transformations­ technik, die beim MPEG-1 und 2 benutzt wird, nicht benutzt wird, z. B. das Wavelet-Kodierungssystem, das weniger Verzerrungen an Blockgrenzen und eine hohe Kodierungseffektivität aufweist.
• 2. Eine Technik, welche die Bewegungskompensation in einer anderen Art ausführt als die Kompensation auf Blockbasis des MPEG-1 und 2, der die Bewegungskompensation mittels einer Makroblockeinheit durchführt.
• 3. Die Kodierungstechnik auf Bereichsbasis einschließlich der Umriß-Ko­ dierungstechnik und der objektorientierten Kodierungstechnik.
• 4. Die Fraktal-Kodierungstechnik, die ein Kompressionsverhältnis von über 1/1000 erreichen kann.

Weiter gibt es acht neue Techniken, die bis jetzt noch nicht genügend reali­ siert sind und versuchen, den MPEG-4 vollständig zu realisieren; die Ver­ besserung einer Kodierungseffektivität, Skalierbarkeitsanpassung an ei­ nen Inhalt, Inhaltshandhabung und Bitstromeditierung oder -bearbei­ tung, die Verbesserung der Toleranz gegenüber Fehlern, Zugriff auf eine Multimediadatenbank, Kodierung einer Vielzahl von synchronen Daten, Hybridkodierung von natürlichen und synthetischen Daten, Verbesse­ rung eines wahlfreien Zugriffs bei einer besonders niedrigen Bitrate.

Ein herkömmliches Verfahren zum Kodieren eines Bewegungsvektors wird mit Bezug auf die beiliegende Zeichnung erläutert. Fig. 1 stellt eine Matrix dar, die eine Bewegungsvektorgrenze von 8 × 8-Bewegungsvektoren in ei­ nem 8 × 8-Modus-Makroblock zeigt. Fig. 2a bis 2d stellen Erklärungen oder Definitionen von Kandidaten-Prädiktoren für Bewegungsvektoren im 8 × 8- Modus-Makroblock dar, und Fig. 3 stellt ein Beispiel des Falls dar, wenn ein vorhergesagter Bewegungsvektor-Mittelwert außerhalb der Grenze liegt.

Bei dem MPEG-4 Standard, wie er derzeit vorliegt, wird der 8 × 8-Block­ suchbetrieb für eine Ganzpixel-Bewegungsberechnung oder -abschätzung innerhalb eines ±2 Pixel-Suchfensters durchgeführt, das auf einem 16 × 16-Bewegungsvektor zentriert ist. Daher werden alle Bewegungsvek­ toren für 4 Blöcke in dem Makroblock innerhalb der Grenze liegen, wenn ein bestimmter Makroblock im 8 × 8-Modus durchsucht wird. Die in Fig. 1 gezeigte Matrix zeigt die Grenze, in welcher die vier Blockbewegungsvekto­ ren in dem im 8 × 8-Modus durchsuchten Makroblock vorliegen können. Diese Grenze für die vier Bewegungsvektoren dient zur Verbesserung einer Kodierungseffektivität der Bewegungsvektoren. Jeder der die vier Blöcke in der Grenze repräsentierenden Bewegungsvektoren wird als Mittelwert von benachbarten drei Bewegungsvektor-Kandidaten berechnet, und die x- und y-Komponenten der Differenz zwischen den wahren und den be­ rechneten Bewegungsvektoren, MVD_X und MVD_Y, werden mit variabler Länge kodiert, was wie folgt ausgedrückt wird:

Px = Mittel(MV1x, MV2x, MV3x)

Py = Mittel(MV1y, MV2y, MV3y)

und

MVDx = MVx - Px

MVDy = MVy - Py

Die Fig. 2a und 2b veranschaulichen Bewegungsvektor-Kandidaten in ei­ nem 8 × 8-Modus entsprechend einem Algorhythmus zur Berechnung eines Bewegungsvektors im MPEG-4.

Obwohl eine Grenze für die Bewegungsvektorberechnung in Fig. 1 gezeigt ist, kann diese Grenze ein MPEG-4 VM(Verification Model, Überprüfungs­ modell) aus folgenden Gründen nicht perfekt unterstützen.

Wenn die Bewegungsvektor-Vorhersagekandidaten in dem 8 × 8-Modus- Makroblock durchgesehen oder nachgeprüft werden, kann es mit Bezug auf die Fig. 2a bis 2d erkannt werden, daß der Fall, daß die Bewegungs­ vektor-Vorhersagekandidaten, von denen Mittelwerte zur Berechnung der Bewegungsvektoren benutzt werden, außerhalb der Grenze der Bewe­ gungsvektoren in einem 8 × 8-Modus liegen, nur der Fall von MV2 von Block 2 ist, wenn der Fall von Block 1 ausgeschlossen wird. Da nur einer der 3 Bewegungsvektor-Vorhersagekandidaten in dem 8 × 8-Modus-Makroblock liegt, kann ein aus dem vorhergesagtem Wert der mittleren Werte erhalte­ ner Absolutwert von MVD2 außerhalb einer Grenze von 5,0 liegen. Wenn, wie in Fig. 3 gezeigt, ein MV (motion vector, Bewegungsvektor) von Block 2 als MV_{AktuellerBlock} (ein Bewegungsvektor des entsprechenden Blocks), ein MV1 von Block 2 als MV_{innenMBVorhersage} (eine Bewegungsvektorberechnung innerhalb der Grenze) und ein Mittel (MV1, MV2, MV3) von Block 2 als MV_{Mittl.Vorhersage} bezeichnet werden, kann festgestellt werden, daß es einen Fall gibt, bei dem MV_{Mittl.Vorhersage} an einem Punkt außerhalb der Grenze benachbart dazu liegt.

Daher treten beim herkömmlichen Verfahren zum Kodieren eines Bewe­ gungsvektors bei Filmaufzeichnungen Bitverluste auf, wenn ein berechne­ ter Wert von Mittelwerten außerhalb einer Grenze liegt.

Dementsprechend ist die vorliegende Erfindung auf ein Verfahren zum Ko­ dieren eines Bewegungsvektors bei einer Filmaufzeichnung oder Filmauf­ nahme gerichtet, das im wesentlichen eins oder mehrere der Probleme im Zusammenhang mit den Begrenzungen und Nachteilen des Standes der Technik beseitigt. Insbesondere ist es die Aufgabe der vorliegenden Erfin­ dung ein Verfahren zum Kodieren eines Bewegungsvektors für Filmauf­ zeichnungen bereitzustellen, das geeignet ist, die Gesamtbitrate beim Pro­ zeß der Filmaufzeichnungskodierung zu reduzieren.

Diese Aufgabe wird erfindungsgemäß durch das Verfahren nach Anspruch 1 gelöst.

Die Erfindung wird im folgenden anhand von Ausführungsbeispielen mit Bezug auf die beiliegende Zeichnung näher erläutert. Es zeigen:

Fig. 1 eine Matrix, die eine Bewegungsvektorgrenze von 8 × 8-Bewegungs­ vektoren in einem 8 × 8-Modus-Makroblock zeigt.

Fig. 2a bis 2d Definitionen von Kandidatenvorhersagung für Bewegungs­ vektoren im 8 × 8-Modus-Makroblock.

Fig. 3 ein Beispiel für den Fall, daß ein vorhergesagter Mittelwert eines Be­ wegungsvektors außerhalb einer Grenze liegt,

Fig. 4 ein Flußdiagramm der Verfahrensschritte zur Kodierung eines Be­ wegungsvektors entsprechend einem bevorzugtem Ausführungsbeispiel der vorliegenden Erfindung, und

Fig. 5a bis 5d Tabellen von Bitratenänderungen, die durch die Bewegungs­ vektor-Kodierung entsprechend einem bevorzugtem Ausführungsbeispiel der vorliegenden Erfindung bewirkt wurden.

Wenn eine auf Mittelwerten basierende Berechnung außerhalb der Grenze liegt, ist unter der Annahme, daß MV_{AktuellerBlock} eine gleichförmige Wahr­ scheinlichkeitsverteilung innerhalb des Blocks aufweist, eine erwartete Bitanzahl, die erzeugt wird, wenn MV_{Mittl.Vorhersage} oder MV_{innenMBVorhersage} als Prädiktor benutzt wird, folgende:

Erwartete Bitanzahl E(R(MV_{AktuellerBlock} - MV_{Mittl.Vorhersage})) = (R(0.5) + R(1.0) + R(1.5) + R(2.0) + R(2.5) + R(3.0) +, ---, + R(10.5))/21 = (3 + 4 + 5 + 7 + 3 . 10 + 11 . 11)/21 = 194/21 = 9.238 (wenn f_code = 1), (2 . 4 + 2 . 5 + 2 . 6 + 2 . 8 + 6 . 9 + 6 . 11 - 12)/21 = 178/21 = 8.476 (wenn f_code = 2), (4 . 5 + 4 . 6 + 4 . 7 + 4 . 9 + 5 . 10)/21 = 154/21 = 7.333 (wenn f_code = 3).

Erwarteter Bitbetrag E(R(MV_{AktuellerBlock}-MV_{innenMBVorhersage}))

= (R(0) + 2 . (R(0.5) + R(1.0) + R(1.5) +, ---, + R(5.0)))/21 = (1 + 2 . (3 + 4 + 5 + 7 + 3 . 8 + 3 . 10))/21 = 147/21 = 7 (wenn f_code = 1), = (1 + 2 . (2 . 4 + 2 . 5 + 2 . 6 + 2 . 8 + 2 . 9))/21 = 129/21 = 6.143(wenn f_code = 2), (1 + 2 . (4 . 5 + 4 . 6 + 2 . 7))/21 = 117/21 = 5.571 (wenn f_code = 3).

wobei R(MVD) eine Anzahl von Bit ist, die von MVD erzeugt ist.

Im Hinblick auf die Wahrscheinlichkeit kann erkannt werden, daß es etwa zwei Zunahmebits in jeder Komponente für jeden f_code gibt, wenn MV_{Mittl.Vorhersage} außerhalb der Vektorgrenze liegt.

Das Verfahren zum Kodieren eines Bewegungsvektors nach der vorliegen­ den Erfindung verhindert die Zunahme von Bits, wenn MV_{Mittl.Vorhersage} außerhalb der Vektorgrenze liegt. Im Fall, daß MV_{Mittl.Vorhersage}, welcher als mittlerer Prädiktor benutzt wird, außerhalb der Vektorgrenze liegt, wird MV_{innenMBVorhersage} Selektiv benutzt. Das heißt, die für eine Bewegungsvek­ torvorhersage (PMV) für den Block 2 (ein Fall von außerhalb der Grenze) ausgewählten Bereiche werden wie folgt geändert.

PMV = Mittel(MV1, MV2, MV3), wenn (ABS(PMV - MV1) < THR), PMV = MV1,

wobei THR eine aktuelle Bewegungsvektorgrenze im 8 × 8-Modus bezeich­ net. Das Maximum von THR ist 5,0. Der Fall, daß der Bewegungsvektor- Vorhersagekandidat außerhalb der Grenze liegt ist höchstwahrscheinlich der Fall des zweiten 8 × 8-Blocks (Fig. 2b) beim gegenwärtigen MPEG-4. Da­ her wird bei dem bevorzugten Ausführungsbeispiel der Erfindung nur der Fall von Block 2 auf den vorerwähnten Algorhithmus angewendet, in wel­ chem THR verglichen wird mit ABS(PMV - MV1).

Das Verfahren zum Kodieren eines Bewegungsvektors bei einer Filmauf­ zeichnung, das dieses Prinzip anwendet, wird nun anhand eines bevorzug­ ten Ausführungsbeispiels der Erfindung erklärt. Entsprechend Fig. 4 star­ tet der Prozeß mit Auswählen eines 8 × 8-Modus als Suchmodus eines Ma­ kroblocks zum Kodieren eines Bewegungsvektors (401S). Dann wird ein Bewegungsvektor-Vorhersagekandidat für den ersten (Block1) von den vier 8 × 8-Blöcken in dem Makroblock gesucht (420S). Der Abschluß der Su­ che in ersten, zweiten und dritten 8 × 8-Blöcken nach entsprechenden Bewegungsvektor-Vorhersagekandidaten wird festgestellt (403S), und, wenn festgestellt wird, daß die Suche in Block1 nach den Bewegungsvek­ tor-Vorhersagekandidaten beendet ist, wird die Suche in Block 2, Block 3, Block 4 nach den ersten, zweiten und dritten Bewegungsvektor-Vorhersa­ gekandidaten MV1, MV2 und MV3 für jeden der Blöcke nacheinander durchgeführt (404S). Dann wird der mittlere Vorhersagewert des Bewe­ gungsvektors MV_{Mittl.Vorhersage} für den ersten 8 × 8-Block verglichen mit der Bewegungsvektorgrenze (405S). Der innerhalb der Bewegungsvektor­ grenze liegende mittlere Vorhersagewert des Bewegungsvektors MV_{Mittl.Vorhersage} wird im Schritt 405S (406S) festgestellt. Wenn der mittlere Vorhersagewert des Bewegungsvektors innerhalb der Grenze gefunden wird, wird er als ein Vorhersagewert zum Kodieren eines korrespondieren­ den 8 × 8-Blocks genommen (407S). Wenn er nicht innerhalb der Grenze liegt, wird ein Absolutwert des Bewegungsvektormittelwerts minus dem Vektorwert des Vorhersagekandidaten verglichen mit einem vorgegebenen Schwellenwert THR (407S). Wenn THR größer ist, als die ersten, zweiten und dritten Bewegungsvektor-Vorhersagekandidaten, wird der Vektor­ wert der Vorhersagekandidaten, der innerhalb der Grenze liegt, als ein Vorhersagewert für die Kodierung des entsprechenden 8 × 8-Blocks genom­ men (409S). Wenn THR kleiner ist, wird ein mittlerer Vorhersagewert des Bewegungsvektors als ein Vorhersagewert für die Kodierung des entspre­ chenden 8 × 8-Blocks genommen (407S). Die Schritte, in denen ein mittle­ rer Vorhersagewert eines Bewegungsvektors als innerhalb der Grenze be­ stimmt wird und ein voreingestellter Wert THR zum Bestimmen eines Vor­ hersagewertes verglichen wird, werden für alle 8 × 8-Blöcke des infrageste­ henden Makroblocks wiederholt (419S). Nach der Bestimmung eines Vor­ hersagewertes wird ein Differential der Vorhersagewerte für alle Bewe­ gungsvektoren kodiert.

Das erfindungsgemäße Verfahren zum Kodieren eines Bewegungsvektors bei einer Filmaufnahme oder -aufzeichnung verhindert das Ansteigen einer Bitanzahl im Falle, daß ein MV_{Mittl.Vorhersage} außerhalb einer Bewegungsvektorgrenze liegt, wenn ein 8 × 8-Modus ausgewählt ist, d. h. der Anstieg der Bitanzahl beim Kodieren wird durch Benutzung von MV_{innenMBVorhersage} verhindert, wenn MV_{Mittl.Vorhersage}, der als ein mittlerer Prädiktor benutzt wird, außerhalb eines voreingestellten THR liegt.

Ein Ausführungsbeispiel, das die beschriebene Bewegungsvektor-Kodie­ rungstechnik nach der Erfindung benutzt, wird beschrieben. Die Fig. 5a bis 5d stellen eine Anzahl vom Bits bei einer tatsächlichen Bewegungsvek­ torkodierung unter Benutzung der erfindungsgemäßen Bewegungsvektor- Kodierungstechnik unter den folgenden Bedingungen dar.

• 1. Ein Quantisierungsparameter QP ist für jede Sequenz festgelegt, und ein Bewegungsvektor eines übersprungenen Makroblocks ist nicht in der Berechnung enthalten.
• 2. Ein Sequenzauflösungsformat in einem fortgeschrittenem Vorhersa­ gemodus ist ein QCIF (Quarter Common Intermediate Format) (176 × 144) mit einer Rahmenrate von 10 Hz (300 Rahmen).
• 3. f_code = 1 (Bereich der MV-Suche: -16,0 bis +15.5) und die Ohne- Form-Kodierung (rechtwinklig) (No shape coding (rectangular)) wird als Kodierungstechnik benutzt.

Die Tabellen in Fig. 5a und 5b zeigen Ergebnisse von Fällen, wenn ein Block (MVD2), der einen Bewegungsvorhersagewert aufweist, der außerhalb ei­ ner Grenze entsprechend der Vorhersagewertbestimmung nach der Erfin­ dung liegt (Fig. 5 zeigt einen Fall von QP = 10 und Fig. 5b zeigt einen Fall von QP = 20), und die Tabellen in Fig. 5c und 5d zeigen Ergebnisse von Fällen, wenn alle Bewegungsvektoren kodiert werden (Fig. 5c zeigt einen Fall von QP = 10 und Fig. 5d zeigt einen Fall von QP = 20).

Wie gezeigt, kann eine Bewegungsvektor-Kodierung effektiver (ein Zu­ wachs der Anzahl von Bits wird verhindert) durchgeführt werden, als eine MPEG-4 Video VM 5,0, die genügt, um auf VM 6,0 angewendet zu werden.

Das erfindungsgemäße Verfahren zum Kodieren eines Bewegungsvektors bei Filmaufnahmen hat den Vorteil, daß es eine effektive Kodierung des Bewegungsvektors durch Verhindern einer Zunahme der Anzahl von Bits durch Benutzung eines MV_{innenMBVorhersage}-Wertes als Vorhersagewert ge­ stattet, wenn ein als mittlerer Prädiktor benutzter MV_{Mittl.Vorhersage}-Wert außerhalb einer voreingestellten Grenze liegt.

Claims (7)

1. Verfahren zum Kodieren von Bewegungsvektoren bei Filmaufnah­ men, mit folgenden Schritten:

• - Suchen erster, zweiter und dritter Bewegungsvektor-Vorhersage­ kandidaten (MV1, MV2, MV3), für jeden von ersten, zweiten, dritten und vierten Blöcken (Block1, Block2, Block3, Block4) unter vier 8 × 8-Blöcken in einem Makroblock, wenn ein 8 × 8-Modus als Suchmodus für den Ma­ kroblock ausgewählt ist,
• - Berechnen eines mittleren Vorhersagewertes eines Bewegungsvek­ tors (MV_{Mittl.Vorhersage}) für jeden der ersten, zweiten, dritten und vier­ ten Blöcke (Block1, Block2, Block3, Block4) aus den jeweiligen ersten, zweiten und dritten Bewegungsvektor-Vorhersagekandidaten (MV1, MV2, MV3),
• - Vergleichen jedes mittleren Vorhersagewertes eines Bewegungsvek­ tores (MV_{Mittl.Vorhersage}) mit einer entsprechenden Bewegungsvektor­ grenze,
• - Bestimmen des mittleren Vorhersagewertes des Bewegungsvektors als vorhergesagten Wert für die Kodierung des entsprechenden Blocks (Block1, Block2, Block3 oder Block4), wenn der mittlere Vorhersagewert des Bewegungsvektors innerhalb der Bewegungsvektorgrenze liegt, und
• - falls der mittlere Vorhersagewert des Bewegungsvektors nicht inner­ halb der Grenze liegt, Bestimmen eines Vektorwerts eines der innerhalb der Grenze liegenden Bewegungsvektor-Vorhersagekandidaten und den Vorhersagewert des Bewegungsvektor als vorhergesagten Wert (PMV) für die Kodierung des entsprechenden Blocks (Block1, Block2, Block3 oder Block4).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß, wenn festgestellt wird, daß der mittlere Vorhersagewert des Bewegungsvektors nicht innerhalb der Grenze liegt, der Schritt des Feststellens eines vorher­ gesagten Werts (PMV) eines Bewegungsvektors die folgenden Schritte ein­ schließt:

- Vergleichen eines Absolutwerts eines Mittelwerts eines Bewegungs­ vektors minus einem Vektorwert eines innerhalb der Grenze liegenden Vorhersagekandidaten mit einem voreingestellten Schwellenwert (THR) und

• - falls der Schwellenwert kleiner ist, Bestimmen eines Vektorwerts ei­ nes Bewegungsvektor-Vorhersagekandidaten, welcher innerhalb der Grenze liegt, aus den ersten, zweiten und dritten Bewegungsvektor-Vor­ hersagekandidaten als vorhergesagten Wert für die Kodierung eines ent­ sprechenden 8 × 8-Blocks.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Be­ wegungsvektorgrenze (THR) einen Maximalwert von 5,0 aufweist.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß, wenn der mittlere Vorhersagewert des Bewegungsvektors nicht innerhalb der Grenze liegt, der Schritt zur Bestimmung des vorhergesagten Werts (PMV) des Bewegungsvektors die folgenden Schritte einschließt:

• - Vergleichen eines Absolutwerts eines Mittelwerts eines Bewegungs­ vektors minus einem Vektorwert eines Vorhersagekandidaten, der inner­ halb der Grenze liegt, mit einem voreingestellten Schwellenwert (THR) und
• - falls der Schwellenwert größer ist, Bestimmen eines mittleren Vor­ hersagewertes eines Bewegungsvektors als einen vorhergesagten Wert für die Kodierung eines korrespondierenden 8 × 8-Blocks.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Be­ wegungsvektorgrenze (THR) einen Maximalwert von 5,0 aufweist.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Fall, in dem der voreingestellte Schwellenwert (THR) kleiner als ein Absolut­ wert eines Mittelwerts eines Bewegungsvektors minus einem Vektorwert eines innerhalb der Grenz liegenden Vorhersagekandidaten ist, der Fall des als zweiten durchsuchten 8 × 8-Blocks (Block 2) des Makroblocks ent­ sprechend einem MPEG-4 Bewegungsvektor-Vorhersagekandidaten Su­ chalgorhithmus ist.