EP2067359A2 - Verfahren zur datenkompression in einer videosequenz - Google Patents

Verfahren zur datenkompression in einer videosequenz

Info

Publication number
EP2067359A2
EP2067359A2 EP07820023A EP07820023A EP2067359A2 EP 2067359 A2 EP2067359 A2 EP 2067359A2 EP 07820023 A EP07820023 A EP 07820023A EP 07820023 A EP07820023 A EP 07820023A EP 2067359 A2 EP2067359 A2 EP 2067359A2
Authority
EP
European Patent Office
Prior art keywords
motion
vector
computer program
candidate
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07820023A
Other languages
English (en)
French (fr)
Inventor
Ulrich-Lorenz Benzler
Steffen Kamp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2067359A2 publication Critical patent/EP2067359A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the invention relates to a method for data compression in a video sequence, a
  • motion compensation is a significant factor in the compression performance.
  • motion estimation performed in motion compensation i. determining the motion parameters of a video sequence is very computationally intensive and most of the time in the encoding process
  • Video coding standards such as MPEG-1/2/4 and H.264 / AVC, use so-called block-based motion compensation in which individual images are divided into rectangularly partitioned pixel areas and an offset one
  • Block from a reference image is used as a prediction or prediction for each partition.
  • the coder encodes only the displacement, namely a former an. Motion vector, for each area and a structural deviation that represents the difference between the actual coded area and the prediction.
  • SVC scalable video coding
  • B slices hierarchical bi-directionally predicted pictures
  • Fast motion estimation algorithms can significantly reduce the number of computational steps, though minimizing compression efficiency. Compared to motion picture vector search, such algorithms reduce the set of motion vectors to be tested to save search patterns. A search pattern centered around the best vector candidate can be used.
  • MVP Motion Vector Predictor
  • a correlation between temporally adjacent vectors can also be estimated due to a slowly varying content within individual scenes.
  • Many methods of beam estimation use a motion vector predictor as the initial vector around which the search algorithm is centered.
  • Another approach is to use only a set of candidates consisting of motion vector predictors and vectors derived therefrom.
  • the invention relates to a method for data compression in a video sequence in which results of a motion estimation of a preceding temporal decomposition stage are used for motion compensation.
  • the results are used to predict vector candidates for the next decomposition stage, since the computational effort of motion estimation algorithms, especially when the time interval between pictures is large, is very high, which is the case, for example, with scalable video coding. It is thus envisaged to use a predictive motion estimation algorithm that includes a
  • Movement correlation is used, which is particularly in a scalable video coding, based on motion-compensated temporal filtering or the use of so-called open hierarchical bidirectionally predicted images.
  • the proposed algorithm significantly reduces the amount of computation
  • Motion estimation stage The objective and visual quality largely corresponds to that of known, comprehensive complete search algorithms.
  • the algorithm comprises a candidate set of (exact) full-pixel motion vectors for forward and backward prediction and
  • Prediction of each (sub) partition of a macroblock Prediction of each (sub) partition of a macroblock. Computation of the motion vector candidates requires access to vectors from either the current image or previously estimated image vector fields.
  • the individual candidates of the full pixel candidate set S are selected as follows:
  • Vector vector predictors are also included, as far as they are available. If the neighbor on the top right does not exist, the neighbor on the top left is used instead.
  • the temporal vector candidates for forward and backward estimation are derived in various ways because of the availability of previously determined motion vectors.
  • Backward motion vector candidates are inverted forward
  • Derived motion vectors of the current image Therefore, only motion vectors from above or to the left of the current macroblock are used due to causality constraints.
  • Two previously stored motion vectors of the left and right macroblocks relative to the current macroblock are selected as temporal vector candidates.
  • For forward motion vectors the situation is different because each of the forward motion vectors from the already estimated motion vector field of the previous frame can be used as a candidate.
  • the selected forward candidates are the inverted motion vectors of the stored motion field and are obtained from the neighbors to the right and left of the co-located macroblock.
  • the temporal interlayer vector candidates are intended to improve vector prediction. This is the case in particular in connection with a motion-compensated temporal filter or with open hierarchical bidirectionally predicted images. At each temporal decomposition stage, the time interval between doubles motion-compensated images. This would actually require an increased motion vector search range for the motion estimation. However, it is possible to combine motion vectors from earlier stages to predict movement at later stages.
  • a candidate for the temporal shift 1 is based on a pair with a forward and a backward
  • Vector set S is provided by adding each vector from the set S to a randomly selected vector T 1 , resulting in a final vector set S fma i:
  • the best candidate for the motion vector is determined by minimizing a cost function for all unique vectors of the final vector set. Subsequent full-pixel refinement of a pattern search for the best motion vector candidates may also be performed.
  • sub-pixel refinement is finally performed by evaluating the eight surrounding half-pixel locations and then by testing the eight quarter-pixel locations for the best half-pixel candidate.
  • the data rate-to-image distortion ratio cost can be compared from the two unidirectional modes and the bidirectional mode, using the two best unidirectional motion vectors without further bidirectional refinement.
  • the invention further relates to a computer program with program code means in order to perform all the steps of a method according to the invention when the computer program is executed on a computer or a corresponding arithmetic unit.
  • the invention also relates to a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out all the steps of a method according to the invention when the computer program is executed on a computer or a corresponding computer unit.
  • FIG. 1 shows two different candidate assignment schemes to illustrate the method according to the invention.
  • FIG. 2 shows the generation of a motion vector set on the basis of various information sources for a motion estimation.
  • Figure 3 shows an embodiment of the arrangement according to the invention in a schematic representation.
  • FIG. 1 shows various assignment schemes for candidates for the temporal intermediate layer.
  • a first frame 10 for the vector set s 14 2t - 2 a second frame 12 for the vector set S 14 2M and a third
  • Frame 4 for the vector set s 14 2t shown.
  • a fourth frame 16 for the vector set SVI and a fifth frame 18 for the vector set s' t are illustrated.
  • a candidate for a vector is determined for a block 20 with vector 21 V f Wd from the frame 10 and vector 22 Vbwd from the frame 14.
  • a candidate for the temporal layer 1 is thus determined based on a stored pair of forward and backward motion vectors from the previous temporal decomposition stage 1-1.
  • Figure 2 shows the generation of a motion vector candidate set 30 from various sources of information for fast and efficient
  • Motion estimation The various sources of information are a present frame 32 with a lower resolution, a previously encoded frame 34 possibly taken from a different temporal slice, and a current frame 36 with a higher spatial resolution.
  • a first dashed line 38 illustrates the inclusion of a vector 40 scaled to a higher spatial resolution in the list 30.
  • a block 42 provided in the current frame 36 shows the current macroblock 42.
  • FIG. 3 an embodiment of the arrangement according to the invention is shown as a whole with the reference numeral 50.
  • This arrangement 50 comprises a computing unit 52, a memory device 54 and an input / output unit 56, which are connected to one another via data lines 58.
  • the method for data compression is performed, wherein to be compressed data or video sequences can be received via the input / output unit 56 and also forwarded again after the compression.
  • the arithmetic unit 52 may also be provided for decompressing compressed data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

Es werden ein Verfahren zur Datenkompression in einer Videosequenz, eine Anordnung zur Durchführung des Verfahrens, ein Computerprogramm und ein Computerprogrammprodukt vorgestellt. Bei dem beschriebenen Verfahren werden zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorher gehenden zeitlichen Dekompositionsstufe verwendet.

Description

Beschreibung
Titel
Verfahren zur Datenkompression in einer Videosequenz
Die Erfindung betrifft ein Verfahren zur Datenkompression in einer Videosequenz, eine
Einrichtung zur Durchführung des Verfahrens sowie ein Computerprogramm und ein Computerprogrammprodukt.
Stand der Technik
Bei der Übertragung und Bearbeitung von Videodaten werden sogenannte Datenkompressionsverfahren eingesetzt, mit denen bspw. durch Zusammenfassen redundanter Daten der Datenumfang reduziert wird, so dass diese schneller übertragen werden können.
Bei gegenwärtigen Videocodierungsschemata stellt die Bewegungskompensation einen maßgeblichen Faktor bei der Kompressionsleistungsfähigkeit dar. Dabei ist jedoch zu berücksichtigen, dass eine bei der Bewegungskompensation durchgeführte Bewegungsabschätzung, d.h. das Bestimmen der Bewegungsparameter einer Videosequenz, sehr rechenintensiv ist und während der Codierung die meiste Zeit in
Anspruch nimmt.
Viele Videocodierungsstandards, wie beispielsweise MPEG-1/2/4 und H.264/AVC, verwenden sogenannte blockbasierte Bewegungskompensationen, bei denen einzelne Bilder in rechteckig partitionierte Bildpunktbereiche unterteilt werden und ein versetzter
Block aus einem Referenzbild als Vorhersage bzw. Prädiktion für jede Partition verwendet wird. Dabei codiert der Codierer nur die Versetzung, nämlich einen Fahrtbzw. Bewegungsvektor, für jeden Bereich und eine Strukturabweichung, die den Unterschied zwischen dem tatsächlich codierten Bereich und der Vorhersage darstellt. Bei der skalierbaren Videocodierung (SVC: scalable video coding) basierend auf einem bewegungskompensierten Zeitfilter oder hierarchischen, bidirektional prädizierten Bildern (B-slices), kann eine Korrelation von Bewegungsparametern in verschiedenen zeitlichen und räumlichen Dekompositionsstufen erwartet werden.
Algorithmen für eine schnelle Bewegungsabschätzung können die Anzahl der Rechenschritte erheblich reduzieren, obgleich die Kompressionseffizienz nur minimal verringert wird. Im Vergleich zu einer Bewegtbildvektorsuche verringern solche Algorithmen den Satz an zu testenden Bewegungsvektoren, um Suchmuster einzusparen. Dabei kann ein um den besten Vektorkandidaten zentriertes Suchmuster angewendet werden.
Bei typischen Videosequenzen überdecken sich bewegende Objekte oftmals Bildbereiche, die größer als die maximale Blockgröße der Bewegungskompensation oder die Makroblockgröße sind. Daher weisen räumlich benachbarte Bewegungsvektoren oft eine große Abhängigkeit auf, wobei diese Tatsache bei Videocodierungssystemen häufig ausgenutzt wird, indem nur der Unterschied zwischen einem gegenwärtigen Bewegungvektor und einem zugeordneten Bewegungsvektorprädiktor (MVP: motion vector predictor) codiert wird, der wiederum von kausalen, räumlich benachbarten Vektoren abgeleitet wird.
Darüber hinaus kann eine Korrelation zwischen zeitlich benachbarten Vektoren ebenfalls aufgrund eines sich nur langsam ändernden Gehalts innerhalb einzelner Szenen abgeschätzt werden. Dabei verwenden viele Verfahren zur Bwegungsabschätzung einen Bewegungsvektorprädiktor als anfänglichen Vektor, um den der Suchalgorithmus zentriert wird. Eine andere Vorgehensweise sieht vor, dass ausschließlich ein Satz von Kandidaten verwendet wird, der aus Bewegungsvektorprädiktoren und davon abgeleiteten Vektoren besteht.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Datenkompression in einer Videosequenz, bei dem zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorhergehenden zeitlichen Dekompositionsstufe verwendet werden. Die Ergebnisse werden verwendet, um Vektorkandidaten für die nächste Dekompositionsstufe vorherzusagen, da der Rechenaufwand von Algorithmen zur Bewegungsabschätzung, insbesondere wenn der zeitlich Abstand zwischen Bildern groß ist, sehr hoch ist, was bspw. beim skalierbaren Videocodieren der Fall ist. Es ist somit vorgesehen, einen prädiktiven Bewegungsabschätzungsalgorithmus einzusetzen, der eine
Bewegungskorrelation nutzt, die insbesondere bei einem skalierbaren Videocodieren vorliegt, basierend auf bewegungskompensiertem zeitlichen Filtern oder der Verwendung von sogenannten offenen hierarchischen bidirektional prädizierten Bildern.
Der vorgeschlagene Algorithmus verringert erheblich den Rechenumfang der
Bewegungsabschätzungsstufe. Dabei entspricht die objektive und visuelle Qualität weitgehend derjenigen von bekannten, umfangreichen vollständigen Suchalgorithmen.
In Ausgestaltung umfasst der Algorithmus einen Kandidatensatz von (exakten) Vollpixelbewegungsvektoren für eine vorwärts und rückwärts gerichtete Vorhersage bzw.
Prädiktion von jeder (Unter-) Partition eines Makroblocks. Eine Berechnung der Bewegungsvektorkandidaten erfordert einen Zugriff auf Vektoren von entweder dem gegenwärtigen Bild oder zuvor geschätzten Bildvektorfeldern. Die einzelnen Kandidaten des Vollpixelkandidatensatzes S werden wie folgt ausgewählt:
Null- Vektorkandidaten
Viele Szenen enthalten keine oder nur geringe Kamera- oder Hintergrundbewegungen. Daher wird ein rückwärts gerichteter Null- Vektor (0, 0) zu dem Kandidatensatz hinzugefügt.
Räumliche Vektorkandidaten
Bis zu drei Kandidaten pro Vorhersagerichtung werden von räumlich benachbarten Partitionen bzw. Abschnitten innerhalb des gegenwärtigen Bilds abgeleitet. Zunächst wird der Bewegungsvektorprädiktor betrachtet, der ebenfalls für ein differentielles Codieren des gegenwärtigen Bewegungsvektors eingesetzt und auf bekannte Weise abgeleitet ist, wie dies bspw. in der Veröffentlichung "Joint final draft international Standard (FDIS) of Joint video specification (ITU-T rec. H.264 / IS(MEC 14496- 10 - A -
AVC)" in JVT, 7th Meeting, Dokument JVT-G050, Pattaya, Thailand, März 2003, ITU- T, ISO/IEC von Thomas Wiegand und Garry Sullivan beschrieben ist.
Die B ewegungs Vektoren der Partitionen des linken Nachbarn und des Nachbarn zur rechten oben, die von den B ewegungs vektoren erhalten werden, die beim Berechnen des
B ewegungs vektorprädiktors verwendet werden, sind, soweit diese verfügbar sind, ebenfalls umfasst. Falls der Nachbar rechts oben nicht vorliegt, wird anstelle dessen der Nachbar links oben verwendet.
Zeitliche Vektorkandidaten
Die zeitlichen Vektorkandidaten für eine vorwärts gerichtete und rückwärts gerichtete Abschätzung werden aufgrund der Verfügbarkeit von zuvor bestimmten Bewegungsvektoren auf verschiedene Weise abgeleitet. Rückwärts gerichtete Bewegungsvektorkandidaten werden von invertierten vorwärts gerichteten
Bewegungvektoren des gegenwärtigen Bilds abgeleitet. Daher werden lediglich Bewegungsvektoren von oberhalb oder links des gegenwärtigen Makroblocks aufgrund von Kausalitätsbeschränkungen verwendet. Zwei zuvor gespeichterte Bewegungsvektoren der Makroblöcke links und rechts oben bezogen auf den gegenwärtigen Makroblock werden als zeitliche Vektorkandidaten ausgewählt. Bei vorwärts gerichteten Bewegungsvektoren ist die Situation eine andere, da jeder der vorwärts gerichteten Bewegungsvektoren von dem bereits abgeschätzten Bewegungsvektorfeld des vorherigen Bilds als Kandidat verwendet werden kann. Die ausgewählten, vorwärts gerichteten Kandidaten sind die invertierten Bewegungsvektoren des gespeicherten Bewegungsfelds und werden von den Nachbarn rechts und links unterhalb des gemeinsam angeordneten Makroblocks erhalten.
Zeitliche Zwischenschicht- Vektorkandidaten
Die zeitlichen Zwischenschicht- Vektorkandidaten (ILC: interlayer candidate) sind dafür vorgesehen, eine Vektorvorhersage zu verbessern. Dies ist insbesondere in Zusammenhang mit einem bewegungskompensierten zeitlichen Filtern oder bei offenen hierarchischen bidirektional prädizierten Bildern der Fall. Bei jeder zeitlichen Dekompositionsstufe verdoppelt sich der zeitliche Abstand zwischen bewegungskompensierten Bildern. Dies würde eigentlich einen erhöhten Bewegungsvektorsuchbereich für die Bewegungsabschätzung erforderlich machen. Es ist jedoch möglich, Bewegungsvektoren von früheren Stufen zu kombinieren, um die Bewegung in späteren Stufen vorherzusagen. Ein Kandidat für die zeitliche Schicht 1 wird anhand eines Paars mit einem vorwärts gerichteten und einem rückwärts gerichteten
Bewegungsvektor von der vorherigen zeitlichen Dekompositionsstufe 1 - 1 berechnet.
Da alle Kandidaten, außer der Kandidat für den Bewegungsvektorprädiktor, direkt von vorhergehenden Bildabschätzungsergebnissen abgeleitet werden, ist ein Verfahren zum Anpassen an die sich ändernde Bewegung in der Sequenz vorteilhaft. Daher ist ein
Vektorsatz S durch Hinzufügen jedes Vektors von dem Satz S zu einem zufällig ausgewählten Vektor T1 vorgesehen, was zu einem abschließenden Vektorsatz Sfmai führt:
Sfmal = {Vi, ...Vn, Vi + T1, ...Vn + Tn) .
In Ausgestaltung wird der beste Kandidat für den Bewegungsvektor durch Minimieren einer Kostenfunktion für alle eindeutigen Vektoren des abschließenden Vektorsatzes bestimmt. Eine nachfolgende Vollpixelverfeinerung einer Mustersuche um die besten Bewegungsvektorkandidaten kann ebenfalls durchgeführt werden.
Es kann vorgesehen sein, dass zunächst durch Evaluieren der acht umgebenden Halbpixelpositionen und anschließend durch Testen der acht Viertelpixelpositionen um den besten Halbpixelkandidaten abschließend eine Subpixelverfeinerung durchgeführt wird.
Zur Auswahl des Codiermodus können die Kosten des Datenraten-Bildverzerrungs- Verhältnisses aus den beiden unidirektionalen Modi und dem bidirektionalen Modus verglichen werden, wobei die beiden besten unidirektionalen Bewegungsvektoren ohne weitere bidirektionale Verfeinerung verwendet werden.
Weiterhin wird eine Anordnung vorgeschlagen, die zur Durchführung des vorstehend beschriebenen Verfahrens ausgebildet ist. Diese umfasst regelmäßig eine Recheneinheit. Die Erfindung betrifft weiterhin ein Computerprogramm mit Programmcodemitteln, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
Die Erfindung betrifft außerdem ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figur 1 zeigt zwei verschiedene Kandidatenzuordnungsschemata zur Verdeutlichung des erfindungsgemäßen Verfahrens.
Figur 2 zeigt die Erzeugung eines Bewegungsvektorsatzes anhand verschiedener Informationsquellen für eine Bewegungsabschätzung.
Figur 3 zeigt eine Ausführungsform der erfindungsgemäßen Anordnung in schematischer Darstellung. Ausführangsform der Erfindung
In Figur 1 sind verschiedene Zuordnungsschemata für Kandidaten für die zeitliche Zwischenschicht dargestellt. Im oberen Bereich ist ein erster Rahmen 10 für den Vektorsatz s14 2t-2, ein zweiter Rahmen 12 für den Vektorsatz S14 2M und ein dritter
Rahmenl4 für den Vektorsatz s14 2t dargestellt. Im unteren Bereich der Darstellung sind ein vierter Rahmen 16 für den Vektorsatz sVi und ein fünfter Rahmen 18 für den Vektorsatz s't dargestellt.
Gemäß dem oberen Teil der Figur wird ein Kandidat für ein Vektor für einen Block 20 mit Vektor 21 VfWd aus dem Rahmen 10 und mit Vektor 22 Vbwd aus dem Rahmen 14 ermittelt. Ein Kandidat für die zeitliche Schicht 1 wird somit anhand eines gespeicherten Paars eines vorwärts gerichteten und rückwärts gerichteten Bewegungsvektors aus der vorherigen zeitlichen Dekompositionsstufe 1 - 1 ermittelt.
Wie der untere Teil der Darstellung vermittelt, können grundsätzlich zwei Kandidatenzuordnungsschemata verwendet werden. So kann dies mit Vektor 23 VfW(j, ∞i durch Zuordnen der Kandidaten zu dem jeweils gemeinsam angeordneten (co-located) Block und durch Zuordnen der Kandidaten zu dem Block, der der Bewegungstrajektorie folgt, mit Vektor 24 VfWd,trj erfolgen. Der Block in s14 2t überlappt maximal den referenzierten Bereich des bestimmten Vbwd und sein gemeinsam angeordneter Block in s't ist VfWd,tτj als Kandidat zugeordnet.
Figur 2 zeigt die Erzeugung eines Bewegungsvektorkandidatensatzes 30 anhand verschiedener Informationsquellen für eine schnelle und effiziente
Bewegungsabschätzung. Die verschiedenen Informationsquellen sind dabei ein gegenwärtiger Rahmen 32 mit einer geringeren Auflösung, ein zuvor codierter Rahmen 34, der möglicherweise einer unterschiedlichen zeitlichen Schicht entnommen ist und ein gegenwärtiger Rahmen 36 mit einer höheren räumlichen Auflösung. Eine erste gestrichelte Linie 38 verdeutlicht die Aufnahme eines Vektors 40 skaliert zu einer höheren räumlichen Auflösung in die Liste 30. Ein im gegenwärtigen Rahmen 36 vorgesehener Block 42 zeigt den gegenwärtigen Makroblock 42. In Figur 3 ist eine Ausführungsform der erfindungsgemäßen Anordnung insgesamt mit der Bezugsziffer 50 bezeichnet dargestellt. Diese Anordnung 50 umfasst eine Recheneinheit 52, eine Speichereinrichtung 54 und eine Eingabe-/ Ausgabeeinheit 56, die über Datenleitungen 58 miteinander verbunden sind.
In der Recheneinheit 52 wird das Verfahren zur Datenkompression durchgeführt, wobei zu komprimierende Daten bzw. Videosequenzen über die Eingabe-/ Ausgabeeinheit 56 empfangen und nach der Kompression auch wieder weitergegeben werden können. Die Recheneinheit 52 kann auch dafür vorgesehen sein, komprimierte Daten zu dekomprimieren.

Claims

Ansprüche
1. Verfahren zur Datenkompression in einer Videosequenz, bei dem zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorhergehenden zeitlichen Dekompositionsstufe verwendet werden.
2. Verfahren zur Datenkompression in einer Videosequenz, bei dem ein prädiktiver Algorithmus zur Bewegungsabschätzung eingesetzt wir.
3. Verfahren nach Anspruch 2, bei dem der Algorithmus einen Kandidatensatz (30) von Vollpixelbewegungsvektoren umfasst.
4. Verfahren nach Anspruch 3, bei dem eine Methode zum Anpassen an eine sich ändernde Bewegung in der Sequenz eingesetzt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem durch Minimieren einer
Kostenfunktion ein Kandidat für den Bewegungsvektor bestimmt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem zunächst durch Evaluieren der acht umgebenden Halbpixelpositionen und anschließend durch Testen der acht Viertelpixelpositionen um den besten Halbpixelkandidaten abschließend eine
Subpixelverfeinerung durchgeführt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem zur Auswahl eines Codiermodus das Datenraten-Bildverzerrungs-Verhältnis herangezogen wird.
8. Anordnung zur Datenkompression einer Videosequenz, die zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 ausgebildet ist.
9. Anordnung nach Anspruch 8, die eine Recheneinheit (52) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 aufweist,
10. Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das
Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit (52), insbesondere in einer Anordnung (50) nach Anspruch 8 oder 9, ausgeführt wird.
11. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit (52), insbesondere in einer Anordnung (50) nach Anspruch 8 oder 9, ausgeführt wird.
EP07820023A 2006-09-18 2007-09-04 Verfahren zur datenkompression in einer videosequenz Withdrawn EP2067359A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006043707A DE102006043707A1 (de) 2006-09-18 2006-09-18 Verfahren zur Datenkompression in einer Videosequenz
PCT/EP2007/059209 WO2008034715A2 (de) 2006-09-18 2007-09-04 Verfahren zur datenkompression in einer videosequenz

Publications (1)

Publication Number Publication Date
EP2067359A2 true EP2067359A2 (de) 2009-06-10

Family

ID=39031129

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07820023A Withdrawn EP2067359A2 (de) 2006-09-18 2007-09-04 Verfahren zur datenkompression in einer videosequenz

Country Status (7)

Country Link
US (1) US20100284465A1 (de)
EP (1) EP2067359A2 (de)
JP (1) JP2010504010A (de)
KR (1) KR101383612B1 (de)
CN (1) CN101518084B (de)
DE (1) DE102006043707A1 (de)
WO (1) WO2008034715A2 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087493A1 (en) * 2008-01-11 2009-07-16 Zoran (France) Sparse geometry for super resolution video processing
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
KR101671460B1 (ko) 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
FR2959376A1 (fr) * 2010-04-22 2011-10-28 France Telecom Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
EP3337172B1 (de) 2011-05-24 2020-09-09 Velos Media International Limited Bildcodierungsverfahren, bildcodierungsvorrichtung
EP4213483A1 (de) * 2011-05-27 2023-07-19 Sun Patent Trust Bildcodierungsverfahren, bildcodierungsvorrichtung, bilddecodierungsverfahren, bilddecodierungsvorrichtung und bildcodierungs- und -decodierungsvorrichtung
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
US8989271B2 (en) 2011-05-31 2015-03-24 Panasonic Intellectual Property Corporation Of America Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
PL2728878T3 (pl) * 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
CN105791855A (zh) * 2012-01-18 2016-07-20 Jvc建伍株式会社 动图像解码装置以及动图像解码方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US699730A (en) * 1899-02-20 1902-05-13 John Werner Syrup-cooler.
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
EP1741297A1 (de) 2004-04-08 2007-01-10 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur implementierung von bewegungsskalierbarkeit
US7782951B2 (en) * 2004-05-13 2010-08-24 Ittiam Systems (P) Ltd. Fast motion-estimation scheme
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100703740B1 (ko) 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
JP5044568B2 (ja) * 2005-12-15 2012-10-10 アナログ・デバイシズ・インコーポレーテッド 予測誘導間引き探索を使用する動き推定
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
US8451897B2 (en) * 2006-12-04 2013-05-28 Atmel Corporation Highly parallel pipelined hardware architecture for integer and sub-pixel motion estimation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008034715A2 *

Also Published As

Publication number Publication date
WO2008034715A2 (de) 2008-03-27
JP2010504010A (ja) 2010-02-04
CN101518084A (zh) 2009-08-26
WO2008034715A3 (de) 2008-05-22
US20100284465A1 (en) 2010-11-11
CN101518084B (zh) 2014-09-10
KR101383612B1 (ko) 2014-04-14
KR20090074162A (ko) 2009-07-06
DE102006043707A1 (de) 2008-03-27

Similar Documents

Publication Publication Date Title
WO2008034715A2 (de) Verfahren zur datenkompression in einer videosequenz
DE69232993T2 (de) Prädiktives Videokodierungssystem
DE19825042C2 (de) Verfahren zur Bewegungsvektorcodierung bei MPEG-4
DE102010046508B4 (de) Verfahren und Vorrichtung, um einen Suchbereich für die Bewegungsabschätzung adaptiv auszuwählen
DE19734882C2 (de) Verfahren zum Kodieren von Bewegungsvektoren bei Filmaufnahmen
DE69632232T2 (de) Verfahren und Vorrichtung zur Komprimierung von Videoinformationen mit bewegungsabhängiger Prädiktion
DE10362106B3 (de) Direktmodus-Bewegungsvektor-Berechnungsverfahren für B-Bilder
DE69629137T2 (de) Bildkodierungsgerät und Bilddekodierungsgerät
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE10362152B4 (de) Berechnungsverfahren für einen Vorhersage-Bewegungsvektor
EP0259562B1 (de) Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung
DE60315565T2 (de) Verfahren und Vorrichtung zur Codierung und Decodierung von Bewegungsvektoren
DE69635369T2 (de) Videokodierungsvorrichtung
DE102016125117A1 (de) Bewegungsvektorkodierung mit dynamischen Referenzbewegungsvektoren
DE102010025816A1 (de) Verfahren und Systeme zum Abschätzen von Bewegung basierend auf rekonstruierten Referenzframes bei einem Videodecoder
DE202017007520U1 (de) Bewegungskompensation durch maschinelles Lernen
DE602004001993T2 (de) Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression
DE102016125604A1 (de) Intelligente Sortierung der rekursiven Blockaufteilung für die erweiterte Intra-Prädiktion bei der Videocodierung
DE602005000425T2 (de) Verfahren und Anordnung zur Erzeugung von Kandidatenvektoren für Bildinterpolierungssysteme, die Bewegungsabschätzung und -kompensation verwenden
DE4405803C2 (de) Verfahren zur Quellcodierung
EP0941613B1 (de) Verfahren zur bildcodierung eines digitalisierten bildes
EP1605405A1 (de) Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind
DE10392466T5 (de) Verfahren zur Abschätzung von Rückwertsbewegungs-Vektoren innerhalb einer Videosequenz
DE19548451C1 (de) Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz
EP1101196A1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090420

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20091123

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160401