DE69214444T2 - Verfahren zur schätzung der bewegungsteile in videosignalen - Google Patents

Verfahren zur schätzung der bewegungsteile in videosignalen

Info

Publication number
DE69214444T2
DE69214444T2 DE69214444T DE69214444T DE69214444T2 DE 69214444 T2 DE69214444 T2 DE 69214444T2 DE 69214444 T DE69214444 T DE 69214444T DE 69214444 T DE69214444 T DE 69214444T DE 69214444 T2 DE69214444 T2 DE 69214444T2
Authority
DE
Germany
Prior art keywords
motion vector
block
motion vectors
search
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69214444T
Other languages
English (en)
Other versions
DE69214444D1 (de
Inventor
Bjoern Christensson
Peter Weiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DV Sweden AB
Original Assignee
DV Sweden AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DV Sweden AB filed Critical DV Sweden AB
Application granted granted Critical
Publication of DE69214444D1 publication Critical patent/DE69214444D1/de
Publication of DE69214444T2 publication Critical patent/DE69214444T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)

Description

    Hintergrund der Erfindung
  • Die Erfindung betrifft allgemein ein Verfahren zum Schätzen von Bewegungsinhalten in Videosignalen, wobei diese Bewegung normalerweise durch ein zweidimensionales Bewegungsvektorf eld dargestellt wird, das horizontale und vertikale Vektorkomponenten umfaßt. Der Zweck einer solchen Schätzung liegt allgemein darin, eine qualitativ hochwertige zeitliche Transformation oder Verarbeitung von Videosignalen zu ermöglichen. Die Erfindung läßt sich auf vielen Gebieten anwenden; einige wichtige Beispiele sind: Umwandlung zwischen verschiedenen Fernsehsignalnormen, Rauschverminderung von Videosignalen, Datenkompression zur digitalen Übertragung von Fernsehsignalen oder hochauflösenden Fernsehsignalen und Zeitlupenvorrichtungen.
  • Bekannte Verfahren zum Erzeugen von Bewegungsvektorfeldern umfassen rekursive Pixelgradientenverfahren, Phasenkorrelation und Blockübereinstimmungstechniken. Jede Technik besitzt bezüglich der folgenden, allgemein wünschenswerten Merkmale ihre eigenen Vor- und Nachteile:
  • A: Hoher Folgebereich(tracking range) mit der Fähigkeit, Gegenständen zu folgen, die sich mit hoher Geschwindigkeit bewegen, und zwar als Ergebnis der Verwendung eines großen Suchgebiets;
  • B: Hohe Vektorauflösung mit der Fähigkeit, eine detaillierte Beschreibung der Bewegungsvektoren von bewegten Gegenständen zu erzeugen, und zwar als Ergebnis der Unterscheidung verschiedener Geschwindigkeiten und Bewegungsrichtungen benachbarter Blöcke.
  • C: Hohe räumliche Auflösung mit der Fähigkeit, verschiedene Bewegungen kleiner angrenzender Gebiete bewegter Gegenstände zu beschreiben, und zwar als Ergebnis der Unterscheidung benachbarter Pixel mit verschiedenen Bewegungen.
  • D: Ein robuster Algorithmus mit der Fähigkeit, die wahre Bewegung eines Gegenstandes zu erkennen, indem ein Bewegungsvektorfeld erzeugt wird, während Rauschen und andere Störungen unterdrückt werden; und
  • E: Kostengünstig, d.h. günstiges Kosten/Leistungs-Verhältnis (wirksame Signalverarbeitung und einfache Durchführung) mit der Fähigkeit, das Verfahren über einen weiten Bereich von Anwendungen kommerziell zu verwenden.
  • Die Vorteile und Nachteile der bekannten Verfahren ergeben sich aus der folgenden Tabelle:
  • Bei der Standardblockübereinstimmungstechnik (vgl. z.B. US-A-4 924 310 und US-A-4 691 230) wird das Videosignal durch eine aufeinanderfolgende Abfolge von Bildern dargestellt, die in der Zeit getrennt sind, und die Bilder werden in Blöcke mit vorbestimmter Orientierung und Größe unterteilt. Die Blockgröße bestimmt die räumliche Auflösung des Vektorfeldes. Um den Vergleich oder die Feststellung des Übereinstimmungsgrades (matching) der Blöcke zu ermöglichen, müssen ein Suchgebiet mit einer bestimmten Größe und Form, ein Suchmuster, nach dem die Suche oder der Vergleich durchgeführt werden, sowie ein Übereinstimmungskriterium definiert werden, das den Grad der Ähnlichkeit eines Blocks mit einem anderen darstellt. Ein solches Kriterium basiert auf einem Vergleich der Leuchtstärke oder Leuchtdichte der einzelnen Bildelemente (Pixel)
  • Zur Bestimmung des momentanen Bewegungsvektorfeldes werden zwei aufeinanderfolgende Bilder betrachtet. Die aus einer Anzahl von Pixeln des aktuell laufenden Bildes bestehenden Blöcke werden in Folge verarbeitet. Für jeden solchen Block wird in dem Suchgebiet des vorhergehenden laufenden Bildes eine Suche durchgeführt, so daß die Übereinstimmung des Blocks mit einem Block im vorhergehenden laufenden Bild festgestellt wird. Die Richtung und der Betrag der relativen Verschiebung der beiden zusammenpassenden Blöcke werden als Bewegungsvektor des Blocks im aktuellen Bild ausgewählt. Nach der blockweisen Verarbeitung des gesamten Inhalts des aktuellen Bildes wird ein vollständiges Momentanbewegungsvektorfeld erhalten.
    • Zusammenfassung der Erfindung
  • Die vorliegende Erfindung betrifft ein verbessertes Verfahren unter Verwendung der Blockübereinstimmungstechnik und ist besonders für kostengünstige Echtzeitanwendungen geeignet.
  • Das bei diesem verbesserten Verfahren der Blockanpassung speziell zu lösende Problem liegt darin, die räumliche Auflösung zu verbessern und einen robusten Algorithmus vorzusehen. Der Algorithmus basiert erfindungsgemäß auf einer hierarchischen Vearbeitung mit verschiedenen Blockgrößen von gröber zu feiner und der Berechnung von vorhergesagten Bewegungsvektoren von umgebenden Blöcken und bevorzugt der Nachbearbeitung der Bewegungsvektorfeldes nach jedem hierarchischen Suchschritt durch nichtlineares Filtern sowie bewegungsadaptivem zeitlichen Filtern nach der Berechnung des Bewegungsvektorfeldes.
  • Die Erfindung sieht insbesondere ein Verfahren zur Erzeugung eines Bewegungsvektorfeldes in Videosignalen vor und ist dadurch gekennzeichnet, daß jeder Suchschritt (S1, S2 usw.) für jeden Block des vorliegenden Bildes die Berechnung eines vorausgesagten Bewegungsvektors (PMV) auf der Grundlage von Bewegungsvektoren (Am, Cm bzw. Em-1, Gm-1), die, falls vorhanden, bereits im vorliegenden Suchschritt erhalten wurden, sowie gegebenenfalls von Bewegungsvektoren aus wenigstens einem vorhergehenden Suchschritt des vorliegenden Bildes und gegebenenfalls auch von wenigstens einem vorangehenden Bild umfaßt, wobei der vorausgesagte Bewegungsvektor (predicted motion vector = PMV) demnach einer vorausgesagten, neuen verschobenen Position für den zugehörigen Block (RB) des vorliegenden Bildes (PN) entspricht, und daß das vorbestimmte Suchgebiet (SA) derart positioniert ist, daß es die vorausgesagte neue, verschobene Position umgibt, und daß das vorbestimmte Suchgebiet (SA) und das Suchmuster zwischen zwei aufeinanderfolgenden Suchschritten in der Größe an die vorliegende Blockgröße angepaßt werden.
  • Geeignete Weiterentwicklungen der Erfindung sind in den Unteransprüchen definiert und werden im folgenden erläutert
    • Kurze Beschreibung der Zeichnungen
  • Im folgenden wird unter Bezugnahme auf die beigefügten Zeichnungen eine bevorzugte Ausführungsform der Erfindung beschrieben, worin
  • Fig. 1 das Prinzip der Feststellung der Übereinstimmung (matching) von Blöcken in zwei aufeinanderfolgenden Bildem unter Verwendung von hierarchischen Suchschritten und vorausgesagten Bewegungsvektoren veranschaulicht;
  • Fig. 2 die (mit Buchstaben bezeichneten) Bewegungsvektoren veranschaulicht, die aus angrenzenden Blöcken verfügbar sind und zur Voraussage eines Bewegungsvektors für den nächsten Suchschritt verwendet werden sollen;
  • Fig. 3a ein Zentralwertfilter (Median-Filter) veranschaulicht;
  • Fig. 3b die Bewegungsvektoren veranschaulicht, die zur Verarbeitung eines resultierenden Bewegungsvektors nach jedem Suchschritt verwendet werden;
  • Fig. 4 einen durch die Differenz zwischen zwei Vektoren dargestellten Abstand veranschaulicht, wobei der Abstand zur Berechnung eines Strafwertes zur Addition zu dem Übereinstimmungskriterium verwendet wird; und
  • Fig. 5 einen Nullbewegungsvektor in Kombination mit einem vorausgesagten und einem Bewegungsvektor-Kandidaten (candidate motion vector) zur Bildung eines Nullbewegungsvektortests veranschaulicht;
  • Fig. 6a Bewegungsvektoren für einen bewegten Gegenstand in drei aufeinanderfolgenden Bildern veranschaulicht;
  • Fig. 6b ein adaptives, bewegungskompensiertes Zeitfilter veranschaulicht, das zur zeitlichen Nachbearbeitung verwendet wird.
    • Beschreibung einer bevorzugten Ausführungsform
  • Fig. 1 veranschaulicht verschiedene Suchschritte S1, S2 ...S8 mit allmählich reduzierter Blockgröße (z.B. beginnend mit einer Blockgröße von 24 Zeilen mal 32 Pixeln und dann mit einer Reduzierung der Blockseiten zwischen jedem Schritt um die Hälfte, bis keine weitere Reduzierung möglich ist). Bei jedem solchen Suchschritt werden Blöcke eines vorliegenden Bildes PN in Reihe verarbeitet. Am Ende jedes Schritts ist allen Blöcken des vorliegenden Bildes PN ein Bewegungsvektor zugeordnet, der die Verschiebung jedes Blocks bezüglich seiner Position in einem früheren Bild PN-1 beschreibt (der Algorithmus ist nicht auf die Betrachtung eines unmittelbar vorhergehenden Bildes beschränkt). Im folgenden wird die Zuweisung eines Bewegungsvektors zu einem Block des vorliegenden Bildes PN im ersten Suchschritt S1 beschreiben, der mit Bezugsblock RB bezeichnet wird.
  • Der Block RB des vorliegenden Bildes PN und eine Anzahl verschiedener Blöcke RB' des früheren Bildes PN-1 (von denen in Fig. 1 nur einer gezeigt ist) werden zu verschiedenen möglichen Relativverschiebungen verglichen, die durch verschiedene Bewegungsvektoren-Kandidaten CMV dargestellt sind, indem auf der Grundlage der Differenz der pixelweisen Lichtstärkewerte nach der folgenden Formel ein Übereinstimmungskriterium EM, d.h. ein Energiemaß berechnet wird:
  • worin X die Lichtstärkewerte der Pixel von RB sind,
  • Lichtstärkewerte der Pixel von RB' sind,
  • die oberen Indizes angeben, zu welchem Bild der Block gehört,
  • die unteren Indizes Zeilen und Spalten eines Blocks angeben, und
  • k, l die horizontale bzw. vertikale Komponente eines Bewegungsvektor-Kandidaten CMV sind.
  • In Kombination mit dem Übereinstimmungskriterium EM werden auch zusätzliche Bedingungen verwendet, die in Verbindung mit der Beschreibung von Fig. 4 und 5 beschrieben werden sollen. Die Blöcke RB sind nach einem Suchmuster innerhalb eines Suchgebiets SA in dem früheren Bild PN-1 verteilt, wobei das Suchgebiet SA an einem Ort positioniert ist, der durch einen vorausgesagten Bewegungsvektor PMV bestimmt ist, der in Verbindung mit der Beschreibung von Fig. 2 beschrieben wird. Sind die Übereinstimmungskriterien EM für alle Blöcke RB' im Suchgebiet SA berechnet, dann wird dem Block RB der Bewegungsvektor- Kandidat CMV zugewiesen, der der relativen Verschiebung des Anpassungsblocks RB' entspricht, die das Übereinstimmungskriterium EM minimiert, wobei der zugewiesene Bewegungsvektor als ausgewählter Bewegungsvektor SMV bezeichnet ist (vgl. Fig. 3).
  • Die oben beschriebene Prozedur wird also im ersten Suchschritt S1 für alle Blöcke RB des vorliegenden Bildes PN und auf die gleiche Weise für alle Blöcke des vorliegenden Bildes PN in den Suchschritten S2, ..., S8, durchgeführt, für die das Suchgebiet SA und das Suchmuster proportional zur Reduzierung der Blockgröße zwischen jedem Suchschritt maßstabsgerecht verkleinert werden. Ein Suchschritt wird bevorzugt begonnen, sobald genügend Bewegungsvektorinformationen verfügbar sind, d.h. verschiedene Suchschritte werden gleichzeitig und überlappend durchgeführt.
  • Nun wird auf Fig. 2 Bezug genommen, die (durch Buchstaben mit dem Index m-1 bezeichnete) Bewegungsvektoren in angrenzenden größeren Blöcken eines vorhergehenden Suchschritts Sm-1 (oder jedes anderen vorhergehenden Suchschritts im vorliegenden oder einem beliebigen früheren Bild) sowie (durch Buchstaben mit dem Index m bezeichnete) Bewegungsvektoren in angrenzenden Blöcken des vorliegenden Suchschritts Sm veranschaulicht, die alle zu Berechnung eines vorausgesagten Bewegungsvektors PMV (Fig. 1) für den Bezugsblock an der Position Xm des vorliegenden Bildes im Suchschritt Sm verfügbar sind. Vorteilhaft wird ein isotroper Voraussager zur Berechnung des obengenannten Bewegungsvektors PMV verwendet, wobei Bewegungsvektorinformationen aus allen Richtungen berücksichtigt werden, die den Bezugsblock an der Position Xm umgeben, für den ein Bewegungsvektor vorausgesagt werden soll. Der vorausgesagte Bewegungsvektor PMV kann als PMV = 0,25 x Am + 0,25 x Cm + 0,25 x Em-1 + 0,25 x Gm-1 berechnet werden, also einer Kombination aus den Bewegungsvektoren Am und Cm im vorliegenden Suchschritt Sm und den Bewegungsvektoren Em-1 und Gm-1 aus dem vorhergehenden Suchschritt Sm-1 mit größeren Blöcken.
  • Der vorhergesagte Bewegungsvektor PMV wird zur Bestimmung der Position für das Suchgebiet verwendet, innerhalb dessen die Suche nach einem Block durchgeführt wird, der zum Bezugsblock paßt (mit ihm übereinstimmt). Das Suchgebiet ist an einer Position im früheren Bild zentriert, wobei diese Position der Vektorsumme der Position des Zentrums des Bezugsblocks des vorhegenden Bildes und dem Produkt aus einem Skalar Q und dem vorausgesagten Bewegungsvektor PMV entspricht. Der Skalar Q kann den Wert 1,0 annehmen, wobei dann das Suchgebiet um eine Position zentriert ist, die bezüglich der Position des Zentrums des Bezugsblocks des vorliegenden Bildes um den vorausgesagten Bewegungsvektor verschoben ist.
  • Außer der Verwendung nur eines räumlich isotropen Voraussagers wird der räumlich isotrope Voraussager vorteilhaft mit einem zeitlichen Voraussager kombiniert, d.h. die Bewegungsvektorinformationen von Bewegungsvektoren werden berücksichtigt, die zu Bewegungsvektorfeldern gehören, die bereits für ein früheres Bild PN-1 bestimmt wurden. Die Position für den betrachteten Block Xm im vorliegenden Bild entspricht einem Gebiet X'&sub8; im früheren Bild PN-1, und der kombinierte Bewegungsvektor MVX' für das Gebiet wird für die Voraussage verwendet. Der vorausgesagte Bewegungsvektor PMV kann in diesem Fall als PMV = 0,125 x Am + 0,125 x Cm + 0,125 x Em-1 + 0,125 x Gm-1 + 0,5 x MVK' berechnet werden. Diese Prozedur ist insbesondere für den ersten Suchschritt für jedes Bild erforderlich, da keine Bewegungsvektorinformationen von irgendeinem vorhergehenden Suchschritt des vorliegenden Bildes verfügbar ist. Die Berechnung der vorausgesagten Bewegungsvektoren für Blöcke an Ecken oder Kanten eines Bildes kann auch etwas von der obigen Beschreibung abweichen.
  • In Fig. 3a und 3b ist schematisch veranschaulicht, daß nach jedem Suchschritt bevorzugt eine nichtlineare Verarbeitung von Bewegungsvektoren durchgeführt wird. Der für den Block an der Position X ausgewählte Bewegungsvektor SMV wird durch ein Zentralwertfilter (Median-Filter) mit fünf Abgriffen verarbeitet und dann durch den mathematischen Zentralwert SMV median Zentralwert von [A, B, D, E, SMV] ersetzt.
  • Fig. 4 veranschaulicht einen Abstand D, auf dem ein Strafwert basiert, der zu dem Übereinstimmungskriterium EM zu addieren ist. Die Summe des Übereinstimmungskriteriums EM und des Strafwertes bildet ein neues Übereinstimmungskriterium EMCMV für einen Bewegungsvektor-Kandidaten CMV. Dieser Abstand D ist der absolute Wert der Differenz zwischen dem vorausgesagten Bewegungsvektor PMV und dem Bewegungsvektor-Kandidaten CMV für den vorliegenden Bezugsblock innerhalb des Suchgebietes. Dieser Bewegungsvektor-Kandidat CMV wird dem vorliegenden Bezugsblock nur dann zugewiesen, wenn sein Übereinstimmungskriterium EMNCMV besser als dasjenige des vorausgesagten Bewegungsvektors PMV oder besser als dasjenige jedes anderen Bewegungsvektor- Kandidaten ist.
  • Nun wird auf Fig. 5 Bezug genommen, die veranschaulicht, daß ein Nullbewegungsvektor-Übereinstimmungskriterium EMzmv für einen um einen Nullbewegungsvektor ZMV verschobenen Block, der keine Bewegung darstellt, mit jedem Bezugsblock verglichen wird, der innerhalb des Suchgebietes um einen Bewegungsvektor- Kandidaten CMV verschoben wird, und daß der Nullbewegungsvektor ZMV ausgewählt werden kann, wenn das Nullbewegungsvektor- Übereinstimmungskriterium Emzmv besser als das Übereinstimmungskriterium EM für alle Bewegungsvektor-Kandidaten CMV ist.
  • Fig. 6a veranschaulicht drei Bewegungsvektoren MVPN-1, MVPN (und seine Inversion -MVPN), MVPN+1, die durch Pfeile dargestellt sind, die zwischen räumlichen Positionen 101 und 102 bzw. 203 und 204, 304 und 305 eingefügt sind, wobei die Bewegungsvektoren jeweils zu Blöcken (in einem bewegten Objekt) in drei aufeinanderfolgenden Bildern PN-1, PN, PN+1 gehören, wobei die Positionen 101, 201, die Positionen 103, 203, 303 und die Positionen 204, 304 in den verschiedenen Bildern jeweils die gleichen räumlichen Positionen darstellen.
  • Um die Qualität und Glätte des Bewegungsvektorfeldes weiter zu verbessern sowie gelegentlich falsche Vektoren zu entfernen, wird über mehrere aufeinanderfolgende Bilder eine zeitliche Nachverarbeitung des Bewegungsvektorfeldes verwendet. Für die zeitliche Nachverarbeitung wird das Bewegungsvektorfeld MVFin einem in Fig. 6b gezeigten adaptiven, bewegungskompensierten Zeitfilter AMCTF zugeführt, in dem ein Bewegungskompensator MC die Bewegung eines Gegenstandes kompensiert und ein Filterwähler FS entweder ein Zentralwert(Median)filter MF oder ein lineares Filter LF auswählt, woraufhin aus dem adaptiven, bewegungskompensierten Zeitfilter AMCTF ein gefiltertes Bewegungsvektorfeld MVFout erhalten wird.
  • Es wird angenommen, daß die drei Bewegungsvektoren in den drei aufeinanderfolgenden Bildern von Fig. 6a zum gleichen bewegten Gegenstand gehören, wofür die Positionsdifferenz berücksichtigt werden muß, um die Bewegungsvektoren für den gleichen Punkt des Gegenstandes in den drei aufeinanderfolgenden Bildern zu finden. Das Bewegungsvektorfeld MVFNin wird in den Bewegungskompensator MC eingegeben, der dann zur Verarbeitung des Bewegungsvektors MVPN den Bewegungsvektor MVPN im Bild PN, den Bewegungsvektor im Bild PN-1, der an einer Position eingetragen ist, die der Eintragungsposition von MVPN subtrahiert mit MVPN entspricht, sowie den Bewegungsvektor im Bild PN+1 ausgibt, der an einer Position eingetragen ist, die der Eintragungsposition von MVPN addiert mit MVPN entspricht. Die drei ausgegebenen Bewegungsvektoren sind also die in Fig. 6a gezeigten Bewegungsvektoren MVPN-1, MVPN und MVPN+1.
  • Ist die Differenz zwischen den Bewegungsvektoren MVPN und MVPN-l sowie zwischen MVPN und MVPN+1 groß, dann kann angenommen werden, daß MVPN inkorrekt ist, und der Filterwähler FS wählt das Zentralwertfilter MF aus, das MVPN durch den Zentralwert der drei Bewegungsvektoren ersetzt. Ist die Differenz zwischen den jeweiligen Bewegungsvektoren andererseits klein, dann wählt der Filterwähler FS das lineare Filter LF aus, das MVPN durch eine lineare Kombination der drei Bewegungsvektoren ersetzt.
  • Fig. 6a zeigt außer den drei oben beschriebenen Bewegungsvektoren zwei Bewegungsvektoren MVPN-1* und MVPN+1*, die durch Pfeile dargestellt sind, die zwischen den räumlichen Positionen 103 und 106 bzw. 303 und 307 eingetragen sind, wobei die Bewegungsvektoren zu den Blöcken an Position 103 bzw. 303 in den Bildern gehören. Der Bewegungskompensator MC kann auch die Bewegungs vektoren MVPN-1* und MVPN+1* ausgeben, die MVPN-1 und MVPN+1 im Zentralwertfilter MF ersetzen können.
  • Die Erfindung wurde zwar unter Bezug auf eine bevorzugte Ausführungsform beschrieben, es versteht sich aber, daß verschiedene Veränderungen vorgenommen werden können, ohne den Rahmen der Erfindung zu verlassen, wie er durch die beigefügten Ansprüche definiert ist.
  • Der vorausgesagte Bewegungsvektor kann beispielsweise das Ergebnis einer adaptiven Funktion von Bewegungsvektoren sowie von anderen Parametern im Zusammenhang mit den Bildern sein.
  • Der bei dem Suchmuster getätigte Vergleich kann ferner entweder in Vorwärts- oder Rückwärtsbildabfolgen durchgeführt werden.
  • Schließlich ist die Erfindung auf mehrdimensionale Bewegungsvektorf elder anzuwenden.

Claims (9)

1. Verfahren zur Erzeugung eines Bewegungsvektorfeldes in Videosignalen, wobei zwei aufeinanderfolgende Bilder blockweise verglichen werden, um mittels eines Übereinstimmungskriteriums (EM) den Bewegungsvektor zwischen zwei entsprechenden Blöcken (RB, RB') zu bestimmen, der jeweils einem der zwei aufeinanderfolgenden Bilder (PN-1, PN) zugeordnet ist, wobei der Vergleich in einem Suchmuster innerhalb eines vorbestimmten Suchgebietes (SA) durchgeführt und der Vorgang in verschiedenen Schritten (S1, S2 usw.) mit allmählich reduzierter Blockgröße durchgeführt wird, dadurchgekennzeichnet, daß jeder Suchschritt (S1, S2 usw.) für jeden Block des vorliegenden Bildes die Berechnung eines vorausgesagten Bewegungsvektors (PMV) auf der Grundlage von Bewegungsvektoren (Am, Cm), die, falls vorhanden, bereits im vorliegenden Suchschritt erhalter wurden, sowie möglicherweise von Bewegungsvektoren (Em-1, Gm-1) aus wenigstens einem vorhergehenden Suchschritt des vorliegenden Bildes und möglichweise auch von wenigstens einem vorhergehenden Bild umfaßt, wobei der vorausgesagte Bewegungsvektor (PMV) demnach einer vorausgesagten, neuen verschobenen Position für den zugehörigen Block (RB) des vorliegenden Bildes (PN) entspricht, und daß das vorbestimmte Suchgebiet (SA) derart positioniert ist, daß es die vorausgesagte neue verschobene Position umgibt, und daß das vorbestimmte Suchgebiet (SA) und das Suchmuster zwischen zwei aufeinanderfolgenden Suchschritten in der Größe an die vorliegende Blockgröße angepaßt sind.
2. Verfahren nach Anspruch 1, bei welchem der vorausgesagte Bewegungsvektor (PMV) eine Funktion räumlich angrenzender Bewegungsvektoren, d.h. solchen, die zu verschiedenen Positionen in einem Bild gehören, und/oder zeitlich angrenzender Bewegungsvektoren ist, die zu verschiedenen Bildern gehören.
3. Verfahren nach Anspruch 2, bei welchem die Funktion eine lineare Kombination der angrenzenden Bewegungsvektoren ist.
4. Verfahren nach Anspruch 1, bei welchem nach jedem Suchschritt eine nichtlineare Verarbeitung der Bewegungsvektoren (A, B, D, E, SMV) durchgeführt wird.
5. Verfahren nach Anspruch 41 bei welchem die nichtlineare Verarbeitung mittels eines Zentralwertfilters durchgeführt wird, das einen ausgewählten Bewegungsvektor (SMV) in jedem Schritt mit dem mathematischen Zentralwert eng benachbarter Bewegungsvektoren (A&sub7; B, D, E, SMV) ersetzt.
6. Verfahren nach Anspruch 5, bei welchem die eng benachbarten Bewegungsvektoren (A, B, D, E&sub1; SMV) an fünf Positionen nahe bei dem ausgewählten Bewegungsvektor (SMV) und diesen einschließend liegen, nämlich in der gleichen Blockzeile und der vorhergehen den Blockzeile.
7. Verfahren nach einem der Ansprüche 1 - 6, bei welchem ein Strafwert zu dem Übereinstimmungskriterium (EM) addiert wird, der auf dem Abstand (D) zwischen dem vorhergesagten Bewegungsvektor (PMV) und einem Bewegungsvektor-Kandidaten (CMV) basiert.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem das Übereinstimmungskriterium (EM) für den Bewegungsvektor-Kandidaten (CMV) mit dem Übereinstimmungskriterium für den Nullbewegungsvektor (ZMV) verglichen wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem eine zeitliche Nachverarbeitung des Bewegungsvektorfeldes durch Verwendung eines adaptiven, bewegungskompensierten Zeitfilters (AMCTF) durchgeführt wird.
DE69214444T 1991-04-12 1992-04-03 Verfahren zur schätzung der bewegungsteile in videosignalen Expired - Fee Related DE69214444T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE9101113A SE469866B (sv) 1991-04-12 1991-04-12 Metod för estimering av rörelseinnehåll i videosignaler
PCT/SE1992/000219 WO1992019068A1 (en) 1991-04-12 1992-04-03 A method for estimating motion contents in video signals

Publications (2)

Publication Number Publication Date
DE69214444D1 DE69214444D1 (de) 1996-11-14
DE69214444T2 true DE69214444T2 (de) 1997-02-20

Family

ID=20382454

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69214444T Expired - Fee Related DE69214444T2 (de) 1991-04-12 1992-04-03 Verfahren zur schätzung der bewegungsteile in videosignalen

Country Status (6)

Country Link
US (1) US5557341A (de)
EP (1) EP0579692B1 (de)
JP (1) JP3299263B2 (de)
DE (1) DE69214444T2 (de)
SE (1) SE469866B (de)
WO (1) WO1992019068A1 (de)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209466A (ja) * 1992-10-07 1994-07-26 Canon Inc 動ベクトル検出装置
KR100327852B1 (ko) * 1993-07-31 2002-07-03 이데이 노부유끼 화상일치검출장치및화상일치검출방법
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
DE4342305A1 (de) * 1993-12-11 1995-06-29 Thomson Brandt Gmbh Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
KR100366141B1 (ko) * 1994-01-31 2003-03-03 소니 가부시끼 가이샤 화상대조방법및장치
JP3193833B2 (ja) * 1994-07-25 2001-07-30 ケイディーディーアイ株式会社 動ベクトル処理装置
KR0178231B1 (ko) * 1995-08-10 1999-05-01 배순훈 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
FR2725577B1 (fr) * 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
GB9422018D0 (en) * 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
DE19509418A1 (de) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
US6542547B1 (en) * 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
US5886741A (en) * 1995-08-18 1999-03-23 Texas Instruments Incorporated Method and apparatus for improved video coding using a zero block predictor module
JP3787650B2 (ja) * 1995-09-08 2006-06-21 ソニー株式会社 デイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
US6075906A (en) * 1995-12-13 2000-06-13 Silicon Graphics Inc. System and method for the scaling of image streams that use motion vectors
US5790207A (en) * 1996-03-14 1998-08-04 Daewoo Electronics, Co., Ltd. Motion compensation method for use in an image encoding system
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6571016B1 (en) * 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
US6404923B1 (en) 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
US6320906B1 (en) * 1996-05-21 2001-11-20 Matsushita Electric Industrial Co., Ltd. Motion vector detecting circuit
EP0840982B1 (de) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Bewegungsschätzung
JP3019787B2 (ja) 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
US6078616A (en) * 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
US6584226B1 (en) 1997-03-14 2003-06-24 Microsoft Corporation Method and apparatus for implementing motion estimation in video compression
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US5903673A (en) * 1997-03-14 1999-05-11 Microsoft Corporation Digital video signal encoder and encoding method
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US6639945B2 (en) 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
DE69836696T2 (de) * 1997-05-30 2007-10-31 Mediatek Inc. Verfahren und vorrichtung zur durchführung einer hierarchischen bewegungsschätzung unter verwendung einer nicht-linearen pyramide
US6067322A (en) * 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
GB9712651D0 (en) 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals
KR100590436B1 (ko) * 1997-11-07 2006-06-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 화상 시퀀스 코딩
US6081553A (en) * 1998-04-06 2000-06-27 Hewlett Packard Company Block-matching motion estimation technique for video compression of noisy source signals
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
US6611294B1 (en) * 1998-06-25 2003-08-26 Hitachi, Ltd. Method and device for converting number of frames of image signals
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
JP4596718B2 (ja) * 1999-08-11 2010-12-15 ノキア コーポレイション 適応動きベクトル場符号化
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
EP1094669B1 (de) * 1999-10-19 2008-06-04 Thomson Licensing Bewegungsschätzung für digitale Bildsignale
EP1094671A1 (de) * 1999-10-19 2001-04-25 Deutsche Thomson-Brandt Gmbh Bewegungsschätzung für digitale Bildsignale
US6690728B1 (en) * 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
CN1193620C (zh) * 2000-01-21 2005-03-16 诺基亚有限公司 视频编码器的运动估计方法及***
AU2001285270A1 (en) 2000-08-28 2002-03-13 Thomson Licensing S.A. Method and apparatus for motion compensated temporal interpolation of video sequences
US7327787B1 (en) * 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7042439B2 (en) * 2001-11-06 2006-05-09 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
CN100576914C (zh) * 2002-01-17 2009-12-30 Nxp股份有限公司 用于估计当前运动矢量的单元和方法
US8893428B2 (en) 2002-02-11 2014-11-25 Technology S.G., L.P. System for trapping insects
US6925123B2 (en) * 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
US7408989B2 (en) * 2003-01-16 2008-08-05 Vix5 Systems Inc Method of video encoding using windows and system thereof
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US7474767B2 (en) * 2003-09-24 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Motion detection using multi-resolution image processing
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US7751482B1 (en) 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
JP4338654B2 (ja) * 2004-03-18 2009-10-07 三洋電機株式会社 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
DE102004026597A1 (de) * 2004-06-01 2005-12-29 Micronas Gmbh Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
FR2872973A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
US20070009034A1 (en) * 2005-07-05 2007-01-11 Jarno Tulkki Apparatuses, computer program product, and method for digital image processing
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
US20070014365A1 (en) * 2005-07-18 2007-01-18 Macinnis Alexander Method and system for motion estimation
US8090210B2 (en) * 2006-03-30 2012-01-03 Samsung Electronics Co., Ltd. Recursive 3D super precision method for smoothly changing area
GB2443667A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Obtaining a motion vector for a partition of a macroblock in block-based motion estimation
US8494053B2 (en) * 2007-01-03 2013-07-23 International Business Machines Corporation Method and apparatus of temporal filtering for side information interpolation and extrapolation in Wyner-Ziv video compression systems
US8553758B2 (en) 2007-03-02 2013-10-08 Sony Corporation Motion parameter engine for true motion
US8804757B2 (en) * 2007-12-26 2014-08-12 Intel Corporation Configurable motion estimation
US8363728B2 (en) 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8139883B2 (en) 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US8488007B2 (en) 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US8285079B2 (en) 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation
US9451283B2 (en) * 2011-07-05 2016-09-20 Texas Instruments Incorporated Method, system and computer program product for selecting a motion vector in scalable video coding
EP2775448A1 (de) * 2013-03-06 2014-09-10 Thomson Licensing Scharfstellunng eines Bildes aus einer Sequenz von Bildern
WO2015107887A1 (ja) * 2014-01-15 2015-07-23 日本電気株式会社 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61200789A (ja) * 1985-03-04 1986-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の物体の動きベクトル検出方式
FR2599577B1 (fr) * 1986-05-29 1988-08-05 Guichard Jacques Procede de codage par transformation pour la transmission de signaux d'image.
DE3721074A1 (de) * 1986-12-24 1988-07-07 Licentia Gmbh Schaltungsanordnung zur verschiebungsvektorsuche in der digitalen bildanalyse
EP0285902A3 (de) * 1987-04-07 1990-10-10 Siemens Aktiengesellschaft Verfahren zur Datenreduktion digitaler Bildsequenzen
EP0293644B1 (de) * 1987-06-02 1992-03-25 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
FR2624997B1 (fr) * 1987-12-16 1990-06-01 France Etat Procede d'estimation multi predictif du mouvement des points d'une image electronique
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
FR2651399B1 (fr) * 1989-08-29 1996-05-15 Thomson Consumer Electronics Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images.
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
KR940010241B1 (ko) * 1991-12-14 1994-10-22 산성전자 주식회사 이동 벡터 검출 방법

Also Published As

Publication number Publication date
SE9101113D0 (sv) 1991-04-12
EP0579692B1 (de) 1996-10-09
JP3299263B2 (ja) 2002-07-08
DE69214444D1 (de) 1996-11-14
JPH06506578A (ja) 1994-07-21
EP0579692A1 (de) 1994-01-26
US5557341A (en) 1996-09-17
SE9101113L (sv) 1992-10-13
WO1992019068A1 (en) 1992-10-29
SE469866B (sv) 1993-09-27

Similar Documents

Publication Publication Date Title
DE69214444T2 (de) Verfahren zur schätzung der bewegungsteile in videosignalen
DE69027479T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69022470T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE69031055T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69123359T2 (de) Videobildverarbeitung
DE69126585T2 (de) Verfahren und Gerät zur Kodierung von bewegten Bildsignalen
DE69027809T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69032437T2 (de) Bewegungseinschätzer
DE19506372B4 (de) Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät
DE69030896T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69028651T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69126930T2 (de) Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
EP0293644A1 (de) Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
EP0368151A2 (de) Verfahren zur Bestimmung von Suchpositionen zur Bewegungsschätzung
DE19712295A1 (de) Luminanz/Chrominanzsignaltrennvorrichtung
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung
EP2067359A2 (de) Verfahren zur datenkompression in einer videosequenz
DE112005000033T5 (de) Adaptiv gewichtetes Bewegungsabschätzungsverfahren und Bildwechselfrequenz-Wandlereinrichtung, die das Verfahren einsetzt
DE69031144T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69027704T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69031322T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE4023449C1 (de)
DE69028239T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69218577T2 (de) Verfahren zur kantenadaptiven Interpolation eines Fernsehbildes

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee