DE60221711T2

DE60221711T2 - Einheit und verfahren zur schätzung eines aktuellen bewegungsvektors

Info

Publication number: DE60221711T2
Application number: DE60221711T
Authority: DE
Inventors: Gerben J. Hekstra; Stephan O. Mietens; Peter H. De With
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 2002-01-17
Filing date: 2002-12-12
Publication date: 2008-04-30
Anticipated expiration: 2022-12-13
Also published as: CN1615652A; EP1472881A1; KR100955414B1; AU2002356364A1; KR20040075357A; JP2005515728A; ATE369701T1; WO2003061293A1; CN100576914C; DE60221711D1; US20050063467A1; EP1472881B1; US8073054B2

Description

Die vorliegende Erfindung bezieht sich auf eine Bewegungsschätzungseinheit zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln in einem Bild, wobei diese Einheit die nachfolgenden Elemente umfasst:

– Erzeugungsmittel zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorher geschätzter Bewegungsvektoren extrahiert worden sind,
– eine Übereinstimmungsfehlereinheit zum Berechnen von Übereinstimmungsfehlern der betreffenden Kandidatenbewegungsvektoren; und
– einen Selektor zum Selektieren des aktuellen Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren.

Die vorliegende Erfindung bezieht sich weiterhin auf ein Verfahren zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln eines Bildes, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst:

– einen Erzeugungsschritt zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorher geschätzter Bewegungsvektoren extrahiert werden,
– einen Übereinstimmungsfehlerberechnungsschritt zum Berechnen von Übereinstimmungsfehlern betreffender Kandidatenbewegungsvektoren; und
– einen Selektionsschritt zum Selektieren des Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren.

Die vorliegende Erfindung bezieht sich weiterhin auf eine Bildverarbeitungsanordnung, welche die nachfolgenden Elemente umfasst:

– Empfangsmittel zum Empfangen eines Signals, das Bilder darstellt;
– eine Bewegungsschätzungseinheit und
– eine bewegungskompensierte Bildverarbeitungseinheit zum Berechnen verarbeiteter Bilder auf Basis der Bilder und des Ausgangs der Bewegungsschätzungseinheit.

Die vorliegende Erfindung bezieht sich weiterhin auf einen Codierer, der Folgendes umfasst:

– eine Bewegungsschätzungseinheit
– einen diskreten Kosinustransformator,
– einen Quantisierer, und
– einen Laufpegelcodierer.

Eine Ausführungsform des Verfahrens der eingangs beschriebenen Art ist aus dem Artikel: "True-Motion Estomation with 3-D Recursive Search Block Matching" von G. de Haan u. a. in "IEEE Transactions an circuit5s and systems for video technology", Heft 3, Nr. 5, Oktober 1993, Seiten 368–379 bekannt.
Für viele Applikationen im Bereich der Videosignalverarbeitung ist es notwendig, das wirkliche Geschwindigkeitsfeld einer Folge von Bildern zu kennen, was als optischer Fluss bekannt ist. Dieser optische Fluss wird als zeitvariables Bewegungsvektorfeld gegeben, d.h. ein Bewegungsvektorfeld je Bildpaar. Es sei bemerkt, dass ein Bild ein Teil verschiedener Bildpaare sein kann. In dem genannten Artikel wird dieses Bewegungsvektorfeld durch Aufteilung des Bildes in Blöcke geschätzt. Für einen Satz von Kandidatenbewegungsvektoren jedes Blocks werden Übereinstimmungsfehler berechnet und in einer Minimierungsprozedur verwendet um den am meisten geeigneten Bewegungsvektor aus dem Satz von Kandidatenbewegungsvektoren des Blocks zu finden. Der Übereinstimmungsfehler entspricht dem SAD: der Summe absoluter Leuchtdichtedifferenzen zwischen Pixeln in einem Block eines aktuellen Bildes, und der Pixel eines Blocks in einem Bezugsbild, verschoben um den Bewegungsvektor. Wenn das Bezugsbild und das aktuelle Bild unmittelbar aufeinander folgen, kann die SAD berechnet werden mit:
Hier ist (x,y) die Position des Blocks, (d_x,d_y) ist ein Bewegungsvektor, n ist die Bildnummer, N und M sind die Breite bzw. Höhe des Blocks, und Y(x,y,n) ist der Wert der Leuchtdichte eines Pixels an der Stelle (x,y) in dem Bild n.
Der Satz mit Kandidatenbewegungsvektoren umfasst Bewegungsvektoren, die aus einem Satz vorher geschätzter Bewegungsvektoren und beliebiger Bewegungsvektoren extrahiert worden sind. Der Satz umfasst Bewegungsvektoren, die für dasselbe Bewe gungsvektorfeld berechnet worden ist, zu dem auch der betreffende aktuelle Bewegungsvektor gehört. Diese Bewegungsvektoren werden als "räumliche Kandidaten" bezeichnet. Der Satz kann auch Bewegungsvektoren enthalten, die für ein anderen Bewegungsvektorfeld berechnet worden sind. Diese letzteren Bewegungsvektoren werden als "zeitliche Kandidaten" bezeichnet. Die Wahl für "räumliche Kandidaten" als Bewegungsvektorkandidaten für den aktuellen betreffenden Pixelblock basiert auf der Annahme, dass verschiedne Pixelblöcke ein und demselben Objekt in einer wiedergegebenen Szene entsprechen. Die Wahl für "zeitliche Kandidaten" als Bewegungsvektorkandidaten für den aktuellen betreffenden Pixelblock basiert auf der Annahme, dass Objekte in einer dargestellten Szene mit einer konstanten Geschwindigkeit sich verlagern. Die beiden Annahmen aber stimmen nicht immer. Das Ergebnis ist, dass Konvergenz beim Finden der geeigneten Bewegungsvektoren der Bewegungsvektorfelder nicht optimal ist.
Aus US 6.278.736 ist Bewegungsschätzung unter Anwendung einer parametrischen Schätzung bekannt. Diese parametrische Schätzung benutzt Information über Kamerabewegungen zum Erhalten eines zusätzlichen Bewegungsvektors.
Aus US 5.647.049 ist ein Verfahren zur Bewegungsschätzung bekannt. Dieses Verfahren schlägt die Verwendung von Bewegungsvektoren aus Bezugssignalen vor zum Erhalten eines differenziellen Bewegungsvektors und zum Codieren des differenziellen Bewegungsvektors.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, eine Bewegungsschätzungseinheit der eingangs beschriebenen Art zu schaffen, die eine relativ Konvergenz beim Finden der geeigneten Bewegungsvektoren der Bewegungsvektorfelder hat.
Die Aufgabe der vorliegenden Erfindung wird dadurch erfüllt, dass die Bewegungsschätzungseinheit dazu vorgesehen ist, zu dem Satz von Kandidatenbewegungsvektoren durch Berechnung eines Bewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören, einen weiteren Kandidatenbewegungsvektor hinzuzufügen. Stattdessen, dass nur Bewegungsvektoren genommen werden, die als anwendbar für andere Teile des Bildes oder für andere Bilder gelten, werden nun Kandidatenbewegungsvektoren berechnet, und zwar auf Basis vieler Bewegungsvektoren.
Ein Vorteil des vorgeschlagenen Schemas ist, dass es mehr Information berücksichtigt, was zu einer genaueren Schätzung von Kandidatenbewegungsvektoren führt. Die erhaltene Genauigkeit in der Schätzung ermöglicht einen neunen Ausgleichspunkt zwischen der Anzahl Kandidatenbewegungsvektoren und der Konvergenz der Genauigkeit der Bewegungsschätzungseinheit. Dies ist günstig für skalierbare Bewegungsschätzungsschemen.
Ein anderer Vorteil ist, dass verschiedene Bewegungsmodelle berücksichtigt werden können Beispiele derartiger Bewegungsmodelle sind die jüngste Geschwindigkeit, die jüngste Beschleunigung, Zoom oder Drehung. Der Typ des Bewegungsmodells bezieht sich auf die verwendeten vorher geschätzten Bewegungsvektoren zum Berechnen eines Kandidatenbewegungsvektors. Der erste Bewegungsvektor und der zweite Bewegungsvektor können zu ein und demselben Bewegungsvektorfeld gehören. Vorzugsweise aber gehören der erste Bewegungsvektor und der zweite Bewegungsvektor zu verschiedenen Bewegungsvektorfeldern.
Der Satz mit Kandidatenbewegungsvektoren, der getestet wird um den aktuellen Bewegungsvektor zu finden, umfasst:

– "räumliche Kandidaten", extrahiert aus dem Satz vorhergehend geschätzter Bewegungsvektoren;
– "zeitliche Kandidaten", extrahier aus dem Satz vorher geschätzter Bewegungsvektoren;
– "mehrfach zeitliche Kandidaten", berechnet auf Basis von mehreren "zeitlichen Kandidaten", extrahiert aus dem Satz vorher geschätzter Bewegungsvektoren;
– "mehrfach räumliche Kandidaten", berechnet auf Basis mehrerer "räumlicher Kandidaten". Extrahiert aus dem Satz vorher geschätzter Bewegungsvektoren; und
– beliebige Bewegungsvektoren.

In einer Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung ist der Selektor dazu vorgesehen, aus dem Satz mit Kandidatenbewegungsvektoren einen speziellen Bewegungsvektor als den aktuellen Bewegungsvektor zu selektieren, wenn der entsprechende Übereinstimmungsfehler der kleinste der Übereinstimmungsfehler ist. Dies ist eine relativ einfache Annäherung zum selektieren des aktuellen Bewegungsvektors aus dem Satz von Kandidatenbewegungsvektoren.
In einer Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung ist die Übereinstimmungsfehlereinheit vorgesehen zum Berechnen eines ersten Fehlers der Übereinstimmungsfehler durch Subtrahierung von Leuchtdichtewerten von Pixeln von Blöcken betreffender Bilder eines ersten Bilderpaares. In diesem Fall ent spricht die Gruppe einem Pixelblock. Vorzugsweise wird die Summe absoluter Leuchtdichtedifferenzen (SAD) berechnet. Die SAD ist ein relativ zuverlässiges Maß zur Korrelation, die relativ schnell berechnet werden kann.
In einer Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung gehört der erste Bewegungsvektor einem ersten Vorwärtsbewegungsvektorfeld und der zweite Bewegungsvektor gehört zu einem zweiten Vorwärtsbewegungsvektorfeld, wobei das erste Vorwärtsbewegungsvektorfeld und das zweite Vorwärtsbewegungsvektorfeld verschieden sind. Ein Vorwärtsbewegungsvektor umfasst Bewegungsvektoren, die durch einen Vergleich eine Pixelblocks eines aktuellen Bildes mit Pixelblöcken eines dem aktuellen Bild nachfolgenden Bezugsbildes berechnet werden. Es sei bemerkt, dass Nachfolgen nicht bedeutet, dass es keine anderen Bilder zwischen dem aktuellen Bild und dem Bezugsbild geben könnte. Es wird nun vorausgesetzt, dass es eine Reihe von Bildern gibt, die Bild 0, Bild 1, Bild 2 bzw. Bild 3 umfasst. Dann könnten die nachfolgenden Vorwärtsbewegungsvektoren mit dem Bild 0 als aktuellem Bild geschätzt werden: V(0,1), d.h. wobei das Bild 1 das Bezugsbild ist, V(0,2), d.h. wobei das Bild 2 das Bezugsbild ist und V(0,3), d.h., wobei das Bild 3 das Bezugsbild ist. Obschon das allgemeine vorgeschlagene Schema jede Art von Berechung an den Bewegungsvektorfeldern erlaubt, ist das wichtigste, einfach preisgünstige, elementartige Vorgänge zu implementieren, d.h. der weitere Kandidatenbewegungsvektor basiert auf zwei vorher berechneten Bewegungsvektoren, Beispiel sind:

– das Berechnen des weiteren Kandidatenbewegungsvektors mit Hilfe von Subtrahierung des ersten Bewegungsvektors von dem zweiten Bewegungsvektor;
– das Berechnen des weiteren Kandidatenbewegungsvektors mit Hilfe von Subtrahierung des zweiten Bewegungsvektors von dem ersten Bewegungsvektor, und
– das Berechnen des weiteren Kandidatenbewegungsvektors mit Hilfe von Multiplikation des zweiten Bewegungsvektors mit einer vorbestimmten Konstanten und Subtrahierung des ersten Bewegungsvektors. Multiplikation eines Bewegungsvektors mit einer vorbestimmten Konstanten kann mit Hilfe von Summierung implementiert werden.

In einer Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung gehört der erste Bewegungsvektor zu einem vierten Vorwärtsbewegungsvektorfeld und der zweite Bewegungsvektor gehör zu einem Rückwärtsbewegungsvektorfeld. Ein Rückwärtsbewegungsvektor umfasst Bewegungsvektoren, die durch einen Vergleich eines Pixelblocks eines aktuellen Bildes mit Pixelblöcken eines dem aktuellen Bild vorhergehenden Bezugsbildes berechnet werden. Es sei bemerkt, dass vorhergehen nicht bedeutet, dass es zwischen dem aktuellen und dem Bezugbild keine anderen Bilder geben kann. Es wird nun vorausgesetzt, dass es eine Reihe von Bildern gibt, die Folgendes umfasst: Bild 0, Bild 1, Bild 2 und Bild 3. Dann könnten die nachfolgenden Rückwärtsbewegungsvektoren mit Bild 3 als aktuellem Bild geschätzt werden: V(3,2), d.h. wobei Bild 2 das Bezugsbild ist, V(3,1), d.h. wobei das Bild 1 das Bezugsbild ist und V(3,0), d.h., wobei das Bild 0 das Bezugsbild ist. Der weitere Kandidatenbewegungsvektor könnte auf zwei vorher berechneten Bewegungsvektoren basiert sein. Ein Beispiel ist das Berechnen des weiteren Kandidatenbewegungsvektors mit Hilfe von Multiplikation des ersten Bewegungsvektors mit einer vorbestimmten Konstanten und Summierung des zweiten Bewegungsvektors. Ein Vorteil der Kombination von Bewegungsvektoren aus den Vorwärtsbewegungsvektorfeldern und Rückwärtsbewegungsvektorfeldern ist, dass Bewegungsvektoren, die Bildern mit einer relativ geringen Zeitdifferenz mit dem aktuellen Bild entsprechen, verwendet erden können.
Es ist vorteilhaft, eine Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung in einem Videocodierer, beispielsweise einem MPEG-Codierer zu verwenden. Insbesondere in MPEG-Codierern ist es üblich, mehrere Bewegungsvektorfelder für ein Bild zu berechnen. Diese Bewegungsvektoren werden einstweilig gespeichert. Anwendung einiger dieser vielen Bewegungsvektorfelder zum Berechnen von Kandidatenbewegungsvektoren ist vorteilhaft. In MPEG-Codierern ist es bekannt, Kandidatenbewegungsvektoren mit Hilfe von Skalierung eines einzigen vorher geschätzten Bewegungsvektors zu berechnen. In einigen Fällen ist die Berechnung von Mehrfach-zeitlichen Schätzungen rechnerisch weniger komplex als Skalierung von Bewegungsvektoren. Während Skalierung Multiplikation mit komplizierten Faktoren erfordert (nicht einfach in einfache binäre Verschiebungs- und Addierungsvorgänge zerlegt), kann der mehrfach-zeitliche Kandidatenbewegungsvektor mit einfachen Verschiebungs- und Addierungsvorgängen berechnet werden. Modifikationen des Codierers und Variationen davon können Modifikationen und Variationen davon der beschriebenen Bewegungsschätzungseinheit entsprechen.
Ein mehrfach-zeitlicher Kandidat kann auf Basis zweier oder mehrere vorher geschätzter Bewegungsvektoren berechnet werden. Der Typ der Berechnung für den mehrfach zeitlichen Kandidaten ist davon abhängig, welcher der vorher geschätzten Bewe gungsvektoren verfügbar sind. Die Typen der Berechnung können durch die Zeitdifferenzen zwischen dem aktuellen Bild und den verfügbaren vorher geschätzten Bewegungsvektoren gesteuert werden. Ein anderer Parameter, der für die Selektion eines vorher geschätzten Bewegungsvektor von Einfluss sein kann, ist der Übereinstimmungsfehler des vorher geschätzten Bewegungsvektors. Kenntnisse des wahrnehmbaren Bewegungsmodells ist auch relevant.
Es ist vorteilhaft, eine Ausführungsform der Bewegungsschätzungseinheit nach der vorliegenden Erfindung in einer Bildverarbeitungsanordnung der eingangs beschriebenen Art zu verwenden. Die Bildverarbeitungsanordnung kann zusätzliche Bauteile enthalten, beispielsweise eine Wiedergabeanordnung zum Wiedergeben der verarbeiteten Bilder oder Speichermittel zur Speicherung der verarbeiteten Bilder. Die bewegungskompensierte Bildverarbeitungseinheit kann einen oder mehrere der nachfolgenden Bildverarbeitungstypen unterstützen:

– Entschachtelung: Verschachtelung ist die übliche Videosendeprozedur zum wechselweisen Übertragen der ungerade und gerade nummerierten Bildzeilen. Entschachtelung versucht die völlige Vertikalauflösung wiederherzustellen, d.h. die geradzahligen und ungeradzahligen Zeilen für jedes Bild gleichzeitig verfügbar zu machen;
– Aufwärtsmischung: Aus einer Reihe ursprünglicher Eingangsbilder wird eine größere Reihe Ausgangsbilder berechnet. Ausgangsbilder werden vorübergehend zwischen zwei ursprüngliche Eingangsbilder angesiedelt; und
– Einstweilige Rauschreduktion. Dies kann auch räumliche Verarbeitung betreffen, was zu einer räumlich-zeitlichen Rauschreduktion führt.

Modifikationen der Bildverarbeitungsanordnung und Variationen davon können Modifikationen und Variationen davon der beschriebenen Bewegungsschätzungseinheit entsprechen.
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine schematische Darstellung der Beziehungen zwischen einer Anzahl aufeinander folgender Bilder und Bewegungsvektoren,
2A, 2B, 2C und 2D eine schematische Darstellung von beispielen von Beziehungen zwischen Bewegungsvektoren, die zu einem bewegenden Objekt gehören, und zwar um zu illustrieren, dass ein mehrfach-zeitlicher Kandidatenbewegungsvektor mit Hilfe zweier vorher geschätzter Bewegungsvektoren berechnet werden kann,
3 eine schematische Darstellung der Beziehungen zwischen Bewegungsvektoren und einer Anzahl aufeinander folgender Bilder, wie bei MPEG Codierung bekannt;
4 eine schematische Darstellung eines Teils eines Bewegungsvektorfeldes,
5 eine schematische Darstellung einer Ausführungsform einer Bewegungsschätzungseinheit nach der vorliegenden Erfindung,
6 eine schematische Darstellung einer Ausführungsform eines Video Codierers mit einer Bewegungsschätzungseinheit nach der vorliegenden Erfindung, und
7 eine schematische Darstellung von Elementen einer Bildverarbeitungsanordnung mit einer Bewegungsschätzungseinheit nach der vorliegenden Erfindung. Entsprechende Bezugszeichen haben in allen Figuren dieselbe Bedeutung.
1 zeigt schematisch die Beziehungen zwischen einer Anzahl aufeinander folgender Bilder 0, 1, 2, 3, 4, 5 und Bewegungsvektoren V(c,r) mit c ∊ {0,3} und r ∊ {0,1,2,3,4,5}. Der Syntax ist wie folgt. Ein Vorwärtsbewegungsvektor, in Bezug auf ein Bilderpaar mit dem Bild 0 und dem Bild 1 wird beispielsweise als V(0,1) bezeichnet. Ein Rückwärtsbewegungsvektor, in Bezug auf ein Bilderpaar mit dem Bild 2 und dem Bild 3 wird als V(3,2) bezeichnet. Im Grunde sind andere Werte von c und r möglich.
2A zeigt schematisch ein Beispiel einer Beziehung zwischen Bewegungsvektoren, die zu einem bewegenden Objekt 200 gehören. Es soll dargestellt werden, dass ein mehrfachzeitlicher Kandidatenbewegungsvektor Ṽ(3,4) mit Hilfe zweier vorher geschätzter Bewegungsvektoren berechnet werden kann. Es wird vorausgesetzt, dass die nachfolgenden Bewegungsvektoren bereits geschätzt worden sind: V(0,2) und V(0,3). Nun soll ein mehrfachzeitlicher Kandidatenbewegungsvektor Ṽ(3,4) berechnet werden. Dies kann durch Anwendung der Gleichung 2 erreicht werden: Ṽ(3,4) = V(0,3) – V(0,2) (2)
Dies bedeutet, dass Ṽ(3,4) ein extrapolierter Bewegungsvektor ist, der mit Hilfe von Subtrahierung zweier vorhergehender Vorwärtsbewegungsvektoren berechnet wird.
2B zeigt schematisch ein anderes Beispiel einer Beziehung zwischen Bewegungsvektoren, die zu einem bewegenden Objekt 200 gehören. Es wird vorausgesetzt, dass die nachfolgenden Bewegungsvektoren zu einem bewegenden Objekt 200 gehören. Es wird vorausgesetzt, dass die nachfolgenden Bewegungsvektoren bereits geschätzt worden sind: V(3,4) und V(3,2). Nun soll ein mehrfach-zeitlicher Kandidatenbewegungsvektor Ṽ(3,5) berechnet werden. Dies kann durch Anwendung der Gleichung 3 erreicht werden: Ṽ(3,5) = 3V(3,4) + V(3,2) (3)
Dies bedeutet, dass Ṽ(3,5) ein extrapolierter Bewegungsvektor ist, der mit Hilfe von Summierung eines Vorwärtsbewegungsvektors multipliziert mit einer vorbestimmten Konstanten, und eines Rückwärtsbewegungsvektors berechnet wird.
2C zeigt schematisch ein anderes Beispiel einer Beziehung zwischen Bewegungsvektoren, die zu einem bewegenden Objekt 200 gehören. Es wird vorausgesetzt, dass die nachfolgenden Bewegungsvektoren bereits geschätzt worden sind: V(0,2) und V(0,1). Nun soll ein mehrfach-zeitlicher Kandidatenbewegungsvektor Ṽ(0,3) berechnet werden. Dies kann durch Anwendung der Gleichung 4 erreicht werden: Ṽ(0,3) = 2V(0,2) – V(0,1) (4)
Dies bedeutet, dass Ṽ(0,3) ein extrapolierter Bewegungsvektor ist, der, Informationsträger Hilfe von Subtrahierung eines Vorwärtsbewegungsvektors von einem anderen Vorwärtsbewegungsvektor, der mit einer vorbestimmten Konstanten multipliziert worden ist, berechnet wird.
2D zeigt schematisch ein anderes Beispiel einer Beziehung zwischen Bewegungsvektoren, die zu einem bewegenden Objekt 200 gehören. Es wird vorausgesetzt, dass die nachfolgenden Bewegungsvektoren bereits geschätzt worden sind: V(0,2) und V(0,3). Nun soll ein mehrfach-zeitlicher Kandidatenbewegungsvektor Ṽ(3,2) berechnet werden. Dies kann durch Anwendung der Gleichung 5 erreicht werden: Ṽ(3,2) = V(0,2) – V(0,3) (5)
Dies bedeutet, dass Ṽ(3,2) ein interpolierter Bewegungsvektor ist, der mit Hilfe von Subtrahierung eines Vorwärtsbewegungsvektors von einem anderen Vorwärtsbewegungsvektor berechnet wird.
3 zeigt schematisch die Beziehungen zwischen Bewegungsvektoren und einer Anzahl aufeinander folgender Bilder IBBPBB, wie bei MPEG Codierung bekannt. Bei MPEG gibt es I, P, und B Bildertypen. Die beiden Bilder I und P dienen als Bezugsbilder. Die P Bilder werden aus dem vorhergehenden Bezugsbild vorwärts vorhergesagt. Die B Bilder werden aus einem vorhergehenden und einem künftigen Bezugsbild bidirektional vorhergesagt. Eine Gruppe von Bildern (GOP) umfasst Subgruppen k der Form (I/P) BB ... B(I/P). Es sei bemerkt, dass in 3 vorausgesetzt ist, dass k = 2 ist. Die Anzahl Bilder innerhalb einer Subgruppe 1 oder Subgruppe 2 wird, entsprechend der Prädiktionstiefe M einer GOP, durch M₁ und M₂ bezeichnet. Im Allgemeinen ist M_k nicht unbedingt fest. Ein alternativer Syntax wird für die Bewegungsvektoren verwendet. Ein Vorwärtsbewegungsvektor, der bei der Prädiktion des i. Bildes der k. Subgruppe verwendet wird, wird durch fki bezeichnet. Der Rückwärtsbewegungsvektor wird durch bki bezeichnet.
Nachstehend werden Verallgemeinerungen der im Zusammenhang mit 2A, 2B, 2C und 2D beschriebenen Beispiele vorgesehen, Der alternative Syntax wird dazu verwendet. Es wird vorausgesetzt, dass M_k = M_k-1 = 3 ist. Die Gleichung (2) lässt sich verallgemeinern zu:
Das unterliegende Bewegungsmodell ist die "jüngste Geschwindigkeit". In diesem Fall werden Bewegungsvektoren, die zu einer anderen Subgruppe gehören, zum berechnen des mehrfach-zeitlichen Kandidatenbewegungsvektors verwendet. Es sei bemerkt, dass die Berücksichtigung der Annahmen, die für 3 anwendbar sind, Folgendes ergibt: f ~21 = f13 – f12 (7)
Dies entspricht dem in 2A gegebenen Beispiel.
Die Gleichung (3) kann verallgemeinert werden zu:
Das unterliegende Bewegungsmodell ist die "jüngste Bescheunigung". In diesem Fall wird ein Bewegungsvektor, der zu einer anderen Subgruppe gehört, zusammen mit einem Bewegungsvektor von derselben Subgruppe zum Berechnen des mehrfach-zeitlichen Kandidatenbewegungsvektors verwendet. Es sei bemerkt, dass Berücksichtigung der Annahmen, die für 3 anwendbar sind, Folgendes ergibt: f ~22 = 3f21 + b12 (9)
Dies entspricht dem in 2B gegebenen Beispiel.
Die Gleichung (4) kann wie folgt verallgemeinert werden: f ~ki = 2fki-1 – fki-2 (10)
Das unterliegende Bewegungsmodell ist die "jüngste Geschwindigkeit". In diesem Fall werden Bewegungsvektoren, die zu derselben Subgruppe gehören, zum Berechnen des mehrfach-zeitlichen Kandidatenbewegungsvektors verwendet. Es wird vorausgesetzt, dass i = 3 ist. Berücksichtigung der Annahmen, die für 3 gelten, ergibt: f ~23 = 2f22 – f21 (11)
Dies entspricht dem in 2C gegebenen Beispiel.
Die Gleichung (5) kann wie folgt verallgemeinert werden:
In diesem Fall werden Bewegungsvektoren, die zu derselben Subgruppe gehören, zum Berechnen des mehrfach-zeitlichen Bewegungsvektors verwendet. Es wird vorausgesetzt, dass i = 2 ist. Berücksichtigung der Annahmen, die für 3 gelten, ergibt: b ~22 = f22 – f23 (13)
Dies entspricht dem in 2D gegebenen Beispiel.
4 zeigt schematisch einen Teil eines Bewegungsvektorfeldes 400 mit den Bewegungsvektoren 402–410. Das Bewegungsvektorfeld 400 bezieht sich auf ein Zoom. Obschon die jeweiligen Bewegungsvektoren 402–410 verschieden sind, enthalten sie gemeinsame Information, d.h. die Parameter des Bewegungsmodells. Extraktion dieser Parameter aus vorher berechneten Bewegungsvektoren ist der erste Schritt. Der zweite Schritt ist die Anwendung dieser Information zum Berechnen eines Kandidatenbewegungsvektors. Dies bedeutet einen mehrfach-räumlichen Kandidatenbewegungsvektor. Der zu diesem Kandidatenbewegungsvektor führende Prozess kann auf Interpolations- und/oder Extrapolationsschemen beruhen, die den oben beschriebenen Schemen entsprechen.
5 zeigt schematisch eine Ausführungsform einer Bewegungsschätzungseinheit 500, die Folgendes umfasst:

– ein Erzeugungsmittel 502 zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für einen Pixelblock eines aktuellen Bildes;
– eine Übereinstimmungsfehlereinheit 506 zum Berechnen von Übereinstimmungsfehlern betreffender Kandidatenbewegungsvektoren des Pixelblocks durch Summierung absoluter Differenzen zwischen Pixelwerten des Pixelblocks und Pixelwerten eines Bezugsbildes;
– einen Speicher 504 zum Speichern geschätzter Bewegungsvektoren und der entsprechenden Übereinstimmungsfehler; und
– einen Selektor 508 zum Selektieren eines aktuellen Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren.

Der Eingang der Bewegungsschätzungseinheit 500 umfasst Bilder und wird einem Eingangsanschluss 510 zugeführt. Der Ausgang der Bewegungsschätzungseinheit 500 sind Bewegungsvektorfelder und wird an einem Ausgangsanschluss 512 geliefert. Das Verhal ten der Bewegungsschätzungseinheit 500 ist wie folgt. Erstens erzeugen die Erzeugungsmittel 502 für einen Pixelblock einen Satz mit Kandidatenbewegungsvektoren. Dieser Satz kann beliebige Bewegungsvektoren oder Bewegungsvektoren enthalten, die unmittelbar aus dem Satz vorher geschätzter Bewegungsvektoren, wie diese in dem Speicher 504 gespeichert sind, extrahiert werden. Aber die Erzeugungsmittel 502 sind ebenfalls vorgesehen zum Berechnen eines weiteren Kandidatenbewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören. Eine derartige Berechnung ist in Übereinstimmung mit den Gleichungen, wie diese im Zusammenhang mit einer der 2A–2D oder 3 oder in Übereinstimmung mit dem Konzept, wie im Zusammenhang mit 4 beschrieben worden ist. Nachdem der Satz mit Kandidatenbewegungsvektoren gemacht worden ist, berechnet die Übereinstimmungsfehlereinheit 506 für diese Kandidatenbewegungsvektoren die Übereinstimmungsfehler. Danach selektiert der Selektor 508 einen aktuellen Bewegungsvektor aus dem Satz mit Kandidatenbewegungsvektoren auf Basis dieser Übereinstimmungsfehler. Dieser aktuelle Bewegungsvektor wird selektiert, weil sein Übereinstimmungsfehler den niedrigsten Wert hat. Der aktuelle Bewegungsvektor wird auch in dem Speicher 504 gespeichert.
6 zeigt schematisch eine Ausführungsform, eines Video Codierers 600, der vorgesehen ist zum Transformieren einer eintreffenden Sequenz nicht komprimierter Bilder in komprimierte Bilder. Der Video Codierer 600 umfasst Folgendes:

– eine Codiererkette 602 mit einem Anfang und einem Ende, und nacheinander mit: einem Bewegungsschätzer 500, einem diskreten Transformator 626, einem Quantisierer 628 und einem Laufpegelcodierer 629;
– eine Decoderkette 616 mit einem Anfang und einem Ende, und mit nacheinander: einem Laufpegeldecoder 623, einem invertierten Quantisierer 622, einem invertierten diskreten Kosinustransformator 620, und einem Bewegungskompensator 618;
– einen Codierer variabler Länge 634; und
– einen Bezugsbildpool 603 zum Speichern vorheriger Bezugsbilder 630 und künftiger Bezugsbilder 632.

Die eintreffende Sequenz nicht komprimierter Bilder geht in den Video Codierer 600 an dem Eingangsanschluss 612 ein. Die Codierung von Bildern ist auf einer Makroblockbasis beschrieben, d.h. auf Basis von Blöcken von 16×16 Pixeln. Innerhalb jedes Bildes werden Makroblöcke in einer Sequenz von links nach rechts codiert. Für einen bestimmten Makroblock wird die Codierungsart gewählt. Dies ist von dem Bildertyp und der Effektivität der bewegungskompensierten Prädiktion abhängig. Je nach der Codierungsart wird eine bewegungskompensierte Prädiktion des Inhalts des Makroblocks auf Basis vergangener und/oder künftiger Bezugsbilder durch die Bewegungsschätzungseinheit 500 gebildet. Diese Bezugsbilder werden aus dem Bezugsbilderpool 603 erfasst. Die Prädiktion wird von den wirklichen Daten in dem aktuellen Makroblock subtrahiert, d.h. von Pixeln in dem nicht komprimierten Bild, und zwar zum Bilden eines Prädiktionsfehlers. Es sei bemerkt, dass ein Prädiktionsfehler eine Matrix von Pixeln ist. Der Prädiktionsfehler ist Eingabe für den diskreten Kosinustransformator 626, der den Prädiktionsfehler in 8×8 Pixelblöcke aufteilt und eine diskrete Kosinustransformation an jedem 8×8 Pixelblock durchführt. Der resultierende zweidimensionale 8×8 Block mit DCT Koeffizienten ist Eingabe für den Quantisierer 628, der eine Quantisierung durchführt. Quantisierung beeinflusst vorwiegend die hohen Frequenzen. Das menschliche Sichtsystem ist weniger empfindlich für Bildverzerrungen bei höheren Frequenzen. Der quantisierte zweidimensionale 8×8 Block DCT Koeffizienten wird zickzackweise abgetastet und durch den Laufpegelcodierer 629 in eine eindimensionale Reihe quantisierter DCT Koeffizienten umgewandelt. Diese Reihe stellt ein komprimiertes Bild dar. Ein derartiges komprimiertes Bild kann in dem Bezugsbilderpool 603 zur späteren Verwendung gespeichert werden, beispielsweise um als Bezugsbild verwendet zu werden. Ein komprimiertes Bild kann auch in eine codierte Reihe variabler Länge umgewandelt werden. Diese Umwandlung erfolgt durch den Codierer variabler Länge 634. Nebst dem Prädiktionsfehler wird andere Information, beispielsweise der Typ des Bildes und das Vektorfeld auf gleiche Weise codiert.
Bewegungsschätzung erfordert Bezugsbilder. Das vorhergehende Bezugsbild und das künftige Bezugsbild werden beide mit Hilfe der Decoderkette 616 aus komprimierten Bildern rekonstruiert. Komprimierte Bilder werden aus dem Bezugsbilderpool 603, wenn nötig, erfasst. Sie werden danach durch einen Laufpegeldecoder 623, den invertierten Quantisierer 622, den invertierten diskreten Kosinustransformator 620 und den Bewegungskompensator 618 verarbeitet. Diese vier Einheiten führen die invertierten Vorgänge in Bezug auf die vier Einheiten der Codiererkette 602 durch, aber in umgekehrter Reihenfolge. Nach Rekonstruktion werden die Bezugsbilder vorübergehend in dem Bezugsbil derpool 603 gespeichert um für die Bewegungsschätzung für ein nachfolgendes nicht komprimiertes Bild verwendet zu werden.
7 zeigt schematisch Elemente einer Bildverarbeitungsanordnung 700, die Folgendes umfasst:

– Empfangsmittel 702 zum Empfangen eines Signals, das Bilder darstellt, die nachdem eine gewisse Verarbeitung statt gefunden hat, wiedergegeben werden sollen. Das Signal kann ein gesendetes Signal sein, das über eine Antenne oder über Kabel empfangen worden ist, es kann aber auch ein Signal aus einer Speicheranordnung, wie einem VCR oder einer DVD sein. Das Signal wird dem Eingangsanschluss 706 zugeführt
– eine Bewegungsschätzungseinheit 500, wie im Zusammenhang mit 5 beschrieben;
– eine bewegungskompensierte Bildverarbeitungseinheit 704, und
– eine Wiedergabeanordnung 706 zur Wiedergabe der verarbeiteten Bilder. Die Wiedergabeanordnung ist fakultativ.

Die bewegungskompensierte Bildverarbeitungseinheit 706 erfordert Bilder und Bewegungsvektoren als Eingabe.
Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche alternative Ausführungsformen zu entwerfen. In den Ansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch begrenzend betrachtet werden. Das Wort umfassen schließt das Vorhandensein von Elementen oder Verfahrensschritten, die nicht in dem Anspruch genannt sind, nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus. Die vorliegende Erfindung kann mit Hilfe von Hardware mit verschiedenen einzelnen Elementen und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In den Anordnungsansprüchen, worin verschiedene Mittel nummeriert worden sind, können verschiedene dieser Mittel von ein und demselben Hardware-Item verkörpert werden.

Claims

Bewegungsschätzungseinheit (500) zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln in einem Bild, wobei diese Einheit die nachfolgenden Elemente umfasst: – Erzeugungsmittel (502) zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorher geschätzter Bewegungsvektoren extrahiert worden sind, – eine Übereinstimmungsfehlereinheit (506) zum Berechnen von Übereinstimmungsfehlern der betreffenden Kandidatenbewegungsvektoren; und – einen Selektor (508) zum Selektieren des aktuellen Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren, dadurch gekennzeichnet, dass die Bewegungsschätzungseinheit (500) dazu vorgesehen ist, zu dem Satz von Kandidatenbewegungsvektoren durch Berechnung eines Bewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören, einen weiteren Kandidatenbewegungsvektor hinzuzufügen.
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeichnet, dass der Selektor (508) dazu vorgesehen ist, aus dem Satz von Kandidatenbewegungsvektoren einen bestimmten Bewegungsvektor als der aktuelle Bewegungsvektor zu selektieren, wenn der entsprechende Übereinstimmungsfehler der kleinste der Übereinstimmungsfehler ist.
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeichnet, dass die Übereinstimmungsfehlereinheit (506) entworfen ist zum Berechnen eines ersten Fehlers der Übereinstimmungsfehler mit Hilfe von Subtraktion von Leuchtdichtenwerten von Pixeln von Pixelblöcken von betreffenden Bildern eines ersten Bilderpaares.
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeich net, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors auf Basis des ersten Bewegungsvektors (V(0,3)) und des zweiten Bewegungsvektors (V(0,3)), wobei der ersten Bewegungsvektor (V(0,3)) zu einem ersten Vorwärtsbewegungsvektorfeld gehört und der zweite Bewegungsvektor (V(0,2)) zu einem zweiten Vorwärtsbewegungsvektorfeld gehört, wobei das erste Vorwärtsbewegungsvektorfeld und das zweite Vorwärtsbewegungsvektorfeld verschieden sind.
Bewegungsschätzungseinheit (500) nach Anspruch 4, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors durch Subtraktion des zweiten Bewegungsvektors (V(0,2)) von dem ersten Bewegungsvektor (V(0,3)).
Bewegungsschätzungseinheit (500) nach Anspruch 4, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors durch Subtraktion des ersten Bewegungsvektors (V(0,3)) von dem zweiten Bewegungsvektor (V(0,2)).
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors auf Basis des ersten Bewegungsvektors (V(0,1), wobei der zwei Bewegungsvektor (V(0,2)) zu dem zweiten Vorwärtsbewegungsvektorfeld gehört und der erste Bewegungsvektor (V(0,1)) zu einem dritten Vorwärtsbewegungsvektorfeld gehört, wobei das zweite Vorwärtsbewegungsvektorfeld und das dritte Vorwärtsbewegungsvektorfeld verschieden sind.
Bewegungsschätzungseinheit (500) nach Anspruch 7, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors durch Multiplikation des zweiten Bewegungsvektors (V(0,2)) mit einer vorbestimmten Konstanten und Subtraktion des ersten Bewegungsvektors (V(0,1)).
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungs vektors auf Basis des ersten Bewegungsvektors (V(3,4)) und des zweiten Bewegungsvektors (V3,2)), wobei der ersten Bewegungsvektor (V(3,4)) zu einem vierten Vorwärtsbewegungsvektorfeld gehört und der zweite nach der vorliegenden Erfindung (V(3,2)) zu einem ersten Rückwärtsbewegungsvektorfeld gehört.
Bewegungsschätzungseinheit (500) nach Anspruch 9, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors durch Multiplikation des ersten Bewegungsvektors (V(3,4)) mit einer vorbestimmten Konstanten, und Summierung des zweiten Bewegungsvektors (V(3,2)).
Bewegungsschätzungseinheit (500) nach Anspruch 1, dadurch gekennzeichnet, dass diese Einheit vorgesehen ist zum Berechnen des weiteren Kandidatenbewegungsvektors (410) auf Basis des ersten Bewegungsvektors (404) und des zweiten Bewegungsvektors (408), wobei der erste Bewegungsvektor (404) und der zweite Bewegungsvektor (408) zu einem bestimmten Bewegungsvektorfeld (400) gehören.
Verfahren zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln eines Bildes, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – einen Erzeugungsschritt zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorher geschätzter Bewegungsvektoren extrahiert werden, – einen Übereinstimmungsfehlerberechnungsschritt zum Berechnen von Übereinstimmungsfehlern betreffender Kandidatenbewegungsvektoren; und – einen Selektionsschritt zum Selektieren des Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren, dadurch gekennzeichnet, dass bei dem Verfahren ein weiterer Kandidatenbewegungsvektor zu dem Satz mit Kandidatenbewegungsvektoren hinzugefügt wird, und zwar durch Berechnung dieses Bewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören.
Codierer (600) der Folgendes umfasst: einen diskreten Kosinustransformator (626), einen Quantisierer (628), einen Laufpegelcodierer (629) und eine Bewegungsschätzungseinheit (500) zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln eines Bildes, wobei die Bewegungsschätzungseinheit (500) Folgendes umfasst: – Erzeugungsmittel (502) zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorhergehend geschätzter Bewegungsvektoren extrahiert worden ist; – Übereinstimmungsfehlereinheit (506) zum Berechnen von Übereinstimmungsfehlern betreffender Kandidatenbewegungsvektoren; und – einen Selektor (508) zum Selektieren des aktuellen Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren, dadurch gekennzeichnet, dass die Bewegungsschätzungseinheit (500) dazu vorgesehen ist, einen weiteren Kandidatenbewegungsvektor zu dem Satz von Kandidatenbewegungsvektoren hinzuzufügen, und zwar durch Berechnung dieses Bewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören.
Bildverarbeitungsanordnung (700), welche die nachfolgenden Elemente umfasst: – Empfangsmittel (702) zum Empfangen eines Signals, das die Bilder darstellt; – eine Bewegungsschätzungseinheit (500) zum Schätzen eines aktuellen Bewegungsvektors für eine Gruppe von Pixeln eines ersten Bildes der Bilder, wobei diese Einheit Folgendes umfasst: – Erzeugungsmittel (502) zum Erzeugen eines Satzes von Kandidatenbewegungsvektoren für die Gruppe von Pixeln, wobei die Kandidatenbewegungsvektoren aus einem Satz vorher geschätzter Bewegungsvektoren extrahiert worden ist; – eine Übereinstimmungsfehlereinheit (506) zum Berechnen von Übereinstimmungsfehlern betreffender Kandidatenbewegungsvektoren; und – einen Selektor (508) zum Selektieren des aktuellen Bewegungsvektors aus den Kandidatenbewegungsvektoren durch einen Vergleich der Übereinstimmungsfehler der betreffenden Kandidatenbewegungsvektoren; und – eine bewegungskompensierte Bildverarbeitungseinheit zum Berechnen verarbeiteter Bil der auf Basis der Bilder und des aktuellen Bewegungsvektors, dadurch gekennzeichnet, dass die Bewegungsschätzungseinheit (500) dazu vorgesehen ist, einen weiteren Kandidatenbewegungsvektor des Satzes von Kandidatenbewegungsvektoren durch Berechnung dieses Bewegungsvektors auf Basis eines ersten Bewegungsvektors und eines zweiten Bewegungsvektors, die beide zu dem Satz vorher geschätzter Bewegungsvektoren gehören.