DE69027479T2

DE69027479T2 - Bewegungsabhängige Videosignalverarbeitung

Info

Publication number: DE69027479T2
Application number: DE69027479T
Authority: DE
Inventors: John William Richards; Raphael Samad
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1989-04-27
Filing date: 1990-04-11
Publication date: 1996-12-05
Anticipated expiration: 2010-04-12
Also published as: GB8909654D0; EP0395274B1; EP0395274A3; GB2231752B; JP3047429B2; GB2231752A; DE69027479D1; EP0395274A2; JPH0362692A; US4992869A

Description

Die Erfindung betrifft die bewegungsabhängige Videosignalverarbeitung. Sie bezieht sich insbesondere auf einen Video-Normwandler, der mit einer solchen Signalverarbeitung arbeitet, sowie auf ein Verfahren zur Gewinnung von Bewegungsvektoren, die Bewegungen zwischen Halbbiern oder Vollbildern eines Videosignals repräsentieren.
Video-Normwandler sind bekanntlich Einrichtungen zur Umwandlung von Videosignalen aus einer Norm in eine andere Norm, z.B. aus einer Norm mit 625 Zeilen pro Vollbild und 50 Halbbildern pro Sekunde in eine Norm mit 525 Zeilen pro Vollbild und 60 Halbbildern pro Sekunde. Wegen der in einem Videosignal auftretenden zeitlichen und vertikalen Alias-Erscheinungen ist eine zufriedenstellende Normwandlung mit einfachen linearen Interpolatonsverfahren allein nicht möglich. Die einfache lineare Interpolation erzeugt in dem resultierenden Bild nämlich unerwünschte Artefakte; insbesondere sind die Bilder vertikal verschmiert und zeitlich unstabil.
Um diese Probleme zu mildern, hat man die Anwendung adaptiver Verfahren in Video-Normwandlern vorgeschlagen, bei denen die Parameter eines linearen Interpolators in Abhängigkeit vom Grad der Bewegung in dem von dem ankommenden Videosignal repräsentierten Bild umgeschaltet werden.
Es wurde auch bereits vorgeschlagen, z.B. zum Zwecke der Datenreduktion bei der Videosignalverarbeitung, aus einem ankommenden Videosignal Bewegungsvektoren mit Hilfe eines Blockausgleichverfahrens (Block-Matching) zu erzeugen, bei dem der Inhalt eines Suchblocks in einem Halbbild oder Vollbild mit den entsprechenden Inhalten mehrerer Suchblöcke in einem Suchareal in dem folgenden Halbbild oder Vollbild verglichen wird, um die minimale Differenz zwischen den so verglichenen Inhalten und damit die Richtung und den Abstand der (eventuellen) Bewegung des Inhalts des ursprünglichen Suchblocks zu bestimmen.
Die europäische Patentanmedung EP-A-0 294 956 offenbart einen Normwandler, bei dem Bewegungsvektoren unter Verwendung eines Blockausgleichverfahrens nach dem Oberbegriff von Anspruch 1 abgeleitet werden.
Die vorliegende Erfindung befaßt sich insbesondere mit den Problemen, die dann auftreten, wenn auf verschiedene Formen von Bildinformationen ein Blockausgleichverfahren angewendet wird.
Gemäß vorliegender Erfindung ist ein bewegungskompensierter Video-Normwandler vorgesehen, wie er in Anspruch 1 definiert ist.
Ein weiterer Gegenstand der Erfindung ist das in Anspruch 5 angegebene Verfahren zur Gewinnung von Bewegungsvektoren, die die Bewegungen zwischen aufeinanderfolgenden Halbbildern oder Vollbildern eines Videosignals repräsentieren.
Im folgenden sei die Erfindung an einem Beispiel näher erläutert. Dabei wird auf die Zeichnungen Bezug genommen, in denen gleiche Teile durchgehend mit den gleichen Bezugszeichen versehen sind.
Fig. 1 zeigt ein Ausführungsbeispiel des bewegungskompensierten Video-Normwandlers gemäß der Erfindung als Blockschaltbild,
Fig. 2 zeigt schematisch eine Umwandlung in progressive Abtastung,
Fig. 3 bis 6 zeigen schematisch Zeilensequenzen in Folgen von Halbbildern zur Erläuterung der Umwandlung in progressive Abtastung,
Fig. 7 zeigt ein Blockdiagramm, in dem die Schritte bei der bewegungsadaptiven Umwandlung in progressive Abtastung dargestellt sind,
Fig. 8 zeigt schematisch die Umwandlung in progressive Abtastung, insbesondere den erforderlichen Schätz- und Differenzwert zwischen aufeinanderfolgenden Halbbildern,
Fig. 9 und 10 zeigen Diagramme zur detaillierteren Erläuterung des Verfahrens von Fig. 8, wobei Fig. 9 eine Normierungsfunktion für die Umwandlung in progressive Abtastung und Fig. 10 eine nichtlineare Funktion für die Umwandlung in progressive Abtastung darstellt,
Fig. 11 zeigt schematisch die Erzeugung von Pixeln in fehlenden Zeilen bei der Umwandlung in progressive Abtastung,
Fig. 12 und 13 zeigen schematisch Suchblöcke und Suchareale und die Beziehung zwischen diesen,
Fig. 14 zeigt eine Korrelationsfläche,
Fig. 15 und 16 zeigen schematisch die Vergrößerung eines Suchblocks,
Fig. 17 zeigt die Bereiche eines Vollbilds, in denen ein Suchblock-Matching nicht möglich ist,
Fig. 18 zeigt schematisch ein bewegtes Objekt, das drei Suchblöcke übergreift,
Fig. 19 bis 21 zeigen drei resultierende Korrelationsflächen,
Fig. 22 und 23 zeigen weitere Beispiele von Korrelationsflächen, die bei der Erläuterung eines Schwellwert-Tests benutzt werden,
Fig. 24 und 25 zeigen weitere Beispiele von Korrelationsflächen, die bei der Erläuterung eines Ring-Tests benutzt werden,
Fig. 26 zeigt schematisch, wie die Richtung bestimmt wird, in der ein Suchblock vergrößert werden soll,
Fig. 27 und 29 zeigen Flußdiagramme zu Verfahren für die Vergrößerung von Suchböcken,
Fig. 28 zeigt schematisch die Wege, auf denen ein Suchblock vergrößert werden kann,
Fig. 30 zeigt einen Teil des Ausführungsbeispiels in ausführlicherer schematischer Blockbilddarstellung,
Fig. 31 zeigt schematisch, wie eine Korrelationsfläche gewichtet wird,
Fig. 32 zeigt die Beziehung zwischen Abtastblöcken und Suchblöcken und ein Videovollbild,
Fig. 33 zeigt Bewegungsvektorregionen in einem Videovollbild,
Fig. 34 bis 36 zeigen Diagramme zur Erläuterung der Bewegungsvektorreduzierung in entsprechenden Regionen eines Videovollbilds,
Fig. 37 und 38 zeigen schematisch eine erste Stufe bei der Bewegungsvektorauswahl,
Fig. 39 und 40 zeigen schematisch die Einrichtung eines Schwellwert während der Bewegungsvektorauswahl,
Fig. 41 zeigt schematisch eine zweite Stufe bei der Bewegungsvektorauswahl,
Fig. 42 bis 48 zeigen Pixel-Arrays mit den zugehörigen Bewegungsvektoren zur Erläuterung der Bewegungsvektor-Nachverarbeitung,
Fig. 49 zeigt schematisch die Wirkungsweise eines Interpolators.
Das im folgenden beschriebene Ausführungsbeispiel des bewegungskompensierten Video- Normwandlers ist insbesondere für die Verwendung bei der Umwandlung eines hochauflösendes Videosignals (High Definition Video Signal = HDVS) mit 1125 Zeilen pro Vollbild und 60 Halbbildern pro Sekunde in einem 35 mm Film mit 24 Vollbildern pro Sekunde bestimmt. Die Erfindung ist jedoch hierauf nicht beschränkt. Der Normwandler läßt sich ohne weiteres auch so anpassen, daß er Umwandungen zwischen anderen Normen ausführt.
Fig. 1 zeigt ein Blockschaltbild des Normwandlers. Der Normwandler besitzt einen Eingang 1, dem ein Eingangsvideosignal zugeführt wird. Der Eingang 1 ist mit einem Wandler 2 zur Umwandlung in progressive Abtastung verbunden, der im folgenden kurz als progressiver Abtastwandler bezeichnet wird. In dem progressivem Abtastwandler werden die Eingangs- Videohalbbilder in Videovollbilder umgewandelt, die einer Vorrichtung 3 für direktes Block- Match ing zugeführt werden, die im folgenden kurz als direkter Blockausgleicher 3 bezeichnet wird. Der direkte Blockausgleicher 3 erzeugt Korrelationsflächen. Diese Korrelationsflächen werden von einem Bewegungsvektor-Schätzer 4 analysiert, der Bewegungsvektoren ableitet und einem Bewegungsvektor-Reduzierer 5 zuführt. In diesem wird die Anzahl der Bewegungsvektoren für jedes Pixel reduziert, bevor sie einem Bewegungsvektor-Wähler 6 zugeführt werden, dem außerdem das Ausgangssignal des progressiven Abtastumwandlers 2 zugeführt wird. Unregelmäßigkeiten bei der Auswahl der Bewegungsvektoren durch den Bewegungsvektor-Wähler 6 werden von einem Bewegungsvektor-Nachverarbeiter 7 beseitigt. Die verarbeiteten Bewegungsvektoren werden einem Interpolator 8 zugeführt und steuern diesen. Der Interpolator 8 nimmt außerdem ein Eingangssignal aus dem progressiven Abtastwandler 2 auf. Das Ausgangssignal des Interpolators 8, das ein normgewandeltes und bewegungskompensiertes Videosignal darstellt, wird einem Ausgang 9 zugeführt. Die einzelnen Teile des Normwandlers und ihre Funktion werden weiter unten ausführlicher erläutert.
Der progressive Abtastwandler 2 erzeugt Ausgangs-Vollbilder, die die gleiche Frequenz haben wie die Eingangs-Halbbilder. Fig. 2 zeigt eine Folge aufeinanderfolgender Zeilen in einer Folge von aufeinanderfolgenden Halbbildern, wobei die Kreuze in den Eingangs-Halbbildern existierende Zeilen und die Quadrate interpolierte Zeilen darstellen. Jedes Ausgangs-Vollbild enthält die doppelte Anzahl von Zeilen wie ein Eingangs-Halbbild Die Zeilen wechseln ab zwischen Zeilen aus dem Eingangs-Videosignal und Zeilen, die nach einem der unten beschriebenen Verfahren interpoliert wurden. Die interpolierten Zeilen können als interpoliertes Halbbild betrachtet werden, das die entgegengesetzte Polarität des Eingangs-Halbbilds hat, sich jedoch in der gleichen zeitlichen Position befindet.
Die Umwandlung in progressive Abtastung erfolgt vorzugsweise aus zwei Hauptgründen. Sie wird erstens zur Vereinfachung des nachfolgenden direkten Blockausgleichsprozesses, und zweitens mit Rücksicht auf das endgültige Ausgangs-Videoformat durchgeführt. Diese beiden Gründe werden nun näher betrachtet.
Der direkte Blockausgleich soll eine genaue Schätzung der horizontalen und vertikalen Bewegung zwischen zwei aufeinanderfolgenden Video-Halbbildern ermöglichen, wie dies weiter unten näher erläutert wird. Wegen der verschachtelten Struktur des Videosignals, das dem direkten Blockausgleich unterzogen wird, können jedoch Probleme auftreten.
Es sei das in Fig. 3 dargestellte Bild betrachtetv das eine Folge von aufeinanderfolgenden Zeilen in einer Folge von aufeinanderfolgenden Halbbildern zeigt, wobei die offenen Quadrate weiße Pixel, die schwarzen Quadrate schwarze Pixel und die schraffierten Quadrate graue Pixel darstellen. Dies stellt deshalb ein statisches Bild mit einer hohen vertikalen Frequenzkomponente dar, die in einem hochauflösenden Videosignal 11 25/3 Zyklen pro Bildhöhe betragen kann. Da das Bild nach dem üblichen Zeilensprungverfahren abgetastet wurde, enthält jedes Halbbild scheinbar eine statische vertikale Frequenz-Luminanzkompone nte mit 1125/6 Zyklen pro Bildhöhe, wie dies in Fig. 4 dargestellt ist. Man sieht jedoch, daß die Frequenzkomponenten in Gegenphase auftreten. Versuche, ein direktes Block- Matching zwischen diesen beiden Halbbildern durchzuführen, führen zu einer Anzahl unterschiedlicher Werte für die vertikale Bewegungskomponente, die alle ungenau sind. Dies ist in Fig. 5 dargestellt, in der die Abkürzung "ZpH" Zeilen pro Halbbild bedeutet. Aus Fig. 5 ist erkennbar, daß ein direktes Block-Matching nicht die korrekte Antwort für die vertikale Bewegungskomponente ergibt, die in Wirklichkeit den Wert Null haben sollte. Dies liegt daran, daß das direkte Block-Matching in Wirklichkeit der Alias-Komponente des Videosignals statt der tatsächlichen Bewegung folgt.
Es sei nun Fig. 6 betrachtet, in der das gleiche statische Bild dargestellt ist wie in Fig. 3, mit der Ausnahme, daß nun jedes Eingangs-Halbbild zur Erzeugung eines Vollbildes in ein Bild mit progressiver Abtastung umgewandelt wurde, wobei die Dreiecke interpolierte Pixel darstellen. Es ist erkennbar, daß jedes Vollbild nun die gleiche statische vertikale Frequenzkomponente enthält wie die ursprünglichen Eingangs-Halbbilder, d.h. 1125/3 Zyklen pro Bildhöhe. Somit kann ein direktes Block-Matching zwischen zwei aufeinanderfolgenden Vollbildern nun den korrekten Wert für die vertikale Bewegung, d.h. den Wert Null, liefern, und die Verfolgung des vertikalen Alias wurde vermieden. Darüber hinaus ergibt das direkte Block-Matching an progressiven abtastgewandelten Vollbildern eine genauere vertikale Bewegungsabschätzung, weil der direkte Blockvergleich an Vollbildern ausgeführt wird, die die doppelte Zeilenzahl haben.
Was das endgültige Ausgangs-Videoformat betrifft, so wird das umgewandelte Videosignal beim vorliegenden Ausführungsbeispiel über ein Band einer Elektronenstrahl-Aufzeichnungsvorrichtung zugeführt und muß deshalb aus Vollbildern bestehen, die der Filmbildrate von 24 Vollbildern pro Sekunde entsprechen. Dies ist der Grund für die Umwandlung in progressiven abgetastete Vollbilder. Darüber hinaus kann auf die Vollbilder mit umgewandelter Abtastung auch als Ersatz für den Fall zurückgegriffen werden, daß man befürchten muß, daß die bewegungskompensierte Normwandlung unbrauchbare Ergebnisse liefert, z.B. wenn die Bewegung zu differenziert ist und keine zufriedenstellende Analyse ermöglicht. In diesem Fall lassen sich brauchbare Ergebnisse erzielen, wenn das nächstliegende in progressive Abtastung umgewandelte Vollbild das benötigte Ausgangs-Vollbild bildet.
Die Umwandlung in progressiv abgetastete Bilder kann auf verschieden Art und Weise erfolgen, z.B. mittels Ersetzen durch das vorangehende Halbbild, mittels Medianfilterung, bei der drei räumlich aufeinanderfolgende Zeilen geprüft werden (zeitlich stammen diese drei Zeilen aus zwei aufeinanderfolgenden Halbbildern), oder mittels eines bewegungskompensierten Verfahrens, bei dem eine Mehrgradienten-Bewegungsdetektierung, gefolgt von einer linearen Mehrrichtungs-Interpolation, eingesetzt wird. Im vorliegenden Ausführungsbeispiel ist das bevorzugte Verfahren jedoch eine bewegungsadaptive Umwandlung in progressive Abtastung, deren einzelne Schritte in dem Blockdiagramm von Fig. 7 dargestellt sind. Das Konzept besteht darin, daß in völlig statischen Bildbereichen eine Zwischen- Halbbild-Interpolation durchgeführt wird, um möglichst viele vertikale Informationen zu gewinnen, während bei Vorhandensein signifikanter Bewegung eine Inner-Halbbild-Interpolation durchgeführt wird. Dies unterstützt auch die glatte Bewegungsabbildung. In Szenen, in denen die Bewegung irgendwo zwischen diesen beiden Extremen liegt, wird die in dem Bild vorhandene lokale Bewegung geschätzt. Die Schätzung wird dann dazu benutzt, die Zwischen-Halbbild-Interpolation und die Inner-Halbbild-Interpolation in verschiedenen Proportionen zu mischen.
Und zwar wird zunächst der Modulus der Vollbilddifferenz zwischen dem vorangehenden und dem nächsten Halbbild erzeugt. Dies ist in Fig. 8 dargestellt. Zur Erzeugung der erforderlichen Schätzwerte wird an jedem Punkt aus dem vorhergehenden Halbbild und dem demnächst folgenden Halbbild das Modulus-Array der Zwischen-Halbbilddifferenz generiert:
ΔU(Pixel, laufende Zeile, laufendes Halbbild) = Y(Pixel, laufende Zeile, nächstes Halbbild) - Y(Pixel, laufende Zeile, vorhergehendes Halbbild)
hierin bedeuten
ΔU das Array der nicht normierten Modulus-Differenzen,
Y das dem 3D-Bild entsprechende Luminanz-Array.
Der Differenz-Modulus wird dann normiert, um die Signifikanz von Änderungen in Bereichen niedriger Luminanz zu justieren:
ΔN (Pixel, laufende Zeile, laufendes Halbbild) = F( (Pixel, laufende Zeile))*ΔU (Pixel, laufende Zeile, laufendes Halbbild).
Hierin bedeuten:
ΔN normiertes Modulus-Differenz-Array
mittlerer Zwischen-Vollbild-Luminanzwert.
(Pixel, laufende Zeile) = (Y(Pixel, laufende Zeile, vorhergehendes Halbbild) + Y(Pixel, laufende Zeile, nächstes Halbbild))/2
F( )(die Normierungsfunktion) wird, wie in Fig. 9 dargestellt, abgeleitet.
Das Differenz-Array A wird dann zusammen mit der Differenz des vorhergehenden Halbbilds mit Hilfe eines Filters mit drei Abgriffen (Beispiele der Koeffizienten sind 1/4, 1/2, 1/4 oder 0, 1, 0) vertikal gefiltert, um die vertikalen Alias-Probleme zu reduzieren und insbesondere die mit dem zeitlichem Alias zusammenhängenden Probleme zu minimieren. Somit gilt
ΔF (Pixel, laufende Zeile, laufendes Halbbild) = ΔN (Pixel, laufende Zeile-1, vorhergehendes Halbbild)*C&sub1; + ΔN (Pixel, laufende Zeile, laufendes Halbbild)*C&sub2; + ΔN (Pixel, laufende Zeile+1, vorhergehendes Halbbild)*C&sub1;.
Hierin bedeuten
ΔF das gefilterte normierte Differenz-Array und
C&sub1; und C&sub2; Filterkoeffizienten, wobei 2C&sub1; +C&sub2; = 1, so daß die Einheits-Gleichstromverstärkung beibehalten wird.
Sodann werden mit Hilfe eines vertikalen und horizontalen Inner-Halbbild-Filters mit bis zu fünf Abgriffen mal 15 Abgriffen die Differenzwerte in dem laufenden Halbbild geglättet. In der Praxis ist ein Filter mit drei Abgriffen mal drei Abgriffen ausreichend. Schließlich wird eine nicht lineare Mapping-Funktion eingesetzt, um die tatsächliche Bewegungsschätzung zu erzeugen, wobei eine Funktion angewendet wird, die den (mit ME bezeichneten) Bewegungsschätzwert liefert:
ME (Pixel, laufende Zeile) = γ (räumlich gefiltertes ΔF (Pixel, laufende Zeile)).
Die nichtlineare Funktion γ wird in der in Fig. 10 dargestellten Weise abgeleitet. Der Wert ME des statischen Bildes ist gleich Null. Der Wert ME für volle Bewegung ist gleich 1. Für Zwischenbewegungen findet ein gesteuerter Übergang statt.
Zur Erzeugung eines interpolierten Pixels werden die Pixel in der fehlenden Zeile dadurch gewonnen, daß man proportionale Werte der umgebenden Zeilen heranzieht, wie dies in Fig. 11 dargestellt ist. Der Bewegungsschätzwert ME wird dann auf den interpolierten Inner-Vollbildwert angewendet (der von einem Filter mit zwei, vier, sechs oder vorzugsweise acht Abgriffen erzeugt wird), der Wert 1-ME wird auf den Zwischen-Halbbild-Mittelwert (oder alternativ auf einen komplexeren Interpolationswert) angewendet. Diese Werte werden summiert, um den Pixelschätzwert für die progressive Abtastung abzuleiten: (Pixel, laufende Zeile) ME (Pixel, laufende Zeile)* (Pixel, laufende Zeile-1-2n, laufendes Halbbild) (Pixel, laufende Zeile+1+2n, laufendes Halbbild))*Cn (Pixel, laufende Zeile, vorhergehendes Halbbild) (Pixel, laufende Zeile, nächstes Halbbild)
Hierin bedeuten
C&sub0;, C&sub1;, C&sub2; und C&sub3; die Zwischen-Halbbild-Filterkoeffizienten,
wobei 2(C&sub0;+C&sub1;+C&sub2;+C&sub3;)=1 ist, so daß die Einheits-Gleichstromverstärkung beibehalten wird.
Es hat sich herausgestellt, daß sich mit Hilfe dieses Verfahrens zur progressiven Abtastwandlung aus den Eingangs-Halbbildern Vollbilder hoher Qualität erzeugen lassen, insbesondere deshalb, weil ein bewegtes Objekt isoliert und anders interpoliert werden kann als ein stationärer Hintergrund.
Es sei noch einmal auf Fig. 1 Bezug genommen. Die von dem progressiven Abtastwandler 2 erzeugten Videovolbilder werden zur Ableitung von Bewegungsvektoren verwendet. Die Schätzung der Bewegungsvektoren erfolgt in zwei Schritten. Zunächst werden Korreiationsflächen erzeugt, indem Suchblöcke aus aufeinanderfolgenden Volildern korreliert werden. Nach der Gewinnung dieser Korrelationsflächen müssen diese dann geprüft werden, um die Position oder die Positionen zu bestimmen, die die beste Korrelation aufweisen. Es existieren mehrere verschiedene Verfahren zur Gewinnung einer Korrelationsfläche. Die beiden hauptsächlichen benutzten Verfahren sind die Phasenkorrelation und das direkte Block-Matching. Die Benutzung der Phasenkorrelation bringt jedoch eine Menge von Problemen mit sich. Es handelt sich kurz gesagt um Probleme, die mit dem Transformationsmechanismus, der Fensterfunktion, der Blockgröße und der veränderlichen Qualität der Kontur der erzeugten Fläche zusammenhängen. Deshalb wird in dem vorliegenden Ausführungsbeispiel direktes Block-Matching bevorzugt.
Die Einrichtung 3 für direktes Block-Matching arbeitet folgendermaßen: Zwei Blöcke, die jeweils ein rechteckiges Pixel-Array aus aufeinanderfolgenden Vollbildern des umgewandelten Videosignals mit progressiver Abtastung umfassen, werden korreliert, um eine Korrelationsfläche zu erzeugen, aus der ein Bewegungsvektor abgeleitet wird.
In Fig. 12 wird zunächst ein als Suchblock bezeichneter kleiner Block der Größe 32 Pixel x 23 Zeilen aus einem Vollbild herausgegriffen. Sodann wird aus dem nächsten Vollbild ein als Suchareal bezeichneter größerer Block mit 28 Pixeln mal 69 Zeilen herausgegriffen. Der Suchblock (SB) wird dann, wie in Fig. 13 dargestellt, in jeder möglichen Position in dem Suchareal (SA) plaziert, und es wird für jede Stelle die Summe der absoluten Differenz der Pixel-Luminanzpegel zwischen den beiden Blöcken berechnet. Dieser Wert dient dann als Höhe der Korrelationsfläche an dem Punkt, an dem er abgeleitet wurde. Er kann dann in Verbindung mit anderen in ähnlicher Weise abgeleiteten Werten für jede mögliche Stelle des Suchblocks in dem Suchareal verwendet werden, um eine Korrelationsfläche zu gewinnen, wie sie in Fig. 14 beispielhaft dargestellt ist. Zur Verbesserung der Erkennbarkeit ist die Fläche invertiert dargestellt. Da in Wirklichkeit das Minimum benötigt wird, ist der Hauptspitzenwert in Fig. 14 der benötigte Punkt.
Die Größe des Suchblocks wird ausgewählt, indem man die minimale Größe eines Objekts prüft, für das eine Bewegungskompensation erforderlich sein kann. Für das PAL-System mit 625 Zeilen pro Vollbild und 50 Halbbildern pro Sekunde hat sich ein Suchblock mit 16 Pixeln mal 8 Zeilen als geeignet erwiesen, um ein kleines Objekt nachzuziehen, ohne daß eine nicht innerhalb des Objekts jedoch noch in dem Suchblock liegende Umgebungsinformation das Nachziehen des Objekts beeinträchtigt. Diese Lösung wurde deshalb in dem vorliegenden Ausführungsbeispiel übernommen, jedoch modifiziert, um die unterschiedlichen Zahlen von aktiven Pixeln pro Zeilen, aktiven Zeilen pro Vollbild und das vom PAL-Systern 625/50 abweichende Bildseitenverhältnis eines hochauflösenden Videosignals zu berücksichtigen. Die Vergleichszahlen sind folgende (wobei die ersten Zahlen jeweils dem hochauflösenden Videosignal entsprechen): 1920 (720) aktive Pixel pro Zeile, 1035 (575) aktive Zeilen pro Vollbild und Seitenverhältnis 3:5,33 (3:4).
Die vorliegende Erfindung befaßt sich insbesondere, jedoch nicht ausschließlich, mit dieser Frage der Suchblockgröße.
Für die Verwendung eines größeren Suchblocks spricht also das Argument, daß hierbei ein großes Objekt nachgezogen werden kann. Für die Verwendung eines kleineren Suchblocks spricht andererseits das Argument, daß hierdurch verhindert wird, daß ein kleines Objekt durch die Wirkung eines großen Objekts oder Hintergrundbereichs "überschattet" wird. Man hat jedoch auch den Vorteil, daß es bei kleinen Suchblöcken nicht notwendig ist, mehr als einen Bewegungsvektor pro Suchblock abzuleiten. Da es sehr viel leichter ist, mit einem einzigen Bewegungsvektor statt mehren Bewegungsvektoren zu arbeiten, beginnt das vorliegende Ausführungsbeispiel, wie beschrieben, mit einem kleinen Suchblock, wobei man dann den Suchblock zu einem größeren Suchblock anwachsen läßt, wenn kein befriedigendes Resultat erzielt wurde. Man vereinigt so die Vorteile eines kleinen Suchblocks mit denen eines großen Suchblocks. Das Kriterium für ein befriedigendes Ergebnis wird durch den weiter unten näher erläuterten Bewegungsvektor-Schätzer 4 (Fig. 1) gesetzt, der aus einer gegebenen Korrelationsfläche den Bewegungsvektor bestimmt.
Dieses Verfahren, bei dem der Suchblock vergrößert wird, ist nicht nur für das Nachziehen großer Objekte von Vorteil. Es kann auch helfen, um der Bewegung eines Objekts zu folgen, das die Form eines regelmäßigen Musters periodischer Natur aufweist. Man betrachte Fig. 15, in der ein Suchblock A mit dem Suchbereich an den Stellen V1, V2 und V3 verglichen wird, wobei jede dieser Stellen ein scheinbar korrektes Bewegungsmaß ergibt. Die Bewegungsvektorschätzung, d.h. der Prozeß, bei dem die Korrelationsfläche tatsächlich analysiert wird, zeigt in diesem Fall jedoch, daß an drei kolinear angeordneten Stellen gute Korrelation auftritt. Man vergrößert deshalb den Suchblock in horizontaler Richtung bis auf das Dreifache seiner ursprünglichen Breite. Dies ist die Richtung, in der in diesem Fall Mehrfach-Korrelation auftritt. Auch das Suchareal wird entsprechend horizontal vergrößert. Wie Fig. 16 zeigt, existiert mit dem vergrößerten Suchblock 3A nur ein einziger Korrelationspunkt, der korrekten Bezug zur Bewegung des Objekts hat.
In diesem speziellen Fall müssen sowohl der Suchblock als auch das Suchareal in horizontaler Richtung vergrößert werden, weil die Richtung der Mehrfach-Korrelation horizontal verläuft. Es ist jedoch auch möglich, daß der Suchblock und das Suchareal in vertikaler Richtung oder auch in beiden Richtungen vergrößert werden müssen, wenn die Korrelationsfläche dies nahelegt.
Es sei erwähnt, daß das Block-Matching nicht auf alle Suchblöcke in dem Vollbild anwendbar ist, weil im Grenzbereich nicht genügend Platz für die Bildung eines Suchareal vorhanden ist. So kann in dem in Fig. 17 schraffiert dargestellten Bereich der Grenze um das Vollbild kein Block-Matching ausgeführt werden. Dieses Problem wird durch den weiter unten näher beschriebenen Bewegungsvektor-Reduzierer 5 (Fig. 1) gelöst. Dieser versucht, in diesem schraffierten Bereich Suchblöcke mit geeigneten Bewegungsvektoren bereitzustellen.
Aus der Korrelationsfläche (Fig. 14), die für jeden Suchblock in einem Vollbild erzeugt wird, leitet der Bewegungsvektor-Schätzer 4 (Fig. 1) die wahrscheinliche Zwischen-Vollbild-Bewegung zwischen dem Suchblock und seinem korrespondierenden Suchareal ab. Es sei noch einmal erwähnt, daß zur klareren Darstellung alle Diagramme von Korrelationsflächen invertiert, d.h. daß Minima als Spitzenwerte dargestellt sind.
Der Bewegungsvektor-Schätzer 4 (Fig. 1) benutzt Bewegungsvektor-Schätzalgorithmen zur Detektierung des Minimumpunkts auf jeder Korrelationsfläche. Dieser Minimumpunkt stellt den Punkt maximaler Korrelation zwischen Suchblock und Suchareal dar und zeigt damit die wahrscheinliche Bewegung zwischen diesen an. Die Verschiebung des Minimums auf der Korrelationsfläche relativ zum Ursprung, im vorliegenden Fall dem Zentrum der Fläche, ist hinsichtlich der Pixel pro Vollbild ein direktes Maß für die Bewegung. Für den einfachsten Fall, daß die Korrelationsfläche ein einziges ausgeprägtes Minimum enthält, genügt die Detektierung des Minimumpunkts auf der Korrelationsfläche zur genauen Bestimmung der Bewegung zwischen Suchblock und Suchareal. Wie oben erwähnt wurde, verbessert die Verwendung kleiner Suchblöcke die Detektierung der Bewegung und die Genauigkeit der Bewegungsschätzung. In einer Anzahl von Fällen, die im folgenden beschrieben werden, ermöglichen einzelne kleine Suchblöcke jedoch keine Bewegungsdetektierung.
Fig. 18 zeigt ein Objekt mit Bewegungsvektoren (5, 0), die drei Suchblöcke 1A, 2A und 3A in einem Vollbild (t) übergreifen. Wenn die Suchblöcke 1A und 3A mit entsprechenden Sucharealen (1B und 3B) in dem nächsten Vollbild (t+1) korreliert werden, erhält man die in Fig. 19 dargestellte Korrelationsfläche, die bei (5, 0) ein Minimum aufweist. (Hierbei wird eine rauschfreie Videoquelle vorausgesetzt). Wenn der Suchblock 2A jedoch mit seinem entsprechenden Suchareal 2B korreliert wird, wird die in Fig. 20 dargestellte Korrelationsfläche erzeugt, in der der Suchblock 2A in jedem Punkt in x-Richtung mit der Suchfläche 2B korreliert ist. Deshalb gibt es in der Suchfläche kein Einzel-Minimum, so daß die Bewegung zwischen dem Suchblock 2A und dem Suchareal 2B nicht bestimmt werden kann.
Es sei nun die Situation betrachtet, daß der Suchblock 2A so vergrößert ist, daß er alle drei ursprünglichen Suchblöcke 1A, 2A und 3A umfaßt. Wenn der vergrößerte Suchblock mit einem Suchareal korreliert wird, das die ursprünglichen Suchareale 1B, 2B und 3B überdeckt, ergibt sich die in Fig. 21 dargestellte Korelationsfläche. Diese besitzt ein Einzel-Minimum bei (5, 0), das die korrekte Bewegung des ursprünglichen Suchblocks 2A anzeigt. Dieses Beispiel zeigt, daß in dem Quellenvideo irgendein eindeutiges Merkmal vorhanden sein muß, um die Bewegung genau detektieren zu können. So haben die beiden Suchblöcke 1A und 3A eindeutige vertikale und horizontale Merkmale, das sind die Kanten des Objekts, so daß die Bewegung bestimmt werden kann. Im Gegensatz hierzu hat der Suchblock 2A zwar ein eindeutiges vertikales Merkmal jedoch kein eindeutiges horizontales Merkmal, so daß die horizontale Bewegung nicht bestimmt werden kann. Wenn der Suchblock jedoch vergrößert wird, bis er sowohl in horizontaler als auch in vertikaler Richtung ein eindeutiges Merkmal umfaßt, kann die vollständige Bewegung für diesen Suchblock bestimmt werden. Darüber hinaus kann gezeigt werden, daß das Vergrößern des Suchblocks nützlich ist, wenn Rauschen in dem Quellenvideo zu berücksichtigen wird.
Anhand von Fig. 22 sei nun ein weiteres Beispiel betrachtet. Fig. 22 zeigt eine Korrelationsfläche für einen Suchblock mit dem Bewegungsvektor (5, 3). Wegen zahlreicher anderer Korrelationen zwischen dem Suchblock und dem Suchareal ist es jedoch schwierig, die wahre Bewegung zu detektieren. Ein Beispiel für ein Quellenvideo, das eine solche Korrelationsfläche erzeugt, ist ein Baum mit niedrigem Kontrast, der sich im Wind bewegt. Es sei nun angenommen, daß Suchblock und Suchareal vergrößert werden. Die Vergrößerung kann, wie in dem vorangehenden Beispiel, in horizontaler Richtung oder in vertikaler Richtung oder in beiden Richtungen stattfinden. Wenn man annimmt, daß benachbarte Suchblöcke die gleiche Bewegung aufweisen, besteht die mittlere Auswirkung auf die resultierende Korrelationsfläche darin, daß die Amplitude der Minima bei (5, 3) proportional stärker wächst als die Amplitude der anderen Korrelationsspitzen. Dies ist in Fig. 23 dargestellt, die anzeigt, daß die Detektierung des korrekten Bewegungsvektors dann leichter möglich ist.
Anhand von Fig. 18 sei nun näher betrachtet, in welcher Weise die Suchblöcke vergrößert werden. Es war hier notwendig, die Fläche des Suchblocks 2A so zu vergrößern, daß die Flächen der Suchblöcke 1A und 3A umfaßt werden, und dann die resultierende Korreationsfläche zu erzeugen. In Wirklichkeit werden die resultierenden Korrelationsflächen direkt erzeugt, indem die den Suchblöcken 1A, 2A und 3A entsprechenden Elemente der drei Korrelationsflächen addiert werden. Wenn man jede Korrelationsfläche als eine Matrix von Punkt- Amplituden betrachtet, stellt die Korrelationsfläche des vergrößerten Suchblocks 2A die Matrix-Addition der Korrelationsfläche der ursprünglichen Suchblöcke 1A, 2A und 3A dar.
Die Fläche des Suchblocks 2A könnte auch in vertikaler Richtung vergrößert werden, indem die Korrelationsflächen der darüber und darunter liegenden Suchblöcke hinzuaddiert werden. Wenn der Suchblock 2A sowohl in horizontaler als auch in vertikaler Richtung vergrößert werden muß, müssen auch die vier in diagonaler Richtung benachbarten Korrelationsflächen addiert werden. Hieraus erkennt man, daß der tatsächliche Prozeß der Vergrößerung eines Suchblocks derart, daß benachbarte Suchblöcke umfaßt werden, relativ einfach ist. Der schwierigere Prozeß besteht darin, zu entscheiden, wann eine Vergrößerung stattfinden soll und welche benachbarten Suchblöcke einbezogen werden sollen. Die Antwort lautet im wesentlichen, daß die Fläche der Suchblöcke soweit vergrößert werden sollte, bis ein gutes Minimum oder ein "guter" Bewegungsvektor detektiert wird. Deshalb muß im einzelnen festgelegt werden, wann ein Bewegungsvektor als ein guter Bewegungsvektor betrachtet werden kann. Dies kann in der Tat aus den oben angegebenen Beispielen abgeleitet werden.
Bei dem in Fig. 18 bis 21 beschriebenen Beispiel war es notwendig, den Suchblock in horizontaler Richtung zu vergrößern, um ein eindeutiges horizontales Merkmal des Objekts zu erfassen und dadurch ein einziges Minimum zu gewinnen. Diese Situation war gekennzeichnet durch eine Reihe identischer Minima auf der Korrelationsfläche von Fig. 20 und ein einziges Minimum auf der Korrelationsfläche von Fig. 21. Hieraus kann das erste Kriterium für ein gutes Minimum gewonnen werden. Ein gutes Minimum ist der Punkt kleinster Größe auf der Korrelationsfläche, bei dem die Differenz zu der Größe des nächsten kleinsten Punkts einen gegebenen Wert überschreitet. Dieser gegebene Wert ist als Schwellwert bekannt. Dieser Test wird deshalb hier als Schwellwert-Test bezeichnet.
Es sei erwähnt, daß die Entstehung des nächsten kleinsten Punkts im Rahmen eines weiteren Tests, der als Ring-Test bezeichnet und weiter unten beschrieben wird, verhindert wird. Bei einem Ring-Test, bei dem drei Ringe benutzt werden, wird verhindert, daß der nächste kleinste Punkt aus einem Punkt auftritt, der in einem Bereich innerhalb von drei Pixeln des in Rede stehenden Punkts liegt. In dem Beispiel von Fig. 18 bis 21 würde die Korrelationsfläche von Fig. 20 den Schwellwert-Test verfehlen. Deshalb wird der Suchblock 2A vergrößert, so daß die Korrelationsfläche von Fig. 21 den Schwellwert-Test besteht, wenn ein geeigneter Schwellwert gegeben ist.
Der Schwellwert-Test kann auch dazu benutzt werden, die Vergrößerung bei dem oben anhand von Fig. 22 und 23 beschriebenen Beispiel zu veranlassen. Bevor der Suchblock vergrößert wird, ist das korrekte Minimum wegen der sehr ähnlichen Größen der umgebenden Punkte nicht detektierbar. Wenn jedoch ein geeigneter Schwellwert gegeben ist, verfehlt die Korrelationsfläche den Schweiwert-Test, und der Suchblock wird vergrößert. Infolgedessen ist es dann möglich, das Minimum unter den unechten Punkten zu detektieren.
Es zeigt sich, daß die Verwendung eines Schwellwerts ein subjektiver Test ist. Der korrekte Schwellwert für die zu prüfende Korrelationsfläche kann jedoch ausgewählt werden, indem der Schwellwert als ein Bruchteil des Bereichs der Amplituden innerhalb der Korrelationsfläche normiert wird. Dies verringert auch die Auswirkung, die beispielsweise der Kontrast der Videoquelle haben kann.
Im folgenden sei nun der Ring-Test näher beschrieben, der oben kurz erwähnt wurde und der weit weniger subjektiv ist. Die Grundlage des Ring-Tests besteht darin, daß man davon ausgeht, daß ein gutes Minimum (oder Maximum) von Punkten mit wachsender (oder abnehmender) Amplituden umgeben ist. Fig. 24 veranschaulicht diese Annahme. Sie zeigt ein Minimum bei (0, 0) wo die umgebenden drei Punktringe eine abnehmende mittlere Amplitude aufweisen. Bei der in Fig. 25 dargestellten Korrelationsfläche haben die Ringe, und insbesondere der zweitinnerste Ring, keine abnehmende mittlere Amplitude.
In diesem Fall besteht das Kriterium für ein durch den Ring-Test definiertes gutes Minimum darin, daß die mittlere Steigung monoton verläuft. Deshalb muß für eine vorbestimmte Anzahl von Punktringen, die das in Rede stehende Minimum umgeben, die mittlere Amplitude jedes Rings vom innersten Ring nach außen größer sein als bei dem vorhergehenden Ring. Wenn man noch einmal das anhand von Fig. 18 bis 21 beschriebene Beispiel betrachtet, erkennt man aus Fig. 20 und 21, daß die Korrelationsfläche von Fig. 20 den Ring-Test verfehlt hätte, während die Korrelationsfläche von Fig. 21 den Ring-Test bestehen würde. Da der Ring-Test mittlere und nicht absolute Amplituden vergleicht, ist er weit weniger subjektiv als der Schwellwert-Test, und die einzige Variable in dem Ring-Test ist in der Tat die Anzahl der berücksichtigten Ringe.
Nachdem der Mechanismus für die Vergrößerung eines Suchblocks erläutert wurde, ist nun zu untersuchen, wie sich durch Prüfen der Form der Korrelationsfläche die effektivste Richtung bestimmen läßt, in der der Suchblock vergrößert werden sollte.
Es sei noch einmal die Korrelationsfläche von Fig. 20 betrachtet, die sich ergibt, wenn ein eindeutiges vertikales Merkmal, jedoch kein eindeutiges horizontales Merkmal vorhanden ist. Dies spiegelt sich in der Korrelationsfläche durch das Minimum, das horizontal über die Korrelationsfläche verläuft, weil in dieser Richtung Mehrfach-Korrelationen vorhanden sind. Hieraus läßt sich ableiten, daß der Suchblock in horizontaler Richtung vergrößert werden sollte. Wenn umgekehrt eine Zeile mit Mehrfach-Korrelationen in vertikaler Richtung verläuft, ist dies ein Anzeichen dafür, daß der Suchblock in vertikaler Richtung vergrößert werden muß, während eine kreisförmige Ansammlung von Mehrfach-Korrelationen anzeigt, daß der Suchblock sowohl in horizontaler als auch in vertikaler Richtung vergrößert werden muß.
Für die Anwendung dieses Kriteriums benötigt man ein quantitatives Maß für die Form der Korrelationsfläche, um festzulegen, in welcher Richtung der Suchblock vergrößert werden soll. Dieses Maß wird folgendermaßen bestimmt: Zunächst wird ein Schwellwert festgelegt. Sodann wird irgendein Punkt auf der Korrelationsfläche betrachtet, der unterhalb des Schwellwerts liegt. Dieser Schwellwert wird, ähnlich wie der bei dem Schwellwert-Test verwendete Schwellwert, als Bruchteil des Bereichs der Amplituden innerhalb der Korrelationsfläche normiert. Unter Verwendung dieses Schwellwerts werden die Punkte auf der Korrelationsfläche der Reihe nach in vier spezifischen Sequenzen geprüft. In jeder Sequenz wird der Punkt notiert, an dem die Korrelationsfläche unter den Schwellwert abfällt. Diese vier Sequenzen sind in Fig. 26 schematisch dargestellt, in der sich die Zahlen 1, 2, 3 und 4 oben, unten, links und rechts auf die vier Sequenzen beziehen, und der schraffierte Bereich Punkte kennzeichnet, die unter dem Schwellwert abfallen:
Sequenz 1: Suche von der oberen Seite der Korrelationsfläche nach unten nach einem Punkt A, der unter den Schwellwert abfällt.
Sequenz 2: Suche von der unteren Seite der Korrelationsfläche nach oben nach einem Punkt C, der unter den Schwellwert abfällt.
Sequenz 3: Suche von der linken Seite der Korrelationsfläche nach rechts nach einem Punkt D, der unter den Schwellwert abfällt.
Sequenz 4: Suche von der rechten Seite der Korrelationsfläche nach links nach einem Punkt B, der unter den Schwellwert abfällt.
Die Orte der vier resultierenden Punkte A, B, C und D werden zur Berechnung der beiden in Fig. 26 angegebenen Dimensionen X und Y benutzt, die die Größe des schraffierten Bereichs angeben, der die unter den Schwellwert abfallenden Punkte enthält. Aus den Dimensionen X und Y kann deshalb hergeleitet werden, ob die Form in x-Richtung länger ist als in y-Richtung oder umgekehrt, oder ob die Form annähernd kreisförmig ist. Bei der Ableitung der Form wird eine geringfügige Differenz von beispielsweise 10 % zugelassen, d.h. die Dimension X muß zumindest 10 % größer sein als die Dimension Y, damit die Form als eine in x-Richtung längere Form betrachtet wird. Das gleiche gilt für die y-Richtung. Wenn die Dimensionen X und Y nicht mehr als 10 % voneinander abweichen, wird die Form als kreisförmig betrachtet, und der Suchblock wird in beiden Richtungen vergrößert. In dem Beispiel von Fig. 26 ist die Dimension X größer als die Dimension Y. Deshalb wird der Suchblock in der x-Richtung, d.h. in horizontaler Richtung, vergrößert.
Die Vergrößerung des Suchblocks wird solange fortgesetzt, bis eine oder mehrere Wachstumsgrenzen erreicht sind. Diese Grenzen bestehen darin, daß das Minimum in der Korrelationsfläche sowohl den Schwellwert-Test als auch den Ring-Test besteht, daß die Kante des Videorahmens erreicht wird oder daß der Suchblock bereits eine vorbestimmte Anzahl von Malen in horizontaler und vertikaler Richtung vergrößert wurde. Die letztgenannte Grenze hängt von der Hardware ab. Das heißt, sie wird bestimmt durch die in der verfügbaren Zeit mögliche Verarbeitungsmenge. In einem spezifischen Ausführungsbeispiel des Geräts gemäß der Erfindung wurde für diese Grenze zweimalige horizontale und einmalige vertikale Vergrößerung festgesetzt.
Wenn das Minimum in der Korrelationsfläche sowohl den Schwelwert-Test als auch den Ring-Test besteht, wird unterstellt, daß ein geeigneter Bewegungsvektor bestimmt wurde, der dann dem Bewegungsvektor-Reduzierer 5 (Fig. 1) zugeführt werden kann. Falls jedoch die Kante des Vollbilds erreicht wird oder der Suchblock bereits eine vorbestimmte Anzahl von Malen sowohl in horizontaler als auch in vertikaler Richtung vergrößert wurde, wird unterstellt, daß kein geeigneter Bewegungsvektor für diesen speziellen Suchblock bestimmt wurde, und statt zu versuchen, einen guten Bewegungsvektor zu bestimmen, wird der beste verfügbare Bewegungsvektor durch Gewichtung festgelegt.
Im folgenden seien anhand von Fig. 27 bis 30 zwei Verfahren zum Vergrößern von Suchblöcken näher erläutert.
Fig. 27 zeigt ein Flußdiagramm des ersten Verfahrens, das dem oben dargelegten Prozeß entspricht. Bei dem Verfahren von Fig. 27, bei dem die Abkürzung KF Korrelationsfläche bedeutet, wiederholt der Prozeß die Schleife solange, bis ein gültiges Minimum gefunden wird, d.h. ein Minimum, das den Schwellwertprozeß und den Ring-Test besteht, oder bis die vorbestimmten Vergrößerungsgrenzen, d.h. eine zweimalige horizontale und einmalige vertikale Vergrößerung, oder eine Vergrößerung bis zur Kante des Vollbilds, erreicht sind. Diese Wiederholung der Schleife bedeutet, daß die Verzögerung für das Auffinden eines gültigen (oder des besten verfügbaren) Minimums variabel ist und relativ lang sein kann. Aus diesen beiden Gründen ist dieses erste Verfahren weniger vorteilhaft und wird nicht weiter beschrieben.
Das zweite Verfahren hat den Vorzug einer festen und relativ geringen Prozeßverzögerung. Es sei auf Fig. 28 Bezug genommen. Die Wachstumsgrenzen werden festgelegt und in dem vorliegenden Ausführungsbeispiel auf zweimalige horizontale und einmalige vertikale Vergrößerung gesetzt, obwohl in anderen Ausführungsbeispielen auch andere Grenzen gesetzt werden können. Im vorliegenden Fall gibt es also sechs Permutationen, die in Fig. 28 dargestellt und mit a bis f bezeichnet sind:
a keine Vergrößerung
b einmalige horizontale Vergrößerung
c zweimalige horizontale Vergrößerung
d einmalige vertikale Vergrößerung
e einmalige vertikale und einmalige horizontale Vergrößerung
f einmalige vertikale und zweimalige horizontale Vergrößerung.
Bei diesem Ausführungsbeispiel steht genügend Zeit zur Verfügung, um zwei Korreationsflächen nacheinander zu analysieren und damit sechs Permutationen zu behandeln. Das zweite Verfahren analysiert zunächst drei Fälle parallel und dann die verbliebenen drei Fälle parallel. Dies in Fig. 29 in Form eines Flußdiagramms dargestellt. Ein gültiges Minimum bedeutet wie zuvor ein Minimum, das den Schweiwert-Test und den Ring-Test besteht. Man erkennt aus dem Flußdiagramm daß in allen Fällen alle sechs möglichen Permutationen geprüft werden, obwohl die Bildinformation in vielen Fällen so beschaffen sein wird, daß ein gültiges Minimum erzielt wird, ohne daß der Suchblock vergrößert wird. Dieses Verfahren stellt zusätzliche Anforderungen an die Hardware und die Verarbeitung. Dies kann jedoch eher akzeptiert werden als die Alternative einer ungewissen Verarbeitungsverzögerung. In allen Fällen leitet der vorletzte Schritt, der in dem Flußdiagramm dargestellt ist, ein gültiges (oder das beste verfügbare) Minimum aus den Ergebnissen der sechs verarbeiteten Fälle ab.
Fig. 30 zeigt in vereinfachter Blockdarstellung eine Schaltungsanordnung zur Durchführung der in dem Flußdiagramm von Fig. 29 vorgestellten Verarbeitung. Die Schaltungsanordnung umfaßt eine Matrixschaltung 20, Schaltungen 21 bis 23 zur Minimumbestimmung, Speicher 24 bis 26 und eine Bewertungsschaltung 27. Die einzelnen Schaltungsteile sind in der dargestellten Weise miteinander verbunden. Im folgenden wird die Funktion der Schaltungsanordnung erläutert.
Eine Korrelationsfläche wird der Matrixschaltung 20 zugeführt, die in zwei Schritten die sechs in Fig. 28 dargestellten Permutationen erzeugt. In dem ersten Schritt werden die Permutationen a, b und c erzeugt und über die Ausgänge X, Y bzw. Z der Matrixschaltung 20 den Schaltungen 21, 22 bzw. 23 zur Bestimmung des Minimums zugeführt. In dem zweiten Schritt werden die Permutationen d, e und f erzeugt und ausgegeben. Jede Permutation wird analysiert, um festzustellen, ob sie ein gültiges Minimum enthält. Die Ergebnisse der Analyse der Permutationen a, b und c werden vorübergehend in den Speichern 24, 25 bzw. 26 gespeichert, während die Permutationen d, e und f analysiert werden. Am Ende des zweiten Schrittes werden alle sechs Ergebnisse der Bewertungsschaltung 27 zugeführt, die das einem "guten" Bewegungsvektor entsprechende endgültige Minimum bestimmt und weiterleitet. Wenn jedoch beim Vergrößern des Suchblocks die Kante des Vollbilds erreicht wird oder kein Minimum gefunden wird, das den Schwellwert-Test und den Ring-Test besteht, wird der beste verfügbare Bewegungsvektor aus der Korrelationsfläche durch Gewichten bestimmt.
Die Korrelationsfläche wird so gewichtet, daß die Auswahl des besten verfügbaren Bewegungsvektors in Richtung auf den stationären, d.h. den zentralen Bewegungsvektor gewichtet wird. Dies hat zwei Gründe: Erstens wird es nicht möglich sein, einen guten Bewegungsvektor zu detektieren, wenn der Suchblock auch nach der Vergrößerung Teil eines großen unaufgelösten Bereichs des Quellenvideos ist. Wenn das Quellenvideo eine unaufgelöste Fläche ist, führt jedoch ein stationärer Bewegungsvektor bei der nachfolgenden Verarbeitung zu den korrekten Ergebnissen. Zweitens ist die Gewichtung so festgelegt, daß die Möglichkeit, daß ein erheblich falscher Bewegungsvektor an den Bewegungsvektor-Reduzierer 5 (Fig. 1) übertragen wird, herabgesetzt wird. Dies geschieht deshalb, weil davon ausgegangen wird, daß dann, wenn ein guter Bewegungsvektor nicht bestimmt werden kann, ein in geringem Umfang unrichtiger Bewegungsvektor einem sehr ungenauen Bewegungsvektor vorzuziehen ist.
Fig. 31 zeigt ein Beispiel dafür, wie die Gewichtungsfunktion auf die Korrelationsfläche angewendet werden kann. In diesem Beispiel ist das auf einen gegebenen Punkt auf der Korrelationsfläche angewendete Gewicht dem Abstand dieses Punktes von dem stationären zentralen Bewegungsvektor direkt proportional. Die Größe des Punktes auf der Korrelatonsfläche wird mit dem Gewichtungsfaktor multipliziert. Der Gradient der Gewichtungsfunktion kann beispielsweise so gewählt sein, daß Punkte, die einen Abstand von plus oder minus 32 Pixeln von dem zentralen stationären Bewegungsvektor haben, mit dem Faktor 3 multipliziert werden. Mit anderen Worten, wenn der zentrale stationäre Bewegungsvektor, wie in Fig. 31 dargestellt, durch den schwarzen Kreis gekennzeichnet ist, ist die Gewichtungsfunktion ein umgekehrter Kegel, der auf dem zentralen stationären Bewegungsvektor zentriert ist.
Nachdem die Korrelationsfläche gewichtet wurde, wird sie erneut dem Schwellwert-Test und dem Ring-Test unterzogen. Falls ein Minimum festgestellt wird, das beide Tests besteht, wird davon ausgegangen, daß es sich um einen guten Bewegungsvektor handelt. Dieser wird gekennzeichnet, um anzuzeigen, daß es sich um einen guten Bewegungsvektor handelt, der jedoch durch Gewichtung bestimmt wurde. Dieses Kennzeichen wird zusammen mit dem Bewegungsvektor dem Bewegungsvektor-Reduzierer 5 (Fig. 1) zugeführt. Wenn hingegen auch nach der Gewichtung weder ein guter Bewegungsvektor noch ein bester verfügbarer Bewegungsvektor bestimmt werden kann, wird ein Kennzeichen gesetzt, um anzuzeigen, daß der dem Vektorreduzierer 5 (Fig. 1) für diesen Suchblock zugeführte Bewegungsvektor ein schlechter Bewegungsvektor ist. Dies ist notwendig, weil schlechte Bewegungsvektoren in dem Bewegungsvektor-Reduzierungsprozeß nicht verwendet werden dürfen, sondern in der weiter unten beschriebenen Weise substituiert werden müssen.
Zusammengefaßt besteht die Funktion des Bewegungsvektor-Schätzers 4 (Fig. 1) darin, aus der von der Einrichtung 3 für das direkte Block-Matching (Fig. 1) den Punkt der besten Korrelation, d.h. das Minimum, abzuleiten. Dieses Minimum wird dann dem Schwellwert- Test und dem Ring-Test unterzogen. Das Minimum muß beide Tests bestehen, damit es als Repräsentant für die Bewegung des Suchblocks betrachtet wird. Es sei beiläufig erwähnt, daß die in dem Schwellwert-Test und in dem Ring-Test verwendeten Schwellwerte entweder Absolutwerte oder Bruchteilswerte sind. Falls das Minimum beide Tests verfehlt, wird der Suchblock vergrößert, ein neues Minimum bestimmt und der Schwellwert-Test und der Ring-Test erneut angewendet. Die wirksamste Richtung für die Vergrößerung des Suchblocks wird aus der Form der Korrelationsfläche bestimmt.
Im folgenden sei der Prozeß der Bewegungsvektorreduzierung beschrieben, wobei zunächst auf Fig. 1 Bezug genommen wird. Wenn ein hochauflösendes Videosignal verwendet wird, wird ein Suchblock mit 32 Pixeln mal 23 Zeilen unterstellt. Es läßt sich zeigen, daß dies zu einem möglichen Maximum von 2451 Bewegungsvektoren führt. Die Auswahl des Suchblock ist ein Kompromiß zwischen der Beibehaltung der Auflösung und der Vermeidung eines exzessiv großen Hardwareaufwands. Wenn alle diese Bewegungsvektoren dem Bewegungsvektor-Wähler 6 zugeführt werden, ist wegen des erforderlichen Verarbeitungsumfangs eine Bewegungsvektorauswahl in der Praxis nicht möglich. Zur Lösung dieses Problems dient der zwischen dem Bewegungsvektor-Schätzer 4 und dem Bewegungsvektor-Wähler 6 angeordnete Bewegungsvektor-Reduzierer 5. Der Bewegungsvektor-Reduzierer 5 übernimmt die von dem Bewegungsvektor-Schätzer 4 erzeugten Bewegungsvektoren und präsentiert dem Bewegungsvektor-Wähler nicht alle für das Vollbild abgeleiteten Bewegungsvektoren sondern z.B. nur vier Bewegungsvektoren für jeden Suchblock in dem Vollbild. Dies hat eine zweifache Auswirkung: Erstens wird hierdurch die Auswahl des korrekten Bewegungsvektors erleichtert, solange dieser sich in der Gruppe der vier der Bewegungsvektor-Wähler 6 zugeführten Bewegungsvektoren befindet. Zweitens jedoch bedeutet dies auch, daß der Bewegungsvektor-Wähler 6 nicht in der Lage ist, den korrekten Bewegungsvektor auszuwählen, wenn dieser nicht als eine der vier zugeführt wird. Es muß deshalb versucht werden, sicherzustellen, daß der Bewegungsvektor-Reduzierer 5 den korrekten Bewegungsvektor unter denjenigen enthält, die dem Bewegungsvektor-Wähler 6 zugeführt werden. Es ist außerdem zu beachten, daß der Bewegungsvektor-Reduzierer 5 dem Bewegungsvektor-Wähler 6 zwar vier Bewegungsvektoren zuführt, daß jedoch nur drei von diesen tatsächlich eine Bewegung repräsentieren, während der vierte Bewegungsvektor stets der stationäre Bewegungsvektor ist, der einbezogen ist, um sicherzustellen, daß der Bewegungsvektor-Wähler 6 auf ein stationäres Pixel keinen Bewegungsvektor anwenden muß, der eine Bewegung repräsentiert. Dem Bewegungsvektor-Wähler 6 können auch andere Mengen von Bewegungsvektoren zugeführt werden. In einem alternativen Ausführungsbeispiel können es z.B. außer dem stationären Bewegungsvektor vier Bewegungsvektoren sein, die eine Bewegung repräsentieren.
Der im folgenden verwendete Ausdruck "Abtastblock" bezieht sich auf einen Block in einem Videovollbild, in dem von dem Bewegungsvektor-Reduzierer 5 die gleichen vier Bewegungsvektoren angeboten werden. Somit ist ein Abtastblock das gleiche wie ein Suchblock, bevor dieser vergrößert wurde. Wie Fig. 32 zeigt, sind in einem Videovollbild die Anfangspositionen der Abtastblöcke und der Suchblöcke die gleichen.
Der Bewegungsvektor-Reduzierer 5 (Fig. 1) nimmt von dem Bewegungsvektor-Schätzer 4 (Fig. 1) die Bewegungsvektoren und die Kennzeichen (Flags) auf und bestimmt die Qualität der Bewegungsvektoren durch das Prüfen der Flags. Falls der Bewegungsvektor nicht von einer mehrdeutigen Fläche abgeleitet wurde, d.h., wenn er einen hohen "Vertrauensgrad genießt", wird er als "guter" Bewegungsvektor bezeichnet. Wenn jedoch eine gewisse Mehrdeutigkeit vorhanden ist, wird der Bewegungsvektor als "schlechter" Bewegungsvektor bezeichnet. In dem Prozeß zur Bewegungsvektorreduzierung werden alle als schlecht klassifizierten Bewegungsvektoren ignoriert, weil es wichtig ist, daß keine ungenauen Bewegungsvektoren jemals zu dem Bewegungsvektor-Wähler 6 (Fig. 1) gelangen, falls von diesem ein schlechter Bewegungsvektor ausgewählt wird. Diese Auswahl würde in der Regel in dem endgültigen Bild zu einem unechten Punkt führen, der sehr gut sichtbar wäre.
Jeder Bewegungsvektor, der dem Bewegungsvektorreduzierer 5 (Fig. 1) zugeführt wird, wurde aus einem speziellen Suchblock und damit aus einem speziellen Abtastblock (Fig. 32) gewonnen, deren Positionen zusammen mit dem Bewegungsvektor notiert sind. Da Bewegungsvektoren, die als schlechte Bewegungsvektoren klassifiziert wurden, ignoriert werden, besitzen nicht alle Abtastblöcke einen Bewegungsvektor, der von dem Suchblock an dieser Position abgeleitet ist. Die Bewegungsvektoren, die als gute Bewegungsvektoren klassifiziert wurden und sich auf einen speziellen Suchblock und damit auf einen speziellen Abtastblock beziehen, werden als lokale Bewegungsvektoren bezeichnet, weil sie in dem Areal abgeleitet wurden, aus dem der Abtastblock gewonnen wurde. Zusätzlich zählt ein weiterer Bewegungsvektor-Reduzierungsprozeß die Häufigkeit, mit der jeder gute Bewegungsvektor auftritt, wobei die tatsächlichen Positionen der Suchblöcke, die zu ihrer Ableitung benutzt wurden, nicht berücksichtigt werden. Diese Bewegungsvektoren werden dann in der Reihenfolge abnehmender Häufigkeit in eine Rangordnung gebracht. Sie werden als gemeinsame Bewegungsvektoren bezeichnet. Im ungünstigsten Fall sind nur drei gemeinsame Bewegungsvektoren verfügbar. Diese werden mit dem stationären Bewegungsvektor kombiniert, um die vier Bewegungsvektoren zu gewinnen, die dem Bewegungsvektor-Wähler 6 (Fig. 1) zugeführt werden sollen. Da jedoch häufig mehr als drei gemeinsame Bewegungsvektoren existieren, muß die Anzahl reduziert werden, um einen reduzierten Satz von gemeinsamen Bewegungsvektoren zu bilden, die als globale Bewegungsvektoren bezeichnet werden.
Eine einfache Möglichkeit zur Reduzierung der Zahl der gemeinsamen Bewegungsvektoren besteht darin, die drei häufigsten gemeinsamen Bewegungsvektoren zu verwenden und die übrigen unberücksichtigt zu lassen. Die drei häufigsten gemeinsamen Bewegungsvektoren sind jedoch oft diejenigen drei Bewegungsvektoren, die anfänglich innerhalb einer vertikalen und/oder horizontalen gegenseitigen Bewegung um plus oder minus ein Pixel lagen. Mit anderen Worten, diese gemeinsamen Bewegungsvektoren folgen mit geringen Unterschieden alle der gleichen Bewegung, während die anderen gemeinsamen Bewegungsvektoren, die unberücksichtigt blieben, tatsächlich verschiedenen Bewegungen folgen.
Um die gemeinsamen Bewegungsvektoren auszuwählen, die alle oder die meisten Bewegungen in einer Szene repräsentieren, muß man vermeiden, globale Bewegungsvektoren auszuwählen, die die gleiche Bewegung repräsentieren. Die tatsächlich angewendete Strategie besteht somit darin, zunächst die drei am häufigsten vorkommenden gemeinsamen Bewegungsvektoren heranzuziehen und zu prüfen, ob derjenige von ihnen, der am wenigsten häufig auftritt, innerhalb einer vertikalen Bewegung um plus oder minus 1 Pixel und/oder einer horizontalen Bewegung um plus oder minus 1 Pixel eines der anderen beiden gemeinsamen Bewegungsvektoren liegt. Wenn dies der Fall ist, wird er zurückgewiesen, und es wird der nächst weniger häufig auftretende gemeinsame Bewegungsvektor ausgewählt, um ihn zu ersetzen. Dieser Prozeß wird für alle am häufigsten auftretenden gemeinsamen Bewegungsvektoren fortgesetzt, bis entweder drei gemeinsame Bewegungsvektoren vorliegen, die einander nicht gleichen, oder bis drei oder weniger gemeinsame Bewegungsvektoren zurückbleiben. Wenn jedoch mehr als drei gemeinsame Bewegungsvektoren zurückbleiben, wird der Prozeß wiederholt, wobei dieses mal geprüft wird, ob der am wenigsten häufig auftretende von ihnen innerhalb der vertikalen Bewegung um plus oder minus 2 Pixel und/oder der horizontalen Bewegung um plus oder minus 2 Pixel eines anderen liegt, usw. mit wachsenden Abständen, falls dies erforderlich ist. Diese drei gemeinsamen Bewegungsvektoren sind die geforderten globalen Bewegungsvektoren, und es ist wichtig, darauf hinzuweisen, daß ihre Rangordnung noch der Reihenfolge ihrer Häufigkeit entspricht.
Bei der Betrachtung des Prozesses zur Bewegungsvektorreduzierung und der Abtastblöcke eines Videovollbilds, muß man drei unterschiedliche Typen von Abtastblöcken ins Auge fassen. Diese Typen beziehen sich auf die tatsächliche Position in einem Videovollbild und sind in Fig. 33 als Regionen dargestellt. Die Region A umfaßt Abtastblöcke, die völlig von anderen Abtastblöcken umgeben sind und nicht in der Nähe des Bildrandes liegen. Die Region B umfaßt Abtastblöcke, die teilweise von anderen Abtastblöcken umgeben sind und nicht in der Nähe des Bildrandes liegen. Die Region C schließlich umfaßt Abtastblöcke, die in der Nähe des Bildrandes liegen. Für jede dieser Regionen muß ein anderer Algorithmus zur Bewegungsvektorreduzierung angewendet werden. Diese Algorithmen werden weiter unten beschrieben. Zunächst sei aber noch nochmals darauf hingewiesen, daß für einige der Abtastblöcke in dem Videovollbild gute Bewegungsvektoren existieren und daß zusätzlich auch drei globale Bewegungsvektoren vorhanden sind, die den größten Teil der vorherrschenden Bewegung in der Szene repräsentieren sollten. Eine Auswahl dieser Bewegungsvektoren dient dazu, für jeden Abtastblock drei Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor weiterzugeben.
Fig. 34 veranschaulicht schematisch die Bewegungsvektorreduzierung in der Region A. Dies ist die komplexeste der zu behandelnden Regionen, weil sie die größte Anzahl von zu prüfenden Vektoren aufweist. Fig. 34 zeigt einen schraffierten zentralen Abtastblock, der von anderen Abtastblöcken a bis h umgeben ist. Zunächst wird der lokal abgeleitete Bewegungsvektor geprüft, um festzustellen, ob er als guter Vektor klassifiziert wurde. Wenn dies der Fall ist und wenn es nicht der gleiche wie der stationäre Bewegungsvektor ist, wird er weitergegeben. Falls er jedoch einen dieser Tests verfehlt, wird er ignoriert. Dann wird der dem Abtastblock d zugeordnete Bewegungsvektor geprüft, um festzustellen, ob er als ein guter Bewegungsvektor klassifiziert wurde. Wenn dies der Fall ist und wenn er ebenfalls nicht derselbe wie ein bereits ausgewählter Bewegungsvektor ist und auch nicht derselbe wie der stationäre Bewegungsvektor ist, wird auch er weitergegeben. Falls er einen der Tests verfehlt, wird er ebenfalls ignoriert. Der Prozeß wird dann in ähnlicher Weise in der Reihenfolge e, b, g, a, h, c und f fortgesetzt. Sobald drei Bewegungsvektoren gewonnen wurden, die nicht den stationären Bewegungsvektor umfassen, hält der Algorithmus an, weil dies alles ist, was für die Bewegungsvektorauswahl für diesen Abtastblock benötigt wird. Es kann jedoch auch vorkommen, daß alle oben genannten Prüfungen ausgeführt werden, ohne daß drei gute Bewegungsvektoren gewonnen werden. In diesem Fall werden die verbleibenden Stellen mit den globalen Bewegungsvektoren ausgefüllt, wobei die am häufigsten auftretenden globalen Bewegungsvektoren priorisiert werden.
Fig. 35 veranschaulicht die Bewegungsvektorreduzierung in der Region B. Die Abtastblöcke in der Region B sind die gleichen wie in der Region A, mit der Ausnahme, daß sie nicht vollständig von anderen Abtastblöcken umgeben sind. Somit ist der auf diese Abtastblöcke angewendete Prozeß genau der gleiche wie für die Region A, mit der Ausnahme, daß nicht in allen umgebenden Abtastblöcken gesucht werden kann. So können, wie aus Fig. 35 hervorgeht nur die Bewegungsvektoren für die Abtastblöcke a bis e geprüft werden, und verbleibende Zwischenräume für Bewegungsvektoren werden wie zuvor mit globalen Bewegungsvektoren ausgefüllt. Wenn der schraffierte Abtastblock in Fig. 35 um zwei Positionen nach links verschoben würde, gäbe es, wie ersichtlich, nur drei angrenzende umgebende Blöcke, die geprüft werden müßten, bevor man auf globale Bewegungsvektoren zurückgreift.
Fig. 36 veranschaulicht die Bewegungsvektorreduzierung der Region C. Dies ist der schwierigste Fall, weil die Abtastblöcke weder einen lokal abgeleiteten Bewegungsvektor haben noch viele umgebende Abtastblöcke besitzen, deren Bewegungsvektoren verwendet werden könnten. Der einfachste Weg zur Lösung dieses Problems besteht darin, den Abtastblöcken in der Region C einfach die globalen Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor zuzuteilen. Es hat sich jedoch herausgestellt, daß dadurch ein blockartiger Effekt in dem resultierenden Bild erzeugt wird, der darauf zurückzuführen ist, daß sich die Bewegungsvektoren, die für die Abtastblöcke in der Region C präsentiert werden, im Vergleich zu den angrenzenden Abtastblöcken in der Region D plötzlich ändern. Deshalb besteht eine bevorzugte Strategie darin, für die Abtastblöcke in der Region C die Abtast-Bewegungsvektoren zu verwenden, wie sie für die Abtastblöcke in der Region B verwendet werden, da dadurch plötzliche Änderungen verhindert werden. Vorzugsweise werden jedem Abtastblock in der Region C die gleichen Bewegungsvektoren zugeordnet wie dem Abtastblock in der Region B, der ihm physisch am nächsten liegt. So werden in dem Beispiel von Fig. 36 jedem der schraffierten Abtastblöcke in der Region C die gleichen Bewegungsvektoren zugeordnet wie dem Abtastblock a in der Region B. Es hat sich herausgestellt, daß man dadurch hervorragende Ergebnisse erzielt.
Es sei noch einmal auf Fig. 1 Bezug genommen. Die Aufgabe des Bewegungsvektor-Wählers 6 besteht darin, jedem individuellen Pixel in dem Abtastblock einen der vier ihm zugeführten Bewegungsvektoren zuzuteilen. Auf diese Weise können die Bewegungsvektoren korrekt an der Außenlinie von Objekten abgebildet werden. Die Art und Weise, wie diese Zuordnung erfolgt, soll insbesondere vermeiden helfen, daß der ein feines Detail umgebende Hintergrund einen besseren Ausgleich erzeugt als er durch den korrekten Bewegungsvektor erzeugt wird. Zu diesem Zweck wird der Prozeß der Bewegungsvektorauswahl in zwei Hauptstufen unterteilt. In der ersten Stufe werden für jedes Pixel in den Eingangs- Vollbildern Bewegungsvektoren erzeugt. Mit anderen Worten, es wird nicht der Versuch unternommen, die Bewegungsvektorwerte für Pixel an Positionen des Ausgangs-Vollbildes zu bestimmen. Die zweite Stufe nutzt die in der ersten Stufe erzeugten Bewegungsvektorwerte, um für jedes Pixel in dem Ausgangs-Vollbild zu den Bewegungsvektorwert bestimmen.
Es sei nun auf Fig. 37 Bezug genommen. Jedes Pixel in dem Ausgangs-Vollbild 2 wird auf den besten Luminanzwertausgleich mit dem vorangehenden und dem folgenden Eingangs- Vollbild 1 und 3 der Videodaten geprüft, wobei jeder der vier zugeführten Bewegungsvektoren verwendet wird. Die Pixel-Luminanzdifferenz wird bestimmt als:
Hierin bedeuten:
P1nm der Luminanzwert eines Pixels des Vollbildes 1 innerhalb eines 4x4-Blocks von Pixeln, die das Pixel umgeben, dessen Ort dadurch gewonnen wird, daß die Koordinaten des gerade geprüften Bewegungsvektors von dem Ort des in dem Vollbild 2 getesteten Pixels subtrahiert wird,
P2nm der Luminanzwert eines Pixels des Vollbildes 2 innerhalb eines 4x4-Blocks von Pixeln, die das gerade geprüfte Pixel umgeben,
P3nm der Luminanzwert eines Pixels des Vollbilds 3 innerhalb eines 4x4-Blocks von Pixeln, die das Pixel umgeben, dessen Ort dadurch gewonnen wird, daß die Koordinaten des gerade getesteten Bewegungsvektors zu dem Ort des in dem Vollbild 2 getesteten Pixels hinzuaddiert werden.
Die kleinste Pixeldifferenz zeigt dann den besten Luminanzausgleich und damit den korrekten Bewegungsvektor an, der auf das gerade getestete Pixel anzuwenden ist. Wenn der korrekte Bewegungsvektor nicht verfügbar ist oder aufgedeckte oder abgedeckte Bereiche vorhanden sind, die weiter unten im einzelnen erläutert werden, ist ein guter Ausgleich nicht möglich.
Es wird ein unzureichender Ausgleich angezeigt, wenn die durchschnittliche Pixeldifferenz innerhalb des verwendeten Pixelblocks über einem bestimmten Schwellwert liegt. Dieser Schwellwert ist wichtig, weil hochfrequente Details selbst dann einen unzureichenden Ausgleich erzeugen können, wenn der korrekte Bewegungsvektor geprüft wird. Der Gründ für diesen unzureichenden Ausgleich besteht darin, daß bei der Bewegungsvektorschätzung ein halber Pixelfehler auftreten kann. Um zu bestimmen, welcher Schwellwert einen unzureichenden Ausgleich anzeigt, muß man den Schwellwert auf den Frequenzgehalt des Bilds innerhalb des Blocks von Daten beziehen, die das Pixel umgeben, für das der Bewegungsvektor benötigt wird. Zu diesem Zweck wird ein Auto-Schwellwert bestimmt, bei dem der Schwellwert der Hälfte der maximalen horizontalen oder vertikalen Pixel-Luminanzdifferenz um das gerade getestete Pixel entspricht. Um sicherzustellen, daß der gewonnene Schwellwert für den ganzen Datenblock repräsentativ ist, der verglichen wird, wird ein Durchschnittswert für die vier zentralen Pixel eines verwendeten 4x4-Blocks gewonnen.
In Fig. 39, in der ein 4x4-Block dargestellt ist, ist der geforderte Schwellwert T gegeben durch:
T= (T1 + T2 + T3 + T4)/8,
worin beispielsweise T3, wie in Fig. 40 dargestellt, als ein Wert bestimmt wird, der gleich dem Maximum der vier Pixel-Luminanz-Differenzwerte ist, die
die beiden vertikalen Differenzen B2 - B3 und B4 - B3 und
die beiden horizontalen Differenzen A3 - B3 und C3 - B3
umfassen.
Auf diese Weise wird für das Eingangs-Vollbild 2 ein Vollbild von Bewegungsvektoren gewonnen. In entsprechender Weise wird für das Eingangs-Vollbild 3, wie in Fig. 38 dargestellt, ein Vollbild von Bewegungsvektoren gewonnen.
Abgesehen von Szenenänderungen ist das Phänomen der "aufgedeckten/abgedeckten" Flächen dafür verantwortlich ist, wenn in der oben beschriebenen ersten Stufe der Bewegungsvektorauswahl ein fehlerhafter Ausgleich erfolgt. Wenn ein Objekt, z.B. ein Wagen, in einen Tunnel fährt, wird er abgedeckt. Wenn der Wagen hingegen herausfährt, wird er aufgedeckt. Falls der Teil des Wagens, der in den Vollbildern 1 und 2 aufgedeckt war, in den Vollbildern 3 und 4 abgedeckt ist, ist der Basisprozeß für die Vektorauswahl nicht in der Lage, den korrekten Vektor zu bestimmen. Darüber hinaus werden die Straße und die Objekte hinter dem Wagen aufgedeckt, während der Wagen in den Tunnel fährt. In ähnlicher Weise wird der Wagen beim Verlassen des Tunnels aufgedeckt, die Straße und die Objekte hinter dem Wagen werden hingegen abgedeckt. Im allgemeinen existieren deshalb sowohl abgedeckte als auch aufgedeckte Objekte zur gleichen Zeit. Am Ende einer Szene tritt ebenfalls eine Diskontinuität in der Bewegung auf, die derjenigen gleicht, wenn ein Objekt abgedeckt wird. In dem Bestreben, auch unter diesen Umständen einen Bewegungsvektor zu bestimmen, wird der Luminanzwert-Blockausgleich auf einen Ausgleich über zwei Vollbilder reduziert, statt einen Ausgleich über drei Vollbilder durchzuführen, wie er in Fig. 37 und 38 dargestellt ist. Das Vollbild, für das die Bewegungsvektoren benötigt werden (z.B. das Vollbild 2) wird individuell einem Block-Ausgleich mit dem vorhergehenden und dem nachfolgenden Vollbild (Vollbild 1 bzw. Vollbild 3 im Falle des Vollbilds 2), wozu die vier zugeführten Bewegungsvektoren benutzt werden. Der Bewegungsvektor, der den besten Ausgleich liefert, wird als der Bewegungsvektor ausgewählt, der auf das gerade geprüfte Pixel anzuwenden ist. In diesem Fall wird jedoch ein Flag gesetzt, um anzuzeigen, daß ein Ausgleich über nur zwei Vollbild verwendet wurde.
Insbesondere bei integrierenden Fernsehkameras treten Situationen auf, in denen kein Ausgleich erfolgt. Wenn sich ein Objekt über einen detailreichen Hintergrund bewegt, erzeugt eine integrierende Kamera eindeutige Bildbereiche, in denen die Vorder- und Hinterkanten des Objekts mit den Detail des Hintergrunds gemischt sind. Unter diesen Umständen kann selbst der Ausgleich über zwei Vollbild eine durchschnittliche Pixeldifferenz erzeugen, die über dem Schwellwert liegt. In diesen Fällen wird der Wert des Bewegungsvektors auf Null gesetzt und ein Fehler-Flag gesetzt.
Die zweite Stufe der Bewegungsvektorauswahl benutzt die beiden Vollbildern der Bewegungsvektoren, die in der ersten Stufe hergeleitet wurden. Ein Vollbild von Bewegungsvektoren (Eingangs-Vollbild 2) wird als Referenz-Vollbild betrachtet, und das diesem folgende Vollbild (Eingangs-Vollbild 3) wird ebenfalls benutzt. Die Position des Ausgangs-Vollbilds existiert dann irgendwo zwischen diesen beiden Vollbildern von Bewegungsvektoren. Es sei nun auf Fig. 41 Bezug genommen: Hier werden für jede Ausgangs-Pixelposition die vier möglichen Bewegungsvektoren getestet, die dem Abtastblock des Eingangs-Vollbilds 2 zugeordnet sind. Eine Linie, die im Winkel des gerade getesteten Bewegungsvektors durch die Ausgangs-Pixelposition gezogen ist, zeigt auf eine Position sowohl in dem Eingangs- Vollbild 2 als auch in dem Eingangs-Vollbild 3. Im Fall von Bewegungsvektoren mit ungeradzahligem Wert, z.B. 1, 3 und 5, wird ein Punkt in der Mitte zwischen den beiden Eingangs- Vollbildpixeln angezeigt, wenn das Ausgangs-Vollbild genau zwischen den Eingangs-Vollbildem 1 und 2 liegt. Zur Berücksichtigung dieser Ungenauigkeit und auch zur Herabsetzung der Empfindlichkeit bezüglich individueller Pixel wird für jedes Vollbild ein 3x3-Block von Bewegungsvektoren gewonnen, der auf der dichtest benachbarten Pixelposition zentriert ist. Es wird dann tatsächlich ein Block-Ausgleich zwischen jedem der beiden 3x3-Blöcke von Bewegungsvektoren und einem Block ausgeführt, der den gerade getesteten Bewegungsvektor enthält. Die verwendete Bewegungsvektordifferenz stellt die räumliche Differenz der beiden Bewegungsvektorwerte dar und ist gegeben durch
((x1-x2)² + (y1-y2)²)
Hierin bedeuten
x1 und y1 die kartesischen Koordinaten des Bewegungsvektors in einem der Blöcke,
x2 und y2 die kartesischen Koordinaten des gerade getesteten Bewegungsvektors.
Als Ergebnis des Block-Ausgleichs wird eine mittlere Vektordifferenz pro Pixel erzeugt.
Zunächst wird ein Bewegungsvektor-Ausgleich unter Verwendung nur derjenigen Bewegungsvektorwerte erzeugt, die unter Benutzung von drei Eingangs-Vollbildern berechnet wurden, d.h. der Eingangs-Vollbilder 1, 2 und 3 für das Eingangs-Vollbild 2 (Fig. 37) und der Eingangs-Vollbilder 2, 3 und 4 für das Eingangs-Vollbild 3 (Fig. 38), und das Ergebnis wird entsprechend skaliert. In dem Block von neun Bewegungsvektoren befinden sich vorzugsweise zumindest vier verwendbare Bewegungsvektoren. Wenn sowohl der Bewegungsvektorblock von Vollbild 2 als auch von Vollbild 3 benutzt werden kann, werden die Bewegungsvektor-Differenzwerte aus dem halben Bewegungsvektor-Differenzwert aus dem Vollbild 2 und dem halben Bewegungsvektor-Differenzwert aus dem Vollbild 3 gebildet. Derjenige Bewegungsvektor, der bei dem oben beschriebenen Verfahren den kleinsten Bewegungsvektor-Differenzwert erzeugt, wird als der Bewegungsvektor betrachtet, der auf das gerade getestete Ausgangspixel anwendbar ist. Wenn der Bewegungsvektor-Differenzwert, der von den Eingangs-Bewegungsvektor des Ausgleichs der drei Vollbilder erzeugt wird (Fig. 37 und 38) größer ist als eins, wurde eine abgedeckte oder eine aufgedeckte Fläche detektiert, und der gleiche Prozeß wird wiederholt, wobei diesmal jedoch die Fehler- Flags ignoriert werden. Das heißt, es werden Bewegungsvektorwerte benutzt, die unter Verwendung von zwei Eingangs-Vollbildern berechnet wurden. Theoretisch ist dies nur für aufgedeckte/abgedeckte Flächen erforderlich, obwohl in der Praxis Bildverbesserungen in allgemeineren Bereichen erreicht werden können.
Wenn nach der Durchführung der beiden oben beschriebenen Tests der kleinste Bewegungsvektor-Ausgleich größer ist als zwei, wird der Bewegungsvektorwert auf Null gesetzt, und es wird ein Fehler-Flag für die Verwendung in dem Bewegungsvektor-Nachverarbeiter 7 (Fig. 1) gesetzt.
Im Anschluß an die Bewegungsvektorauswahl sind in irgendeiner realen Bildsituation fast mit Sicherheit bestimmten Pixeln noch verbleibende störende Bewegungsvektoren zugeordnet. Fig. 42 bis 47 zeigen, was unter störenden Bewegungsvektoren verstanden wird. In jeder dieser Figuren stellen die Dreiecke Pixel dar, denen der gleiche Bewegungsvektor zugeordnet ist, während die Sterne Pixel darstellen, denen andere Bewegungsvektoren zugeordnet sind als den umgebenden Pixeln. Die Kreise kennzeichnen den Bewegungsvektor, der gerade geprüft wird.
Fig. 42 zeigt eine Punktsingularität, an der ein einzelnes Pixel einen Bewegungsvektor besitzt, der von den Bewegungsvektoren aller umgebenden Pixel abweicht.
Fig. 43 zeigt einen horizontalen Bewegungsvektorimpuls, wobei drei horizontal fluchtende Pixel einen Bewegungsvektor haben, der sich von den Bewegungsvektoren der umgebenden Pixel unterscheidet.
Fig. 44 zeigt einen vertikalen Bewegungsvektorimpulss, wobei drei vertikal fluchtende Pixel einen Bewegungsvektor haben, der sich von den Bewegungsvektoren der umgebenden Pixel unterscheidet.
Fig. 45 zeigt einen diagonalen Bewegungsvektorimpuls, wobei drei diagonal fluchtende Pixel einen Bewegungsvektor haben, der sich von den Bewegungsvektoren der umgebenden Pixel unterscheidet.
Fig. 46 zeigt einen horizontalen und zusätzlich einen vertikalen Bewegungsvektorimpuls, wobei fünf in einem aufrechten Kreuz angeordnete Pixel einen Bewegungsvektor haben, der sich von den Bewegungsvektoren der umgebenden Pixel unterscheidet.
Fig. 47 zeigt einen aus zwei Diagonalen bestehenden Bewegungsvektorimpuls, wobei fünf in einem diagonalen Kreuz angeordnete Pixel einen Bewegungsvektor haben, der sich von den Bewegungsvektoren der umgebenden Pixel unterscheidet.
Es sei angenommen, daß Pixel-Bewegungsvektoren, die unter eine der obigen sechs Kategorien fallen, nicht wirklich zu einem realen Bild gehören und das direkte Resultat einer nicht korrekten Bewegungsvektorauswahl sind. Wenn solche Bewegungsvektoren beim Interpolationsprozeß verwendet werden, erzeugen sie wahrscheinlich Punkte in dem endgültigen Ausgangsbild. Es ist deshalb empfehlenswert, solche Bewegungsvektoren zu identifizieren und zu eliminieren. Dies geschieht mit Hilfe eines Algorithmus, der alle oben genannten Bewegungsvektor-Gruppierungen detektiert und kennzeichnet.
Dieser Algorithrnus benutzt einen Prozeß, der aus zwei identischen Schritten besteht. Die Notwendigkeit, zwei Schritte zu verwenden, wird im folgenden erläutert. Fig. 46, auf die hier Bezug genommen wird, zeigt ein Array von Pixeln. Allen Pixeln, die mit einem Dreieck markiert sind, ist der gleiche Bewegungsvektor zugeordnet. Dem Block von neun Pixeln im Zentrum sind mit "Vektor 1" bis "Vektor 9" bezeichnete Bewegungsvektoren zugeordnet, die gleich sein können oder nicht. Der Vektor 5 ist der getestete Bewegungsvektor.
In dem ersten Schritt wird der Vektor 5 geprüft, um festzustellen, ob er der gleiche ist oder innerhalb eines vorbestimmten Toleranzbereichs liegt. Der Vergleich bezieht sich
erstens auf Vektor 1 oder Vektor 3 oder Vektor 7 oder Vektor 9 und
zweitens auf Vektor 2 oder Vektor 4 oder Vektor 6 oder Vektor 8.
Diese Prüfung dient dazu, festzustellen, ob der Vektor 5 der gleiche ist wie wenigstens einer seiner horizontalen oder vertikalen Nachbarn und der gleiche wie wenigstens einer seiner diagonalen Nachbarn. Wenn dies nicht der Fall ist, wird ein Flag gesetzt, um anzuzeigen, daß das Pixel 5 "schlecht" ist.
Der erste Schritt kennzeichnet diejenigen Bewegungsvektoren als "schlecht", die sich auf Punktsingularitäten, auf horizontale Bewegungsvektorimpulse, vertikale Bewegungsvektorimpulse, diagonale Bewegungsvektorimpulse und Bewegungsvektorimpulse in zwei diagonalen Richtungen (Fig. 42 bis 45 und 47) beziehen. Die Bewegungsvektoren, die horizontalen und zusätzlich vertikalen Bewegungsvektorimpulsen entsprechen (Fig. 46) sind nicht betroffen. Für diese ist der Schritt 2 erforderlich. Der zweite Schritt prüft auf exakt die gleichen Bedingungen wie der erste Schritt, in diesem Fall sind jedoch Bewegungsvektoren, die bereits als schlecht gekennzeichnet sind, nicht in die Berechnung einbezogen. Nachdem der erste Schritt nur den zentralen Bewegungsvektor als schlecht gekennzeichnet hat (Fig. 46), werden anschließend in dem zweiten Schritt alle fünf Bewegungsvektoren, die in dem aufrecht stehenden Kreuz angeordnet sind, als schlecht gekennzeichnet.
Nach der Identifizierung der schlechten Bewegungsvektoren müssen diese dann "repariert" werden. Auch dies wird von dem Bewegungsvektor-Nachverarbeiter 7 (Fig. 1) ausgeführt. Obwohl verschiedene Methoden, wie Interpolation oder Majoritätsersatz verwendet werden können, hat sich herausgestellt, daß in der Praxis ein einfacher Ersatz gute Resultate liefert. Dies wird folgendermaßen durchgeführt (und es sollte beachtet werden, daß die "gleich"-Zeichen nicht nur exakte Gleichheit bedeuten, sondern auch innerhalb eines vorbestimmten Toleranzbereichs der betreffenden Größe liegende Werte bezeichnen können).
Wenn der Vektor 5 als schlecht gekennzeichnet ist, wird er ersetzt
durch Vektor 4, wenn (Vektor 4 gleich Vektor 6),
andernfalls durch Vektor 2, wenn (Vektor 2 gleich Vektor 8),
andernfalls durch Vektor 1, wenn (Vektor 1 gleich Vektor 9),
andernfalls durch Vektor 3, wenn (Vektor 3 gleich Vektor 7),
andernfalls wird nichts unternommen.
Es sei noch einmal auf Fig. 1 Bezug genommen. Der schließlich für jedes Pixel ausgewählte Bewegungsvektor wird von dem Bewegungsvektor-Nachverarbeiter 7 zusammen mit den in progressiver Abtastung umgewandelten Vollbildern mit 60 Vollbilder pro Sekunden aus dem progressive Abtastwandler 2 dem Interpolator 8 zugeführt. Der Interpolator 8 ist relativ einfach aufgebaut und benutzt nur zwei umgewandelte Vollbilder mit progressiver Abtastung, wie dies in Fig. 49 dargestellt ist. Unter Verwendung der zeitlichen Position des Ausgangs-Vollbilds relativ zu aufeinanderfolgenden Eingangs-Vollbildern, dem Vollbild 1 und dem Vollbild 2, und dem Bewegungsvektor für das Pixel in dem Ausgangs-Vollbild bestimmt der Interpolator 8 in bekannter Weise, welcher Teil des ersten Vollbilds mit welchem Teil des zweiten Vollbild kombiniert werden soll und mit welchem Wert gewichtet werden soll, um den korrekten Ausgangspixelwert zu erzeugen. Mit anderen Worten, der Interpolator 8 interpoliert adaptiv entlang der Bewegungsrichtung in Abhängigkeit von den Bewegungsvektoren, um bewegungskompensierte Vollbilder mit progressiver Abtastung zu erzeugen, die 24 Vollbildern pro Sekunde entsprechen. Obwohl die Bewegungsvektoren unter Verwendung ausschließlich der Luminanzwerte der Pixel abgeleitet wurden, werden die gleichen Bewegungsvektoren zur Ableitung der erforderlichen Ausgangspixel-Chrominanzwerte verwendet. Aus jedem Vollbild wird ein 8x8-Array von Pixeln zur Erzeugung des benötigten Ausgangssignals verwendet. Der Interpolator 8 ist also ein zweidimensionaler Vertikal/Horizontal-Interpolator, und die für den Interpolator 8 benutzten Koeffizienten können unter Verwendung des Remez-Austauschalgorithmus abgeleitet werden, der in der Literaturstelle "Theory and application of digital signal processing", Lawrence R Rabiner, Bernard Gold, Prentice-Hall Inc., Seiten 136 bis 140 und 227, erläutert ist.
Fig. 49 zeigt schematisch die von dem Interpolator 8 (Fig. 1) für drei verschiedene Fälle durchgeführte Interpolationen. Der erste Fall, der links dargestellt ist, bezieht sich auf eine Situation, in der keine aufgedeckten oder abgedeckten Flächen vorhanden sind, der zweite Fall, der in der Mitte dargestellt ist, auf die Situation, in der eine abgedeckte Fläche vorhanden ist, und der dritte Fall, der rechts dargestellt ist, auf die Situation, in der eine aufgedeckte Fläche vorhanden ist. Im Fall einer abgedeckten Fläche benutzt die Interpolation nur das Vollbild 1, während im Fall einer aufgedeckten Fläche bei der Interpolation nur das Vollbild 2 benutzt wird.
Der Interpolator 8 kann so ausgebildet sein, daß als Vorgabe eine bewegungslose kompensierte Interpolation vorgenommen wird. In diesem Fall wird das zeitlich am nächsten liegende, in progressiver Abtastung umgewandelte Vollbild benutzt.
Die vorliegende Anmeldung wurde am gleichen Tag eingereicht wie unsere europäischen Anmeldungen EP-A-0 395 263, EP-A-0 395 264, EP-A-0 395 265, EP-A-0 395 266, EP-A-0- 395 267, EP-A-0 395 268, EP-A-0 395 269, EP-A-0 395 270, EP-A-0 395 271, EP-A-0 395 272, EP-A-0 395 273, EP-A-0 395 275 und EP-A-0 395 276 und betrifft ähnliche Gegenstände wie diese.

Claims

1. Bewegungskompensierter Video-Normenwandler mit

Mitteln (3, 4) zum Vergleichen von Suchblöcken (SB) in einem ersten Halbbild oder Vollbild mit mehreren Blöcken an entsprechenden Suchpositionen in einem Suchareal (SA) des folgenden Halbbides oder Vollbildes und zum Erzeugen einer Korrelationsfläche für jeden der genannten Suchblöcke (SB), wobei die Korrelationsfläche die Differenz zwischen dem Inhalt des Suchblocks (SB) in dem ersten Halbbild oder Vollbild und dem Inhalt der Blöcke an den genannten Suchpositionen in dem Suchareal (SA) des folgenden Halbbildes oder Vollbildes repräsentiert, mit dem er verglichen wurde,

Mitteln zum Identifizieren eines Minimums in der Korrelationsfläche,

Mitteln (27) zum Ableiten eines Bewegungsvektors für jeden Suchblock (SB), der die Bewegung des Inhalts des Suchblocks zwischen dem ersten Halbbild oder Vollbild und dem folgenden Halbbild oder Vollbild repräsentiert,

und einem Interpolator (8), der in Abhängigkeit von den Bewegungsvektoren gesteuert wird,

gekennzeichnet durch

Mittel (21, 22, 23) zum Prüfen der Korrelationsfläche auf ein deutliches Minimum,

Mittel (20) zum Vergrößern der Ausdehnung der Suchblöcke und zum Erzeugen neuer Korrelationsflächen aus diesen,

Mittel (21, 22, 23) zum Prüfen jeder neuen Korrelationsfläche auf ein deutliches Minimum,

wobei der Bewegungsvektor für jeden Suchblock (SB) in Abhängigkeit von dem deutlichsten auf diese Weise aufgefundenen Minimums abgeleitet wird,

und wobei der Interpolator (8) in Abhängigkeit von den so abgeleiteten Bewegungsvektoren gesteuert wird.

2. Wandler nach Anspruch 1, bei dem die Ausdehnung der Suchblöcke in horizontaler und vertikaler Richtung vergrößert wird.

3. Wandler nach Anspruch 1, bei dem Ausdehnung der Suchböcke auf fünf Arten vergrößert wird:

auf das Dreifache der ursprünglichen horizontalen Abmessung,

auf das Fünffache der ursprünglichen horizontalen Abmessung,

auf das Dreifache der ursprünglichen vertikalen Abmessung,

auf das Dreifache der ursprünglichen horizontalen und vertikalen Abmessungen und

auf das Fünffache der ursprünglichen horizontalen Abmessunng und das Dreifache der ursprünglichen vertikalen Abmessung,

wobei die Vergrößerung in allen Fällen auf dem ursprünglichen Suchblock zentriert wird.

4. Wandler nach Anspruch 1, 2 oder 3, bei dem der genannte Vergleich durch Vergleichen der Summen der Luminanzpegel der Pixel in den jeweils miteinander zu vergleichenden Suchblöcken durchgeführt wird.

5. Verfahren zum Ableiten von Bewegungsvektoren, die die Bewegung zwischen aufeinanderfolgenden Halbbiern oder Vollbildern eines Videosignals repräsentieren, mit den Verfahrensschritten:

Vergleichen von Suchblöcken (SB) in einem ersten Halbbild oder Vollbild mit mehreren Blöcken an entsprechenden Suchpositionen in einem Suchareal (SA) des folgenden Halbbildes oder Vollbildes des Videosignals und Erzeugen einer Korrelationsfläche für jeden der genannten Suchböcke (SB), wobei die Korrelationsfläche die Differenz zwischen dem Inhalt des Suchblocks (SB) in dem ersten Halbbild oder Vollbild und dem Inhalt der Blöcke an den genannten Suchpositionen in dem Suchareal (SA) des folgenden Halbbildes oder Vollbildes repräsentiert, mit dem er verglichen wurde,

Identifizieren eines Minimums in der Korrelationsfläche,

Ableiten eines Bewegungsvektors für jeden Suchblock (SB), der die Bewegung des Inhalts des Suchblocks zwischen dem ersten Halbbild oder Vollbild und dem folgenden Halbbild oder Vollbild repräsentiert,

gekennzeichnet durch

das Prüfen der Korrelationsfläche auf ein deutliches Minimum, Vergrößern der Ausdehnung der Suchblöcke und Erzeugen neuer Korrelationsflächen aus diesen und

Prüfen jeder neuen Korrelationsfläche auf ein deutliches Minimum,

wobei der Bewegungsvektor für jeden Suchblock (SB) in Abhängigkeit von dem deutlichsten auf diese Weise aufgefundenen Minimums abgeleitet wird.

6. Verfahren nach Anspruch 5, bei dem die Ausdehnung der Suchböcke in horizontaler und vertikaler Richtung vergrößert wird.

7. Verfahren nach Anspruch 5, bei dem Ausdehnung der Suchblöcke auf fünf Arten vergrößert wird;

auf das Dreifache der ursprünglichen horizontalen Abmessung,

auf das Fünffache der ursprünglichen horizontalen Abmessung,

auf das Dreifache der ursprünglichen vertikalen Abmessung,

auf das Fünffache der ursprünglichen horizontalen Abmessung und das Dreifache der ursprünglichen vertikalen Abmessung,

8. Verfahren nach Anspruch 5, 6 oder 7, bei dem der genannte Vergleich durch Vergleichen der Summen der Luminanzpegel der Pixel in den jeweils miteinander zu vergleichenden Suchblöcken durchgeführt wird.