DE69016074T2

DE69016074T2 - Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation.

Info

Publication number: DE69016074T2
Application number: DE69016074T
Authority: DE
Inventors: Pascal Basset; Philippe Robert
Original assignee: Thomson Consumer Electronics Inc
Current assignee: Technicolor USA Inc
Priority date: 1989-03-31
Filing date: 1990-03-23
Publication date: 1995-05-24
Anticipated expiration: 2010-03-24
Also published as: DE69016074D1; JP2831792B2; US5057921A; PT93628A; JPH031787A; EP0390660B1; EP0390660A1; KR900015540A; FR2645383B1; ATE117494T1; ES2066161T3; FR2645383A1

Description

Die Erfindung bezieht sich auf die Verarbeitung von Bildern und insbesondere auf die zeitliche Interpolation von Bildern ausgehend von Mutterbildern und ünter Verwendung der Bewegungskompensation.
Die Interpolation einer Folge von Bildern ausgehend von einer weiteren Folge besteht darin, ein Bild der endgültigen Folge ausgehend von Bildern der Eingangs folge durch raumzeitliche Interpolation zu erzeugen. Diese Interpolation hat zum Ziel, die Eigenschaften (Luminanzwert und eventuell Chrominanzwerte) eines jeden Pixel des zu erzeugenden Bildes ausgehend von den Eigenschaften (Luminanz- und eventuell Chrominanzwerte) der entsprechenden Pixel in den es umgebenden Eingangsbildern zu bestimmen. Im folgenden werden die Ausdrücke Teilbild oder Bild unterschiedslos verwendet, wobei nur die Fälle betrachtet werden, in denen die Eingangs- und Ausgangsteilbilder durch die gleiche Anzahl von Zeilen und von Punkten pro Zeile beschrieben werden. Die anderen Fälle können auf die gleiche Weise bearbeitet werden, indem eine geeignete räumliche Filterung hinzugefügt wird, die hier nicht beschrieben wird.
Die Anwendungen der Bildinterpolation sind zahlreich. Sie wird insbesondere bei der Normumsetzung für die Umsetzung der Fernsehbild-Folgen von einer 50Hz-Norm in eine 60Hz-Norm oder umgekehrt angewandt; sie kann gleichermaßen bei der Codierung für die Wiederherstellung der Folgen verwendet werden, wenn im Codierer eine Unterabtastung des Teilbildes ausgeführt worden ist. Sie erlaubt allgemeiner auch die Erhöhung der Bildfreguenz in einer Folge, um beispielsweise den Sehkomfort zu verbessern.
Für die Interpolation von Bildern besteht eine erste Technik darin, mit Hilfe eines linearen raumzeitlichen Filters zu interpolieren, wobei dieses Filter für sämtliche Punkte des Teilbildes fest ist und nur von den Zeitintervallen abhängt, die die Eingangsteilbilder von den zu erzeugenden Teilbildern trennen. Es ist bekannt, daß diese Verfahren für zeitlich konstante oder eine geringe Bewegung aufweisende Zonen des Bildes gut geeignet sind, daß sie jedoch insbesondere in den Zonen mit starker Bewegung große Fehler aufweisen. Diese Fehler kommen von der Schwierigkeit, einen richtigen Kompromiß zu finden zwischen der Begrenzung des zeitlichen Durchlaßbandes (was eine Unschärfe erzeugt) einerseits und der Beseitigung der unerwünschten spektralen Komponenten (was eine zeitliche Interferenz erzeugt) andererseits.
Um diese Fehler zu vermeiden, muß das Interpolationsfilter an das Spektrum des Eingangssignals angepaßt sein, was durch eine sogenannte Interpolation mit Bewegungskompensation verwirklicht wird. Diese Technik besteht darin, die Pixel in Richtung der ihnen zugeordneten Bewegungsvektoren zu interpolieren. Hierzu geht der Stufe der Interpolation eine Operation des Schätzens der Bewegung voraus, die darin besteht, jedem zu interpolierenden Pixel einen Bewegungsvektor zuzuweisen, der wirklich die Adresse desselben Pixels in den Eingangsteilbildern liefert, die das zu interpolierende Teilbild umgeben. Diese Technik fordert selbstverständlich die Lösung des Problems der Analyse der Bewegung auf zufriedenstellende Weise und insbesondere die genaue Definition des Bewegungsfeldes, um eine gute Bildqualität zu erhalten, wobei ein Bewegungsvektor für jedes Pixel und mit einer Genauigkeit unterhalb derjenigen des Pixels geschätzt wird. Es sind geeignete Bewegungschätzvorrichtungen bekannt, die auf zuverlässige Weise ein genaues Bewegungsvektorfeld liefern können. Eine solche Bewegungsschätzvorrichtung ist beispielsweise in der französischen Patentanmeldung Nr. 88 12468, die dem Dokument EP-A-0 360 698, veröffentlicht am 28.03.90, entspricht, mit dem Titel "Procédé et dispositif d'estimation de mouvement dans une sequence d'images animées" beschrieben.
Im Rahmen der Bildinterpolation können zwei Typen von Bewegungsschätzvorrichtungen unterschieden werden, je nachdem, ob die Bewegung für die Pixel des zu interpolierenden Teilbildes geschätzt wird oder ob die Bewegung für die Pixel eines der Mutterteilbilder geschätzt wird. In diesem letzteren Fall ist es notwendig, dieser Schätzung eine Stufe der Definition des Vektorfeldes der zu interpolierenden Teilbilder folgen zu lassen. Ein Interpolationsverfahren, das eine Technik dieses Typs verwendet, ist in der französischen Patentanmeldung Nr. 87 07814, die dem Dokument FR-A-2616248 entspricht, mit dem Titel "Procede d'interpolation temporelle d'image et dispositif pour la mise en oeuvre de ce procédé" beschrieben. Dieses Verfahren ist insbesondere anwendbar, wenn mehrere Zwischenteilbilder ausgehend von zwei Mutterteilbildern interpoliert werden müssen: Dann wird zwischen diesen zwei Mutterteilbildern eine einzige Schätzung der Bewegung ausgeführt, woraufhin das Bewegungsfeld eines jeden zu interpolierenden Teilbildes ausgehend von diesem geschätzten Feld bestimmt wird. Anschließend wird der Fall betrachtet, in dem das Bewegungsfeld für das zu interpolierende Teilbild erhalten worden ist, und dies unabhängig von dem Verfahren, mit dem dieses Ergebnis erreicht wird.
Die Interpolation selbst berücksichtigt somit zeitliche Änderungen. Die Eingangs- und Ausgangsfolgen der Interpolationsvorrichtung sind nämlich zwei Darstellungen derselben kontinuierlichen und im allgemeinen dynamischen Szene in Folgen unterschiedlicher Zeitpunkte. Der Inhalt der Folge ist räumlicher und zeitlicher Art, wobei die Übertragung der Information von einer Folge zur nächsten notwendigerweise diese zeitlichen Veränderungen berücksichtigt. Daher wird für die Interpolation mit Bewegungskompensation das Pixel (Bildelement) nicht mehr als einfaches Bildelement, sondern vielmehr als Gegenstandselement betrachtet, wobei sich dieses Gegenstandselement im Bild im Lauf der Zeit verändern kann, erscheinen kann, sich verschieben kann, die Luminanz verändern kann und/oder verschwinden kann. Es ist selbstverständlich wesentlich, eine Anpassung an die Bewegung der Bildelemente vorzunehmen, wobei diese Bewegung eine sehr häufige Ursache für die Veränderung im Lauf der Zeit ist; ihre Berücksichtigung ermöglicht die wirksame Verarbeitung der meisten in einer Szene möglichen Situationen. Indessen sind leicht Situationen vorstellbar, in denen die Analyse der Bewegung fehlerhaft ist, weil die Bewegung als Modell der zeitlichen Veränderung nicht geeignet ist, beispielsweise wenn Gegenstände von einem Eingangsbild zum nächsten erscheinen oder verschwinden.
Um tatsächlich sämtliche möglichen Situationen zu berücksichtigen, müssen zusätzlich zur Verschiebung der Gegenstände weitere Ursachen für die zeitliche Veränderung der Luminanz im Lauf der Zeit wie etwa die intrinsische Veränderung der Luminanz der Gegenstandselemente (ohne Betrachtung der Bewegung), das mögliche Erscheinen oder Verschwinden der Pixel in ihrer Eigenschaft als Gegenstandselemente berücksichtigt werden. In Analogie zu dem eben Gesagten stellt das einfachste Interpolationsverfahren, das durch die lineare Interpolation gegeben ist, die Hypothese auf, daß die Gegenstandselemente fest sind, und nimmt an, daß die Veränderung der Luminanz der Pixel im Lauf der Zeit einzig durch eine Veränderung der Luminanz der Gegenstandselemente ohne Verschiebung dieser Elemente bedingt ist.
In einer Vorrichtung für die zeitliche Interpolation von Bildern mit Bewegungskompensation können bei der Interpolation Fehler auftreten, wenn die Bewegung als Modell der zeitlichen Änderung nicht geeignet ist sowie im Fall komplexer dynamischer Szenen, beispielsweise dann, wenn sich zwei kleine Gegenstände kreuzen oder wenn die Bewegung eines Gegenstandes das Verschwinden eines zweiten Gegenstandes von einem Bild zum nächsten zur Folge hat oder aber wenn eine Bewegung mit einer Veränderung der Luminanz einhergeht.
Die genaue Identifizierung derartiger Änderungen in der Zeit würde eine hochentwickelte Verarbeitung erfordern, die weder zu der für die Interpolation notwendigen Schätzung der Bewegung noch zu der Auftrittshäufigkeit dieses Situationstyps noch zu der Empfindlichkeit des Auges für diesen Typ von Ereignissen in einem vernünftigen Verhältnis stünde. Indessen ist es unmöglich, die von der Bewegungsschätzvorrichtung ausgegebene Information unverändert zu verwenden, weil diese oftmals stark verrauscht ist und äußerst hinderliche Fehler erzeugt.
Zur Beseitigung dieses Nachteils beschreibt der Artikel aus ICC '84, Links for the future, IEEE Proceeding, Bd. 2, Seiten 707-710, mit dem Titel "Motion adaptive Interpolation for video conferences pictures" ein Verfahren der zeitlichen Interpolation mit korrigierter Bewegungskompensation, die die Interpolation dieser kritischen Zonen ermöglicht. Hierzu besteht das Verfahren darin, das erfaßte Bewegungsvektorfeld zu homogenisieren, um anhand von auf die Form des Gegenstands und auf die Bewegung bezogenen Hypothesen die "wirklichen" Bewegungsvektoren mit einem sogenannten "Motion Adaptive Interpolation"-Verfahren zu erhalten.
Die vorliegende Erfindung hat eine neue Lösung für die Beseitigung des Problems der Fehler, die in den interpolierten Bildern auftreten, wenn fehlerhafte Bewegungsvektoren erfaßt worden sind, zum Gegenstand.
Gemäß der Erfindung ist ein Verfahren zum zeitlichen Interpolieren von Bildern mit korrigierter Bewegungskompensation, mit einer Phase des Schätzens des Bewegungswechselfeldes eines zu interpolierenden Bildes ausgehend von es umgebenden Mutterbildern, wobei die Eigenschaften des momentanen Punkts ausgehend von den Eigenschaften der zugeordneten Punkte der Mutterbilder bestimmt werden, die ihrerseits durch den diesem momentanen Punkt zugewiesenen Bewegungsvektor bestimmt sind, einer Phase der Analyse der Kohärenz des Bewegungsvektorfeldes des zu interpolierenden Bildes, wobei die Interpolation mit Bewegungskompensation für diejenigen Punkte des zu interpolierenden Bildes korrigiert wird, für die Inkohärenzen im Bewegungsvektorfeld erfaßt worden sind, dadurch gekennzeichnet, daß parallel zu der Interpolation mit Bewegungskompensation des momentanen Punkts des zu interpolierenden Bildes ausgehend von dem diesem Punkt zugeordneten Bewegungsvektor eine lineare Interpolation zwischen Punkten mit denselben Koordinaten wie der momentane Punkt in den Mutterbildern berechnet wird, wobei die Eigenschaften des momentanen Punkts des zu interpolierenden Bildes ausgehend von den Eigenschaften bestimmt werden, die sich aus diesen beiden Interpolationen in Abhängigkeit von den im Bewegungsvektorfeld erfaßten Fehlern ergeben.
Die Erfindung hat außerdem die Vorrichtung zum Gegenstand, die für die Ausführung dieses Verfahrens vorgesehen ist.
Die Erfindung wird besser verständlich und weitere Merkmale werden deutlich mit Hilfe der folgenden Beschreibung und mit Bezug auf die beigefügten Figuren:
- Fig. 1 zeigt die Interpolation einer Folge von Ausgangsbildern ausgehend von einer Folge von Eingangsbildern;
- Fig. 2 zeigt die Entsprechung zwischen zwei Punkten zweier Mutterbilder und eines entsprechenden Punkts des interpolierten Bildes;
- Fig. 3 ist ein Schema, das das Erscheinen und das Verschwinden von Pixeln in einer Szene zeigt;
- Fig. 4 zeigt die Filterungsstufe der Kennzeichnung fehlerhafter Bewegungsvektoren;
- Fig. 5 zeigt die Phase der Abtragung der Kennzeichnung der Punkte mit fehlerhafter Bewegung;
- Fig. 6 zeigt die Phase der Auffüllung der gekennzeichneten Punkte mit fehlerhafter Bewegung;
- Fig. 7 ist ein Blockschaltbild der Interpolationsvorrichtung mit kompensierter Bewegung gemäß der Erfindung in einer ersten Ausführungsform;
- Fig. 8 ist das Blockschaltbild der Interpolationsvorrichtung mit kompensierter Bewegung gemäß der Erfindung in einer zweiten Ausführungsform.
Fig. 1 zeigt die von einer Folge von Eingangsbildern I1, I2, I3, I4 mit 50 Hz (die um T1 = 20 ins beabstandet sind) ausgehende Interpolation einer Folge von Ausgangsbildern I'1, I'2, I'3, I'4 mit 60 Hz (die um T2 = 16,6 ins beabstandet sind) im Hinblick auf eine Normumsetzung.
Im allgemeinen kann ein interpoliertes Bild ausgehend von mehr als zwei Eingangsbildern gebildet werden, wie jedoch in Fig. 2 gezeigt, ermöglichen die die Interpolation mit Bewegungskompensation verwendenden Verfahren, ein Zwischenbild I' ausgehend von zwei Eingangsbildern I1 und I2 zu erhalten, indem sie das Bewegungsfeld von Punkten des zu interpolierenden Bildes verwenden. Es sei (Z,t') der Bewegungsvektor des Punkts P(Z) = P(X,Y) des zu interpolierenden Bildes für den zwischen t - T1 und t liegenden Zeitpunkt t', das durch die Verarbeitung der Bilder I1 und I2 der Eingangsfolge ausgegeben wird. Der Bewegungsvektor bestimmt die entsprechenden Punkte A in I1 und B in I2 und gibt daher die Adressen des betrachteten Pixels als Gegenstandselement in den Mutterbildern I1 bzw. I2 aus, wobei angenommen wird, daß die Verschiebung zwischen diesen beiden Bildern linear ist. Der Bewegungsvektor D besitzt in der Bildebene (X,Y) zwei Komponenten Dx und Dy.
Wie oben angegeben, können die Fehler in der Interpolation mit Bewegungskompensation insbesondere dann auftreten, wenn die Bewegung als Modell der zeitlichen Änderung nicht mehr angemessen ist.
Fig. 3 ist ein Schema, das die Aufdeckung (Erscheinen) und die Abdeckung (Verschwinden) von Gegenstandselementen von einem "Mutter"-Bild I1 zu einem "Mutter"-Bild I2 sowie die Wirkung einer nichtlinearen Bewegung zeigt. Die kleinen Kreise symbolisieren die Pixel, während ein im Bild vorhandener Gegenstand durch Kreuze symbolisiert worden ist. Dieser Gegenstand befindet sich in einer nichtlinearen Bewegung, weil seine Position im Zwischenbild nicht das Ergebnis einer Translation ist, die ihren Ausgangspunkt und ihren Endpunkt in entsprechenden Pixeln der beiden Mutterbilder I1 und I2 hat. Dagegen wird der bewegte Hintergrund in den beiden Mutterbildern durch eine Translation erhalten. Außerdem ist von den Pixeln an den Rändern des Gegenstandes im Bild I2 eines abgedeckt, während das andere zwischen I1 und I2 aufgedeckt wird. Das durch das Bewegungsfeld zwischen I1 und I2 gegebene Modell ist daher nicht korrekt.
Um erforderlichenfalls ein Ersetzungsverfahren verwenden zu können, besteht die erste Stufe des Verfahrens gemäß der Erfindung somit darin, die Fehler der Schätzung der Bewegung zu erfassen:
In dem Verfahren zum Schätzen der Bewegung, das in der oben bereits erwähnten Patentanmeldung Nr. 88 12468, die dem Dokument EP-A-0 360 698, veröffentlicht am 28.03.90, entspricht, beschrieben ist, macht ein Fehlerkriterium für die Schätzung der Bewegung von einer Größe Gebrauch, die bewegungskompensierte Zwischenbilddifferenz, DFD, genannt wird und auf die folgende Weise berechnet wird:
Für den momentanen Punkt P(Z,t') gilt
DFD(P) = L(B,t) - L(A,t-T1),
wobei L(B,t) die Luminanz des Punkts B im Bild I2 im Zeitpunkt t ist und L(A,t-T1) die Luminanz des Punkts A im vorhergehenden Bild I1 im Zeitpunkt t-T1 ist.
Wenn die Punkte A und B in den Mutterbildern I1 und I2 tatsächlich homologe Punkte sind, ist die kompensierte, d.h. die Bewegung berücksichtigende zeitliche Differenz DFD im Prinzip kleiner als ein Schwellenwert. Folglich wird für sämtliche Punkte P des zu interpolierenden Teilbildes, für die die hinsichtlich der Bewegung kompensierten zeitlichen Luminanzdifferenzen zwischen den Bildern größer als ein Schwellenwert s sind, der zugehörige Bewegungsvektor als fehlerhaft erklärt, wobei der entsprechende Punkt in einer Kohärenzmatrix gekennzeichnet wird. Im entgegengesetzten Fall wird der Bewegungsvektor als exakt erklärt, wobei der entsprechende Punkt der Matrix nicht gekennzeichnet wird.
Diese Stufe der Erfassung von Fehlern in der Schätzung der Bewegung kann durch eine Prüfung der Luminanzdifferenz zwischen Punkten mit denselben Koordinaten wie der momentane Punkt des zu interpolierenden Bildes in den Mutterbildern vervollständigt werden. Diese Information ist für den Grad der Ähnlichkeit zwischen den Punkten mit denselben Koordinaten in den Mutterbildern charakteristisch und ermöglicht die Kenntnis, ob eine einfache lineare Interpolation, die die Bewegung nicht berücksichtigt, eine angemessene Lösung für die Zurücknahme dieser "fehlerhaften Punkte" ist.
Ein anderes Analyseverfahren, das auf der Kohärenz des Bewegungsfeldes basiert, führt zur Erfassung von fehlerhaften Punkten. Die Fehler des Bewegungsfeldes werden nämlich entweder durch die Ungenauigkeit des Schätzalgorithmus oder durch die Unangemessenheit der Bewegung als Modell der zeitlichen Veränderung verursacht. Dies ergibt im allgemeinen ein lokal fehlgeordnetes Bewegungsvektorfeld mit großen Brüchen, die einer Divergenz der Schätzvorrichtung entsprechen. Für die Erfassung der Fehler können mehrere lokale Operatoren genutzt werden, die ein lokales Histogramm oder eine Varianz verwenden; sie erfordern die Beobachtung eines Blocks von Vektoren:
- ein lokales Histogramm kann für einen Block von Punkten, der beispielsweise die Abmessungen 5x5 besitzt, durch Zählung der verschiedenen Bewegungsvektoren innerhalb des Blocks erzeugt werden; die sich ergebende Anzahl n wird dann mit einem Schwellenwert si verglichen, wobei dann, wenn n größer als s&sub1; ist, der zentrale Punkt des Blocks (oder der Block) als fehlerhaft gekennzeichnet wird;
- ein etwas höher entwickeltes Verfahren besteht darin, ausgehend vom Histograinm der verschiedenen Vektoren eines Blocks von Punkten die Wahrscheinlichkeit pi der verschiedenen Bewegungsvektoren i und dann die Entropie E zu berechnen, welche die "Fehlordnung" im Inneren des Blocks angibt:
E = -Σpixln(pi). Diese Entropie wird dann mit einem Schwellenwert s&sub2; verglichen, wobei dann, wenn E größer als s&sub2; ist, der Punkt (oder der Block) gekennzeichnet wird;
- eine Analyse der Kohärenz durch Berechnung der Varianz kann ebenfalls ausgeführt werden, indem die folgende Größe berechnet wird: V = Σ (Dxi-mx)² + (Dyi-my)² , mit mx = (ΣDXi)/N und my = (ΣDyi)/N, wobei mx und my die Mittelwerte der Komponenten der Bewegungsvektoren sind und N die Anzahl der Punkte des Blocks ist. Es ist auch eine Vereinfachung möglich, indem eine Pseudovarianz berechnet wird, für die der Mittelwert durch die Komponenten des Bewegungsvektors des zentralen Pixels des Blocks Do ersetzt ist:
PV = Σ (Di - Do)².
Entweder die Varianz oder die Pseudovarianz wird dann mit einem Schwellenwert s&sub3; verglichen, wobei der zentrale Punkt (oder der Block) als fehlerhaft gekennzeichnet wird, wenn V (oder PV) größer als s&sub3; ist.
Sämtliche der obenbeschriebenen Verfahren zur Analyse der Kohärenz des Bewegungsfeldes erfordern die Berechnung des Kriteriums für einen Block von Punkten. Wie jedoch oben angegeben, kann die Entscheidung entweder den momentanen Punkt, den zentralen Punkt des analysierten Blocks, wobei das Fenster dann gleitend ist, oder den gesamten Block von Punkten, für den das Kriterium berechnet worden ist, betreffen, wobei die Blöcke dann benachbart sind, wobei das Verfahren dann hinsichtlich der Rechenzeit weniger aufwendig ist.
In all diesen Fällen ist die resultierende Information bezüglich der "fehlerhaften Punkte" stark verrauscht, so daß dann eine Filterungsstufe notwendig ist, um die Punkte mit fehlerhafter Bewegung besser zu definieren. Diese Filterung der Information bezüglich der Inkohärenz des Bewegungsfeldes wird in zwei Stufen ausgeführt, die im folgenden mit Bezug auf Fig. 4 beschrieben werden.
Ausgehend von der die fehlerhaften Vektoren charakterisierenden binären Matrix, die durch das Kriterium der Kohärenz des Bewegungsfeldes erhalten wird, wird eine erste Phase 1 der Filterung der Inkohärenzinformation, die Abtragung genannt wird, ausgeführt: Für jeden als fehlerhaft gekennzeichneten momentanen Punkt verliert dann dieser in der vorangehenden Stufe als fehlerhaft gekennzeichnete Punkt in der die fehlerhaften Vektoren nach der Abtragung charakterisierenden binären Matrix seine Kennzeichnung, wenn die Anzahl der nicht gekennzeichneten Punkte in einem auf diesen momentanen Punkt zentrierten Block größer als ein fester Schwellenwert S ist. Diese Stufe hat zum Ziel, die kleinen Zonen zu unterdrücken, die als nicht signifikant angesehen werden.
Die zweite Phase II der Filterung ist eine sogenannte Auffüllphase und enthält eine erste Stufe 1 einer sogenannten horizontalen Auffüllung sowie eine zweite Stufe 2 einer sogenannten vertikalen Auffüllung und eine dritte Stufe 3, in der erneut eine horizontale Auffüllung ausgeführt wird. Diese Filterung führt zu einer neuen Kennzeichnung der fehlerhaften Vektoren.
Fig. 5 zeigt genauer die Abtragungsphase der Filterung der Kohärenzinforination. In dieser Figur ist die Kennzeichnung der fehlerhaften Punkte oder Blöcke durch eine Schwärzung der entsprechenden Kästchen einer Matrix symbolisiert.
Wenn die Information hinsichtlich fehlerhafter Punkte das Ergebnis einer Block-Kennzeichnung ist, wird die Verarbeitung auf die benachbarten Blöcke des Bildes angewandt, wobei ein Element der Matrix einem Block von Pixeln entspricht, so daß die Anzahl der Verarbeitungen verringert wird. Die binäre Eingangsmatrix, die die Punkte oder die Blöcke, die als exakt gekennzeichnet sind, und die Punkte oder die Blöcke angibt, die als fehlerhaft gekennzeichnet sind, wird durch ein herkömmliches Analyseverfahren zeilenweise geprüft. Die erste Prüfung besteht darin zu untersuchen, ob das momentane Element der Matrix (Punkt oder Block) gekennzeichnet ist. Wenn dies nicht der Fall ist, wird es unverändert zum Ausgang der Abtragungsvorrichtung übertragen. Wenn es hingegen gekennzeichnet ist, wird die Anzahl der gekennzeichneten Elemente in einem 5x5- Block der auf das analysierte momentane Element zentrierten Matrix berechnet. Diese Anzahl von gekennzeichneten Elementen M wird dann mit dem Schwellenwert S verglichen. Wenn M größer als S ist, wird das anfangs als fehlerhaft gekennzeichnete Element im gleichen Zustand gehalten. Wenn dagegen die Anzahl M von gekennzeichneten Elementen, die es umgeben, kleiner als der Schwellenwert S ist, wird entschieden, daß eine Abtragung stattgefunden hat, d.h., daß das anfangs gekennzeichnete Element in den Zustand zurückversetzt worden ist, der ein exaktes Bewegungsvektor-Element charakterisiert.
Fig 6 zeigt die Wirkung der Auffüllphase ausgehend von einer anfangs abgetragenen Matrix, die sich aus der vorhergehenden Phase ergibt, d.h. in der die isolierten Elemente unterdrückt worden sind. Es wird eine minimale vorgegebene Segmentlänge gewählt, die in diesem Beispiel beispielsweise 3 ist: Wenn die Länge eines Segments von nicht gekennzeichneten Elementen zwischen zwei gekennzeichneten Elementen kleiner als 3 ist, wird das gesamte Segment gekennzeichnet. Die erste Phase der Zeilen-Auffüllung hat zur Wirkung, daß in dem gezeigten Beispiel zwei gekennzeichnete Elemente hinzugefügt werden. Die folgende Phase der Spalten-Auffüllung hat zur Wirkung, daß sämtliche nicht gekennzeichneten Elemente gekennzeichnet werden, die den vertikalen Segmenten der Längen 1 oder 2 zugehören; es bleibt nur ein vertikales Segment mit der Länge 3 übrig. Die folgende Phase der Zeilen-Auffüllung führt dazu, auch diese gekennzeichneten Punkte zu unterdrücken, wobei das Ergebnis darin besteht, daß die gesamte in Fig. 6 gezeigte analysierte Zone in bezug auf die Analyse des Bewegungsvektorfeldes als fehlerhaft angesehen wird.
Wenn diese Phase beendet ist und wenn diese Verarbeitung an Blöcken von Punkten ausgeführt worden ist, wird die Bilddimension wieder aufgenommen, d.h. daß der Zustand des entsprechenden Blocks sämtlichen entsprechenden Punkten des Bildes zugewiesen wird, wobei diese Kohärenzinformation des Bewegungsvektorfeldes, die sich aus der Filterung ergibt, für die Ausführung der Lösung durch Zurücknahme ausgewertet wird, falls diese notwendig ist.
Was die Lösung durch Zurücknahme selbst betrifft, hat sie nicht zum Gegenstand, die als fehlerhaft erfaßten Zonen im Sinne der Bewegungsanalyse treu zu interpolieren, sondern eine Luminanzinformation zu erzeugen, die die Interpolationsfehler am besten verdeckt. Insbesondere werden die Fehler der Bewegungskompensation wie oben erwähnt einerseits durch die räumliche lokale Inhomogenität der Bewegung, die die Strukturen im Bild verformt, und andererseits durch die zeitliche lokale Inhomogenität, die diese Verformungen im Lauf der Zeit modifiziert, verursacht, wodurch große sichtbare Fehler erzeugt werden. Der Hauptgegenstand dieser Lösung durch Zurücknahme ist daher die Homogenisierung des Bewegungsfeldes in den Zonen mit fehlerhaften Bewegungen.
Es sind mehrere Lösungen möglich; die erste interessante Lösung ist eine einfache lineare Interpolation: Diese Interpolation kann nämlich an eine Interpolation mit Bewegungskompensation mit einem Bewegungsvektor mit Null-Komponenten in der XY-Ebene angeglichen werden, anstatt der einfachen Verwendung zweier Mutterbilder wie in der Interpolation mit Bewegungskompensation kann jedoch die lineare Interpolation ausgehend von einer größeren Anzahl von Mutterbildern, beispielsweise 4 oder 6, ausgeführt werden. In den fehlerhaften Zonen mit Bewegung kann der aus der Interpolation mit Bewegungskompensation sich ergebende Luminanzwert dann durch den aus der linearen Interpolation sich ergebenden Luminanzwert ersetzt werden.
Diese lineare Interpolation wird vorzugsweise für alle Punkte parallel zur Interpolation mit Bewegungskompensation berechnet, derart, daß eine sogenannte "weiche" Umschaltung anstatt einer harten Umschaltung zwischen dem Weg mit Bewegungskompensation und dem linearen Weg ausgeführt werden kann, wobei eine solche harte Umschaltung sichtbare und hinderliche Brüche erzeugen kann. Folglich kann die Umschaltung auf die folgende Weise ausgeführt werden: Ausgehend von der binären Matrix der Kohärenz des Bewegungsfeldes werden die nicht gekennzeichneten Pixel auf Null gesetzt. Die gekennzeichneten Pixel werden ihrerseits auf einen von Null verschiedenen Wert V gesetzt. Diese Matrix mit zwei Werten der Kohärenzinformation des Bewegungsfeldes wird dann durch ein Tiefpaßfilter gefiltert, wobei die resultierenden, zwischen 0 und V liegenden Werte a der Pixel der neuen (nicht binären) Matrix die Definition eines Mischungskoeffizienten i der beiden Interpolationswege ermöglichen. Wenn die interpolierte Luminanz eines durch lineare Interpolation erhaltenen Pixels IntL ist und wenn die Luminanz des durch Interpolation mit Bewegungskompensation erhaltenen Pixels IntCM ist, ist die Luminanz des Pixel interpolierten Bildes gleich:
Int = ixIntL + (1-i)xIntCM,
mit i = a/V, wobei a der Wert des Pixel in der tiefpaßgefilterten Matrix der Kohärenzinformationen ist; i zwischen 0 und 1 liegt, wobei diese Mischung wie oben erwähnt die Abschwächung der Brüche zwischen der Interpolation mit Bewegungskompensation und der Lösung durch Zurücknahme ermöglicht.
Eine weitere Lösung durch Zurücknahme ist möglich, die auf der Tatsache basiert, daß eine einzige Komponente des Bewegungsvektors fehlerhaft sein kann. Folglich wird anstelle der Analyse der Kohärenz des Bewegungsvektors in seiner Gruppe die Erfassung der Inkohärenz auf die getrennt aufgenommenen horizontalen und vertikalen Komponenten angewandt. In dieser Lösung wird die Erfassung der Fehler des Bewegungsvektorfeldes getrennt auf die horizontalen Komponenten und auf die vertikalen Komponenten angewandt; ebenso werden die Stufen der Abtragung und der Filterung auch auf die auf diese Weise erhaltenen Fehlermatrizen angewandt. Die folgende Phase am Ende der Abtragungs- und der Auffüllphase ist dann eine einfache Setzung auf Null der als fehlerhaft angesehenen Komponente für ein gegebenes Pixel.
Wie in der vorangehenden Lösung ist es notwendig, die Brüche zwischen der Interpolation mit kompensierter Bewegung und der Lösung durch Zurücknahme zu verdecken. Diese Verdeckung wird durch mittelwertbildende Filterung des Bewegungsfeldes anhand der Komponenten erhalten. Der Mittelwert kann beispielsweise in den Blöcken mit den Abmessungen 7x7 berechnet werden.
Das Blockschaltbild der Interpolationsvorrichtung mit Bewegungskompensation und der Lösung durch Zurücknahme gemäß dem ersten Verfahren ist in Fig. 7 gezeigt: Die Folge von Eingangsbildern wird gleichzeitig in eine Vorrichtung zur Schätzung der Bewegung 10, in eine Vorrichtung zur Interpolation mit kompensierter Bewegung 20 und in eine Vorrichtung zur linearen Interpolation 30 eingegeben. Die Vorrichtung zur Interpolation mit koinpensierter Bewegung verarbeitet die Eingangsfolge ausgehend von von der Vorrichtung zur Schätzung der Bewegung 10 empfangenen Informationen. Ein Ausgang der Vorrichtung zur Schätzung der Bewegung, der das Bewegungsvektorfeld ausgibt, ist mit einer Schaltung zur Analyse der Kohärenz des Bewegungsvektorfeldes 40 verbunden, die eine Schaltung zur Erfassung von Fehlern 41 enthält, deren Ausgang mit einer Filterungsschaltung 42 verbunden ist, die die obenbeschriebene Verarbeitung der Abtragung und dann der Auffüllung ausführt. Am Ausgang dieser Schaltung ist daher eine binäre Kohärenzmatrix verfügbar, in der die fehlerhaften Bewegungsvektoren gekennzeichnet sind. Diese binäre Matrix wird in eine Schaltung 50 zur Definition der Mischungskoeffizienten i eingegeben, die in einen Mischer 60 einzugeben sind, der die von der Vorrichtung zur Interpolation mit kompensierter Bewegung 20 ausgegebenen Informationen sowie diejenigen der Vorrichtung zur linearen Interpolation 30 empfängt. Der Mischer 60 liefert die Folge von interpolierten Bildern, in der die Fehler aufgrund der Unvollkommenheit des für die Interpolation mit Bewegungskompensation verwendeten Modells verdeckt sind.
Fig. 8 ist ein Blockschaltbild der Vorrichtung zur Interpolation mit Bewegungskompensation und der Lösung durch Auffüllen gemäß dem zweiten Verfahren. In diesem Fall wird die Folge von Eingangsbildern wie vorher in eine Vorrichtung zur Schätzung der Bewegung 10 eingegeben, wobei die vertikalen bzw. horizontalen Komponenten der Bewegungsvektoren in Kohärenzanalyseschaltungen 40' bzw. 40" eingegeben werden, die jeweils eine Schaltung zur Erfassung von Fehlern 41' bzw. 41" enthalten, deren Ausgänge binäre Matrizen liefern, die für die Punkte oder Blöcke mit "fehlerhaften" Bewegungsvektoren charakteristisch sind und die mit Filterungsschaltungen 42' bzw. 42" verbunden sind, die die obenbeschriebenen Phasen der Abtragung und der Auffüllung für jede der beiden binären Matrizen der fehlerhaften Vektoren, die den horizontalen bzw. vertikalen Komponenten zugeordnet sind, ausführen. Die nach der Filterung sich ergebenden binären Matrizen werden an Schaltungen 71 und 72 übertragen, die die fehlerhaften Komponenten auf Null setzen. Diese Schaltungen sind mit ihren Ausgängen mit den Eingängen von mittelwertbildenden Filtern 81 bzw. 82 verbunden, die die direkt verarbeiteten Komponenten des Bewegungsvektors ausgeben, um plötzliche Übergänge zu vermeiden. Diese verarbeiteten Komponenten werden in die Vorrichtung zur Interpolation mit kompensierter Bewegung 20 eingegeben, die außerdem die Folge von Eingangsbildern empfängt und die Folge von interpolierten Bildern ausgibt.
Die Erfindung ist nicht auf die oben genau beschriebenen Ausführungsformen beschränkt, insbesondere was die Interpolationsarten betrifft, die dazu bestimmt sind, die Interpolation mit Bewegungskompensation zu ersetzen, wenn der Bewegungsvektor als fehlerhaft erfaßt worden ist.

Claims

1. Verfahren zum zeitlichen Interpolieren von Bildern mit korrigierter Bewegungskompensation, mit einer Phase des Schätzens des Bewegungsvektorfeldes eines zu interpolierenden Bildes ausgehend von es umgebenden Mutterbildern, wobei die Eigenschaften des momentanen Punkts ausgehend von den Eigenschaften der zugeordneten Punkte der Mutterbilder bestimmt werden, die ihrerseits durch den diesem momentanen Punkt Zugewiesenen Bewegungsvektor bestimmt sind, einer Phase der Analyse der Kohärenz des Bewegungsvektorfeldes des zu interpolierenden Bildes, wobei die Interpolation mit Bewegungskompensation für diejenigen Punkte des zu interpolierenden Bildes korrigiert wird, für die Inkohärenzen im Bewegungsvektorfeld erfaßt worden sind, dadurch gekennzeichnet, daß parallel zu der Interpolation mit Bewegungskompensation des momentanen Punkts des zu interpolierenden Bildes ausgehend von dem diesem Punkt zugeordneten Bewegungsvektor eine lineare Interpolation zwischen Punkten mit denselben Koordinaten wie der momentane Punkt in den Mutterbildern berechnet wird, wobei die Eigenschaften des momentanen Punkts des zu interpolierenden Bildes ausgehend von den Eigenschaften bestimmt werden, die sich aus diesen beiden Interpolationen in Abhängigkeit von den im Bewegungsvektorfeld erfaßten Fehlern ergeben.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Phase der Analyse der Kohärenz des Bewegungsvektorfeldes des zu interpolierenden Bildes eine Phase der Erfassung von Fehlern des Bewegungsvektorfeldes enthält, aus der sich eine binäre Kohärenzmatrix mit dem Format des Bildes ergibt, die für jeden Punkt einen fehlerfreien bzw. fehlerhaften Bewegungsvektor kennzeichnet.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Erfassung der Fehler des Bewegungsvektorfeldes durch Vergleich der Luminanzdifferenz der der dem momentanen Punkt zugeordneten Punkte der Mutterbilder mit einem Schwellenwert erhalten wird, wobei dieser Punkt in der Kohärenzmatrix als fehlerhaft gekennzeichnet wird, wenn diese Differenz größer als der Schwellenwert ist.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Erfassung der Fehler des Bewegungsvektorfeldes durch Vergleich eines Schwellenwertes mit dem Resultat eines lokalen Operators, der entweder vom Varianztyp ist oder ein Histogramm der Bewegungsvektoren in den Punktblöcken verwendet, erhalten wird, wobei der Bewegungsvektor als fehlerhaft gekennzeichnet wird, wenn das Resultat des Operators größer als der Schwellenwert ist.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Erfassung der Fehler der Bewegungsvektoren für jeden Bildpunkt pro Block, welcher sich mit dem momentanen Punkt verschiebt, ausgeführt wird.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Erfassung der Fehler der Bewegungsvektoren für benachbarte Blöcke ausgeführt wird, wobei alle Punkte eines analysierten Blocks als fehlerhaft gekennzeichnet werden, wenn das Bewegungsfeld des Blocks als inkohärent angesehen wird.

7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, daß der Phase der Erfassung der Fehler des Bewegungsvektorfeldes eine Phase der Filterung folgt, die in einer sogenannten Abtragungsstufe die Kennzeichnung der abgesonderten fehlerhaften Punkte oder Blöcke beseitigt und die in einer sogenannten Auffüllstufe diejenigen Punkte oder Blöcke als fehlerhaft kennzeichnet, die in der Phase der Erfassung der Fehler als fehlerfrei erkannt worden sind, die jedoch in größeren Zonen, die als fehlerhaft gekennzeichnet sind, abgesondert sind.

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Luminanz des momentanen Punkts des zu interpolierenden Bildes für diejenigen Punkte des Bildes, deren Bewegungsvektoren als fehlerfrei erkannt worden sind, der Wert ist, der durch zeitliche Interpolation mit Bewegungskompensation erhalten wird, und für diejenigen Punkte, die als fehlerhafte Bewegungsvektoren besitzend gekennzeichnet sind, der Wert ist, der durch lineare Interpolation erhalten wird.

9. Verfahren nach Anspruch 2, dadurch gekennzeichnet,

- daß es außerdem eine Phase der Filterung der Kohärenzmatrix enthält, die den Punkten in der Umgebung der Übergänge zwischen Zonen, die als fehlerfrei erklärten Bewegungsvektoren entsprechen, und gekennzeichneten Zonen, die als fehlerhaft erklärten Bewegungsvektoren entsprechen, Zwischenzustände verleiht,

- und daß die Luminanz des momentanen Punkts des zu interpolierenden Bildes, Int, das Ergebnis einer Kombination zwischen der Luminanz, die durch Interpolation mit Bewegungskompensation, IntCM, erhalten wird, und der Luminanz, die durch lineare Interpolation, IntL, erhalten wird, ist, derart, daß:

Int = i IntL + (1-i) IntcM, wobei i, der im Bereich von 0 bis 1 liegende Mischungskoeffizient, vom Zustand des entsprechenden Punkts in der gefilterten Kohärenzmatrix abhängt.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Analyse der Kohärenz des Bewegungsvektorfeldes durch getrennte parallele Analysen der vertikalen und der horizontalen Komponenten dieser Vektoren ausgeführt wird, wobei die Luminanz des momentanen Punkts des zu interpolierenden Bildes durch Interpolation mit korrigierter Bewegungskompensation erhalten wird durch

- die Annullierung der Komponenten des Bewegungsvektors, wenn sie als fehlerhaft erfaßt worden sind,

- dann die räumliche Filterung der getrennten Komponenten.

11. Vorrichtung zum Ausführen des Verfahrens nach irgendeinem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß sie enthält

- eine Einrichtung zum Schätzen der Bewegung (10), die eine Folge von Eingangsbildern empfängt und für jedes zu interpolierende Zwischenbild zwischen zwei Mutterbildern der Eingangsfolge ein Bewegungsvektorfeld liefert;

- eine Einrichtung zur Interpolation mit kompensierter Bewegung (20), die einerseits die Folge von Eingangsbildern und andererseits das Bewegungsvektorfeld der zu interpolierenden Bilder empfängt;

- eine Einrichtung für lineare Interpolation (30), die ebenfalls die Folge von Eingangsbildern empfängt;

- eine Schaltung für die Analyse der Kohärenz des Bewegungsvektorfeldes (40), deren Eingang mit dem Ausgang der Bewegungsschätzeinrichtung verbunden ist und deren Ausgang mit dem Eingang einer Ausgangsschaltung (50, 60) verbunden ist, die ebenfalls an die Einrichtung für die Interpolation mit kompensierter Bewegung und an die Einrichtung für lineare Interpolation angeschlossen ist, wobei die Ausgangsschaltung für jeden Bildpunkt einen Luminanzwert liefert, der aus den Luminanzwerten abgeleitet ist, die durch die Einrichtung für Interpolation mit Bewegungskompensation (20) und durch die Einrichtung für lineare Interpolation (30) interpoliert werden.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Ausgangsschaltung durch einen Mischer (60) gebildet ist, der die Koeffizienten von einer Schaltung für die Def inition des Mischungskoeffizienten (50) empfängt, die ihrerseits an den Ausgang der Kohärenzschaltung (40) angeschlossen ist.

13. Vorrichtung nach irgendeinem der Ansprüche 11 und 12, dadurch gekennzeichnet, daß die Schaltung für die Analyse der Kohärenz (40) eine Schaltung für die Erfassung der Fehler des Bewegungsvektorfeldes (41) enthält, gefolgt von einer Filterungsschaltung (42), die durch Abtragen und Auffüllen die abgesonderten Zonen, die als fehlerhaft gekennzeichnet sind, oder aber die nicht gekennzeichneten Zonen in der erzeugten Kohärenzmatrix reduziert.