DE69016074T2 - Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation. - Google Patents
Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation.Info
- Publication number
- DE69016074T2 DE69016074T2 DE69016074T DE69016074T DE69016074T2 DE 69016074 T2 DE69016074 T2 DE 69016074T2 DE 69016074 T DE69016074 T DE 69016074T DE 69016074 T DE69016074 T DE 69016074T DE 69016074 T2 DE69016074 T2 DE 69016074T2
- Authority
- DE
- Germany
- Prior art keywords
- motion
- interpolation
- motion vector
- image
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002123 temporal effect Effects 0.000 title claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000007704 transition Effects 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 71
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000002950 deficient Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000414 obstructive effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
- H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
- Die Erfindung bezieht sich auf die Verarbeitung von Bildern und insbesondere auf die zeitliche Interpolation von Bildern ausgehend von Mutterbildern und ünter Verwendung der Bewegungskompensation.
- Die Interpolation einer Folge von Bildern ausgehend von einer weiteren Folge besteht darin, ein Bild der endgültigen Folge ausgehend von Bildern der Eingangs folge durch raumzeitliche Interpolation zu erzeugen. Diese Interpolation hat zum Ziel, die Eigenschaften (Luminanzwert und eventuell Chrominanzwerte) eines jeden Pixel des zu erzeugenden Bildes ausgehend von den Eigenschaften (Luminanz- und eventuell Chrominanzwerte) der entsprechenden Pixel in den es umgebenden Eingangsbildern zu bestimmen. Im folgenden werden die Ausdrücke Teilbild oder Bild unterschiedslos verwendet, wobei nur die Fälle betrachtet werden, in denen die Eingangs- und Ausgangsteilbilder durch die gleiche Anzahl von Zeilen und von Punkten pro Zeile beschrieben werden. Die anderen Fälle können auf die gleiche Weise bearbeitet werden, indem eine geeignete räumliche Filterung hinzugefügt wird, die hier nicht beschrieben wird.
- Die Anwendungen der Bildinterpolation sind zahlreich. Sie wird insbesondere bei der Normumsetzung für die Umsetzung der Fernsehbild-Folgen von einer 50Hz-Norm in eine 60Hz-Norm oder umgekehrt angewandt; sie kann gleichermaßen bei der Codierung für die Wiederherstellung der Folgen verwendet werden, wenn im Codierer eine Unterabtastung des Teilbildes ausgeführt worden ist. Sie erlaubt allgemeiner auch die Erhöhung der Bildfreguenz in einer Folge, um beispielsweise den Sehkomfort zu verbessern.
- Für die Interpolation von Bildern besteht eine erste Technik darin, mit Hilfe eines linearen raumzeitlichen Filters zu interpolieren, wobei dieses Filter für sämtliche Punkte des Teilbildes fest ist und nur von den Zeitintervallen abhängt, die die Eingangsteilbilder von den zu erzeugenden Teilbildern trennen. Es ist bekannt, daß diese Verfahren für zeitlich konstante oder eine geringe Bewegung aufweisende Zonen des Bildes gut geeignet sind, daß sie jedoch insbesondere in den Zonen mit starker Bewegung große Fehler aufweisen. Diese Fehler kommen von der Schwierigkeit, einen richtigen Kompromiß zu finden zwischen der Begrenzung des zeitlichen Durchlaßbandes (was eine Unschärfe erzeugt) einerseits und der Beseitigung der unerwünschten spektralen Komponenten (was eine zeitliche Interferenz erzeugt) andererseits.
- Um diese Fehler zu vermeiden, muß das Interpolationsfilter an das Spektrum des Eingangssignals angepaßt sein, was durch eine sogenannte Interpolation mit Bewegungskompensation verwirklicht wird. Diese Technik besteht darin, die Pixel in Richtung der ihnen zugeordneten Bewegungsvektoren zu interpolieren. Hierzu geht der Stufe der Interpolation eine Operation des Schätzens der Bewegung voraus, die darin besteht, jedem zu interpolierenden Pixel einen Bewegungsvektor zuzuweisen, der wirklich die Adresse desselben Pixels in den Eingangsteilbildern liefert, die das zu interpolierende Teilbild umgeben. Diese Technik fordert selbstverständlich die Lösung des Problems der Analyse der Bewegung auf zufriedenstellende Weise und insbesondere die genaue Definition des Bewegungsfeldes, um eine gute Bildqualität zu erhalten, wobei ein Bewegungsvektor für jedes Pixel und mit einer Genauigkeit unterhalb derjenigen des Pixels geschätzt wird. Es sind geeignete Bewegungschätzvorrichtungen bekannt, die auf zuverlässige Weise ein genaues Bewegungsvektorfeld liefern können. Eine solche Bewegungsschätzvorrichtung ist beispielsweise in der französischen Patentanmeldung Nr. 88 12468, die dem Dokument EP-A-0 360 698, veröffentlicht am 28.03.90, entspricht, mit dem Titel "Procédé et dispositif d'estimation de mouvement dans une sequence d'images animées" beschrieben.
- Im Rahmen der Bildinterpolation können zwei Typen von Bewegungsschätzvorrichtungen unterschieden werden, je nachdem, ob die Bewegung für die Pixel des zu interpolierenden Teilbildes geschätzt wird oder ob die Bewegung für die Pixel eines der Mutterteilbilder geschätzt wird. In diesem letzteren Fall ist es notwendig, dieser Schätzung eine Stufe der Definition des Vektorfeldes der zu interpolierenden Teilbilder folgen zu lassen. Ein Interpolationsverfahren, das eine Technik dieses Typs verwendet, ist in der französischen Patentanmeldung Nr. 87 07814, die dem Dokument FR-A-2616248 entspricht, mit dem Titel "Procede d'interpolation temporelle d'image et dispositif pour la mise en oeuvre de ce procédé" beschrieben. Dieses Verfahren ist insbesondere anwendbar, wenn mehrere Zwischenteilbilder ausgehend von zwei Mutterteilbildern interpoliert werden müssen: Dann wird zwischen diesen zwei Mutterteilbildern eine einzige Schätzung der Bewegung ausgeführt, woraufhin das Bewegungsfeld eines jeden zu interpolierenden Teilbildes ausgehend von diesem geschätzten Feld bestimmt wird. Anschließend wird der Fall betrachtet, in dem das Bewegungsfeld für das zu interpolierende Teilbild erhalten worden ist, und dies unabhängig von dem Verfahren, mit dem dieses Ergebnis erreicht wird.
- Die Interpolation selbst berücksichtigt somit zeitliche Änderungen. Die Eingangs- und Ausgangsfolgen der Interpolationsvorrichtung sind nämlich zwei Darstellungen derselben kontinuierlichen und im allgemeinen dynamischen Szene in Folgen unterschiedlicher Zeitpunkte. Der Inhalt der Folge ist räumlicher und zeitlicher Art, wobei die Übertragung der Information von einer Folge zur nächsten notwendigerweise diese zeitlichen Veränderungen berücksichtigt. Daher wird für die Interpolation mit Bewegungskompensation das Pixel (Bildelement) nicht mehr als einfaches Bildelement, sondern vielmehr als Gegenstandselement betrachtet, wobei sich dieses Gegenstandselement im Bild im Lauf der Zeit verändern kann, erscheinen kann, sich verschieben kann, die Luminanz verändern kann und/oder verschwinden kann. Es ist selbstverständlich wesentlich, eine Anpassung an die Bewegung der Bildelemente vorzunehmen, wobei diese Bewegung eine sehr häufige Ursache für die Veränderung im Lauf der Zeit ist; ihre Berücksichtigung ermöglicht die wirksame Verarbeitung der meisten in einer Szene möglichen Situationen. Indessen sind leicht Situationen vorstellbar, in denen die Analyse der Bewegung fehlerhaft ist, weil die Bewegung als Modell der zeitlichen Veränderung nicht geeignet ist, beispielsweise wenn Gegenstände von einem Eingangsbild zum nächsten erscheinen oder verschwinden.
- Um tatsächlich sämtliche möglichen Situationen zu berücksichtigen, müssen zusätzlich zur Verschiebung der Gegenstände weitere Ursachen für die zeitliche Veränderung der Luminanz im Lauf der Zeit wie etwa die intrinsische Veränderung der Luminanz der Gegenstandselemente (ohne Betrachtung der Bewegung), das mögliche Erscheinen oder Verschwinden der Pixel in ihrer Eigenschaft als Gegenstandselemente berücksichtigt werden. In Analogie zu dem eben Gesagten stellt das einfachste Interpolationsverfahren, das durch die lineare Interpolation gegeben ist, die Hypothese auf, daß die Gegenstandselemente fest sind, und nimmt an, daß die Veränderung der Luminanz der Pixel im Lauf der Zeit einzig durch eine Veränderung der Luminanz der Gegenstandselemente ohne Verschiebung dieser Elemente bedingt ist.
- In einer Vorrichtung für die zeitliche Interpolation von Bildern mit Bewegungskompensation können bei der Interpolation Fehler auftreten, wenn die Bewegung als Modell der zeitlichen Änderung nicht geeignet ist sowie im Fall komplexer dynamischer Szenen, beispielsweise dann, wenn sich zwei kleine Gegenstände kreuzen oder wenn die Bewegung eines Gegenstandes das Verschwinden eines zweiten Gegenstandes von einem Bild zum nächsten zur Folge hat oder aber wenn eine Bewegung mit einer Veränderung der Luminanz einhergeht.
- Die genaue Identifizierung derartiger Änderungen in der Zeit würde eine hochentwickelte Verarbeitung erfordern, die weder zu der für die Interpolation notwendigen Schätzung der Bewegung noch zu der Auftrittshäufigkeit dieses Situationstyps noch zu der Empfindlichkeit des Auges für diesen Typ von Ereignissen in einem vernünftigen Verhältnis stünde. Indessen ist es unmöglich, die von der Bewegungsschätzvorrichtung ausgegebene Information unverändert zu verwenden, weil diese oftmals stark verrauscht ist und äußerst hinderliche Fehler erzeugt.
- Zur Beseitigung dieses Nachteils beschreibt der Artikel aus ICC '84, Links for the future, IEEE Proceeding, Bd. 2, Seiten 707-710, mit dem Titel "Motion adaptive Interpolation for video conferences pictures" ein Verfahren der zeitlichen Interpolation mit korrigierter Bewegungskompensation, die die Interpolation dieser kritischen Zonen ermöglicht. Hierzu besteht das Verfahren darin, das erfaßte Bewegungsvektorfeld zu homogenisieren, um anhand von auf die Form des Gegenstands und auf die Bewegung bezogenen Hypothesen die "wirklichen" Bewegungsvektoren mit einem sogenannten "Motion Adaptive Interpolation"-Verfahren zu erhalten.
- Die vorliegende Erfindung hat eine neue Lösung für die Beseitigung des Problems der Fehler, die in den interpolierten Bildern auftreten, wenn fehlerhafte Bewegungsvektoren erfaßt worden sind, zum Gegenstand.
- Gemäß der Erfindung ist ein Verfahren zum zeitlichen Interpolieren von Bildern mit korrigierter Bewegungskompensation, mit einer Phase des Schätzens des Bewegungswechselfeldes eines zu interpolierenden Bildes ausgehend von es umgebenden Mutterbildern, wobei die Eigenschaften des momentanen Punkts ausgehend von den Eigenschaften der zugeordneten Punkte der Mutterbilder bestimmt werden, die ihrerseits durch den diesem momentanen Punkt zugewiesenen Bewegungsvektor bestimmt sind, einer Phase der Analyse der Kohärenz des Bewegungsvektorfeldes des zu interpolierenden Bildes, wobei die Interpolation mit Bewegungskompensation für diejenigen Punkte des zu interpolierenden Bildes korrigiert wird, für die Inkohärenzen im Bewegungsvektorfeld erfaßt worden sind, dadurch gekennzeichnet, daß parallel zu der Interpolation mit Bewegungskompensation des momentanen Punkts des zu interpolierenden Bildes ausgehend von dem diesem Punkt zugeordneten Bewegungsvektor eine lineare Interpolation zwischen Punkten mit denselben Koordinaten wie der momentane Punkt in den Mutterbildern berechnet wird, wobei die Eigenschaften des momentanen Punkts des zu interpolierenden Bildes ausgehend von den Eigenschaften bestimmt werden, die sich aus diesen beiden Interpolationen in Abhängigkeit von den im Bewegungsvektorfeld erfaßten Fehlern ergeben.
- Die Erfindung hat außerdem die Vorrichtung zum Gegenstand, die für die Ausführung dieses Verfahrens vorgesehen ist.
- Die Erfindung wird besser verständlich und weitere Merkmale werden deutlich mit Hilfe der folgenden Beschreibung und mit Bezug auf die beigefügten Figuren:
- - Fig. 1 zeigt die Interpolation einer Folge von Ausgangsbildern ausgehend von einer Folge von Eingangsbildern;
- - Fig. 2 zeigt die Entsprechung zwischen zwei Punkten zweier Mutterbilder und eines entsprechenden Punkts des interpolierten Bildes;
- - Fig. 3 ist ein Schema, das das Erscheinen und das Verschwinden von Pixeln in einer Szene zeigt;
- - Fig. 4 zeigt die Filterungsstufe der Kennzeichnung fehlerhafter Bewegungsvektoren;
- - Fig. 5 zeigt die Phase der Abtragung der Kennzeichnung der Punkte mit fehlerhafter Bewegung;
- - Fig. 6 zeigt die Phase der Auffüllung der gekennzeichneten Punkte mit fehlerhafter Bewegung;
- - Fig. 7 ist ein Blockschaltbild der Interpolationsvorrichtung mit kompensierter Bewegung gemäß der Erfindung in einer ersten Ausführungsform;
- - Fig. 8 ist das Blockschaltbild der Interpolationsvorrichtung mit kompensierter Bewegung gemäß der Erfindung in einer zweiten Ausführungsform.
- Fig. 1 zeigt die von einer Folge von Eingangsbildern I1, I2, I3, I4 mit 50 Hz (die um T1 = 20 ins beabstandet sind) ausgehende Interpolation einer Folge von Ausgangsbildern I'1, I'2, I'3, I'4 mit 60 Hz (die um T2 = 16,6 ins beabstandet sind) im Hinblick auf eine Normumsetzung.
- Im allgemeinen kann ein interpoliertes Bild ausgehend von mehr als zwei Eingangsbildern gebildet werden, wie jedoch in Fig. 2 gezeigt, ermöglichen die die Interpolation mit Bewegungskompensation verwendenden Verfahren, ein Zwischenbild I' ausgehend von zwei Eingangsbildern I1 und I2 zu erhalten, indem sie das Bewegungsfeld von Punkten des zu interpolierenden Bildes verwenden. Es sei (Z,t') der Bewegungsvektor des Punkts P(Z) = P(X,Y) des zu interpolierenden Bildes für den zwischen t - T1 und t liegenden Zeitpunkt t', das durch die Verarbeitung der Bilder I1 und I2 der Eingangsfolge ausgegeben wird. Der Bewegungsvektor bestimmt die entsprechenden Punkte A in I1 und B in I2 und gibt daher die Adressen des betrachteten Pixels als Gegenstandselement in den Mutterbildern I1 bzw. I2 aus, wobei angenommen wird, daß die Verschiebung zwischen diesen beiden Bildern linear ist. Der Bewegungsvektor D besitzt in der Bildebene (X,Y) zwei Komponenten Dx und Dy.
- Wie oben angegeben, können die Fehler in der Interpolation mit Bewegungskompensation insbesondere dann auftreten, wenn die Bewegung als Modell der zeitlichen Änderung nicht mehr angemessen ist.
- Fig. 3 ist ein Schema, das die Aufdeckung (Erscheinen) und die Abdeckung (Verschwinden) von Gegenstandselementen von einem "Mutter"-Bild I1 zu einem "Mutter"-Bild I2 sowie die Wirkung einer nichtlinearen Bewegung zeigt. Die kleinen Kreise symbolisieren die Pixel, während ein im Bild vorhandener Gegenstand durch Kreuze symbolisiert worden ist. Dieser Gegenstand befindet sich in einer nichtlinearen Bewegung, weil seine Position im Zwischenbild nicht das Ergebnis einer Translation ist, die ihren Ausgangspunkt und ihren Endpunkt in entsprechenden Pixeln der beiden Mutterbilder I1 und I2 hat. Dagegen wird der bewegte Hintergrund in den beiden Mutterbildern durch eine Translation erhalten. Außerdem ist von den Pixeln an den Rändern des Gegenstandes im Bild I2 eines abgedeckt, während das andere zwischen I1 und I2 aufgedeckt wird. Das durch das Bewegungsfeld zwischen I1 und I2 gegebene Modell ist daher nicht korrekt.
- Um erforderlichenfalls ein Ersetzungsverfahren verwenden zu können, besteht die erste Stufe des Verfahrens gemäß der Erfindung somit darin, die Fehler der Schätzung der Bewegung zu erfassen:
- In dem Verfahren zum Schätzen der Bewegung, das in der oben bereits erwähnten Patentanmeldung Nr. 88 12468, die dem Dokument EP-A-0 360 698, veröffentlicht am 28.03.90, entspricht, beschrieben ist, macht ein Fehlerkriterium für die Schätzung der Bewegung von einer Größe Gebrauch, die bewegungskompensierte Zwischenbilddifferenz, DFD, genannt wird und auf die folgende Weise berechnet wird:
- Für den momentanen Punkt P(Z,t') gilt
- DFD(P) = L(B,t) - L(A,t-T1),
- wobei L(B,t) die Luminanz des Punkts B im Bild I2 im Zeitpunkt t ist und L(A,t-T1) die Luminanz des Punkts A im vorhergehenden Bild I1 im Zeitpunkt t-T1 ist.
- Wenn die Punkte A und B in den Mutterbildern I1 und I2 tatsächlich homologe Punkte sind, ist die kompensierte, d.h. die Bewegung berücksichtigende zeitliche Differenz DFD im Prinzip kleiner als ein Schwellenwert. Folglich wird für sämtliche Punkte P des zu interpolierenden Teilbildes, für die die hinsichtlich der Bewegung kompensierten zeitlichen Luminanzdifferenzen zwischen den Bildern größer als ein Schwellenwert s sind, der zugehörige Bewegungsvektor als fehlerhaft erklärt, wobei der entsprechende Punkt in einer Kohärenzmatrix gekennzeichnet wird. Im entgegengesetzten Fall wird der Bewegungsvektor als exakt erklärt, wobei der entsprechende Punkt der Matrix nicht gekennzeichnet wird.
- Diese Stufe der Erfassung von Fehlern in der Schätzung der Bewegung kann durch eine Prüfung der Luminanzdifferenz zwischen Punkten mit denselben Koordinaten wie der momentane Punkt des zu interpolierenden Bildes in den Mutterbildern vervollständigt werden. Diese Information ist für den Grad der Ähnlichkeit zwischen den Punkten mit denselben Koordinaten in den Mutterbildern charakteristisch und ermöglicht die Kenntnis, ob eine einfache lineare Interpolation, die die Bewegung nicht berücksichtigt, eine angemessene Lösung für die Zurücknahme dieser "fehlerhaften Punkte" ist.
- Ein anderes Analyseverfahren, das auf der Kohärenz des Bewegungsfeldes basiert, führt zur Erfassung von fehlerhaften Punkten. Die Fehler des Bewegungsfeldes werden nämlich entweder durch die Ungenauigkeit des Schätzalgorithmus oder durch die Unangemessenheit der Bewegung als Modell der zeitlichen Veränderung verursacht. Dies ergibt im allgemeinen ein lokal fehlgeordnetes Bewegungsvektorfeld mit großen Brüchen, die einer Divergenz der Schätzvorrichtung entsprechen. Für die Erfassung der Fehler können mehrere lokale Operatoren genutzt werden, die ein lokales Histogramm oder eine Varianz verwenden; sie erfordern die Beobachtung eines Blocks von Vektoren:
- - ein lokales Histogramm kann für einen Block von Punkten, der beispielsweise die Abmessungen 5x5 besitzt, durch Zählung der verschiedenen Bewegungsvektoren innerhalb des Blocks erzeugt werden; die sich ergebende Anzahl n wird dann mit einem Schwellenwert si verglichen, wobei dann, wenn n größer als s&sub1; ist, der zentrale Punkt des Blocks (oder der Block) als fehlerhaft gekennzeichnet wird;
- - ein etwas höher entwickeltes Verfahren besteht darin, ausgehend vom Histograinm der verschiedenen Vektoren eines Blocks von Punkten die Wahrscheinlichkeit pi der verschiedenen Bewegungsvektoren i und dann die Entropie E zu berechnen, welche die "Fehlordnung" im Inneren des Blocks angibt:
- E = -Σpixln(pi). Diese Entropie wird dann mit einem Schwellenwert s&sub2; verglichen, wobei dann, wenn E größer als s&sub2; ist, der Punkt (oder der Block) gekennzeichnet wird;
- - eine Analyse der Kohärenz durch Berechnung der Varianz kann ebenfalls ausgeführt werden, indem die folgende Größe berechnet wird: V = Σ (Dxi-mx)² + (Dyi-my)² , mit mx = (ΣDXi)/N und my = (ΣDyi)/N, wobei mx und my die Mittelwerte der Komponenten der Bewegungsvektoren sind und N die Anzahl der Punkte des Blocks ist. Es ist auch eine Vereinfachung möglich, indem eine Pseudovarianz berechnet wird, für die der Mittelwert durch die Komponenten des Bewegungsvektors des zentralen Pixels des Blocks Do ersetzt ist:
- PV = Σ (Di - Do)².
- Entweder die Varianz oder die Pseudovarianz wird dann mit einem Schwellenwert s&sub3; verglichen, wobei der zentrale Punkt (oder der Block) als fehlerhaft gekennzeichnet wird, wenn V (oder PV) größer als s&sub3; ist.
- Sämtliche der obenbeschriebenen Verfahren zur Analyse der Kohärenz des Bewegungsfeldes erfordern die Berechnung des Kriteriums für einen Block von Punkten. Wie jedoch oben angegeben, kann die Entscheidung entweder den momentanen Punkt, den zentralen Punkt des analysierten Blocks, wobei das Fenster dann gleitend ist, oder den gesamten Block von Punkten, für den das Kriterium berechnet worden ist, betreffen, wobei die Blöcke dann benachbart sind, wobei das Verfahren dann hinsichtlich der Rechenzeit weniger aufwendig ist.
- In all diesen Fällen ist die resultierende Information bezüglich der "fehlerhaften Punkte" stark verrauscht, so daß dann eine Filterungsstufe notwendig ist, um die Punkte mit fehlerhafter Bewegung besser zu definieren. Diese Filterung der Information bezüglich der Inkohärenz des Bewegungsfeldes wird in zwei Stufen ausgeführt, die im folgenden mit Bezug auf Fig. 4 beschrieben werden.
- Ausgehend von der die fehlerhaften Vektoren charakterisierenden binären Matrix, die durch das Kriterium der Kohärenz des Bewegungsfeldes erhalten wird, wird eine erste Phase 1 der Filterung der Inkohärenzinformation, die Abtragung genannt wird, ausgeführt: Für jeden als fehlerhaft gekennzeichneten momentanen Punkt verliert dann dieser in der vorangehenden Stufe als fehlerhaft gekennzeichnete Punkt in der die fehlerhaften Vektoren nach der Abtragung charakterisierenden binären Matrix seine Kennzeichnung, wenn die Anzahl der nicht gekennzeichneten Punkte in einem auf diesen momentanen Punkt zentrierten Block größer als ein fester Schwellenwert S ist. Diese Stufe hat zum Ziel, die kleinen Zonen zu unterdrücken, die als nicht signifikant angesehen werden.
- Die zweite Phase II der Filterung ist eine sogenannte Auffüllphase und enthält eine erste Stufe 1 einer sogenannten horizontalen Auffüllung sowie eine zweite Stufe 2 einer sogenannten vertikalen Auffüllung und eine dritte Stufe 3, in der erneut eine horizontale Auffüllung ausgeführt wird. Diese Filterung führt zu einer neuen Kennzeichnung der fehlerhaften Vektoren.
- Fig. 5 zeigt genauer die Abtragungsphase der Filterung der Kohärenzinforination. In dieser Figur ist die Kennzeichnung der fehlerhaften Punkte oder Blöcke durch eine Schwärzung der entsprechenden Kästchen einer Matrix symbolisiert.
- Wenn die Information hinsichtlich fehlerhafter Punkte das Ergebnis einer Block-Kennzeichnung ist, wird die Verarbeitung auf die benachbarten Blöcke des Bildes angewandt, wobei ein Element der Matrix einem Block von Pixeln entspricht, so daß die Anzahl der Verarbeitungen verringert wird. Die binäre Eingangsmatrix, die die Punkte oder die Blöcke, die als exakt gekennzeichnet sind, und die Punkte oder die Blöcke angibt, die als fehlerhaft gekennzeichnet sind, wird durch ein herkömmliches Analyseverfahren zeilenweise geprüft. Die erste Prüfung besteht darin zu untersuchen, ob das momentane Element der Matrix (Punkt oder Block) gekennzeichnet ist. Wenn dies nicht der Fall ist, wird es unverändert zum Ausgang der Abtragungsvorrichtung übertragen. Wenn es hingegen gekennzeichnet ist, wird die Anzahl der gekennzeichneten Elemente in einem 5x5- Block der auf das analysierte momentane Element zentrierten Matrix berechnet. Diese Anzahl von gekennzeichneten Elementen M wird dann mit dem Schwellenwert S verglichen. Wenn M größer als S ist, wird das anfangs als fehlerhaft gekennzeichnete Element im gleichen Zustand gehalten. Wenn dagegen die Anzahl M von gekennzeichneten Elementen, die es umgeben, kleiner als der Schwellenwert S ist, wird entschieden, daß eine Abtragung stattgefunden hat, d.h., daß das anfangs gekennzeichnete Element in den Zustand zurückversetzt worden ist, der ein exaktes Bewegungsvektor-Element charakterisiert.
- Fig 6 zeigt die Wirkung der Auffüllphase ausgehend von einer anfangs abgetragenen Matrix, die sich aus der vorhergehenden Phase ergibt, d.h. in der die isolierten Elemente unterdrückt worden sind. Es wird eine minimale vorgegebene Segmentlänge gewählt, die in diesem Beispiel beispielsweise 3 ist: Wenn die Länge eines Segments von nicht gekennzeichneten Elementen zwischen zwei gekennzeichneten Elementen kleiner als 3 ist, wird das gesamte Segment gekennzeichnet. Die erste Phase der Zeilen-Auffüllung hat zur Wirkung, daß in dem gezeigten Beispiel zwei gekennzeichnete Elemente hinzugefügt werden. Die folgende Phase der Spalten-Auffüllung hat zur Wirkung, daß sämtliche nicht gekennzeichneten Elemente gekennzeichnet werden, die den vertikalen Segmenten der Längen 1 oder 2 zugehören; es bleibt nur ein vertikales Segment mit der Länge 3 übrig. Die folgende Phase der Zeilen-Auffüllung führt dazu, auch diese gekennzeichneten Punkte zu unterdrücken, wobei das Ergebnis darin besteht, daß die gesamte in Fig. 6 gezeigte analysierte Zone in bezug auf die Analyse des Bewegungsvektorfeldes als fehlerhaft angesehen wird.
- Wenn diese Phase beendet ist und wenn diese Verarbeitung an Blöcken von Punkten ausgeführt worden ist, wird die Bilddimension wieder aufgenommen, d.h. daß der Zustand des entsprechenden Blocks sämtlichen entsprechenden Punkten des Bildes zugewiesen wird, wobei diese Kohärenzinformation des Bewegungsvektorfeldes, die sich aus der Filterung ergibt, für die Ausführung der Lösung durch Zurücknahme ausgewertet wird, falls diese notwendig ist.
- Was die Lösung durch Zurücknahme selbst betrifft, hat sie nicht zum Gegenstand, die als fehlerhaft erfaßten Zonen im Sinne der Bewegungsanalyse treu zu interpolieren, sondern eine Luminanzinformation zu erzeugen, die die Interpolationsfehler am besten verdeckt. Insbesondere werden die Fehler der Bewegungskompensation wie oben erwähnt einerseits durch die räumliche lokale Inhomogenität der Bewegung, die die Strukturen im Bild verformt, und andererseits durch die zeitliche lokale Inhomogenität, die diese Verformungen im Lauf der Zeit modifiziert, verursacht, wodurch große sichtbare Fehler erzeugt werden. Der Hauptgegenstand dieser Lösung durch Zurücknahme ist daher die Homogenisierung des Bewegungsfeldes in den Zonen mit fehlerhaften Bewegungen.
- Es sind mehrere Lösungen möglich; die erste interessante Lösung ist eine einfache lineare Interpolation: Diese Interpolation kann nämlich an eine Interpolation mit Bewegungskompensation mit einem Bewegungsvektor mit Null-Komponenten in der XY-Ebene angeglichen werden, anstatt der einfachen Verwendung zweier Mutterbilder wie in der Interpolation mit Bewegungskompensation kann jedoch die lineare Interpolation ausgehend von einer größeren Anzahl von Mutterbildern, beispielsweise 4 oder 6, ausgeführt werden. In den fehlerhaften Zonen mit Bewegung kann der aus der Interpolation mit Bewegungskompensation sich ergebende Luminanzwert dann durch den aus der linearen Interpolation sich ergebenden Luminanzwert ersetzt werden.
- Diese lineare Interpolation wird vorzugsweise für alle Punkte parallel zur Interpolation mit Bewegungskompensation berechnet, derart, daß eine sogenannte "weiche" Umschaltung anstatt einer harten Umschaltung zwischen dem Weg mit Bewegungskompensation und dem linearen Weg ausgeführt werden kann, wobei eine solche harte Umschaltung sichtbare und hinderliche Brüche erzeugen kann. Folglich kann die Umschaltung auf die folgende Weise ausgeführt werden: Ausgehend von der binären Matrix der Kohärenz des Bewegungsfeldes werden die nicht gekennzeichneten Pixel auf Null gesetzt. Die gekennzeichneten Pixel werden ihrerseits auf einen von Null verschiedenen Wert V gesetzt. Diese Matrix mit zwei Werten der Kohärenzinformation des Bewegungsfeldes wird dann durch ein Tiefpaßfilter gefiltert, wobei die resultierenden, zwischen 0 und V liegenden Werte a der Pixel der neuen (nicht binären) Matrix die Definition eines Mischungskoeffizienten i der beiden Interpolationswege ermöglichen. Wenn die interpolierte Luminanz eines durch lineare Interpolation erhaltenen Pixels IntL ist und wenn die Luminanz des durch Interpolation mit Bewegungskompensation erhaltenen Pixels IntCM ist, ist die Luminanz des Pixel interpolierten Bildes gleich:
- Int = ixIntL + (1-i)xIntCM,
- mit i = a/V, wobei a der Wert des Pixel in der tiefpaßgefilterten Matrix der Kohärenzinformationen ist; i zwischen 0 und 1 liegt, wobei diese Mischung wie oben erwähnt die Abschwächung der Brüche zwischen der Interpolation mit Bewegungskompensation und der Lösung durch Zurücknahme ermöglicht.
- Eine weitere Lösung durch Zurücknahme ist möglich, die auf der Tatsache basiert, daß eine einzige Komponente des Bewegungsvektors fehlerhaft sein kann. Folglich wird anstelle der Analyse der Kohärenz des Bewegungsvektors in seiner Gruppe die Erfassung der Inkohärenz auf die getrennt aufgenommenen horizontalen und vertikalen Komponenten angewandt. In dieser Lösung wird die Erfassung der Fehler des Bewegungsvektorfeldes getrennt auf die horizontalen Komponenten und auf die vertikalen Komponenten angewandt; ebenso werden die Stufen der Abtragung und der Filterung auch auf die auf diese Weise erhaltenen Fehlermatrizen angewandt. Die folgende Phase am Ende der Abtragungs- und der Auffüllphase ist dann eine einfache Setzung auf Null der als fehlerhaft angesehenen Komponente für ein gegebenes Pixel.
- Wie in der vorangehenden Lösung ist es notwendig, die Brüche zwischen der Interpolation mit kompensierter Bewegung und der Lösung durch Zurücknahme zu verdecken. Diese Verdeckung wird durch mittelwertbildende Filterung des Bewegungsfeldes anhand der Komponenten erhalten. Der Mittelwert kann beispielsweise in den Blöcken mit den Abmessungen 7x7 berechnet werden.
- Das Blockschaltbild der Interpolationsvorrichtung mit Bewegungskompensation und der Lösung durch Zurücknahme gemäß dem ersten Verfahren ist in Fig. 7 gezeigt: Die Folge von Eingangsbildern wird gleichzeitig in eine Vorrichtung zur Schätzung der Bewegung 10, in eine Vorrichtung zur Interpolation mit kompensierter Bewegung 20 und in eine Vorrichtung zur linearen Interpolation 30 eingegeben. Die Vorrichtung zur Interpolation mit koinpensierter Bewegung verarbeitet die Eingangsfolge ausgehend von von der Vorrichtung zur Schätzung der Bewegung 10 empfangenen Informationen. Ein Ausgang der Vorrichtung zur Schätzung der Bewegung, der das Bewegungsvektorfeld ausgibt, ist mit einer Schaltung zur Analyse der Kohärenz des Bewegungsvektorfeldes 40 verbunden, die eine Schaltung zur Erfassung von Fehlern 41 enthält, deren Ausgang mit einer Filterungsschaltung 42 verbunden ist, die die obenbeschriebene Verarbeitung der Abtragung und dann der Auffüllung ausführt. Am Ausgang dieser Schaltung ist daher eine binäre Kohärenzmatrix verfügbar, in der die fehlerhaften Bewegungsvektoren gekennzeichnet sind. Diese binäre Matrix wird in eine Schaltung 50 zur Definition der Mischungskoeffizienten i eingegeben, die in einen Mischer 60 einzugeben sind, der die von der Vorrichtung zur Interpolation mit kompensierter Bewegung 20 ausgegebenen Informationen sowie diejenigen der Vorrichtung zur linearen Interpolation 30 empfängt. Der Mischer 60 liefert die Folge von interpolierten Bildern, in der die Fehler aufgrund der Unvollkommenheit des für die Interpolation mit Bewegungskompensation verwendeten Modells verdeckt sind.
- Fig. 8 ist ein Blockschaltbild der Vorrichtung zur Interpolation mit Bewegungskompensation und der Lösung durch Auffüllen gemäß dem zweiten Verfahren. In diesem Fall wird die Folge von Eingangsbildern wie vorher in eine Vorrichtung zur Schätzung der Bewegung 10 eingegeben, wobei die vertikalen bzw. horizontalen Komponenten der Bewegungsvektoren in Kohärenzanalyseschaltungen 40' bzw. 40" eingegeben werden, die jeweils eine Schaltung zur Erfassung von Fehlern 41' bzw. 41" enthalten, deren Ausgänge binäre Matrizen liefern, die für die Punkte oder Blöcke mit "fehlerhaften" Bewegungsvektoren charakteristisch sind und die mit Filterungsschaltungen 42' bzw. 42" verbunden sind, die die obenbeschriebenen Phasen der Abtragung und der Auffüllung für jede der beiden binären Matrizen der fehlerhaften Vektoren, die den horizontalen bzw. vertikalen Komponenten zugeordnet sind, ausführen. Die nach der Filterung sich ergebenden binären Matrizen werden an Schaltungen 71 und 72 übertragen, die die fehlerhaften Komponenten auf Null setzen. Diese Schaltungen sind mit ihren Ausgängen mit den Eingängen von mittelwertbildenden Filtern 81 bzw. 82 verbunden, die die direkt verarbeiteten Komponenten des Bewegungsvektors ausgeben, um plötzliche Übergänge zu vermeiden. Diese verarbeiteten Komponenten werden in die Vorrichtung zur Interpolation mit kompensierter Bewegung 20 eingegeben, die außerdem die Folge von Eingangsbildern empfängt und die Folge von interpolierten Bildern ausgibt.
- Die Erfindung ist nicht auf die oben genau beschriebenen Ausführungsformen beschränkt, insbesondere was die Interpolationsarten betrifft, die dazu bestimmt sind, die Interpolation mit Bewegungskompensation zu ersetzen, wenn der Bewegungsvektor als fehlerhaft erfaßt worden ist.
Claims (13)
1. Verfahren zum zeitlichen Interpolieren von Bildern mit
korrigierter Bewegungskompensation, mit einer Phase des
Schätzens des Bewegungsvektorfeldes eines zu interpolierenden
Bildes ausgehend von es umgebenden Mutterbildern, wobei die
Eigenschaften des momentanen Punkts ausgehend von den
Eigenschaften der zugeordneten Punkte der Mutterbilder bestimmt
werden, die ihrerseits durch den diesem momentanen Punkt
Zugewiesenen Bewegungsvektor bestimmt sind, einer Phase der
Analyse der Kohärenz des Bewegungsvektorfeldes des zu
interpolierenden Bildes, wobei die Interpolation mit
Bewegungskompensation für diejenigen Punkte des zu interpolierenden Bildes
korrigiert wird, für die Inkohärenzen im Bewegungsvektorfeld
erfaßt worden sind, dadurch gekennzeichnet, daß parallel zu
der Interpolation mit Bewegungskompensation des momentanen
Punkts des zu interpolierenden Bildes ausgehend von dem diesem
Punkt zugeordneten Bewegungsvektor eine lineare Interpolation
zwischen Punkten mit denselben Koordinaten wie der momentane
Punkt in den Mutterbildern berechnet wird, wobei die
Eigenschaften des momentanen Punkts des zu interpolierenden Bildes
ausgehend von den Eigenschaften bestimmt werden, die sich aus
diesen beiden Interpolationen in Abhängigkeit von den im
Bewegungsvektorfeld erfaßten Fehlern ergeben.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
die Phase der Analyse der Kohärenz des Bewegungsvektorfeldes
des zu interpolierenden Bildes eine Phase der Erfassung von
Fehlern des Bewegungsvektorfeldes enthält, aus der sich eine
binäre Kohärenzmatrix mit dem Format des Bildes ergibt, die
für jeden Punkt einen fehlerfreien bzw. fehlerhaften
Bewegungsvektor kennzeichnet.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß
die Erfassung der Fehler des Bewegungsvektorfeldes durch
Vergleich der Luminanzdifferenz der der dem momentanen Punkt
zugeordneten Punkte der Mutterbilder mit einem Schwellenwert
erhalten wird, wobei dieser Punkt in der Kohärenzmatrix als
fehlerhaft gekennzeichnet wird, wenn diese Differenz größer als
der Schwellenwert ist.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß
die Erfassung der Fehler des Bewegungsvektorfeldes durch
Vergleich eines Schwellenwertes mit dem Resultat eines lokalen
Operators, der entweder vom Varianztyp ist oder ein Histogramm
der Bewegungsvektoren in den Punktblöcken verwendet, erhalten
wird, wobei der Bewegungsvektor als fehlerhaft gekennzeichnet
wird, wenn das Resultat des Operators größer als der
Schwellenwert ist.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß
die Erfassung der Fehler der Bewegungsvektoren für jeden
Bildpunkt pro Block, welcher sich mit dem momentanen Punkt
verschiebt, ausgeführt wird.
6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß
die Erfassung der Fehler der Bewegungsvektoren für benachbarte
Blöcke ausgeführt wird, wobei alle Punkte eines analysierten
Blocks als fehlerhaft gekennzeichnet werden, wenn das
Bewegungsfeld des Blocks als inkohärent angesehen wird.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch
gekennzeichnet, daß der Phase der Erfassung der Fehler des
Bewegungsvektorfeldes eine Phase der Filterung folgt, die in
einer sogenannten Abtragungsstufe die Kennzeichnung der
abgesonderten fehlerhaften Punkte oder Blöcke beseitigt und die in
einer sogenannten Auffüllstufe diejenigen Punkte oder Blöcke
als fehlerhaft kennzeichnet, die in der Phase der Erfassung
der Fehler als fehlerfrei erkannt worden sind, die jedoch in
größeren Zonen, die als fehlerhaft gekennzeichnet sind,
abgesondert sind.
8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
die Luminanz des momentanen Punkts des zu interpolierenden
Bildes für diejenigen Punkte des Bildes, deren
Bewegungsvektoren als fehlerfrei erkannt worden sind, der Wert ist, der
durch zeitliche Interpolation mit Bewegungskompensation
erhalten wird, und für diejenigen Punkte, die als fehlerhafte
Bewegungsvektoren besitzend gekennzeichnet sind, der Wert ist, der
durch lineare Interpolation erhalten wird.
9. Verfahren nach Anspruch 2, dadurch gekennzeichnet,
- daß es außerdem eine Phase der Filterung der
Kohärenzmatrix enthält, die den Punkten in der Umgebung der Übergänge
zwischen Zonen, die als fehlerfrei erklärten Bewegungsvektoren
entsprechen, und gekennzeichneten Zonen, die als fehlerhaft
erklärten Bewegungsvektoren entsprechen, Zwischenzustände
verleiht,
- und daß die Luminanz des momentanen Punkts des zu
interpolierenden Bildes, Int, das Ergebnis einer Kombination zwischen
der Luminanz, die durch Interpolation mit
Bewegungskompensation, IntCM, erhalten wird, und der Luminanz, die durch
lineare Interpolation, IntL, erhalten wird, ist, derart, daß:
Int = i IntL + (1-i) IntcM, wobei i, der im Bereich von 0
bis 1 liegende Mischungskoeffizient, vom Zustand des
entsprechenden Punkts in der gefilterten Kohärenzmatrix abhängt.
10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
die Analyse der Kohärenz des Bewegungsvektorfeldes durch
getrennte parallele Analysen der vertikalen und der horizontalen
Komponenten dieser Vektoren ausgeführt wird, wobei die
Luminanz des momentanen Punkts des zu interpolierenden Bildes
durch Interpolation mit korrigierter Bewegungskompensation
erhalten wird durch
- die Annullierung der Komponenten des Bewegungsvektors,
wenn sie als fehlerhaft erfaßt worden sind,
- dann die räumliche Filterung der getrennten Komponenten.
11. Vorrichtung zum Ausführen des Verfahrens nach
irgendeinem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß sie
enthält
- eine Einrichtung zum Schätzen der Bewegung (10), die eine
Folge von Eingangsbildern empfängt und für jedes zu
interpolierende Zwischenbild zwischen zwei Mutterbildern der
Eingangsfolge ein Bewegungsvektorfeld liefert;
- eine Einrichtung zur Interpolation mit kompensierter
Bewegung (20), die einerseits die Folge von Eingangsbildern und
andererseits das Bewegungsvektorfeld der zu interpolierenden
Bilder empfängt;
- eine Einrichtung für lineare Interpolation (30), die
ebenfalls die Folge von Eingangsbildern empfängt;
- eine Schaltung für die Analyse der Kohärenz des
Bewegungsvektorfeldes (40), deren Eingang mit dem Ausgang der
Bewegungsschätzeinrichtung verbunden ist und deren Ausgang mit dem
Eingang einer Ausgangsschaltung (50, 60) verbunden ist, die
ebenfalls an die Einrichtung für die Interpolation mit
kompensierter Bewegung und an die Einrichtung für lineare
Interpolation angeschlossen ist, wobei die Ausgangsschaltung für jeden
Bildpunkt einen Luminanzwert liefert, der aus den
Luminanzwerten abgeleitet ist, die durch die Einrichtung für
Interpolation mit Bewegungskompensation (20) und durch die Einrichtung
für lineare Interpolation (30) interpoliert werden.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet,
daß die Ausgangsschaltung durch einen Mischer (60) gebildet
ist, der die Koeffizienten von einer Schaltung für die Def
inition des Mischungskoeffizienten (50) empfängt, die ihrerseits
an den Ausgang der Kohärenzschaltung (40) angeschlossen ist.
13. Vorrichtung nach irgendeinem der Ansprüche 11 und 12,
dadurch gekennzeichnet, daß die Schaltung für die Analyse der
Kohärenz (40) eine Schaltung für die Erfassung der Fehler des
Bewegungsvektorfeldes (41) enthält, gefolgt von einer
Filterungsschaltung (42), die durch Abtragen und Auffüllen die
abgesonderten Zonen, die als fehlerhaft gekennzeichnet sind,
oder aber die nicht gekennzeichneten Zonen in der erzeugten
Kohärenzmatrix reduziert.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR8904256A FR2645383B1 (fr) | 1989-03-31 | 1989-03-31 | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69016074D1 DE69016074D1 (de) | 1995-03-02 |
DE69016074T2 true DE69016074T2 (de) | 1995-05-24 |
Family
ID=9380260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69016074T Expired - Lifetime DE69016074T2 (de) | 1989-03-31 | 1990-03-23 | Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation. |
Country Status (9)
Country | Link |
---|---|
US (1) | US5057921A (de) |
EP (1) | EP0390660B1 (de) |
JP (1) | JP2831792B2 (de) |
KR (1) | KR900015540A (de) |
AT (1) | ATE117494T1 (de) |
DE (1) | DE69016074T2 (de) |
ES (1) | ES2066161T3 (de) |
FR (1) | FR2645383B1 (de) |
PT (1) | PT93628A (de) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR930009181B1 (ko) * | 1990-12-22 | 1993-09-23 | 삼성전자 주식회사 | 영상신호의 2차원 경사상관 보간방법 및 회로 |
KR930011844B1 (ko) * | 1991-01-22 | 1993-12-21 | 삼성전자 주식회사 | 영상신호의 2차원 내삽에 의한 보간 및 주사선 변환회로 |
DE4111980A1 (de) * | 1991-04-12 | 1992-10-15 | Thomson Brandt Gmbh | Verfahren zur codierung |
EP0595895B1 (de) * | 1991-07-23 | 1997-12-29 | BRITISH TELECOMMUNICATIONS public limited company | Verfahren und vorrichtung zur bildinterpolation von bewegtbildern |
US5400076A (en) * | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
GB2262853B (en) * | 1991-12-20 | 1995-07-19 | Sony Broadcast & Communication | Digital video signal processing |
JP3093499B2 (ja) * | 1992-03-06 | 2000-10-03 | 三菱電機株式会社 | シーンチェンジ検出装置 |
US5309237A (en) * | 1992-03-31 | 1994-05-03 | Siemens Corporate Research, Inc. | Apparatus and method of compensating image-sequences for motion |
US5365280A (en) * | 1992-06-26 | 1994-11-15 | U.S. Philips Corporation | Method and apparatus for discriminating between movie film and non-movie film and generating a picture signal processing mode control signal |
JP3177543B2 (ja) * | 1992-07-22 | 2001-06-18 | トウシバビデオプロダクツ プライベート リミテッド | 映像信号のノイズ低減装置 |
US5642170A (en) * | 1993-10-11 | 1997-06-24 | Thomson Consumer Electronics, S.A. | Method and apparatus for motion compensated interpolation of intermediate fields or frames |
IT1261633B (it) * | 1993-10-26 | 1996-05-23 | Seleco Spa | Metodo per la conversione della frequenza di ripetizione delle trame di un segnale video da 50 hz a 75 hz con compensazione del movimento eapparecchiatura per la implementazione di tale metodo. |
US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
WO1996033571A2 (en) * | 1995-04-11 | 1996-10-24 | Philips Electronics N.V. | Motion-compensated field rate conversion |
GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
AUPN727195A0 (en) * | 1995-12-21 | 1996-01-18 | Canon Kabushiki Kaisha | Motion detection method and apparatus |
AU733460B2 (en) * | 1995-12-21 | 2001-05-17 | Canon Kabushiki Kaisha | Motion detection method and apparatus |
FR2768891B1 (fr) * | 1997-09-19 | 2000-02-04 | Thomson Multimedia Sa | Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement |
US6804294B1 (en) * | 1998-08-11 | 2004-10-12 | Lucent Technologies Inc. | Method and apparatus for video frame selection for improved coding quality at low bit-rates |
CA2279797C (en) * | 1999-08-06 | 2010-01-05 | Demin Wang | A method for temporal interpolation of an image sequence using object-based image analysis |
US7009656B2 (en) | 2000-04-07 | 2006-03-07 | Snell & Wilcox Limited | Video signal processing |
FR2820927B1 (fr) * | 2001-02-15 | 2003-04-11 | Thomson Multimedia Sa | Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement |
EP1557037A1 (de) * | 2002-10-22 | 2005-07-27 | Koninklijke Philips Electronics N.V. | Bildverarbeitungseinheit mit fallback |
US7388603B2 (en) * | 2003-06-10 | 2008-06-17 | Raytheon Company | Method and imaging system with intelligent frame integration |
FR2864878B1 (fr) * | 2004-01-06 | 2006-04-14 | Thomson Licensing Sa | Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede |
JP4810088B2 (ja) * | 2004-12-17 | 2011-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びそのプログラム |
WO2007012659A1 (fr) * | 2005-07-28 | 2007-02-01 | Thomson Licensing | Dispositif de generation d'une image interpolee |
JP4746514B2 (ja) * | 2006-10-27 | 2011-08-10 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
US8687693B2 (en) | 2007-11-30 | 2014-04-01 | Dolby Laboratories Licensing Corporation | Temporal image prediction |
WO2009085205A1 (en) * | 2007-12-20 | 2009-07-09 | Integrated Device Technology, Inc. | Image interpolation with halo reduction |
US8265158B2 (en) * | 2007-12-20 | 2012-09-11 | Qualcomm Incorporated | Motion estimation with an adaptive search range |
US8269885B2 (en) * | 2009-04-03 | 2012-09-18 | Samsung Electronics Co., Ltd. | Fade in/fade-out fallback in frame rate conversion and motion judder cancellation |
US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
JP2012230549A (ja) * | 2011-04-26 | 2012-11-22 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
DE102014112648A1 (de) * | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
US9846929B2 (en) * | 2016-03-24 | 2017-12-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Fast density estimation method for defect inspection application |
DE102017216065A1 (de) | 2017-09-12 | 2019-03-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung |
FR3117248B1 (fr) | 2020-12-09 | 2022-12-02 | Safran Aircraft Engines | Procédé vidéo d’analyse d’une structure mécanique sous charge par amplification de petit déplacement |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4383272A (en) * | 1981-04-13 | 1983-05-10 | Bell Telephone Laboratories, Incorporated | Video signal interpolation using motion estimation |
JPH0644815B2 (ja) * | 1984-04-27 | 1994-06-08 | 日本電気株式会社 | 動物体の動き内挿装置 |
US4663665A (en) * | 1985-01-07 | 1987-05-05 | Nippon Hoso Kyokai | TV system conversion apparatus |
JPS61200789A (ja) * | 1985-03-04 | 1986-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画面上の物体の動きベクトル検出方式 |
US4692801A (en) * | 1985-05-20 | 1987-09-08 | Nippon Hoso Kyokai | Bandwidth compressed transmission system |
SE448125B (sv) * | 1985-05-23 | 1987-01-19 | Context Vision Ab | Anordning for bestemning av graden av konstans hos en egenskap for ett omrade i en i diskreta bildelement uppdelad bild |
US4679086A (en) * | 1986-02-24 | 1987-07-07 | The United States Of America As Represented By The Secretary Of The Air Force | Motion sensitive frame integration |
FR2616248B1 (fr) * | 1987-06-04 | 1992-04-24 | Thomson Grand Public | Procede d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procede |
EP0294961B1 (de) * | 1987-06-09 | 1994-10-12 | Sony Corporation | Auswahl eines Bewegungsvektors in Fernsehbildern |
FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
JP2634632B2 (ja) * | 1988-06-15 | 1997-07-30 | 株式会社日立製作所 | 動き検出回路 |
GB2223141A (en) * | 1988-09-21 | 1990-03-28 | Sony Corp | Slow motion video signal generator with motion compensated interpolation |
-
1989
- 1989-03-31 FR FR8904256A patent/FR2645383B1/fr not_active Expired - Lifetime
-
1990
- 1990-03-21 US US07/496,930 patent/US5057921A/en not_active Expired - Lifetime
- 1990-03-23 DE DE69016074T patent/DE69016074T2/de not_active Expired - Lifetime
- 1990-03-23 EP EP90400809A patent/EP0390660B1/de not_active Expired - Lifetime
- 1990-03-23 ES ES90400809T patent/ES2066161T3/es not_active Expired - Lifetime
- 1990-03-23 AT AT90400809T patent/ATE117494T1/de active
- 1990-03-29 KR KR1019900004218A patent/KR900015540A/ko not_active Application Discontinuation
- 1990-03-30 JP JP2084762A patent/JP2831792B2/ja not_active Expired - Lifetime
- 1990-03-30 PT PT93628A patent/PT93628A/pt not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
DE69016074D1 (de) | 1995-03-02 |
JP2831792B2 (ja) | 1998-12-02 |
US5057921A (en) | 1991-10-15 |
PT93628A (pt) | 1990-11-20 |
JPH031787A (ja) | 1991-01-08 |
EP0390660B1 (de) | 1995-01-18 |
EP0390660A1 (de) | 1990-10-03 |
KR900015540A (ko) | 1990-10-27 |
FR2645383B1 (fr) | 1997-06-27 |
ATE117494T1 (de) | 1995-02-15 |
ES2066161T3 (es) | 1995-03-01 |
FR2645383A1 (fr) | 1990-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69016074T2 (de) | Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation. | |
DE69812882T2 (de) | Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern | |
DE69027479T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69131591T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE69523441T2 (de) | Verfahren zur Segmentierung und Schätzung des Bewegungsfeldes eines sich bewegenden Objektes | |
DE69228736T2 (de) | Vorrichtung zur Detektion und Schätzung der Bewegung und Verfahren dafür | |
DE69031055T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028651T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69021431T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69015419T2 (de) | Umwandlung eines Videosignals auf einen photographischen Film. | |
DE2937284A1 (de) | Fernsehbildbewegungserfassung | |
DE69929127T2 (de) | Bildqualitätsmessung durch die Gegenwart von Blöcken | |
DE69315333T2 (de) | Verfahren zur detektierung und unterdrückung von fehlern in digitalen videosignalen, die einen spezifischen kontrast überschreiten | |
DE69027704T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
EP1585059A2 (de) | Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind | |
DE60209773T2 (de) | Vorrichtung und verfahren zum erkennen von verdeckung | |
DE69031144T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028239T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE4343095A1 (de) | Verfahren und Schaltung zur Störsignalbefreiung von Videosignalen | |
DE69331542T2 (de) | Ein maschinelles verfahren zur kompensation von nichtlinearen bildwandlungen, z.b. zoom und pan, in einem videobildbewegungskompensierten system | |
DE4007851A1 (de) | Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder | |
DE69635259T2 (de) | Verdeckung von Flecken in Videosignalen | |
EP1587319B1 (de) | Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes | |
DE69423708T2 (de) | Detektion von globaler Translation zwischen Bildern |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) |