DE69605936T2

DE69605936T2 - Bewegungskompensierte interpolation

Info

Publication number: DE69605936T2
Application number: DE69605936T
Authority: DE
Inventors: Timothy Borer
Original assignee: Innovision Ltd
Current assignee: Innovision Ltd
Priority date: 1995-09-21
Filing date: 1996-09-19
Publication date: 2000-07-20
Anticipated expiration: 2016-09-20
Also published as: DE69605936D1; EP0852096B1; EP0852096A1; GB2305569A; US6377621B2; ES2143225T3; GB2305569B; WO1997011557A1; CA2231430C; GB9519311D0; JPH11513541A; US20010017889A1; CA2231430A1

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verarbeitung von Video- oder Filmsignalen, die unerwünschte Schaltartefakte bei der Ausführung einer bewegungskompensierten Zeitinterpolation vermeidet. Dies ist zum Beispiel bei der wechselseitigen Umwandlung von Fernsehbildern mit unterschiedlichen Bildgeschwindigkeiten verwendbar. Die Erfindung eignet sich außerdem für Verfahren und Systeme, die eine Bewegungsanpassung statt der Bewegungskompensation verwenden.
In der vorliegenden Patentanmeldung wird der Begriff "Bild" als allgemeiner Begriff benutzt, der je nach dem Zusammenhang "Bild", "Halbbild" und "Vollbild" bedeutet. Film und Fernsehen liefern eine Folge von Standbildern, welche die optische Illusion bewegter Bilder erzeugen. Sofern die Bilder auf geeignete Weise aufgenommen und dargestellt werden, kann diese Illusion sehr überzeugend sein. J. Drewery beschreibt in der Literaturstelle 9 sehr beredt die Natur der Illusion. In modernen Fernsehsystemen ist es oft notwendig. Bildfolgen von Film- oder Fernsehkameras zu verarbeiten. Eine Verarbeitung mit Veränderung der Bildgeschwindigkeit zeigt die illusorische Natur des Fernsehens. Ein typisches Beispiel ist die Umwandlung zwischen europäischen und amerikanischen Fernsehnormen, die Bildgeschwindigkeiten von 50 bzw. 60 Hz aufweisen. Die Umwandlung zwischen diesen Normen erfordert die Interpolation von neuen Bildern, die zeitlich zwischen den Eingabebildern liegen. Viele Texte über Signalverarbeitung beschreiben die Interpolation von Zwischenabtastwerten für ein geeignet abgetastetes Signal unter Anwendung einer linearen Filterung. Leider können lineare Filterverfahren, die auf die Umwandlung von Fernsehnormen angewandt werden, unter Umständen nicht funktionieren. Schnell bewegte Bilder können zu Ungleichförmigkeit, Unschärfe oder Mehrfachbildern führen, wenn Fernsehnormen mit Hilfe der linearen Filterung umgewandelt werden. Dies veranschaulicht die illusorische Natur der Fernsehsysteme. Die Schwierigkeit der Verarbeitung von Fernsehsignalen ist darauf zurückzuführen, daß diese im herkömmlichen Nyquistschen Sinne unterabgetastet sind. Weitere Details sind in der Literaturstelle 23 zu finden.
Viele Leute haben die Vorteile der Bewegungskompensation als einer Methode zur Überwindung der Verarbeitungsprobleme von bewegten Bildern erläutert (Literaturstellen 2, 3, 4, 5, 11, 13, 15, 16, 17, 18, 19, 21). Die Bewegungskompensation versucht, bewegte Bilder auf die gleiche Weise wie das menschliche Sehsystem zu verarbeiten. Das menschliche Sehsystem ist in der Lage, die Augen zu bewegen, um sich bewegende Objekte zu verfolgen, wodurch deren Abbildung auf der Netzhaut stationär gehalten wird. Die Bewegungskompensation versucht, auf die gleiche Weise zu arbeiten. Entsprechende Punkte an bewegten Objekten werden als stationär behandelt, wodurch die auf Unterabtastung zurückzuführenden Probleme vermieden werden (Literaturstellen 3, 25). Dazu wird angenommen, daß das Bild aus sich geradlinig bewegenden starren Objekten besteht (manchmal können etwas weniger restriktive Annahmen gemacht werden). Zur Anwendung der bewegungskompensierten Verarbeitung ist es notwendig, die Bewegung der bewegten Objekte in einem Bild zu verfolgen. Zur Abschätzung der in einer Bildfolge vorhandenen Bewegung sind viele Verfahren verfügbar (Literaturstellen 1, 2, 3, 4, 8, 12, 14, 20, 24).
Es ist gezeigt worden, daß bei geeigneten Eingabebildern die Bewegungskompensation eine sehr lohnende Qualitätsverbesserung verarbeiteter Bilder ergibt. Unter günstigen Bedingungen können die Artefakte der Normenumwandlung mit Hilfe der linearen Filterung. d. h. Ungleichförmigkeit. Unschärfe und Mehrfachbilder, vollständig beseitigt werden. Die Bewegungskompensation kann jedoch nur dann funktionieren, wenn die zugrunde liegenden Annahmen gültig sind. Unter ungünstigen Umständen wird zum Beispiel die Annahme verletzt, daß das Bild aus sich geradlinig bewegenden starren Objekten besteht. Wenn dies geschieht, ist die für die Bewegungskompensation notwendige Bewegungsschätzeinrichtung nicht in der Lage, die Bewegung zuverlässig zu verfolgen, und es können zufällige Bewegungsvektoren erzeugt werden. Wenn die Bewegungsschätzeinrichtung versagt, können die verarbeiteten Bilder subjektiv nicht einwandfreie Schaltartefakte enthalten. Solche Artefakte können erheblich schlimmer sein als die Artefakte der linearen Normenumwandlung, welche die Bewegungskompensation vermeiden soll.
Idealerweise bietet ein bewegungskompensiertes Verarbeitungssystem die vollen Vorteile der Bewegungskompensation an geeigneten Bildern, wobei es ebensogut oder besser arbeitet als die herkömmliche lineare Verarbeitung von ungünstigen Bildern. Um dies zu erreichen, muß das System in Abhängigkeit von der Eignung der Bilder für die bewegungskompensierte Verarbeitung zwischen Interpolationsverfahren umschalten. Das System paßt sich daher so an, daß es zwischen einer bewegungskompensierten und nicht bewegungskompensierten Verarbeitung umschaltet. Ebenso wie bei adaptiven Fernsehsystemen ist ein plötzliches Umschalten zwischen Interpolationsverfahren im allgemeinen nicht ratsam. Ein solches Umschalten kann von sich aus Schaltartefakte erzeugen, wenn die Bilder annähernd gleich gut für bewegungskompensierte oder nicht bewegungskompensierte Verarbeitung geeignet sind. Von einem System, das sich entsprechend der Eignung der Bilder allmählich von bewegungskompensierter auf nicht bewegungskompensierte Verarbeitung umstellt, sagt man, daß es einen eleganten Rückzug antritt. Die nicht bewegungskompensierte Verarbeitungsmethode wird als Rückzugsmodus bezeichnet.
Um ein bewegungskompensiertes System mit elegantem Rückzug zu implementieren, muß man wissen, wann die Bilder für Bewegungskompensation ungeeignet sind. Dies ist davon abhängig, ob die Bewegungsschätzeinrichtung zuverlässige Vektoren erzeugen kann. Daher ist es notwendig, daß die Bewegungsschätzeinrichtung anzeigt, ob die von ihr erzeugten Vektoren zuverlässig sind. R. Thomson liefert in der Literaturstelle 22 eine ausgezeichnete Diskussion der obigen Argumente und beschreibt, wie in einer Bewegungsschätzeinrichtung vom Phasenkorrelationstyp eine Anzeige der Zuverlässigkeit von Bewegungsvektoren durch die relative Höhe der erzeugten Korrelationsmaxima gegeben wird. Es können auch andere Bewegungsschätzeinrichtungen konstruiert werden, um eine Zuverlässigkeitsanzeige der Vektoren bereitzustellen. Zum Beispiel könnte eine Blockabgleich-Bewegungsschätzeinrichtung den Abgleichfehler für den ausgewählten Vektor als Maß der Vektorgüte liefern.
Eine weitere Bedingung für die Bewegungskompensation mit elegantem Rückzug ist ein geeigneter, nicht bewegungskompensierter Rückzugsmodus. Eine offensichtliche Möglichkeit besteht darin, zwischen einem bewegungskompensierten Algorithmus und einem herkömmlichen linearen Filteralgorithmus allmählich überzublenden. Dieses Verfahren hat jedoch eine Reihe von Nachteilen. Wenn die Bilder nicht besonders gut für die Bewegungskompensation geeignet sind, enthalten die Ausgabebilder einen geringen Anteil einer herkömmlichen Interpolation mit den damit verbundenen Artefakten. Die Gegenwart dieser Artefakte, obgleich auf niedrigem Niveau, könnte ausreichen, um den Grund (artefaktfreie Bilder), weshalb die Bewegungskompensation überhaupt ausgeführt wird, zu untergraben. Die lineare Filterung eignet sich auch nicht besonders gut als Rückzugsalgorithmus. Die lineare Filterung arbeitet nur dann einwandfrei, wenn das Bild stationär ist oder sich langsam bewegt. Dieser Fall ist unwahrscheinlich, wenn die Bewegungsschätzeinrichtung die Bewegung nicht zuverlässig verfolgen kann.
Die WO 94/01970 offenbart die Verwendung der Zuverlässigkeit des Bewegungsvektors zum Steuern der Gewichtung von Ausgabepixelwerten, die mit Eingabefelddaten vermischt sind.
Im SMPTE Journal, Bd. 98. Nr. 6. Juni 89, S. 420-424, P. Robert et al.: "Advanced High-Definition 50 to 60 Hz Standards Conversion" (Moderne hochauflösende Umwandlung von 50 auf 60 Hz-Norm), wird ein Video-Interpolationsverfahren offenbart, das einen Rückzugsmodus mit unzuverlässigen Bewegungsvektoren aufweist, wobei anstelle einer komplexeren Form die einfache lineare Interpolation verwendet wird.
Keines der Dokumente offenbart oder schlägt den Rückzugsmodus vor, bei dem die Zeitkoordinate in Abhängigkeit von der Zuverlässigkeit der Bewegungsvektoren modifiziert wird.
Eine Aufgabe der vorliegenden Erfindung besteht darin, einen eleganten Rückzug von Interpolationssystemen zu ermöglichen. Dies wird durch allmähliche Veränderung der zeitlichen Interpolationsphase zwischen einer vollständigen zeitlichen Interpolation und der Auswahl des zeitlich am nächsten liegenden Eingabebildes erreicht, d. h. durch Bildwiederholung, falls die Phase der zeitlichen Interpolation mit dem nächstgelegenen Eingabebild übereinstimmt. Der Modifikationsgrad der zeitlichen Interpolationsphase ist von der Zuverlässigkeit des bei der Interpolation verwendeten Bewegungsvektors abhängig.
Die Erfindung stellt ein Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen bereit, das die folgenden Schritte aufweist: Speichern von Eingabepixelwerten eines Eingabesignals in einem Eingabespeicher, Zuordnen eines Bewegungsvektors zu jedem Satz zu interpolierender Ausgabekoordinaten, Bereitstellen einer Anzeige der Zuverlässigkeit jedes Bewegungsvektors, Modifizieren der Zeitkoordinate jedes Satzes von Ausgabekoordinaten in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors, und Auswahl mindestens eines Pixelwertes aus dem Eingabespeicher in Abhängigkeit von dem Bewegungsvektor und der modifizierten Ausgabe-Zeitkoordinate, wobei ein interpolierter Ausgabe-Pixelwert aus dem mindestens einen Pixelwert bestimmt wird. Wenn daher die Zuverlässigkeit des Vektors gesichert ist, dann stimmt die Interpolationsphase mit derjenigen der Ausgabebildphase überein. Mit abnehmender Zuverlässigkeit des Vektors verschiebt sich die Phase der Interpolation zum zeitlich nächstgelegenen Eingabebild hin. Bei verschwindender oder minimaler spezifizierter Vektorzuverlässigkeit ist die Interpolation einer Bildwiederholung äquivalent.
Der Eingabespeicher kann mehrere Bilder speichern, wobei aus jedem Bild mindestens ein Pixelwert ausgewählt wird, und für jeden Pixelwert wird ein entsprechender Filterkoeffizient aus einem Koeffizientenspeicher ausgewählt, und der Wert des Ausgabepixels wird aus einer gewichteten Summe der mehreren Pixelwerte, multipliziert mit ihren entsprechenden Koeffizienten, bestimmt. Dabei sind die Filterkoeffizienten in einem zweiten Speicher abgelegt.
Die Zeitkoordinaten können durch Verwendung einer Nachschlagetabelle modifiziert werden, deren Übertragungscharakteristik durch die Zuverlässigkeit des Bewegungsvektors bestimmt wird.
Nach einem Aspekt der Erfindung wird jedem Satz von Ausgabekoordinaten ein Nullvektor als Bewegungsvektor zugewiesen, und mit Hilfe eines Bewegungsdetektors wird angezeigt, wie zuverlässig ein Null-Bewegungsvektor für jeden Satz von Ausgabekoordinaten ist.
Die Erfindung stellt außerdem eine Interpolationsvorrichtung für die Verarbeitung von Video- oder Filmsignalen bereit, die aufweist: einen Eingabespeicher zum Speichern von Pixelwerten eines Eingabesignals, eine Einrichtung, die so angepaßt ist, daß sie jedem Satz zu interpolierender Ausgabekoordinaten einen Bewegungsvektor zuweist, eine Einrichtung, die eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors liefert, eine Einrichtung, die so angepaßt ist, daß sie die Zeitkoordinate jedes Ausgabekoordinatensatzes in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors modifiziert, und einen Vektorprozessor, der in Abhängigkeit von der modifizierten Ausgabezeitkoordinate und dem entsprechenden Bewegungsvektor mindestens einen Pixelwert aus dem Eingabespeicher auswählt.
Die Vorrichtung kann mehrere Multiplizierglieder und damit verbundene Koeffizientenspeicher sowie ein Addierglied aufweisen, wobei der Eingabespeicher so angepaßt ist, daß er mehrere Bilder speichert. Der Vektorprozessor wählt mindestens einen Pixelwert aus jedem Bild und für jeden Pixelwert einen entsprechenden Koeffizienten aus, wobei der Ausgabepixelwert aus einer Summe der ausgewählten, mit dem entsprechenden Koeffizienten gewichteten Pixelwerte berechnet wird.
Die Vorrichtung kann ferner einen Bewegungsdetektor aufweisen, wobei der jedem Ausgabekoordinatensatz zugewiesene Bewegungsvektor ein Nullvektor ist und der Bewegungsdetektor eine Anzeige der Zuverlässigkeit eines Null-Bewegungsvektors an die Einrichtung zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes liefert. Als Alternative kann die Vorrichtung eine Bewegungsschätzeinrichtung aufweisen, die jedem Ausgabekoordinatensatz Bewegungsvektoren zuweist und so angepaßt ist, daß sie eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors an die Einrichtung zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes liefert. Die Bewegungsschätzeinrichtung kann eine Einrichtung zum paarweisen Blockvergleich sein, die Zuverlässigkeitsanzeige ist durch den Vergleichsfehler gegeben.
Die Erfindung wird nachstehend ausführlicher und anhand eines Beispiels beschrieben, wobei lediglich auf die beigefügten Zeichnungen Bezug genommen wird. Dabei zeigen:
Fig. 1 die Bewegungsbahn eines sich geradlinig bewegenden Objekts;
Fig. 2 die Bewegungsbahn für die Bildwiederholungs-Interpolation;
Fig. 3 eine Bewegungsbahn, die zwischen den in Fig. 1 und Fig. 2 dargestellten Bahnen liegt;
Fig. 4 den relativen Zeittakt von Eingabe- und Ausgabebildern für die Umwandlung zwischen Signalen mit 50 und 60 Hz;
Fig. 5 ein Schaltschema eines normalen bewegungskompensierten Interpolationssystems:
Fig. 6 ein Schaltschema, das eine erfindungsgemäße Interpolationsvorrichtung darstellt;
Fig. 7 mögliche Übertragungscharakteristiken, die für eine adaptive bewegungskompensierte Interpolation geeignet sind; und
Fig. 8 ein Schaltschema, das eine Interpolationsvorrichtung nach einer zweiten Ausführungsform der Erfindung darstellt.
Die der Bewegungskompensation zugrunde liegende Grundannahme ist, daß das Bild eine Ansammlung von starren Objekten aufweist, die sich geradlinig bewegen. Bei der bewegungskompensierten Verarbeitung werden Bildverarbeitungsoperationen im Bezugssystem des bewegten Objekts statt im Bezugssystem des Bildes ausgeführt. Dadurch werden Verarbeitungsprobleme vermieden, die mit dem zeitlichen Aliasing infolge zeitlicher Unterabtastung der Bilder verbunden sind. Die Bewegungskompensation und die Gründe dafür werden ausführlich in vielen Quellen beschrieben, z. B. in 3, 11 und 25. Unter der Voraussetzung, daß die Annahme der geradlinigen Bewegung erfüllt ist, kann die raumzeitliche Bahn der Objekte durch Geraden im Raum-Zeit-System dargestellt werden, wie in Fig. 1 gezeigt.
Trotz des nachweisbaren Erfolges der bewegungskompensierten Verarbeitung entsprechen bestimmte Bilder (oder Teile von Bildern) nicht den zugrunde liegenden Annahmen. Eine Verletzung dieser Annahmen tritt für teilweise durchsichtige oder durchscheinende Objekte (z. B. Rauch), Veränderungen in Form oder Beleuchtung und Schnitte zwischen verschiedenen Szenen usw. auf. Solche Verletzungen treten in typischen Filmen häufig auf und müssen daher auf akzeptierbare Weise verarbeitet werden. Kleine Abweichungen von den Annahmen werden mit Hilfe der Bewegungskompensation akzeptierbar verarbeitet. Mit größer werdenden Abweichungen wird die bewegungskompensierte Verarbeitung immer weniger akzeptierbar, da es zunehmend schwierig wird, einen repräsentativen Bewegungsvektor zu finden. Bei großen Verletzungen der Annahmen für die Bewegungskompensation versagt die Bewegungsschätzeinrichtung vollständig und erzeugt im hohen Maße zufällige Bewegungsvektoren. Trotzdem ist es immer noch notwendig, verarbeitete Bilder zu erzeugen, selbst wenn die Bewegungsschätzeinrichtung völlig versagt hat. Unter diesen Umständen besteht das vielleicht einzige vernünftige Interpolationsverfahren darin, das Ausgabebild gleich dem (zeitlich) nächsten Eingabebild zu machen. Dies wird in der Sprache des Fernsehens als Bildwiederholung (oder Halbbildwiederholung) und im Sprachgebrauch der Signalverarbeitung als Interpolation nullter Ordnung bezeichnet. Eine Bewegungsbahn für die Bildwiederholung ist in Fig. 2 dargestellt.
Bei Bewegungsvektoren von mittlerer Zuverlässigkeit ist ein Interpolationsverfahren erforderlich, das zwischen den beiden Extremen der vollen Bewegungskompensation und der Bildwiederholung liegt, die in den Fig. 1 und 2 abgebildet sind. Eine Methode dafür ist, eine Bewegungsbahn anzunehmen, die zwischen denjenigen für die beiden Extreme liegt. Dies bildet die Basis der vorliegenden Erfindung. Fig. 3 zeigt eine solche dazwischenliegende Bewegungsbahn.
Um eine dazwischenliegende Bewegungsbahn zu erhalten, wird die Zeit, der ein interpoliertes Ausgabebild entspricht, in Abhängigkeit von der zeitlichen Interpolationsphase und von der Zuverlässigkeit des Bewegungsvektors modifiziert. Die zeitliche Interpolationsphase ist der Zeitpunkt in der Eingabesequenz, zu dem ein Ausgabebild erforderlich ist. Die zeitliche Interpolationsphase läßt sich am bequemsten durch Eingabebildperioden ausdrücken. Betrachten wir beispielsweise die Umwandlung zwischen Fernsehsignalen mit 50 und 60 Bildern pro Sekunde. Das erste Ausgabebild (bei 60 Hz) kann gleichzeitig mit einem Eingabebild (bei 50 Hz), das zweite Ausgabebild in 5/6 des Abstands zwischen den ersten zwei Eingabebildern, das dritte Ausgabebild in 4/6 des Abstands zwischen dem zweiten und dem dritten Eingabebild erforderlich sein, und so weiter. Dies würde eine Folge zeitlicher Interpolationsphasen von 0, 5/6, 4/6, 3/6, 2/6, 1/6, 0 ergeben und 6 Ausgabebilder für jeweils 5 Eingabebilder erzeugen. Dies ist in Fig. 4 dargestellt. Zu beachten ist, daß die Phase jeder zeitlichen Interpolation immer im Bereich von 0 bis 1 liegt. Genaugenommen ist die zeitliche Interpolationsphase der Bruchteil der Ausgabezeit, über die ein Ausgabebild erzeugt wird, ausgedrückt in Perioden des Eingabebildes. Der relative Zeittakt von Eingabe- und Ausgabebildern wird in vielen Arbeiten diskutiert, die sich mit der Änderung der digitalen Abtastgeschwindigkeit befassen, z. B. in Literaturstelle 7.
Für die volle Bewegungskompensation werden Ausgabebilder für Zeitpunkte erzeugt, die der zeitlichen Interpolationsphase entsprechen (siehe Literaturstelle 3). Dies entspricht der geradlinigen Bewegungsbahn von Fig. 1. Für die Bildwiederholung werden Ausgabebilder erzeugt, die dem Zeitpunkt des zeitlich nächstgelegenen Eingabebildes entsprechen, woraus sich die Bewegungsbahn von Fig. 2 ergibt. Dazwischenliegende Bewegungsbahnen können durch Erzeugen von Ausgabebildern erzielt werden, die Zeitpunkten entsprechen, welche zwischen der Zeitinterpolationsphase und dem Zeitpunkt des nächstgelegenen Eingabebildes liegen. Das Ausmaß, in dem der Zeittakt von Ausgabebildern von der Zeitinterpolationsphase zum Zeitpunkt des nächstgelegenen Eingabebildes verschoben wird, ist von der Zuverlässigkeit der von der Bewegungsschätzeinrichtung ausgegebenen Bewegungsvektoren abhängig. Indem die interpolierte Bewegungsbahn kontinuierlich verändert wird, kann ein eleganter Rückzug von der vollen Bewegungskompensation zur Bildwiederholung erreicht werden. Dies ist die Grundlage der Erfindung, die dadurch ein akzeptierbares Interpolationsverfahren für alle Teile des bewegten Bildes erzielen kann, selbst wenn die Bewegungsvektoren unzuverlässig sind. Schaltartefakte, die auf den Wechsel zwischen Interpolationsarten zurückzuführen sind, werden durch ein Kontinuum von Bewegungsbahnen zwischen den beiden Extremen vermieden.
Ein allgemeiner bewegungskompensierter Interpolator ist in Fig. 5 abgebildet. Der Interpolator weist auf: drei Eingänge, einen Strom von Eingabeabtastwerten, die der Folge von abgetasteten Eingabebildern entsprechen, einen Strom von Ausgabekoordinaten und einen Strom von Bewegungsvektoren. Die Ausgabekoordinaten sind die (raumzeitlichen) Koordinaten, für die Werte der Ausgabebildfolge berechnet werden. Sie werden durch Zähl er usw. erzeugt, wie in der Literatur beschrieben, zum Beispiel in den Literaturstellen 3 und 6. Der Eingabestrom von Bewegungsvektoren liefert den mit jeder Ausgabekoordinate verbundenen Bewegungsvektor. In jedem Arbeitszyklus wird dem Interpolator eine neue Ausgabekoordinate übergeben, die (nach einer Verzögerung), den Wert des entsprechenden Ausgabepixels erzeugt. Der Vektorprozessor kombiniert die Ausgabekoordinaten und den entsprechenden Bewegungsvektor, um einen Satz von Eingabeabtastwert-Adressen und Koeffizientenadressen für jede Ausgabekoordinate zu erzeugen (wie in der Literaturstelle 3 beschrieben). Der Ausgabepixelwert wird durch Berechnen einer gewichteten Summe von Eingabepixelwerten erzeugt. Die Abtastwert-Adressen entsprechen dem ganzzahligen Teil der erforderlichen Eingabekoordinate und werden zur Auswahl der entsprechenden Eingabepixelwerte verwendet, die im Eingabespeicher abgelegt sind, und diese werden durch Koeffizienten gewichtet, die aus einem vorher berechneten Satz von Filterkoeffizienten ausgewählt werden, die in einem Festwertspeicher (ROM) abgelegt sind. Die Filterkoeffizienten werden durch den gebrochenen Teil der Eingabekoordinate adressiert, die durch den Vektorprozessor berechnet wird. Der Ausgabewert ist die Summe aller Teilergebnisse, die durch, den Satz von Multipliziergliedern geliefert werden. Der Kürze halber zeigt das Schaltschema nur zwei Multiplizierglieder. In der Praxis wäre diese Zahl wahrscheinlich erheblich größer: eine typische Zahl für einen bewegungskompensierten Interpolator ist 16. Typischerweise wird die Ausgabepixel-Koordinate in Eingabehalbbildern und Eingabebildzeilen gemessen. Die Bewegungsgeschwindigkeit wird in Eingabebildzeilen pro Halbbildperiode gemessen. Die Größe der Filterapertur wird in Halbbildern und Zeilen spezifiziert, eine Apertur von 4 Zeilen entspricht daher 8 Bildzeilen. Da die Eingabepixelwerte durch den ganzzahligen Teil der Eingabekoordinate adressiert werden, wird die Filterapertur auf die nächste ganze Zahl von Halbbildzeilen pro Halbbildperiode bewegungskompensiert. Die verbleibende Subpixel- Bewegungskompensation wird durch Variieren der Filterkoeffizienten erzielt. Weitere Details von nicht bewegungskompensierten und bewegungskompensierten Interpolatoren sind in der Literatur zu finden (z. B. Literaturstellen 3, 4, 6, 19, 21).
Der bewegungskompensierte Interpolator von Fig. 5 kann modifiziert werden, um adaptive Bewegungsbahnen zu erzeugen, die durch die Zuverlässigkeit der Bewegungsvektoren gesteuert werden. Dies ist in Fig. 6 dargestellt. Die bewegungskompensierte Interpolation ist im allgemeinen ein dreidimensionales Interpolationsverfahren. Infolgedessen ist zu bedenken, daß die Ausgabekoordinaten, die dem Interpolator übergeben werden, einen Vektor mit drei Komponenten bilden. Die Komponenten sind die horizontalen, vertikalen und zeitlichen Komponenten der Ausgabekoordinaten. Zur Erzeugung von adaptiven Bewegungsbahnen wird die Zeitinterpolationsphase durch eine Nachschlagetabelle geschickt, deren Übertragungscharakteristik durch die Zuverlässigkeit des Bewegungsvektors gesteuert wird. Die Nachschlagetabelle könnte bequem mit Hilfe eines Festwertspeichers (ROM) implementiert werden. Die Zeitinterpolationsphase ist der gebrochene Teil der zeitlichen Ausgabekoordinate; gewöhnlich ist dies alles, was dem Interpolator übergeben wird. Im allgemeinen können für jede Ausgabekoordinate ein gesonderter entsprechender Bewegungsvektor und eine Angabe der mit diesem Bewegungsvektor verbundenen Vektorzuverlässigkeit existieren. Daher kann sich die Bewegungsbahn Pixel für Pixel anpassen, um für jeden Teil des Bildes die beste Interpolation zu erhalten. Verschiedene Teile des Bildes können daher, selbst wenn sie den gleichen Bewegungsvektor aufweisen, wegen der unterschiedlichen Zuverlässigkeitswerte der Bewegungsvektoren verschiedene Bewegungsbahnen aufweisen. Auf diese Weise läßt sich eine bessere Verarbeitung von Bereichen mit niedriger Vektorzuverlässigkeit erzielen, z. B. von Bereichen mit sichtbarem und verdecktem Hintergrund. Diese Bereiche würden durch Interpolation mit dem zeitlich nächstgelegenen Bild interpoliert, während andere Teile des Bildes voll bewegungskompensiert werden könnten.
Die Übertragungscharakteristik der Nachschlagetabelle (LUT) in Fig. 6 wird durch das Vektorzuverlässigkeitssignal von der Bewegungsschätzeinrichtung gesteuert und bestimmt die interpolierte Bewegungsbahn. Typische Übertragungscharakteristiken für die Nachschlagetabelle sind in Fig. 7 dargestellt. Die der Nachschlagetabelle übergebene ursprüngliche Zeitinterpolationsphase (φin) liegt im Bereich von 0 bis 1. Angenommen, das Zuverlässigkeitssignal ist gleichfalls so skaliert, daß es im Bereich von 0 bis 1 liegt, dann wäre eine geeignete Übertragungscharakteristik für die Nachschlagetabelle durch Gleichung 1 gegeben.
wobei φin die ursprüngliche Zeitinterpolationsphase, r die Zuverlässigkeit des Bewegungsvektors und φout die modifizierte Zeitinterpolationsphase ist. Andere Sätze von Übertragungsfunktionen für die Nachschlagetabelle sind gleichfalls möglich.
Das oben beschriebene Verfahren kann auf bewegungskompensierte Zeitinterpolatoren angewandt werden, die in der Literatur beschrieben werden. Die Verbesserung wird erzielt, indem die Zuverlässigkeit von Bewegungsvektoren, die durch eine externe Bewegungsschätzeinrichtung erzeugt werden, für den Interpolator berücksichtigt wird. Die Erfindung nimmt an, daß eine Bewegungsschätzeinrichtung verfügbar ist, die eine Anzeige der Zuverlässigkeit der Vektoren liefert, die sie erzeugt. Durch Berücksichtigung der Zuverlässigkeit der Bewegungsvektoren können unerwünschte Schaltartefakte vermieden werden, wodurch sich die Bildqualität verbessert. Die Erfindung ermöglicht den stufenlosen Übergang des Interpolationsverfahrens von voller Bewegungskompensation zur Nichtbewegungskompensation. Dies ergibt einen eleganten Rückzug, wenn die Verletzung der Annahmen, welche die Bewegungsschätzung stützen, die Messung eines zuverlässigen Bewegungsvektors durch die Bewegungsschätzeinrichtung verhindert.
Der elegante Rückzug der bewegungskompensierten Interpolation wird durch Modifizieren der Bewegungsbahn bewegter Objekte in den interpolierten Bildern erzielt. Wenn die Zuverlässigkeit von Bewegungsvektoren hoch ist, wird eine geradlinige Bewegungsbahn verwendet, die der vollen Bewegungskompensation entspricht. Wenn die Zuverlässigkeit der Bewegungsvektoren niedrig ist, wird eine stufenweise Bewegungsbahn verwendet, die der nicht bewegungskompensierten Interpolation entspricht. Für eine dazwischenliegende Vektorzuverlässigkeit liegt die verwendete Bewegungsbahn zwischen diesen beiden Extremen. Die Modulation der Bewegungsbahn wird erzielt, indem die Zeitinterpolationsphase, die dem Interpolator zugeführt wird, durch eine Nachschlagetabelle geschickt wird, deren Übertragungscharakteristik durch die Vektorzuverlässigkeit gesteuert wird.
Die vorliegende Erfindung kann auch in Verbindung mit einem Bewegungsdetektor anstelle einer Bewegungsschätzeinrichtung verwendet werden. In der Literaturstelle 10 des Anhangs wird ein bewegungsadaptives System beschrieben, in dem interpolierte Bilder mit Hilfe der Zeitinterpolation durch Anwendung einer zeitlichen Filterapertur zwischen aufeinanderfolgenden Halbbildern erzeugt werden. Um nicht akzeptierbare Artefakte zu vermeiden, wie z. B. eine Doppelbilderzeugung, wenn zwischen aufeinanderfolgenden Halbbildern eine grobe Bewegung auftritt, wird ein Bewegungsdetektor eingesetzt, um die zeitliche Apertur Pixel für Pixel zu ändern.
Ein bewegungsadaptives System kann als ein Bewegungskompensationssystem betrachtet werden, in dem ein einziger Bewegungsvektor (Null) verwendet wird. Die vorliegende Erfindung kann daher in einem bewegungsadaptiven System implementiert werden, wobei der Bewegungsdetektor eine Anzeige der Zuverlässigkeit des Null-Bewegungsvektors liefert. Die Erfindung ist in diesem Falle anwendbar, wenn die Ausgabebildgeschwindigkeit von der Eingabegeschwindigkeit verschieden ist, zum Beispiel bei der Normenumwandlung oder der Wiedergabe in Zeitlupe.
Fig. 8 implementiert die Erfindung in einem bewegungsadaptiven System. Der Ausgabekoordinatenprozessor in Fig. 8 ist im wesentlichen der gleiche wie der Vektorprozessor in den Fig. 5 und 6, mit der Ausnahme, daß kein Eingang für Bewegungsuektoren vorhanden ist, da diese sämtlich mit Null angenommen werden. Die Bewegungsanzeige vom Bewegungsdetektor ersetzt die Vektorzuverlässigkeitsanzeige in Fig. 6.
In dieser Ausführungsform nimmt mit zunehmender Bewegung quer über die Apertur die Zuverlässigkeit des Null-Bewegungsvektors ab, und die Phase der zeitlichen Interpolation verschiebt sich zum zeitlich nächstgelegenen Eingabebild hin. Dieses System ist eine Verbesserung gegenüber früheren bewegungsadaptiven Systemen, da sich die Doppelbilderzeugung verringert und die räumliche Auflösung sich verbessert. Ferner kann die Größe der Koeffizientenspeicher verringert werden. Wenn zusätzlich die zeitliche Apertur mit der Bewegungsänderung variiert wird, dann sind größere Koeffizientenspeicher erforderlich. Die Verwendung von bewegungsadaptiven Systemen bietet eine billige und bequeme Möglichkeit zur Ausführung der Erfindung.
Es sind zwar Ausführungsformen der Erfindung beschrieben worden, die aber nur als Beispiele angeführt wurden, und dem Fachmann werden Modifikationen einfallen, ohne vom Schutzumfang der Erfindung abzuweichen, wie er in den beigefügten Patentansprüchen definiert ist. Zum Beispiel können zur Modifikation der Zeitkoordinate, der Ausgabekoordinaten andere Mittel benutzt werden als eine Nachschlagetabelle, beispielsweise die Verwendung geeigneter logischer Schaltungen. Dieses Verfahren bietet eine effiziente Realisierung einer stückweise linearen Übertragungscharakteristik und könnte in einem anwenderprogrammierbaren oder kundenspezifischen integrierten Universalschaltkreis ausgeführt werden. Die Modifikation der Zeitkoordinate kann auch unter Verwendung einer Ablaufsteuereinheit erreicht werden, die zusätzlich gespeicherte Werte der Vektorzuverlässigkeit (die räumlich und zeitlich benachbarten Pixeln entsprechen) verwenden könnte. In diesem letzteren Falle würde die Modifikation der Zeitphase von der Vektorzuverlässigkeit benachbarter Pixel sowie des aktuellen Pixeis abhängen.

LITERATUR

1. Aggarwal, J.K. & Nandhakumar, N. 1988. On the computation of motion from sequences of images - a review. (Zur Berechnung der Bewegung aus Bildfolgen - eine Übersicht) Proc. IEEE, Bd. 76, S. 917-935, August 1988.
2. Bierling, M., Thoma, R. 1986. Motion compensating field interpolation using a hierarchically structured displacement estimator (Bewegungskompensierende Halbbild- Interpolation unter Verwendung einer hierarchisch strukturierten Verschiebungsschätzeinrichtung). Signal Processing. Bd. 11, Nr. 4, Dezember 1986, S. 387- 404. Elsevier Science publishers.
3. Borer. T.J., 1992. Television Standards Conversion (Umwandlung von Fernsehnormen). Ph.D. Dissertation, Dept. Electronic & Electrical Engineering. University of Surrey, Guildford, Surrey, GU2 5XH, UK. Oktober 1992.
4. Borer. T.J., Hulyer, M. G. & Parker, D. W. 1990. Motion compensated display field rate upconversion(Bewegungskompensierte Umwandlung auf höhere Halbbildgeschwindigkeiten). International Broadcasting Convention. Brighton, England, September 1990. IEE Publication Nr. 327. ISBN 0 85296000.
5. Chiariglione, L., Corgnier. L. & Guglielmo, M. 1986. Pre- and post-processing in a video terminal using motion vectors (Vor- und Nachverarbeitung in einem Videogerät unter Verwendung von Bewegungsvektoren). IBC. Brighton 1986.
6. Clarke C.K.P. 1990. Interpolation. Digital Television (Interpolation, Digitalfernsehen) Hrsg. Sandbank, C. P., John Wiley & Sons Ltd. 1990 ISBN 0-471-92360-5, S. 287-374.
7. Crochiere, R.E. & Rabiner. L. R. 1983. Multirate digital signal processing (Digitale Signalverarbeitung mit mehreren Geschwindigkeiten). Prentice Hall, ISBN 0-13-605162-6.
8. Dubois. E., Konrad, J.. 1990. Review of techniques for motion estimation and motion compensation (Übersicht über Verfahren zur Bewegungsschätzung und Bewegungskompensation). Forth international colloquium on advanced television systems. Ottawa, Canada, Juni 1990.
9. Drewery. J.O.. 1995. TU - The grand illusion (Fernsehen - Die große Illusion). I.E.E. Colloquium on motion reproduction in television. I.E.E Digest No: 1995/093, 3. Mai 1995.
10. Ellis, G. 1995. Motion adaption - the everyday solution to a varispeed disk playback (Bewegungsadaptation - die tägliche Lösung einer Disk-Wiedergabe mit variabler Geschwindigkeit). I.E.E. Colloquiumonmotion reproduction in television. I.E.E Digest No: 1995/093, 3. Mai 1995.
11. Girod. B. & Thoma, R. 1985. Motion compensating field interpolation from interlaced and non-interlaced grids (Bewegungskompensierende Halbbild-Interpolation von verschachtelten und nicht verschachtelten Rastern). 2nd international technical symposium on optical and electro-optical science and engineering: Image processing symposium, Cannes. Dezember 1985.
12. Huahge. T.S,. Tsai, R.Y., 1981. Image sequence analysis: Motion estimation (Bildfolgenanalyse: Bewegungsschätzung). Image sequence analysis. T.S. Huange (Hrsg.). Springer-Verlag, Berlin, Deutschland, 1981, S. 1-18.
13. Marcozzi, E. & Tubaro, S. 1987. Motion compensated interpolation (Bewegungskompensierte Interpolation). SPIE. Bd. 804. Advances in image processing, S. 61- 68.
14. Martinez, D.M. 1987. Model-based motion estimation and its application to restoration and interpolation of motion pictures (Modellgestützte Bewegungsschätzung zur Wiederherstellung und Interpolation von Filmen). RLE Technical Report Nr. 530. Juni 1987. Research Laboratory of Electronics, Massachusetts Institute of Technology, Cambridge. MA 02139 USA.
15. Netravali, A.N., Robbins. J.D. 1979. Motion compensated television coding (Bewegungskompensierte Fernsehcodierung), Teil 1. Beil Syst. Tech. J., Bd. 58. S. 631-670, März 1979.
16. Reuter, T. 1989. Standards conversion using motion compensation (Normenumwandlung mittels Bewegungskompensation). Signal processing 16. 1989, S. 73-82.
17. Robert. P. Lamnabhi. M,. Lhuillier. J. J. 1989. Advanced high definition 50 to 60 Hz standards conversion (Moderne hochauflösende Normenumwandlung von 50 auf 60 Hz). SMPTE Journal, Juni 1989. S. 420-424.
18. Thoma, R. & Bierling. M. 1989. Motion compensated interpolation considering covered and uncovered background (Bewegungskompensierte Interpolation unter Berücksichtigung von bedecktem und unbedecktem Hintergrund).
19. Thomas, G.A.. & Lau. H.Y.K. 1990. Generation of high quality slow-motion replay using motion compensation (Erzeugung einer Zeitlupenwiedergabe von hoher Güte mittels Bewegungskompensation). International Broadcasting Convention, Brighton, England. IEE Publication Nr. 327. ISBN 0 85296000.
20. Thomas. G.A., 1987. Television motion estimation for DATV and other applications (Bewegungsschätzung beim Fernsehen für DATV und andere Anwendungen). BBC Research Department report Nr. 1987/11. September 1987.
21. Thomas, G.A.. 1988. Distorting the time axis: Motion compensated image processing in the studio (Verzerrung der Zeitachse: Bewegungskompensierte Bildverarbeitung im Studio). International Broadcasting Convention, Brighton, England. September 1988. Veröffentlicht von IEE ISBN 0 85296368 B.
22. Thomson, R. 1995. Problems of Estimation and Measurement of Motion in Television (Probleme der Schätzung und Messung von Bewegung beim Fernsehen). I.E.E. Colloquium on motion reproduction in television. I.E.E Digest No: 1995/093. 3. Mai 1995.
23. Tonge, G.J. 1986. Time sampled motion portrayal (Zeitlich abgetastete Bewegungsdarstellung). Proceedings of the second international conference on image processing and its applications. Imperial College of Science and Technology, London, 24.- 26. Juni 1986. organisiert durch I.E.E.. S. 216-219.
24. Vega-riveros. J.F., Jabbour, K. 1986. Review of motion analysis techniques (Übersicht über Bewegungsanalyseverfahren). IEE Proceedings. Bd. 136, Teil I., Nr. 6, Dezember 1989.
25. Watkinson J. 1994. The Art of Digital Video (Digitale Videotechnik) 2. Aufl. S. 238-264. Focal Press. ISBN 0 240 51369.13

Claims

1. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen mit den Schritten; Speichern von Eingabepixelwerten eines Eingabesignals in einem Eingabespeicher, Zuordnen eines Bewegungsvektors zu jedem Satz zu interpolierender Ausgabekoordinaten, Bereitstellen einer Anzeige der Zuverlässigkeit jedes Bewegungsvektors. Modifizieren der Zeitkoordinate jedes Satzes von Ausgabekoordinaten in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors, und Auswahl mindestens eines Pixelwertes aus dem Eingabespeicher in Abhängigkeit von dem Bewegungsvektor und der modifizierten Ausgabe- Zeitkoordinate, wobei ein interpolierter Ausgabe-Pixelwert aus dem mindestens einen Pixelwert bestimmt wird.

2. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach Anspruch 1, wobei der Eingabespeicher mehrere Bilder speichert, mindestens ein Pixelwert aus jedem Bild ausgewählt wird und ein entsprechender Koeffizient aus einem Koeffizientenspeicher für jeden Pixelwert ausgewählt wird, wobei der Wert jedes Ausgabepixels aus einer gewichteten Summe der mehreren Pixelwerte, multipliziert mit ihren entsprechenden Koeffizienten, bestimmt wird.

3. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach Anspruch 1 oder 2, wobei jede Zeitkoordinate unter Verwendung einer Nachschlagetabelle modifiziert wird, deren Übertragungscharakteristik durch die Zuverlässigkeit des entsprechenden Bewegungsvektors bestimmt wird.

4. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach Anspruch 1, 2 oder 3, wobei die zum Modifizieren jeder Zeitkoordinate verwendete Übertragungscharakteristik durch die folgende Gleichung gegeben ist:

5. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen für bewegungskompensierte Interpolation nach einem der Ansprüche 1 bis 4, wobei der jedem Ausgabekoordinatensatz zugeordnete Bewegungsvektor als Nullvektor angenommen wird und ein Bewegungsdetektor benutzt wird, um anzuzeigen, wie zuverlässig ein Null-Bewegungsvektor für jeden Ausgabekoordinatensatz ist.

6. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung, die aufweist: einen Eingabespeicher zum Speichern von Pixelwerten eines Eingabesignals, eine Einrichtung, die so angepaßt ist, daß sie jedem Satz zu interpolierender Ausgabekoordinaten einen Bewegungsvektor zuordnet, eine Einrichtung, die eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors liefert, eine Einrichtung, die so angepaßt ist, daß sie die Zeitkoordinate jedes Ausgabekoordinatensatzes in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors modifiziert, und einen Vektorprozessor, der in Abhängigkeit von der modifizierten Ausgabezeitkoordinate und dem entsprechenden Bewegungsvektor mindestens einen Pixelwert aus dem Eingabespeicher auswählt.

7. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6, die ferner mehrere Multiplizierglieder und damit verbundene Koeffizientenspeicher sowie ein Addierglied aufweist, wobei der Eingabespeicher so angepaßt ist, daß er mehrere Bilder speichert, wobei der Vektorprozessor mindestens einen Pixelwert aus jedem Bild und für jeden Pixelwert einen entsprechenden Koeffizienten auswählt, wobei der Ausgabepixelwert aus einer Summe der ausgewählten, mit dem entsprechenden Koeffizienten gewichteten Pixelwerte berechnet wird.

8. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6 oder 7, die ferner einen Bewegungsdetektor aufweist, wobei der jedem Ausgabekoordinatensatz zugeordnete Bewegungsvektor mit null angenommen wird und der Bewegungsdetektor eine Anzeige der Zuverlässigkeit eines Null-Bewegungsvektors an die Einrichtung liefert, die zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes angepaßt ist.

9. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6 oder 7, die ferner eine Bewegungsschätzeinrichtung aufweist, welche jedem Ausgabekoordinatensatz Bewegungsvektoren zuordnet und so angepaßt ist, daß sie eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors an die Einrichtung liefert, die zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes angepaßt ist.

10. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach Anspruch 9, wobei die Bewegungsschätzeinrichtung ein Einrichtung zum paarweisen Blockvergleich ist und die Zuverlässigkeitsanzeige durch den Vergleichsfehler gegeben wird.

11. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach einem der Ansprüche 6 bis 10, wobei die Einrichtung, die zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes angepaßt ist, eine Nachschlagetabelle einschließt.

12. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach Anspruch 11, wobei die Nachschlagetabelle eine Übertragungscharakteristik aufweist, die durch die folgende Gleichung gegeben ist: