DE69605936T2 - Bewegungskompensierte interpolation - Google Patents
Bewegungskompensierte interpolationInfo
- Publication number
- DE69605936T2 DE69605936T2 DE69605936T DE69605936T DE69605936T2 DE 69605936 T2 DE69605936 T2 DE 69605936T2 DE 69605936 T DE69605936 T DE 69605936T DE 69605936 T DE69605936 T DE 69605936T DE 69605936 T2 DE69605936 T2 DE 69605936T2
- Authority
- DE
- Germany
- Prior art keywords
- motion
- output
- interpolation
- motion vector
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims description 189
- 239000013598 vector Substances 0.000 claims description 91
- 238000012545 processing Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012300 Sequence Analysis Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 244000208734 Pisonia aculeata Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
- Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verarbeitung von Video- oder Filmsignalen, die unerwünschte Schaltartefakte bei der Ausführung einer bewegungskompensierten Zeitinterpolation vermeidet. Dies ist zum Beispiel bei der wechselseitigen Umwandlung von Fernsehbildern mit unterschiedlichen Bildgeschwindigkeiten verwendbar. Die Erfindung eignet sich außerdem für Verfahren und Systeme, die eine Bewegungsanpassung statt der Bewegungskompensation verwenden.
- In der vorliegenden Patentanmeldung wird der Begriff "Bild" als allgemeiner Begriff benutzt, der je nach dem Zusammenhang "Bild", "Halbbild" und "Vollbild" bedeutet. Film und Fernsehen liefern eine Folge von Standbildern, welche die optische Illusion bewegter Bilder erzeugen. Sofern die Bilder auf geeignete Weise aufgenommen und dargestellt werden, kann diese Illusion sehr überzeugend sein. J. Drewery beschreibt in der Literaturstelle 9 sehr beredt die Natur der Illusion. In modernen Fernsehsystemen ist es oft notwendig. Bildfolgen von Film- oder Fernsehkameras zu verarbeiten. Eine Verarbeitung mit Veränderung der Bildgeschwindigkeit zeigt die illusorische Natur des Fernsehens. Ein typisches Beispiel ist die Umwandlung zwischen europäischen und amerikanischen Fernsehnormen, die Bildgeschwindigkeiten von 50 bzw. 60 Hz aufweisen. Die Umwandlung zwischen diesen Normen erfordert die Interpolation von neuen Bildern, die zeitlich zwischen den Eingabebildern liegen. Viele Texte über Signalverarbeitung beschreiben die Interpolation von Zwischenabtastwerten für ein geeignet abgetastetes Signal unter Anwendung einer linearen Filterung. Leider können lineare Filterverfahren, die auf die Umwandlung von Fernsehnormen angewandt werden, unter Umständen nicht funktionieren. Schnell bewegte Bilder können zu Ungleichförmigkeit, Unschärfe oder Mehrfachbildern führen, wenn Fernsehnormen mit Hilfe der linearen Filterung umgewandelt werden. Dies veranschaulicht die illusorische Natur der Fernsehsysteme. Die Schwierigkeit der Verarbeitung von Fernsehsignalen ist darauf zurückzuführen, daß diese im herkömmlichen Nyquistschen Sinne unterabgetastet sind. Weitere Details sind in der Literaturstelle 23 zu finden.
- Viele Leute haben die Vorteile der Bewegungskompensation als einer Methode zur Überwindung der Verarbeitungsprobleme von bewegten Bildern erläutert (Literaturstellen 2, 3, 4, 5, 11, 13, 15, 16, 17, 18, 19, 21). Die Bewegungskompensation versucht, bewegte Bilder auf die gleiche Weise wie das menschliche Sehsystem zu verarbeiten. Das menschliche Sehsystem ist in der Lage, die Augen zu bewegen, um sich bewegende Objekte zu verfolgen, wodurch deren Abbildung auf der Netzhaut stationär gehalten wird. Die Bewegungskompensation versucht, auf die gleiche Weise zu arbeiten. Entsprechende Punkte an bewegten Objekten werden als stationär behandelt, wodurch die auf Unterabtastung zurückzuführenden Probleme vermieden werden (Literaturstellen 3, 25). Dazu wird angenommen, daß das Bild aus sich geradlinig bewegenden starren Objekten besteht (manchmal können etwas weniger restriktive Annahmen gemacht werden). Zur Anwendung der bewegungskompensierten Verarbeitung ist es notwendig, die Bewegung der bewegten Objekte in einem Bild zu verfolgen. Zur Abschätzung der in einer Bildfolge vorhandenen Bewegung sind viele Verfahren verfügbar (Literaturstellen 1, 2, 3, 4, 8, 12, 14, 20, 24).
- Es ist gezeigt worden, daß bei geeigneten Eingabebildern die Bewegungskompensation eine sehr lohnende Qualitätsverbesserung verarbeiteter Bilder ergibt. Unter günstigen Bedingungen können die Artefakte der Normenumwandlung mit Hilfe der linearen Filterung. d. h. Ungleichförmigkeit. Unschärfe und Mehrfachbilder, vollständig beseitigt werden. Die Bewegungskompensation kann jedoch nur dann funktionieren, wenn die zugrunde liegenden Annahmen gültig sind. Unter ungünstigen Umständen wird zum Beispiel die Annahme verletzt, daß das Bild aus sich geradlinig bewegenden starren Objekten besteht. Wenn dies geschieht, ist die für die Bewegungskompensation notwendige Bewegungsschätzeinrichtung nicht in der Lage, die Bewegung zuverlässig zu verfolgen, und es können zufällige Bewegungsvektoren erzeugt werden. Wenn die Bewegungsschätzeinrichtung versagt, können die verarbeiteten Bilder subjektiv nicht einwandfreie Schaltartefakte enthalten. Solche Artefakte können erheblich schlimmer sein als die Artefakte der linearen Normenumwandlung, welche die Bewegungskompensation vermeiden soll.
- Idealerweise bietet ein bewegungskompensiertes Verarbeitungssystem die vollen Vorteile der Bewegungskompensation an geeigneten Bildern, wobei es ebensogut oder besser arbeitet als die herkömmliche lineare Verarbeitung von ungünstigen Bildern. Um dies zu erreichen, muß das System in Abhängigkeit von der Eignung der Bilder für die bewegungskompensierte Verarbeitung zwischen Interpolationsverfahren umschalten. Das System paßt sich daher so an, daß es zwischen einer bewegungskompensierten und nicht bewegungskompensierten Verarbeitung umschaltet. Ebenso wie bei adaptiven Fernsehsystemen ist ein plötzliches Umschalten zwischen Interpolationsverfahren im allgemeinen nicht ratsam. Ein solches Umschalten kann von sich aus Schaltartefakte erzeugen, wenn die Bilder annähernd gleich gut für bewegungskompensierte oder nicht bewegungskompensierte Verarbeitung geeignet sind. Von einem System, das sich entsprechend der Eignung der Bilder allmählich von bewegungskompensierter auf nicht bewegungskompensierte Verarbeitung umstellt, sagt man, daß es einen eleganten Rückzug antritt. Die nicht bewegungskompensierte Verarbeitungsmethode wird als Rückzugsmodus bezeichnet.
- Um ein bewegungskompensiertes System mit elegantem Rückzug zu implementieren, muß man wissen, wann die Bilder für Bewegungskompensation ungeeignet sind. Dies ist davon abhängig, ob die Bewegungsschätzeinrichtung zuverlässige Vektoren erzeugen kann. Daher ist es notwendig, daß die Bewegungsschätzeinrichtung anzeigt, ob die von ihr erzeugten Vektoren zuverlässig sind. R. Thomson liefert in der Literaturstelle 22 eine ausgezeichnete Diskussion der obigen Argumente und beschreibt, wie in einer Bewegungsschätzeinrichtung vom Phasenkorrelationstyp eine Anzeige der Zuverlässigkeit von Bewegungsvektoren durch die relative Höhe der erzeugten Korrelationsmaxima gegeben wird. Es können auch andere Bewegungsschätzeinrichtungen konstruiert werden, um eine Zuverlässigkeitsanzeige der Vektoren bereitzustellen. Zum Beispiel könnte eine Blockabgleich-Bewegungsschätzeinrichtung den Abgleichfehler für den ausgewählten Vektor als Maß der Vektorgüte liefern.
- Eine weitere Bedingung für die Bewegungskompensation mit elegantem Rückzug ist ein geeigneter, nicht bewegungskompensierter Rückzugsmodus. Eine offensichtliche Möglichkeit besteht darin, zwischen einem bewegungskompensierten Algorithmus und einem herkömmlichen linearen Filteralgorithmus allmählich überzublenden. Dieses Verfahren hat jedoch eine Reihe von Nachteilen. Wenn die Bilder nicht besonders gut für die Bewegungskompensation geeignet sind, enthalten die Ausgabebilder einen geringen Anteil einer herkömmlichen Interpolation mit den damit verbundenen Artefakten. Die Gegenwart dieser Artefakte, obgleich auf niedrigem Niveau, könnte ausreichen, um den Grund (artefaktfreie Bilder), weshalb die Bewegungskompensation überhaupt ausgeführt wird, zu untergraben. Die lineare Filterung eignet sich auch nicht besonders gut als Rückzugsalgorithmus. Die lineare Filterung arbeitet nur dann einwandfrei, wenn das Bild stationär ist oder sich langsam bewegt. Dieser Fall ist unwahrscheinlich, wenn die Bewegungsschätzeinrichtung die Bewegung nicht zuverlässig verfolgen kann.
- Die WO 94/01970 offenbart die Verwendung der Zuverlässigkeit des Bewegungsvektors zum Steuern der Gewichtung von Ausgabepixelwerten, die mit Eingabefelddaten vermischt sind.
- Im SMPTE Journal, Bd. 98. Nr. 6. Juni 89, S. 420-424, P. Robert et al.: "Advanced High-Definition 50 to 60 Hz Standards Conversion" (Moderne hochauflösende Umwandlung von 50 auf 60 Hz-Norm), wird ein Video-Interpolationsverfahren offenbart, das einen Rückzugsmodus mit unzuverlässigen Bewegungsvektoren aufweist, wobei anstelle einer komplexeren Form die einfache lineare Interpolation verwendet wird.
- Keines der Dokumente offenbart oder schlägt den Rückzugsmodus vor, bei dem die Zeitkoordinate in Abhängigkeit von der Zuverlässigkeit der Bewegungsvektoren modifiziert wird.
- Eine Aufgabe der vorliegenden Erfindung besteht darin, einen eleganten Rückzug von Interpolationssystemen zu ermöglichen. Dies wird durch allmähliche Veränderung der zeitlichen Interpolationsphase zwischen einer vollständigen zeitlichen Interpolation und der Auswahl des zeitlich am nächsten liegenden Eingabebildes erreicht, d. h. durch Bildwiederholung, falls die Phase der zeitlichen Interpolation mit dem nächstgelegenen Eingabebild übereinstimmt. Der Modifikationsgrad der zeitlichen Interpolationsphase ist von der Zuverlässigkeit des bei der Interpolation verwendeten Bewegungsvektors abhängig.
- Die Erfindung stellt ein Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen bereit, das die folgenden Schritte aufweist: Speichern von Eingabepixelwerten eines Eingabesignals in einem Eingabespeicher, Zuordnen eines Bewegungsvektors zu jedem Satz zu interpolierender Ausgabekoordinaten, Bereitstellen einer Anzeige der Zuverlässigkeit jedes Bewegungsvektors, Modifizieren der Zeitkoordinate jedes Satzes von Ausgabekoordinaten in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors, und Auswahl mindestens eines Pixelwertes aus dem Eingabespeicher in Abhängigkeit von dem Bewegungsvektor und der modifizierten Ausgabe-Zeitkoordinate, wobei ein interpolierter Ausgabe-Pixelwert aus dem mindestens einen Pixelwert bestimmt wird. Wenn daher die Zuverlässigkeit des Vektors gesichert ist, dann stimmt die Interpolationsphase mit derjenigen der Ausgabebildphase überein. Mit abnehmender Zuverlässigkeit des Vektors verschiebt sich die Phase der Interpolation zum zeitlich nächstgelegenen Eingabebild hin. Bei verschwindender oder minimaler spezifizierter Vektorzuverlässigkeit ist die Interpolation einer Bildwiederholung äquivalent.
- Der Eingabespeicher kann mehrere Bilder speichern, wobei aus jedem Bild mindestens ein Pixelwert ausgewählt wird, und für jeden Pixelwert wird ein entsprechender Filterkoeffizient aus einem Koeffizientenspeicher ausgewählt, und der Wert des Ausgabepixels wird aus einer gewichteten Summe der mehreren Pixelwerte, multipliziert mit ihren entsprechenden Koeffizienten, bestimmt. Dabei sind die Filterkoeffizienten in einem zweiten Speicher abgelegt.
- Die Zeitkoordinaten können durch Verwendung einer Nachschlagetabelle modifiziert werden, deren Übertragungscharakteristik durch die Zuverlässigkeit des Bewegungsvektors bestimmt wird.
- Nach einem Aspekt der Erfindung wird jedem Satz von Ausgabekoordinaten ein Nullvektor als Bewegungsvektor zugewiesen, und mit Hilfe eines Bewegungsdetektors wird angezeigt, wie zuverlässig ein Null-Bewegungsvektor für jeden Satz von Ausgabekoordinaten ist.
- Die Erfindung stellt außerdem eine Interpolationsvorrichtung für die Verarbeitung von Video- oder Filmsignalen bereit, die aufweist: einen Eingabespeicher zum Speichern von Pixelwerten eines Eingabesignals, eine Einrichtung, die so angepaßt ist, daß sie jedem Satz zu interpolierender Ausgabekoordinaten einen Bewegungsvektor zuweist, eine Einrichtung, die eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors liefert, eine Einrichtung, die so angepaßt ist, daß sie die Zeitkoordinate jedes Ausgabekoordinatensatzes in Abhängigkeit von der Zuverlässigkeit des entsprechenden Bewegungsvektors modifiziert, und einen Vektorprozessor, der in Abhängigkeit von der modifizierten Ausgabezeitkoordinate und dem entsprechenden Bewegungsvektor mindestens einen Pixelwert aus dem Eingabespeicher auswählt.
- Die Vorrichtung kann mehrere Multiplizierglieder und damit verbundene Koeffizientenspeicher sowie ein Addierglied aufweisen, wobei der Eingabespeicher so angepaßt ist, daß er mehrere Bilder speichert. Der Vektorprozessor wählt mindestens einen Pixelwert aus jedem Bild und für jeden Pixelwert einen entsprechenden Koeffizienten aus, wobei der Ausgabepixelwert aus einer Summe der ausgewählten, mit dem entsprechenden Koeffizienten gewichteten Pixelwerte berechnet wird.
- Die Vorrichtung kann ferner einen Bewegungsdetektor aufweisen, wobei der jedem Ausgabekoordinatensatz zugewiesene Bewegungsvektor ein Nullvektor ist und der Bewegungsdetektor eine Anzeige der Zuverlässigkeit eines Null-Bewegungsvektors an die Einrichtung zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes liefert. Als Alternative kann die Vorrichtung eine Bewegungsschätzeinrichtung aufweisen, die jedem Ausgabekoordinatensatz Bewegungsvektoren zuweist und so angepaßt ist, daß sie eine Anzeige der Zuverlässigkeit jedes Bewegungsvektors an die Einrichtung zur Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes liefert. Die Bewegungsschätzeinrichtung kann eine Einrichtung zum paarweisen Blockvergleich sein, die Zuverlässigkeitsanzeige ist durch den Vergleichsfehler gegeben.
- Die Erfindung wird nachstehend ausführlicher und anhand eines Beispiels beschrieben, wobei lediglich auf die beigefügten Zeichnungen Bezug genommen wird. Dabei zeigen:
- Fig. 1 die Bewegungsbahn eines sich geradlinig bewegenden Objekts;
- Fig. 2 die Bewegungsbahn für die Bildwiederholungs-Interpolation;
- Fig. 3 eine Bewegungsbahn, die zwischen den in Fig. 1 und Fig. 2 dargestellten Bahnen liegt;
- Fig. 4 den relativen Zeittakt von Eingabe- und Ausgabebildern für die Umwandlung zwischen Signalen mit 50 und 60 Hz;
- Fig. 5 ein Schaltschema eines normalen bewegungskompensierten Interpolationssystems:
- Fig. 6 ein Schaltschema, das eine erfindungsgemäße Interpolationsvorrichtung darstellt;
- Fig. 7 mögliche Übertragungscharakteristiken, die für eine adaptive bewegungskompensierte Interpolation geeignet sind; und
- Fig. 8 ein Schaltschema, das eine Interpolationsvorrichtung nach einer zweiten Ausführungsform der Erfindung darstellt.
- Die der Bewegungskompensation zugrunde liegende Grundannahme ist, daß das Bild eine Ansammlung von starren Objekten aufweist, die sich geradlinig bewegen. Bei der bewegungskompensierten Verarbeitung werden Bildverarbeitungsoperationen im Bezugssystem des bewegten Objekts statt im Bezugssystem des Bildes ausgeführt. Dadurch werden Verarbeitungsprobleme vermieden, die mit dem zeitlichen Aliasing infolge zeitlicher Unterabtastung der Bilder verbunden sind. Die Bewegungskompensation und die Gründe dafür werden ausführlich in vielen Quellen beschrieben, z. B. in 3, 11 und 25. Unter der Voraussetzung, daß die Annahme der geradlinigen Bewegung erfüllt ist, kann die raumzeitliche Bahn der Objekte durch Geraden im Raum-Zeit-System dargestellt werden, wie in Fig. 1 gezeigt.
- Trotz des nachweisbaren Erfolges der bewegungskompensierten Verarbeitung entsprechen bestimmte Bilder (oder Teile von Bildern) nicht den zugrunde liegenden Annahmen. Eine Verletzung dieser Annahmen tritt für teilweise durchsichtige oder durchscheinende Objekte (z. B. Rauch), Veränderungen in Form oder Beleuchtung und Schnitte zwischen verschiedenen Szenen usw. auf. Solche Verletzungen treten in typischen Filmen häufig auf und müssen daher auf akzeptierbare Weise verarbeitet werden. Kleine Abweichungen von den Annahmen werden mit Hilfe der Bewegungskompensation akzeptierbar verarbeitet. Mit größer werdenden Abweichungen wird die bewegungskompensierte Verarbeitung immer weniger akzeptierbar, da es zunehmend schwierig wird, einen repräsentativen Bewegungsvektor zu finden. Bei großen Verletzungen der Annahmen für die Bewegungskompensation versagt die Bewegungsschätzeinrichtung vollständig und erzeugt im hohen Maße zufällige Bewegungsvektoren. Trotzdem ist es immer noch notwendig, verarbeitete Bilder zu erzeugen, selbst wenn die Bewegungsschätzeinrichtung völlig versagt hat. Unter diesen Umständen besteht das vielleicht einzige vernünftige Interpolationsverfahren darin, das Ausgabebild gleich dem (zeitlich) nächsten Eingabebild zu machen. Dies wird in der Sprache des Fernsehens als Bildwiederholung (oder Halbbildwiederholung) und im Sprachgebrauch der Signalverarbeitung als Interpolation nullter Ordnung bezeichnet. Eine Bewegungsbahn für die Bildwiederholung ist in Fig. 2 dargestellt.
- Bei Bewegungsvektoren von mittlerer Zuverlässigkeit ist ein Interpolationsverfahren erforderlich, das zwischen den beiden Extremen der vollen Bewegungskompensation und der Bildwiederholung liegt, die in den Fig. 1 und 2 abgebildet sind. Eine Methode dafür ist, eine Bewegungsbahn anzunehmen, die zwischen denjenigen für die beiden Extreme liegt. Dies bildet die Basis der vorliegenden Erfindung. Fig. 3 zeigt eine solche dazwischenliegende Bewegungsbahn.
- Um eine dazwischenliegende Bewegungsbahn zu erhalten, wird die Zeit, der ein interpoliertes Ausgabebild entspricht, in Abhängigkeit von der zeitlichen Interpolationsphase und von der Zuverlässigkeit des Bewegungsvektors modifiziert. Die zeitliche Interpolationsphase ist der Zeitpunkt in der Eingabesequenz, zu dem ein Ausgabebild erforderlich ist. Die zeitliche Interpolationsphase läßt sich am bequemsten durch Eingabebildperioden ausdrücken. Betrachten wir beispielsweise die Umwandlung zwischen Fernsehsignalen mit 50 und 60 Bildern pro Sekunde. Das erste Ausgabebild (bei 60 Hz) kann gleichzeitig mit einem Eingabebild (bei 50 Hz), das zweite Ausgabebild in 5/6 des Abstands zwischen den ersten zwei Eingabebildern, das dritte Ausgabebild in 4/6 des Abstands zwischen dem zweiten und dem dritten Eingabebild erforderlich sein, und so weiter. Dies würde eine Folge zeitlicher Interpolationsphasen von 0, 5/6, 4/6, 3/6, 2/6, 1/6, 0 ergeben und 6 Ausgabebilder für jeweils 5 Eingabebilder erzeugen. Dies ist in Fig. 4 dargestellt. Zu beachten ist, daß die Phase jeder zeitlichen Interpolation immer im Bereich von 0 bis 1 liegt. Genaugenommen ist die zeitliche Interpolationsphase der Bruchteil der Ausgabezeit, über die ein Ausgabebild erzeugt wird, ausgedrückt in Perioden des Eingabebildes. Der relative Zeittakt von Eingabe- und Ausgabebildern wird in vielen Arbeiten diskutiert, die sich mit der Änderung der digitalen Abtastgeschwindigkeit befassen, z. B. in Literaturstelle 7.
- Für die volle Bewegungskompensation werden Ausgabebilder für Zeitpunkte erzeugt, die der zeitlichen Interpolationsphase entsprechen (siehe Literaturstelle 3). Dies entspricht der geradlinigen Bewegungsbahn von Fig. 1. Für die Bildwiederholung werden Ausgabebilder erzeugt, die dem Zeitpunkt des zeitlich nächstgelegenen Eingabebildes entsprechen, woraus sich die Bewegungsbahn von Fig. 2 ergibt. Dazwischenliegende Bewegungsbahnen können durch Erzeugen von Ausgabebildern erzielt werden, die Zeitpunkten entsprechen, welche zwischen der Zeitinterpolationsphase und dem Zeitpunkt des nächstgelegenen Eingabebildes liegen. Das Ausmaß, in dem der Zeittakt von Ausgabebildern von der Zeitinterpolationsphase zum Zeitpunkt des nächstgelegenen Eingabebildes verschoben wird, ist von der Zuverlässigkeit der von der Bewegungsschätzeinrichtung ausgegebenen Bewegungsvektoren abhängig. Indem die interpolierte Bewegungsbahn kontinuierlich verändert wird, kann ein eleganter Rückzug von der vollen Bewegungskompensation zur Bildwiederholung erreicht werden. Dies ist die Grundlage der Erfindung, die dadurch ein akzeptierbares Interpolationsverfahren für alle Teile des bewegten Bildes erzielen kann, selbst wenn die Bewegungsvektoren unzuverlässig sind. Schaltartefakte, die auf den Wechsel zwischen Interpolationsarten zurückzuführen sind, werden durch ein Kontinuum von Bewegungsbahnen zwischen den beiden Extremen vermieden.
- Ein allgemeiner bewegungskompensierter Interpolator ist in Fig. 5 abgebildet. Der Interpolator weist auf: drei Eingänge, einen Strom von Eingabeabtastwerten, die der Folge von abgetasteten Eingabebildern entsprechen, einen Strom von Ausgabekoordinaten und einen Strom von Bewegungsvektoren. Die Ausgabekoordinaten sind die (raumzeitlichen) Koordinaten, für die Werte der Ausgabebildfolge berechnet werden. Sie werden durch Zähl er usw. erzeugt, wie in der Literatur beschrieben, zum Beispiel in den Literaturstellen 3 und 6. Der Eingabestrom von Bewegungsvektoren liefert den mit jeder Ausgabekoordinate verbundenen Bewegungsvektor. In jedem Arbeitszyklus wird dem Interpolator eine neue Ausgabekoordinate übergeben, die (nach einer Verzögerung), den Wert des entsprechenden Ausgabepixels erzeugt. Der Vektorprozessor kombiniert die Ausgabekoordinaten und den entsprechenden Bewegungsvektor, um einen Satz von Eingabeabtastwert-Adressen und Koeffizientenadressen für jede Ausgabekoordinate zu erzeugen (wie in der Literaturstelle 3 beschrieben). Der Ausgabepixelwert wird durch Berechnen einer gewichteten Summe von Eingabepixelwerten erzeugt. Die Abtastwert-Adressen entsprechen dem ganzzahligen Teil der erforderlichen Eingabekoordinate und werden zur Auswahl der entsprechenden Eingabepixelwerte verwendet, die im Eingabespeicher abgelegt sind, und diese werden durch Koeffizienten gewichtet, die aus einem vorher berechneten Satz von Filterkoeffizienten ausgewählt werden, die in einem Festwertspeicher (ROM) abgelegt sind. Die Filterkoeffizienten werden durch den gebrochenen Teil der Eingabekoordinate adressiert, die durch den Vektorprozessor berechnet wird. Der Ausgabewert ist die Summe aller Teilergebnisse, die durch, den Satz von Multipliziergliedern geliefert werden. Der Kürze halber zeigt das Schaltschema nur zwei Multiplizierglieder. In der Praxis wäre diese Zahl wahrscheinlich erheblich größer: eine typische Zahl für einen bewegungskompensierten Interpolator ist 16. Typischerweise wird die Ausgabepixel-Koordinate in Eingabehalbbildern und Eingabebildzeilen gemessen. Die Bewegungsgeschwindigkeit wird in Eingabebildzeilen pro Halbbildperiode gemessen. Die Größe der Filterapertur wird in Halbbildern und Zeilen spezifiziert, eine Apertur von 4 Zeilen entspricht daher 8 Bildzeilen. Da die Eingabepixelwerte durch den ganzzahligen Teil der Eingabekoordinate adressiert werden, wird die Filterapertur auf die nächste ganze Zahl von Halbbildzeilen pro Halbbildperiode bewegungskompensiert. Die verbleibende Subpixel- Bewegungskompensation wird durch Variieren der Filterkoeffizienten erzielt. Weitere Details von nicht bewegungskompensierten und bewegungskompensierten Interpolatoren sind in der Literatur zu finden (z. B. Literaturstellen 3, 4, 6, 19, 21).
- Der bewegungskompensierte Interpolator von Fig. 5 kann modifiziert werden, um adaptive Bewegungsbahnen zu erzeugen, die durch die Zuverlässigkeit der Bewegungsvektoren gesteuert werden. Dies ist in Fig. 6 dargestellt. Die bewegungskompensierte Interpolation ist im allgemeinen ein dreidimensionales Interpolationsverfahren. Infolgedessen ist zu bedenken, daß die Ausgabekoordinaten, die dem Interpolator übergeben werden, einen Vektor mit drei Komponenten bilden. Die Komponenten sind die horizontalen, vertikalen und zeitlichen Komponenten der Ausgabekoordinaten. Zur Erzeugung von adaptiven Bewegungsbahnen wird die Zeitinterpolationsphase durch eine Nachschlagetabelle geschickt, deren Übertragungscharakteristik durch die Zuverlässigkeit des Bewegungsvektors gesteuert wird. Die Nachschlagetabelle könnte bequem mit Hilfe eines Festwertspeichers (ROM) implementiert werden. Die Zeitinterpolationsphase ist der gebrochene Teil der zeitlichen Ausgabekoordinate; gewöhnlich ist dies alles, was dem Interpolator übergeben wird. Im allgemeinen können für jede Ausgabekoordinate ein gesonderter entsprechender Bewegungsvektor und eine Angabe der mit diesem Bewegungsvektor verbundenen Vektorzuverlässigkeit existieren. Daher kann sich die Bewegungsbahn Pixel für Pixel anpassen, um für jeden Teil des Bildes die beste Interpolation zu erhalten. Verschiedene Teile des Bildes können daher, selbst wenn sie den gleichen Bewegungsvektor aufweisen, wegen der unterschiedlichen Zuverlässigkeitswerte der Bewegungsvektoren verschiedene Bewegungsbahnen aufweisen. Auf diese Weise läßt sich eine bessere Verarbeitung von Bereichen mit niedriger Vektorzuverlässigkeit erzielen, z. B. von Bereichen mit sichtbarem und verdecktem Hintergrund. Diese Bereiche würden durch Interpolation mit dem zeitlich nächstgelegenen Bild interpoliert, während andere Teile des Bildes voll bewegungskompensiert werden könnten.
- Die Übertragungscharakteristik der Nachschlagetabelle (LUT) in Fig. 6 wird durch das Vektorzuverlässigkeitssignal von der Bewegungsschätzeinrichtung gesteuert und bestimmt die interpolierte Bewegungsbahn. Typische Übertragungscharakteristiken für die Nachschlagetabelle sind in Fig. 7 dargestellt. Die der Nachschlagetabelle übergebene ursprüngliche Zeitinterpolationsphase (φin) liegt im Bereich von 0 bis 1. Angenommen, das Zuverlässigkeitssignal ist gleichfalls so skaliert, daß es im Bereich von 0 bis 1 liegt, dann wäre eine geeignete Übertragungscharakteristik für die Nachschlagetabelle durch Gleichung 1 gegeben.
- wobei φin die ursprüngliche Zeitinterpolationsphase, r die Zuverlässigkeit des Bewegungsvektors und φout die modifizierte Zeitinterpolationsphase ist. Andere Sätze von Übertragungsfunktionen für die Nachschlagetabelle sind gleichfalls möglich.
- Das oben beschriebene Verfahren kann auf bewegungskompensierte Zeitinterpolatoren angewandt werden, die in der Literatur beschrieben werden. Die Verbesserung wird erzielt, indem die Zuverlässigkeit von Bewegungsvektoren, die durch eine externe Bewegungsschätzeinrichtung erzeugt werden, für den Interpolator berücksichtigt wird. Die Erfindung nimmt an, daß eine Bewegungsschätzeinrichtung verfügbar ist, die eine Anzeige der Zuverlässigkeit der Vektoren liefert, die sie erzeugt. Durch Berücksichtigung der Zuverlässigkeit der Bewegungsvektoren können unerwünschte Schaltartefakte vermieden werden, wodurch sich die Bildqualität verbessert. Die Erfindung ermöglicht den stufenlosen Übergang des Interpolationsverfahrens von voller Bewegungskompensation zur Nichtbewegungskompensation. Dies ergibt einen eleganten Rückzug, wenn die Verletzung der Annahmen, welche die Bewegungsschätzung stützen, die Messung eines zuverlässigen Bewegungsvektors durch die Bewegungsschätzeinrichtung verhindert.
- Der elegante Rückzug der bewegungskompensierten Interpolation wird durch Modifizieren der Bewegungsbahn bewegter Objekte in den interpolierten Bildern erzielt. Wenn die Zuverlässigkeit von Bewegungsvektoren hoch ist, wird eine geradlinige Bewegungsbahn verwendet, die der vollen Bewegungskompensation entspricht. Wenn die Zuverlässigkeit der Bewegungsvektoren niedrig ist, wird eine stufenweise Bewegungsbahn verwendet, die der nicht bewegungskompensierten Interpolation entspricht. Für eine dazwischenliegende Vektorzuverlässigkeit liegt die verwendete Bewegungsbahn zwischen diesen beiden Extremen. Die Modulation der Bewegungsbahn wird erzielt, indem die Zeitinterpolationsphase, die dem Interpolator zugeführt wird, durch eine Nachschlagetabelle geschickt wird, deren Übertragungscharakteristik durch die Vektorzuverlässigkeit gesteuert wird.
- Die vorliegende Erfindung kann auch in Verbindung mit einem Bewegungsdetektor anstelle einer Bewegungsschätzeinrichtung verwendet werden. In der Literaturstelle 10 des Anhangs wird ein bewegungsadaptives System beschrieben, in dem interpolierte Bilder mit Hilfe der Zeitinterpolation durch Anwendung einer zeitlichen Filterapertur zwischen aufeinanderfolgenden Halbbildern erzeugt werden. Um nicht akzeptierbare Artefakte zu vermeiden, wie z. B. eine Doppelbilderzeugung, wenn zwischen aufeinanderfolgenden Halbbildern eine grobe Bewegung auftritt, wird ein Bewegungsdetektor eingesetzt, um die zeitliche Apertur Pixel für Pixel zu ändern.
- Ein bewegungsadaptives System kann als ein Bewegungskompensationssystem betrachtet werden, in dem ein einziger Bewegungsvektor (Null) verwendet wird. Die vorliegende Erfindung kann daher in einem bewegungsadaptiven System implementiert werden, wobei der Bewegungsdetektor eine Anzeige der Zuverlässigkeit des Null-Bewegungsvektors liefert. Die Erfindung ist in diesem Falle anwendbar, wenn die Ausgabebildgeschwindigkeit von der Eingabegeschwindigkeit verschieden ist, zum Beispiel bei der Normenumwandlung oder der Wiedergabe in Zeitlupe.
- Fig. 8 implementiert die Erfindung in einem bewegungsadaptiven System. Der Ausgabekoordinatenprozessor in Fig. 8 ist im wesentlichen der gleiche wie der Vektorprozessor in den Fig. 5 und 6, mit der Ausnahme, daß kein Eingang für Bewegungsuektoren vorhanden ist, da diese sämtlich mit Null angenommen werden. Die Bewegungsanzeige vom Bewegungsdetektor ersetzt die Vektorzuverlässigkeitsanzeige in Fig. 6.
- In dieser Ausführungsform nimmt mit zunehmender Bewegung quer über die Apertur die Zuverlässigkeit des Null-Bewegungsvektors ab, und die Phase der zeitlichen Interpolation verschiebt sich zum zeitlich nächstgelegenen Eingabebild hin. Dieses System ist eine Verbesserung gegenüber früheren bewegungsadaptiven Systemen, da sich die Doppelbilderzeugung verringert und die räumliche Auflösung sich verbessert. Ferner kann die Größe der Koeffizientenspeicher verringert werden. Wenn zusätzlich die zeitliche Apertur mit der Bewegungsänderung variiert wird, dann sind größere Koeffizientenspeicher erforderlich. Die Verwendung von bewegungsadaptiven Systemen bietet eine billige und bequeme Möglichkeit zur Ausführung der Erfindung.
- Es sind zwar Ausführungsformen der Erfindung beschrieben worden, die aber nur als Beispiele angeführt wurden, und dem Fachmann werden Modifikationen einfallen, ohne vom Schutzumfang der Erfindung abzuweichen, wie er in den beigefügten Patentansprüchen definiert ist. Zum Beispiel können zur Modifikation der Zeitkoordinate, der Ausgabekoordinaten andere Mittel benutzt werden als eine Nachschlagetabelle, beispielsweise die Verwendung geeigneter logischer Schaltungen. Dieses Verfahren bietet eine effiziente Realisierung einer stückweise linearen Übertragungscharakteristik und könnte in einem anwenderprogrammierbaren oder kundenspezifischen integrierten Universalschaltkreis ausgeführt werden. Die Modifikation der Zeitkoordinate kann auch unter Verwendung einer Ablaufsteuereinheit erreicht werden, die zusätzlich gespeicherte Werte der Vektorzuverlässigkeit (die räumlich und zeitlich benachbarten Pixeln entsprechen) verwenden könnte. In diesem letzteren Falle würde die Modifikation der Zeitphase von der Vektorzuverlässigkeit benachbarter Pixel sowie des aktuellen Pixeis abhängen.
- 1. Aggarwal, J.K. & Nandhakumar, N. 1988. On the computation of motion from sequences of images - a review. (Zur Berechnung der Bewegung aus Bildfolgen - eine Übersicht) Proc. IEEE, Bd. 76, S. 917-935, August 1988.
- 2. Bierling, M., Thoma, R. 1986. Motion compensating field interpolation using a hierarchically structured displacement estimator (Bewegungskompensierende Halbbild- Interpolation unter Verwendung einer hierarchisch strukturierten Verschiebungsschätzeinrichtung). Signal Processing. Bd. 11, Nr. 4, Dezember 1986, S. 387- 404. Elsevier Science publishers.
- 3. Borer. T.J., 1992. Television Standards Conversion (Umwandlung von Fernsehnormen). Ph.D. Dissertation, Dept. Electronic & Electrical Engineering. University of Surrey, Guildford, Surrey, GU2 5XH, UK. Oktober 1992.
- 4. Borer. T.J., Hulyer, M. G. & Parker, D. W. 1990. Motion compensated display field rate upconversion(Bewegungskompensierte Umwandlung auf höhere Halbbildgeschwindigkeiten). International Broadcasting Convention. Brighton, England, September 1990. IEE Publication Nr. 327. ISBN 0 85296000.
- 5. Chiariglione, L., Corgnier. L. & Guglielmo, M. 1986. Pre- and post-processing in a video terminal using motion vectors (Vor- und Nachverarbeitung in einem Videogerät unter Verwendung von Bewegungsvektoren). IBC. Brighton 1986.
- 6. Clarke C.K.P. 1990. Interpolation. Digital Television (Interpolation, Digitalfernsehen) Hrsg. Sandbank, C. P., John Wiley & Sons Ltd. 1990 ISBN 0-471-92360-5, S. 287-374.
- 7. Crochiere, R.E. & Rabiner. L. R. 1983. Multirate digital signal processing (Digitale Signalverarbeitung mit mehreren Geschwindigkeiten). Prentice Hall, ISBN 0-13-605162-6.
- 8. Dubois. E., Konrad, J.. 1990. Review of techniques for motion estimation and motion compensation (Übersicht über Verfahren zur Bewegungsschätzung und Bewegungskompensation). Forth international colloquium on advanced television systems. Ottawa, Canada, Juni 1990.
- 9. Drewery. J.O.. 1995. TU - The grand illusion (Fernsehen - Die große Illusion). I.E.E. Colloquium on motion reproduction in television. I.E.E Digest No: 1995/093, 3. Mai 1995.
- 10. Ellis, G. 1995. Motion adaption - the everyday solution to a varispeed disk playback (Bewegungsadaptation - die tägliche Lösung einer Disk-Wiedergabe mit variabler Geschwindigkeit). I.E.E. Colloquiumonmotion reproduction in television. I.E.E Digest No: 1995/093, 3. Mai 1995.
- 11. Girod. B. & Thoma, R. 1985. Motion compensating field interpolation from interlaced and non-interlaced grids (Bewegungskompensierende Halbbild-Interpolation von verschachtelten und nicht verschachtelten Rastern). 2nd international technical symposium on optical and electro-optical science and engineering: Image processing symposium, Cannes. Dezember 1985.
- 12. Huahge. T.S,. Tsai, R.Y., 1981. Image sequence analysis: Motion estimation (Bildfolgenanalyse: Bewegungsschätzung). Image sequence analysis. T.S. Huange (Hrsg.). Springer-Verlag, Berlin, Deutschland, 1981, S. 1-18.
- 13. Marcozzi, E. & Tubaro, S. 1987. Motion compensated interpolation (Bewegungskompensierte Interpolation). SPIE. Bd. 804. Advances in image processing, S. 61- 68.
- 14. Martinez, D.M. 1987. Model-based motion estimation and its application to restoration and interpolation of motion pictures (Modellgestützte Bewegungsschätzung zur Wiederherstellung und Interpolation von Filmen). RLE Technical Report Nr. 530. Juni 1987. Research Laboratory of Electronics, Massachusetts Institute of Technology, Cambridge. MA 02139 USA.
- 15. Netravali, A.N., Robbins. J.D. 1979. Motion compensated television coding (Bewegungskompensierte Fernsehcodierung), Teil 1. Beil Syst. Tech. J., Bd. 58. S. 631-670, März 1979.
- 16. Reuter, T. 1989. Standards conversion using motion compensation (Normenumwandlung mittels Bewegungskompensation). Signal processing 16. 1989, S. 73-82.
- 17. Robert. P. Lamnabhi. M,. Lhuillier. J. J. 1989. Advanced high definition 50 to 60 Hz standards conversion (Moderne hochauflösende Normenumwandlung von 50 auf 60 Hz). SMPTE Journal, Juni 1989. S. 420-424.
- 18. Thoma, R. & Bierling. M. 1989. Motion compensated interpolation considering covered and uncovered background (Bewegungskompensierte Interpolation unter Berücksichtigung von bedecktem und unbedecktem Hintergrund).
- 19. Thomas, G.A.. & Lau. H.Y.K. 1990. Generation of high quality slow-motion replay using motion compensation (Erzeugung einer Zeitlupenwiedergabe von hoher Güte mittels Bewegungskompensation). International Broadcasting Convention, Brighton, England. IEE Publication Nr. 327. ISBN 0 85296000.
- 20. Thomas. G.A., 1987. Television motion estimation for DATV and other applications (Bewegungsschätzung beim Fernsehen für DATV und andere Anwendungen). BBC Research Department report Nr. 1987/11. September 1987.
- 21. Thomas, G.A.. 1988. Distorting the time axis: Motion compensated image processing in the studio (Verzerrung der Zeitachse: Bewegungskompensierte Bildverarbeitung im Studio). International Broadcasting Convention, Brighton, England. September 1988. Veröffentlicht von IEE ISBN 0 85296368 B.
- 22. Thomson, R. 1995. Problems of Estimation and Measurement of Motion in Television (Probleme der Schätzung und Messung von Bewegung beim Fernsehen). I.E.E. Colloquium on motion reproduction in television. I.E.E Digest No: 1995/093. 3. Mai 1995.
- 23. Tonge, G.J. 1986. Time sampled motion portrayal (Zeitlich abgetastete Bewegungsdarstellung). Proceedings of the second international conference on image processing and its applications. Imperial College of Science and Technology, London, 24.- 26. Juni 1986. organisiert durch I.E.E.. S. 216-219.
- 24. Vega-riveros. J.F., Jabbour, K. 1986. Review of motion analysis techniques (Übersicht über Bewegungsanalyseverfahren). IEE Proceedings. Bd. 136, Teil I., Nr. 6, Dezember 1989.
- 25. Watkinson J. 1994. The Art of Digital Video (Digitale Videotechnik) 2. Aufl. S. 238-264. Focal Press. ISBN 0 240 51369.13
Claims (12)
1. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen mit den
Schritten; Speichern von Eingabepixelwerten eines Eingabesignals in einem Eingabespeicher,
Zuordnen eines Bewegungsvektors zu jedem Satz zu interpolierender Ausgabekoordinaten,
Bereitstellen einer Anzeige der Zuverlässigkeit jedes Bewegungsvektors. Modifizieren der
Zeitkoordinate jedes Satzes von Ausgabekoordinaten in Abhängigkeit von der Zuverlässigkeit
des entsprechenden Bewegungsvektors, und Auswahl mindestens eines Pixelwertes aus dem
Eingabespeicher in Abhängigkeit von dem Bewegungsvektor und der modifizierten Ausgabe-
Zeitkoordinate, wobei ein interpolierter Ausgabe-Pixelwert aus dem mindestens einen
Pixelwert bestimmt wird.
2. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach
Anspruch 1, wobei der Eingabespeicher mehrere Bilder speichert, mindestens ein Pixelwert
aus jedem Bild ausgewählt wird und ein entsprechender Koeffizient aus einem
Koeffizientenspeicher für jeden Pixelwert ausgewählt wird, wobei der Wert jedes
Ausgabepixels aus einer gewichteten Summe der mehreren Pixelwerte, multipliziert mit ihren
entsprechenden Koeffizienten, bestimmt wird.
3. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach
Anspruch 1 oder 2, wobei jede Zeitkoordinate unter Verwendung einer Nachschlagetabelle
modifiziert wird, deren Übertragungscharakteristik durch die Zuverlässigkeit des
entsprechenden Bewegungsvektors bestimmt wird.
4. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen nach
Anspruch 1, 2 oder 3, wobei die zum Modifizieren jeder Zeitkoordinate verwendete
Übertragungscharakteristik durch die folgende Gleichung gegeben ist:
5. Interpolationsverfahren bei der Verarbeitung von Video- oder Filmsignalen für
bewegungskompensierte Interpolation nach einem der Ansprüche 1 bis 4, wobei der jedem
Ausgabekoordinatensatz zugeordnete Bewegungsvektor als Nullvektor angenommen wird und ein
Bewegungsdetektor benutzt wird, um anzuzeigen, wie zuverlässig ein Null-Bewegungsvektor
für jeden Ausgabekoordinatensatz ist.
6. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung, die aufweist:
einen Eingabespeicher zum Speichern von Pixelwerten eines Eingabesignals, eine
Einrichtung, die so angepaßt ist, daß sie jedem Satz zu interpolierender
Ausgabekoordinaten einen Bewegungsvektor zuordnet, eine Einrichtung, die eine Anzeige der
Zuverlässigkeit jedes Bewegungsvektors liefert, eine Einrichtung, die so angepaßt ist, daß
sie die Zeitkoordinate jedes Ausgabekoordinatensatzes in Abhängigkeit von der
Zuverlässigkeit des entsprechenden Bewegungsvektors modifiziert, und einen
Vektorprozessor, der in Abhängigkeit von der modifizierten Ausgabezeitkoordinate und dem
entsprechenden Bewegungsvektor mindestens einen Pixelwert aus dem Eingabespeicher
auswählt.
7. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6,
die ferner mehrere Multiplizierglieder und damit verbundene Koeffizientenspeicher sowie
ein Addierglied aufweist, wobei der Eingabespeicher so angepaßt ist, daß er mehrere Bilder
speichert, wobei der Vektorprozessor mindestens einen Pixelwert aus jedem Bild und für
jeden Pixelwert einen entsprechenden Koeffizienten auswählt, wobei der Ausgabepixelwert
aus einer Summe der ausgewählten, mit dem entsprechenden Koeffizienten gewichteten
Pixelwerte berechnet wird.
8. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6
oder 7, die ferner einen Bewegungsdetektor aufweist, wobei der jedem
Ausgabekoordinatensatz zugeordnete Bewegungsvektor mit null angenommen wird und der
Bewegungsdetektor eine Anzeige der Zuverlässigkeit eines Null-Bewegungsvektors an die
Einrichtung liefert, die zur Modifikation der Zeitkoordinate jedes
Ausgabekoordinatensatzes angepaßt ist.
9. Interpolationsvorrichtung zur Video- oder Filmsignalverarbeitung nach Anspruch 6
oder 7, die ferner eine Bewegungsschätzeinrichtung aufweist, welche jedem
Ausgabekoordinatensatz Bewegungsvektoren zuordnet und so angepaßt ist, daß sie eine
Anzeige der Zuverlässigkeit jedes Bewegungsvektors an die Einrichtung liefert, die zur
Modifikation der Zeitkoordinate jedes Ausgabekoordinatensatzes angepaßt ist.
10. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach Anspruch 9, wobei
die Bewegungsschätzeinrichtung ein Einrichtung zum paarweisen Blockvergleich ist und die
Zuverlässigkeitsanzeige durch den Vergleichsfehler gegeben wird.
11. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach einem der Ansprüche
6 bis 10, wobei die Einrichtung, die zur Modifikation der Zeitkoordinate jedes
Ausgabekoordinatensatzes angepaßt ist, eine Nachschlagetabelle einschließt.
12. Interpolationsvorrichtung zur Video- oder Filmverarbeitung nach Anspruch 11, wobei
die Nachschlagetabelle eine Übertragungscharakteristik aufweist, die durch die folgende
Gleichung gegeben ist:
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB9519311A GB2305569B (en) | 1995-09-21 | 1995-09-21 | Motion compensated interpolation |
PCT/GB1996/002305 WO1997011557A1 (en) | 1995-09-21 | 1996-09-19 | Motion compensated interpolation |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69605936D1 DE69605936D1 (de) | 2000-02-03 |
DE69605936T2 true DE69605936T2 (de) | 2000-07-20 |
Family
ID=10781073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69605936T Expired - Fee Related DE69605936T2 (de) | 1995-09-21 | 1996-09-19 | Bewegungskompensierte interpolation |
Country Status (8)
Country | Link |
---|---|
US (1) | US6377621B2 (de) |
EP (1) | EP0852096B1 (de) |
JP (1) | JPH11513541A (de) |
CA (1) | CA2231430C (de) |
DE (1) | DE69605936T2 (de) |
ES (1) | ES2143225T3 (de) |
GB (1) | GB2305569B (de) |
WO (1) | WO1997011557A1 (de) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2311184A (en) | 1996-03-13 | 1997-09-17 | Innovision Plc | Motion vector field error estimation |
GB2311182A (en) | 1996-03-13 | 1997-09-17 | Innovision Plc | Improved gradient based motion estimation |
GB2311183A (en) | 1996-03-13 | 1997-09-17 | Innovision Plc | Gradient based motion estimation |
KR100624355B1 (ko) * | 1999-04-26 | 2006-09-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간 |
US6968008B1 (en) | 1999-07-27 | 2005-11-22 | Sharp Laboratories Of America, Inc. | Methods for motion estimation with adaptive motion accuracy |
US6545740B2 (en) * | 1999-12-22 | 2003-04-08 | Texas Instruments Incorporated | Method and system for reducing motion artifacts |
FR2809267B1 (fr) * | 2000-05-19 | 2002-09-27 | Thomson Multimedia Sa | Procede de detection de saturation d'un champ de vecteurs mouvement |
US20020149696A1 (en) * | 2001-02-23 | 2002-10-17 | Eastman Kodak Company | Method for presenting improved motion image sequences |
DE10120395A1 (de) * | 2001-04-25 | 2002-10-31 | Bosch Gmbh Robert | Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder |
KR100434740B1 (ko) * | 2001-11-09 | 2004-06-10 | 주식회사 휴맥스 | 디지털 방송 프로그램에서의 저배속 재생방법 |
US7197075B2 (en) * | 2002-08-22 | 2007-03-27 | Hiroshi Akimoto | Method and system for video sequence real-time motion compensated temporal upsampling |
KR20050061556A (ko) * | 2002-10-22 | 2005-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 고장시 조치를 갖는 이미지 처리 유닛 |
US20040258154A1 (en) * | 2003-06-19 | 2004-12-23 | Microsoft Corporation | System and method for multi-stage predictive motion estimation |
US7129987B1 (en) | 2003-07-02 | 2006-10-31 | Raymond John Westwater | Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms |
KR101157053B1 (ko) * | 2004-04-09 | 2012-06-21 | 소니 주식회사 | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 |
US20110025911A1 (en) * | 2004-05-17 | 2011-02-03 | Weisgerber Robert C | Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced |
EP1646243B1 (de) * | 2004-09-30 | 2009-06-24 | Kabushiki Kaisha Toshiba | Informationsbearbeitungsgerät und Programm |
US8755440B2 (en) * | 2005-09-27 | 2014-06-17 | Qualcomm Incorporated | Interpolation techniques in wavelet transform multimedia coding |
EP1843587A1 (de) * | 2006-04-05 | 2007-10-10 | STMicroelectronics S.r.l. | Verfahren zur Bildfrequenzumwandlung eines digitalen Videosignals und Vorrichtung dazu |
JP2007288483A (ja) * | 2006-04-17 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 画像変換装置 |
FR2907301A1 (fr) * | 2006-10-12 | 2008-04-18 | Thomson Licensing Sas | Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede |
JP5002249B2 (ja) | 2006-11-30 | 2012-08-15 | 株式会社東芝 | フレーム内挿装置及びフレーム内挿方法並びに画像表示装置 |
JP4844370B2 (ja) * | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
US8437397B2 (en) * | 2007-01-04 | 2013-05-07 | Qualcomm Incorporated | Block information adjustment techniques to reduce artifacts in interpolated video frames |
JP5294036B2 (ja) * | 2007-02-20 | 2013-09-18 | ソニー株式会社 | 画像表示装置、映像信号処理装置および映像信号処理方法 |
US20080260033A1 (en) * | 2007-04-17 | 2008-10-23 | Horizon Semiconductors Ltd. | Hybrid hierarchical motion estimation for video streams |
JPWO2008136116A1 (ja) * | 2007-04-26 | 2010-07-29 | パイオニア株式会社 | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
US8953685B2 (en) | 2007-12-10 | 2015-02-10 | Qualcomm Incorporated | Resource-adaptive video interpolation or extrapolation with motion level analysis |
JP5106203B2 (ja) * | 2008-03-27 | 2012-12-26 | 株式会社東芝 | 補間画像生成装置、方法およびプログラム |
US20100013989A1 (en) * | 2008-07-18 | 2010-01-21 | Samsung Electronics Co. Ltd. | Method and system for controlling fallback in generating intermediate fields of a video signal |
KR101524062B1 (ko) * | 2008-07-30 | 2015-06-01 | 삼성전자주식회사 | 영상신호 처리장치 및 그 방법 |
WO2010109636A1 (ja) | 2009-03-26 | 2010-09-30 | 富士通株式会社 | 情報処理装置およびプログラム |
JP2012138646A (ja) | 2009-04-23 | 2012-07-19 | Panasonic Corp | 映像処理装置及び映像処理方法 |
CN101990093A (zh) * | 2009-08-06 | 2011-03-23 | 索尼株式会社 | 检测视频中的重放片段的方法和设备 |
US20110075896A1 (en) * | 2009-09-25 | 2011-03-31 | Kazuhiko Matsumoto | Computer readable medium, systems and methods for medical image analysis using motion information |
US20110075888A1 (en) * | 2009-09-25 | 2011-03-31 | Kazuhiko Matsumoto | Computer readable medium, systems and methods for improving medical image quality using motion information |
WO2011067869A1 (ja) * | 2009-12-01 | 2011-06-09 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
EP2509307A4 (de) * | 2009-12-01 | 2012-12-26 | Panasonic Corp | Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren |
JP2013077862A (ja) * | 2010-02-08 | 2013-04-25 | Panasonic Corp | 映像信号処理装置および映像信号処理方法 |
JP5863273B2 (ja) * | 2011-05-02 | 2016-02-16 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
US9277169B2 (en) * | 2013-02-21 | 2016-03-01 | Robert C. Weisgerber | Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced |
US20140333669A1 (en) * | 2013-05-08 | 2014-11-13 | Nvidia Corporation | System, method, and computer program product for implementing smooth user interface animation using motion blur |
US10284870B1 (en) * | 2015-07-22 | 2019-05-07 | Pixelworks, Inc. | Adjusting interpolation phase for motion estimation motion compensation using image analysis |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2223141A (en) * | 1988-09-21 | 1990-03-28 | Sony Corp | Slow motion video signal generator with motion compensated interpolation |
FR2645383B1 (fr) * | 1989-03-31 | 1997-06-27 | Thomson Consumer Electronics | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
GB2246488B (en) * | 1990-07-24 | 1994-04-20 | Sony Corp | Motion dependant video signal processing |
GB2252466B (en) * | 1991-02-04 | 1994-10-19 | Sony Broadcast & Communication | Television standards converters |
FR2675002B1 (fr) * | 1991-04-05 | 1993-06-18 | Thomson Csf | Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification. |
GB2263602B (en) * | 1992-01-24 | 1995-06-21 | Sony Broadcast & Communication | Motion compensated video signal processing |
GB2265065B (en) * | 1992-03-02 | 1995-08-16 | Sony Broadcast & Communication | Motion compensated image processing |
GB9214218D0 (en) * | 1992-07-03 | 1992-08-12 | Snell & Wilcox Ltd | Motion compensated video processing |
FR2700090B1 (fr) * | 1992-12-30 | 1995-01-27 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
EP0648047B1 (de) * | 1993-10-11 | 2005-08-24 | THOMSON multimedia | Verfahren und Vorrichtung zum Bilden eines Videosignals durch Bewegungsschätzung und Signalwege mit verschiedenen Interpolationsverarbeitungen |
GB2300538B (en) * | 1995-05-02 | 1999-07-07 | Innovision Res Ltd | Motion compensated filtering |
DE19601005A1 (de) * | 1996-01-15 | 1997-07-17 | Bosch Gmbh Robert | Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern |
-
1995
- 1995-09-21 GB GB9519311A patent/GB2305569B/en not_active Expired - Fee Related
-
1996
- 1996-09-19 DE DE69605936T patent/DE69605936T2/de not_active Expired - Fee Related
- 1996-09-19 WO PCT/GB1996/002305 patent/WO1997011557A1/en active IP Right Grant
- 1996-09-19 EP EP96931142A patent/EP0852096B1/de not_active Expired - Lifetime
- 1996-09-19 CA CA002231430A patent/CA2231430C/en not_active Expired - Lifetime
- 1996-09-19 ES ES96931142T patent/ES2143225T3/es not_active Expired - Lifetime
- 1996-09-19 JP JP9512476A patent/JPH11513541A/ja active Pending
- 1996-09-19 US US09/043,219 patent/US6377621B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69605936D1 (de) | 2000-02-03 |
EP0852096B1 (de) | 1999-12-29 |
EP0852096A1 (de) | 1998-07-08 |
GB2305569A (en) | 1997-04-09 |
US6377621B2 (en) | 2002-04-23 |
ES2143225T3 (es) | 2000-05-01 |
GB2305569B (en) | 1999-07-21 |
WO1997011557A1 (en) | 1997-03-27 |
CA2231430C (en) | 2001-11-06 |
GB9519311D0 (en) | 1995-11-22 |
JPH11513541A (ja) | 1999-11-16 |
US20010017889A1 (en) | 2001-08-30 |
CA2231430A1 (en) | 1997-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69605936T2 (de) | Bewegungskompensierte interpolation | |
DE69324922T2 (de) | Bewegungsausgeglichene fernsehbildbearbeitung | |
DE69123359T3 (de) | Videobildverarbeitung | |
DE69223925T2 (de) | Videobildverarbeitung | |
DE69601362T2 (de) | Bewegungskompensierende filterung | |
DE3853555T2 (de) | Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern. | |
DE69519398T2 (de) | Abtastumsetzung mit Bewegungsadaptation unter Verwendung einer richtungsabhängigen Interpolation der Kanten | |
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE3850709T2 (de) | Reduzierung der Bewegungsvektoren in Fernsehbildern. | |
DE3854337T2 (de) | Bewegungskompensierte Interpolation von digitalen Fernsehbildern. | |
DE69031055T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE3233882C2 (de) | ||
DE69021431T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69510851T2 (de) | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten | |
DE3687434T2 (de) | Geraet zum ausgleich von bewegung in einem von einem von einem fernsehsignal abgeleiteten bild. | |
EP1397915A2 (de) | Verfahren und vorrichtung zur konversion von video signalen | |
DE602005003624T2 (de) | Bildverarbeitungsvorrichtung und - verfahren | |
DE69027704T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69031144T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028239T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69123844T2 (de) | Videosignalverarbeitung | |
DE69626475T2 (de) | Verfahren zur Korrektur von Bewegungsschätzung in Bildern mit periodischen Strukturen | |
EP1125428B1 (de) | Schaltung zur wandlung einer bildrate | |
DE69418711T2 (de) | Verarbeitung von videosignalen | |
DE3444836A1 (de) | Verfahren zur umwandlung eines videosignals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |