DE19536691B4

DE19536691B4 - Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung

Info

Publication number: DE19536691B4
Application number: DE19536691A
Authority: DE
Inventors: Bertholt Dr.-Ing. Eiberger; Arno Dipl.-Ing. Beckenbach; Kurt-Heiner Dipl.-Ing. Philipp; Andreas Dipl.-Ing. Löw; Broder Prof. Dr.-Ing. Wendland; Thomas Dr.-Ing. Herfet; Thomas Dipl.-Ing. Bonse; Wolfgang Dipl.-Ing. Paschedag; Thomas Dipl.-Ing. Leonard
Original assignee: BTS Holding International BV
Current assignee: Thomson Licensing SAS
Priority date: 1995-09-30
Filing date: 1995-09-30
Publication date: 2008-04-24
Anticipated expiration: 2015-10-01
Also published as: GB9620054D0; US5943090A; GB2305803B; DE19536691A1; GB2305803A; JP4489848B2; JPH09116809A

Abstract

Verfahren zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung, bei welchem von Bildern des Films moduliertes Licht in ein Videosignal umgewandelt wird und bei welchem der Bildanteil im Videosignal hinsichtlich des Bildstands von einem Korrektursignal korrigiert wird,
dadurch gekennzeichnet,
dass in einem ersten Schritt vom Bildinhalt des durch Filmabtastung erhaltenen Videosignals durch Strukturerkennung mindestens ein Musterbereich ermittelt wird, der einer Krümmung im Bildinhalt entspricht,
dass in einem zweiten Schritt durch Vergleich geprüft wird, ob der mindestens eine ermittelte Musterbereich in einem Suchbereich des Folgebildes wiedererkennbar ist,
dass in einem dritten Schritt beim Wiedererkennen des mindestens einen Musterbereichs im Folgebild Bewegungsvektorsignale erzeugt werden, welche die Bewegungsrichtung und den Betrag der Ablage von der Position des mindestens einen ermittelten Musterbereichs zur Position des wiedererkannten Musterbereichs definiert,
dass in einem vierten Schritt von den Bewegungsvektorsignalen Parameter einer Transformationsfunktion ermittelt werden,
dass in einem anschließenden fünften Schritt durch...

Description

Die Erfindung betrifft ein Verfahren zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung, bei welchem von Bildern des Films moduliertes Licht in ein Videosignal umgewandelt wird und bei welchem der Bildanteil im Videosignal hinsichtlich des Bildstands von einem Korrektursignal korrigiert wird. Ferner betrifft die Erfindung eine Anordnung zur Durchführung des Verfahrens.
Ein Filmabtaster wandelt die auf einem Film gespeicherten optischen Bilder in ein Videosignal um. Zum Erhalt eines Videosignals mit bildstandfehlerfreiem Bildinhalt sollte jedes Filmbild während des Abtastvorgangs mechanisch genauso positioniert werden wie während des Belichtungsvorgangs. Bisher erfolgt die Positionierung der einzelnen Filmbilder durch eine sogenannte Pin-Registration, bei der die Lage von Perforationslöchern, die der Film an seinen Rändern trägt, erfaßt und ausgewertet wird. Aufgrund mechanischer Ungenauigkeiten liefert die Pin-Registration jedoch nur unvollkommene Ergebnisse, so daß mehr oder weniger störende horizontale, vertikale, translatorische und/oder rotatorische Bildstandsfehler im wiedergegebenen Videobild erkennbar sind. Einige der Bildstandsfehler sind prinzipbedingt, beispielsweise solche Bildstandsfehler, die zurückzuführen sind auf Beschädigungen der Perforationslöcher, Unregelmäßigkeiten des Films, Klebestellen im Film, Schwankungen der Filmtransportgeschwindigkeit oder auch auf in Perforationslöchern abgesetzten Filmabrieb.
Zur Beseitigung der Bildstandsfehler in Filmabtastern nach dem Lichtpunktprinzip wurde bereits vorgeschlagen ( US-Patent 4,104,680 ), die Kanten der Perforationslöcher in horizontaler Richtung optisch abzutasten und von dem erzeugten Kantensignal ein Korrektursignal abzuleiten. Das Korrektursignal verschiebt die Horizontal ablenkung des Abtaststrahls einer Abtaströhre, die ein Fernsehraster auf den abzutastenden Films wirft. Dieses Korrekturverfahren läßt sich jedoch in Filmabtastern mit CCD-Zeilensensoren, die den Film abtasten, nicht einsetzen. Ein weiterer Nachteil der optischen Perforationslochabtastung ist, daß selbst bei der Ermittlung der genauen örtlichen Lage der Perforationslöcher sich die Lage der einzelnen Filmbilder nicht in der gewünschten Genauigkeit von ca. dem +/–0,1-fachen einer Zeilenhöhe bestimmen läßt, weil schon der Standard größere Lageabweichungen zwischen den Perforationslöchern und den Filmbildern zuläßt. Es ist festzustellen, daß Bildstabilisierungs-Ergebnisse als unbefriedigend einzustufen sind, wenn das Signal zur Korrektur von Bildstandsfehlern nach einem Verfahren abgeleitet wird, bei dem die Lage der Perforationslöcher als Bezug für die Positionierung der Filmbilder beim fernsehmäßigen Abtastvorgang dient.
Aus der DE 43 43 698 C2 ist ein Bildstabilisierungssystem für eine Kamera bekannt, bei welcher ein Bildsensor einen gegenüber dem tatsächlich ausgegebenen Bild vergrößerten Bildaufnahmebereich aufweist. Bei dem bekannten System werden für eine Mehrzahl von Bewegungsvektor-Erfassungsflächen zu jedem Bild repräsentative Punkte festgelegt. Anhand eines aus den Bewegungsvektoren für die repräsentativen Punkte ermittelten Wertes wird die Lage des dem tatsächlich ausgegebenen Bild entsprechenden Bereichs innerhalb des Bildaufnahmebereichs des Bildsensors bestimmt.
Aus der GB 2 272 595 A ist es bekannt, die Ablenkung eines Abtaststrahls einer Abtaströhre unter Verwendung eines Bewegungskompensators zur Bildstandsfehlerkorrektur zu beeinflussen. Der Bewegungskompensator wertet dazu räumliche und zeitliche Unterschiede um einen bestimmten Pixel herum aus.
Aus der DE 43 05 873 A1 ist ein Flying-Spot-Scanner bekannt, bei dem eine Bildstandsfehlerkorrektur aus dem Vergleich zweier aufeinander folgender Vollbilder gewonnene Bewegungsvektoren zur Bildstandsstabilisierung verwendet.
Aus der GB 2 165 417 A ist eine Bildstandsfehlerkorrektur bekannt, bei welcher Bewegungsvektoren aus Differenzen zwischen benachbarten Bildpunkten derselben Zeile, benachbarter Zeilen und entsprechender Bildpunkte benachbarter Halb- oder Vollbilder ermittelt werden und zu Korrektur des Bildstands herangezogen werden.
Aus der EP 0 534 996 B1 ist ein Verfahren zur Segmentierung bewegter Objekte mit Kompensation der Kamerabewegung bekannt. Das bekannte Verfahren ermittelt Verschiebungsvektoren auf einem vorgegebenen örtlichen Raster durch Vergleich des aktuellen Bildes mit einem stillstehenden oder sich nur langsam bewegenden Referenzbild, vorzugsweise einem bekannten Hintergrundbild.
Weiterhin ist aus der US 5,194,958 ein Verfahren zur Korrektur von Bildstandsfehlern bekannt, bei welchem von L-förmigen Markierungen, die in Lücken zwischen benachbarten Bildern auf dem Film aufgebracht sind, ein Korrektursignal zur Bildstabilisierung abgeleitet wird. Das Korrektursignal steuert einen Videosignalprozessor, z.B. ein digitales Videoeffektgerät. Da handelsübliche Filme nicht mit L-förmigen Markierungen versehen sind, können nach diesem bekannten Verfahren nur Spezialfilme im Bildstand korrigiert werden.
Schließlich ist aus der GB 2,187,913 A eine Vorrichtung zur Ermittlung von Bildstandsfehlern bekannt, in welcher eine Bewegungsvektor-Meßschaltung vom Videosignal des Filmabtasters Verschiebesignale ableitet, die den horizontalen und vertikalen Versatz zwischen aufeinanderfolgenden Bildern repräsentieren. Die Verschiebesignale steuern einen 2-dimensionalen Interpolator, der das Videosignal des Filmabtasters unter Ausschluß solcher Bilder interpoliert, deren Bewegungsinhalt auf eine Bildverschiebung, Bildvergrößerung bzw. -Verkleinerung oder einen Szenenwechsel zurückzuführen ist. Bei der Bewegungsvektor-Messung werden Unterschiede zwischen benachbarten Bildpunkten innerhalb einer Zeile sowie Unterschiede zwischen benachbarten Zeilen und Bildern ermittelt. Zur Erzeugung eines bildstandsfehler-repräsentierenden Korrektursignals werden die in der Bewegungsvektor-Meßschaltung abgeleiteten Verschiebesignale einer auf einer verkürzten Taylor-Expansion beruhenden Rechenoperation unterworfen. Nachteilig ist, daß die bekannte Vorrichtung nicht geeignet ist, den Bildstand hinreichend genau zu stabilisieren. Besonders nachteilig ist jedoch, daß bei einer Vielzahl bestimmter Bildinhalte verhindert wird, daß ein Korrektursignal erzeugt wird.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung nach der eingangs genannten Art anzugeben, welche(s) die Erzeugung eines Signals zur hochgenauen Korrektur von Bildstandsfehlern erlaubt.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, daß in einem ersten Schritt aus dem Bildinhalt des durch Filmabtastung erhaltenen Videosignals durch Strukturerkennung mindestens ein Musterbereich ermittelt wird, der einer Krümmung im Bildinhalt entspricht, daß in einem zweiten Schritt durch Vergleich geprüft wird, ob die ermittelten Musterbereiche in einem Suchbereich des Folgebildes wiedererkennbar sind, daß in einem dritten Schritt beim Wiedererkennen der Mustersbereiche im Folgebild Bewegungsvektorsigale erzeugt werden, welche die Bewegungsrichtung und den Betrag der Ablage von der Position des ermittelten Musterbereichs zur Position des wiedererkannten Musterbereichs definiert, daß in einem vierten Schritt von den Verschiebungsvektorsignalen Parameter einer Transformationsfunktion ermittelt werden, daß in einem anschließenden fünften Schritt durch Vergleich der Transformationsfunktion mit den Verschiebungsvektoren solche Verschiebungsvektoren erkannt und eliminiert werden, die mit Partialbewegungen korrespondieren, daß die Schritte vier unf fünf gegebenenfalls mehrfach durchgeführt werden, daß in einem sechsten Schritt durch Berücksichtigung der zeitlichen Abfolge der Transformationsfunktionen Korrektursignale abgeleitet werden und daß in einem siebten Schritt diese Korrektursignale einer Umsteuereinrichtung zugeführt werden, die in den Bildsignalen die Stabilitätsfehler korrigieren.
Das erfindungsgemäße Verfahren weist den Vorteil auf, daß nunmehr unabhängig von der Lage der Filmperforation bzw. speziellen Markierungen auf dem Film direkt vom Bildinhalt der Filmbilder ein Signal zur hochgenauen Korrektur von Bildstandsfehler abgeleitet werden kann. Bezugspunkt ist allein der Grad der Bewegung von Krümmungen im Bildinhalt der auf dem Film gespeicherten Bilder. Besonders vorteilhaft ist, daß durch Anwendung des erfindungsgemäßen Verfahrens selbst dann noch Bildstandsfehler zuverlässig ermittelt werden können, wenn durch einen Kameraschwenk oder durch Änderung des Zoom-Einstellung der Kamera sich der gesamte Bildinhalt von Bild zu Bild ändert.
Um mehrdeutige Ergebnisse aufgrund von Bewegungsmessungen in periodisch strukturierten Bildbereichen bzw. mehrfach erkannten Musterbereichen im Suchbereich auszuschließen, ist nach einer Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen, daß vor Durchführung des zweiten Schritts ein dem ermittelten Musterbereich entsprechendes Signal einer Tiefpaßfilterung unterworfen wird.
Eine vorteilhafte Anordnung zur Durchführung des erfindungsgemäßen Verfahrens weist auf: eine Einrichtung zur Erzeugung eines Struktursignals, welche einen Eingang und einen Ausgang aufweist, wobei dem Eingang das Videosignal des Filmabtasters zugeführt ist und wobei an dem Ausgang ein Struktursignal abnehmbar ist, welches ermittelte Ecken im Bildinhalt des zugeführten Videosignal repräsentiert, eine Einrichtung zum Vergleich des Ecken repräsentierenden Struktursignals mit dem Bildinhalt des Signals eines Suchbereichs, eine Einrichtung zur Erzeugung eines Bewegungsvektorsignals in Abhängigkeit der Richtung und des Betrags der Ablage der Position ermittelter Ecken bezüglich der Position wiedererkannter Ecken in dem Suchbereich und eine Einrichtung zur Ableitung eines Signal zur Korrektur von Bildstandsfehlern, deren Eingang das erzeugte Bewegungsvektorsignal zugeführt ist und an deren Ausgang das Signal zur Korrektur von Bildstandsfehlern abnehmbar ist.
Eine vorteilhafte Ausgestaltung eines Eckendetektors enthält eine erste Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein digitales Videosignal zugeführt ist, eine zweite Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der ersten Verzögerungseinrichtung verbunden ist, eine erste Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und drei Ausgängen, wobei die Eingänge mit Ein- und Ausgängen der ersten und zweiten Verzögerungseinrichtung verbunden sind und wobei an einem ersten Ausgang ein in X-Richtung differenziertes Videosignal abnehmbar ist, an einem zweiten Ausgang ein in Y-Richtung differenziertes Videosignal und an einem dritten Ausgang ein Vorzeichensignal, eine erste Einrichtung zur Quadrierung des in X-Richtung differenzierten Videosignals, eine zweite Einrichtung zur Quadrierung des in Y-Richtung differenzierten Videosignals, eine erste Einrichtung zur Multiplizierung des in X- und Y-Richtung differenzierten Videosignals, eine dritte Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der ersten Einrichtung zur Quadrierung erzeugtes Signal (kxx) zugeführt ist, eine vierte Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der dritten Verzögerungseinrichtung verbunden ist, eine zweite Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der dritten und vierten Verzögerungseinrichtung verbunden sind und wobei an dem Ausgang ein in X-Richtung differenziertes Signal (ksxx) abnehmbar ist, eine fünfte Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der Einrichtung erhaltenes Signal (kxy) sowie das Vorzeichensignal zugeführt ist, eine sechste Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der fünften Verzögerungseinrichtung verbunden ist, eine dritte Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der fünften und sechsten Verzögerungseinrichtung verbunden sind und wobei an dem Ausgang ein in X,Y-Richtung differenziertes Signal (ksxy) abnehmbar ist, eine siebente Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der Einrichtung erhaltenes Signal (kyy) zugeführt ist, eine achte Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der siebenten Verzögerungseinrichtung verbunden ist, eine vierte Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der siebenten und achten Verzögerungseinrichtung verbunden sind und wobei an dem Ausgang ein in Y-Richtung differenziertes Signal (ksyy) abnehmbar ist, eine dritte Einrichtung zur Quadrierung des von dritten Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung erzeugten Signals (ksxy), eine zweite Einrichtung zur Multiplizierung des von der zweiten Einrichtung zur Erzeugung von Ableitungen in X-Richtung erzeugten Signals (ksxx) und des von vierten Einrichtung zur Erzeugung von Ableitungen in X-Richtung erzeugten Signals (ksyy), eine Einrichtung zur Erzeugung des Struktursignals mit zwei Eingängen und einem Ausgang, wobei dem einen Eingang das von der dritten Einrichtung zur Quadrierung erzeugte Signal (ksxy) zugeführt ist und dem anderen Eingang das von der zweiten Einrichtung zur Multiplizierung erzeugte Signal (ksyy) und wobei an dem Ausgang das Struktursignal abnehmbar ist.
Die Ausgestaltung einer Blockmatcheranordnung zur Erzeugung des Bewegungsvektorsignals besteht vorteilhafterweise aus einer Steuereinrichtung mit Eingängen und Ausgängen, wobei einem der Eingänge das Struktursignal zugeführt ist und an einem der Ausgänge das Bewegungsvektorsignal abnehmbar ist, einem ersten Blockmatcher, dessen Videosignaleingang ein zwischengespeichertes unterabgetastetes Videosignal, dessen Positionssignaleingang ein unterabgetastetes Struktursignal zugeführt ist und an dessen Ausgang ein erstes Bewegungsvektorsignal abnehmbar ist, einem zweiten Blockmatcher, dessen Videosignaleingang ein zwischengespeichertes nicht unterabgetastetes Videosignal, dessen Positionssignaleingang das erste Bewegungsvektorsignal zugeführt ist und an dessen Ausgang ein zweites Bewegungsvektorsignal abnehmbar ist, und einem dritten Blockmatcher, dessen Videosignaleingang ein zwischengespeichertes verzögertes nicht unterabgetastetes Videosignal, dessen Positionssignaleingang das zweite Bewegungsvektorsignal zugeführt ist und an dessen Ausgang ein drittes Bewegungsvektorsignal abnehmbar ist, welches einem der Eingänge der Steuereinrichtung zugeleitet ist.
Weitere Vorteile und Einzelheiten der Erfindung sind den Unteransprüchen zu entnehmen.
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
1 die schematische Darstellung eines Filmabtasters mit einer Einrichtung zur elektronischen Bildstandsstabilisierung,
2 das Blockschaltbild eines Eckendetektors,
3 eine schematische Darstellung zur Erläuterung der Bewegungsmessung,
4 eine prinzipielle schematische Darstellung der Suchbereiche der Blockmatcher,
5 das Blockschaltbild des Blockmatchings.
Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.
In der schematischen Darstellung der 1 ist mit 1 ein Film bezeichnet, der mit gleichförmiger Geschwindigkeit an einem opto-elektrischen Sensor 2 vorbeitransportiert wird. Der Sensor 2 kann beispielsweise eine CCD-Zeile sein. Während des Filmtransports durchleuchtet das Licht einer Lampe 3 den Film 1. Eine Linse 4 fokussiert das durch den Film 1 dringende Licht auf den Sensor 2.
An einem Ausgang des Sensors 2 ist ein analoges, bildstandsfehlerbehaftetes Videosignal abnehmbar. Dieses Videosignal wird – vorzugsweise unter Zwischenschaltung eines A/D-Wandlers AD – über eine Klemme 5 zu dem Eingang einer Einrichtung 6 zur Korrektur von Bildstandsfehlern geführt.
Es ist üblich, die Informationen für die rote, grüne und blaue Farbkomponente mit jeweils einem Sensor aufzunehmen. Um die Auflösung zu erhöhen, benutzt man in CCD-Filmabtastern nicht nur einen einzigen CCD-Zeilen-Sensor pro Zeile sondern vier CCD-Zeilen-Sensoren, die nebeneinander versetzt angeordnet sind und die eine geringe Überlappung besitzen. Dabei wird die Luminanz in einem HDTV-(high definition television)-Format und die Chrominanz in einem Standardformat abgetastet. Die Chrominanz wird durch die drei RGB-Komponenten dargestellt.
Für den weiteren Signalverarbeitungsprozeß sei angenommen, daß vier voneinander unabhängige Datenströme zur Verfügung stehen, die in getrennten identisch aufgebauten Kanälen verarbeitet werden. Die nachfolgende Beschreibung nimmt bezug auf einen dieser Kanäle.
Die Einrichtung 6 zur Korrektur von Bildstandsfehlern enthält eine Signalverzögerungseinrichtung 7, ein Stellglied 8 und eine Einrichtung 9 zur Ableitung eines Signals zur Korrektur der Bildstandsfehler. Das an der Klemme 5 abnehmbare bildstandsfehlerbehaftete Videosignal liegt sowohl an einem Eingang der Signalverzögerungseinrichtung 7 und als auch an einem Eingang der Einrichtung 9 zur Ableitung eines Signals zur Korrektur von Bildstandsfehlern. Die Signalverzögerungseinrichtung 7 dient zur Anpassung der Laufzeit des bildstandsfehlerbehafteten Videosignals an die Signallaufzeit der Einrichtung 9. Selbstverständlich ist es auch möglich, einen zeitlichen Ausgleich dadurch vorzunehmen, daß die Datentransferzeiten eines digital vorliegenden Videosignals entsprechend verzögert werden.
Das an einem Ausgang der Signalverzögerungseinrichtung 7 abnehmbare bildstandsfehlerbehaftete Videosignal wird zu dem Signaleingang eines Stellgliedes 8 weitergeleitet. An einem Stelleingang des Stellgliedes 8 liegt ein an einer Ausgangsklemme 10 der Einrichtung 9 zur Ableitung eines Signals zur Korrektur von Bildstandsfehlern abnehmbares Korrektursignal. Das Stellglied 8 gibt an einer Ausgangsklemme 11 ein von Bildstandsfehlern befreites Videosignal ab.
Das Stellglied 8 kann beispielsweise ein an sich bekanntes Videoeffektgerät sein, das stellsignalabhängig translatorische Bewegungen, horizontale und vertikale Größenfehler, rotatorische Fehler um einen ermittelten Drehpunkt, Verzeichnungsfehler (Fisheye-Effekte) oder auch Linearitätsfehler (Fehler höherer Ordnung) korrigiert.
Zur Überwachung des an der Ausgangsklemme 10 zur Verfügung gestellten Korrektursignals oder des an der Ausgangsklemme 11 abgegebenen, nunmehr von Bildstandsfehlern befreiten Videosignals ist ein Monitor 12 vorgesehen. Der Eingang des Monitors 12 läßt sich wahlweise mit der Ausgangsklemme 10 oder 11 verbinden.
Von unstrukturierten Bildbereichen (3a) läßt sich kein verwertbares, zur Ableitung von Bewegungsvektoren geeignetes Struktursignal erzeugen. Unstrukturierte Bildbereiche lassen sich im Bildinhalt eines zeitlich nachfolgenden Bildes nicht wiederfinden. Die Verwertbarkeit des vom Eckendetektor erzeugten Struktursignals hängt somit entscheidend vom Bildinhalt des anliegenden Videosignals ab. Ermittelte Bewegungsvektoren sind auch vom Rauschen des verwendeten Filmmaterials abhängig.
Bewegungsmessungen an Kanten führen ebenfalls nicht zu eindeutigen Ergebnissen. Sinnvoll können Geschwindigkeitskomponenten eines struktierten Bildbereichs nur senkrecht zu einer Kante bestimmt werden (3b).
Dagegen können von strukturierten Bildbereichen, die auf Ecken oder Krümmungen beruhen (3c), mit großer Wahrscheinlichkeit exakte Bewegungsvektoren bestimmt werden.
Nachfolgend wird mit einer Ecke eine allgemeine Krümmung bezeichnet und nicht die ideale Ecke eines Rechtecks.
Die Bestimmung globaler Verschiebungsparameter verläuft in mehreren Schritten. Zunächst sind die gefundenen Bewegungsvektoren durch eine sogenannte Clusterung zusammenzufassen. Auf die ermittelte Clustermenge ist sodann eine (Least-Square)-Approximation anzuwenden, um Modellparameter für eine Transformationsfunktion zu bestimmen. Die gefundene Transformationsfunktion ist sodann mit der Clustermenge zu vergleichen, um Partialverschiebungen zu erkennen und zu eliminieren. Auf der Basis der hiernach verbleibenden Cluster sind die Parameter erneut zu bestimmen. Die Iteration ist solange durchzuführen, bis die Abweichungen zwischen den einzelnen Clustern und der Transformationsfunktion eine Schwelle unterschreiten.
In den meisten Fällen wird ein bewegtes Objekt mehrere detektierbare Krümmungen besitzen, so daß hier Redundanz vorliegt, sofern sich das Objekt nur translatorisch bewegt. Danach ist eine Transformation zu berechnen, die alle Bewegungsvektoren wiederspiegelt und für die Orte im Bild eine Aussage über die Verschiebung liefert an denen kein Bewegungsvektor aufsetzt. Zur Berechnung sind die Bewegungsvektoren als Stützstellen heranzuziehen. Wenn dabei ein kleines Objekt viele Stützstellen aufweist, ist es stärker zu berücksichtigen als ein großes Objekt mit wenigen Stützstellen. Redundanzen an solchen Stützstellen sind durch Clusterung der Bewegungsvektoren zu beseitigen. Besonders vorteilhaft ist, die ermittelten Bewegungsvektoren mit einem partitionierenden Clusteralgorithmus zusammenzufassen.
Ein Bewegungsvektor setzt sich aus den vier Skalaren zusammen, nämlich der x- und y-Koordinate des Aufpunktes und der Verschiebung in x- und y-Richtung. Der Verschiebungsvektor ist als Punkt in einem vierdimensionalen Raum aufzufassen. Jeder Verschiebungsvektor ist zudem mit einen Gütewert zu beaufschlagen. Um eine sinnvolle Abstandsfunktion zu finden, ist der vierdimensionale Raum zunächst zu normieren, damit sowohl die Verschiebungsvektoren als auch Cluster als Punkte desselben Raumes aufgefaßt werden können. Ein Cluster ist dabei als Menge von Verschiebungsvektoren zu verstehen. Aus zugeordneten Elementen wird für den Cluster ein neuer Schwerpunkt errechnet. Die Mengenzuordnung erfolgt vorteilhafterweise durch Verwendung von Fuzzy-Mengen. Auf diese Weise ist es möglich, einen Verschiebungsvektor auch mehreren Clustern zuzuordnen. In die Berechnung der Clusterschwerpunkte sollte neben der normierten Zugehörigkeitsfunktion auch Güteschwellen der Beschwegungsvektoren als Gewichtungsfaktor eingehen, um auszuschließen, daß extrem schlechte Vektoren den Clusterschwerpunkt entscheidend mitprägen und das Ergebnis verfälschen. Den Clustern ist – ähnlich den Bewegungsvektoren – eine Güteschwelle zugeordnet, die sich hier aus dem Maximum der Güteschwellen aller zugehörigen Bewegungsvektoren ergibt.
Die Menge der Cluster beinhaltet nicht nur die Verschiebungen des Gesamtbildes, sondern auch solche, die Bewegung von einzelnen Objekten beschreiben. Auch virtuelle Verschiebungen, die durch Auf- bzw. Verdecken von Bildobjekten entstehen, sind in der Menge der Cluster enthalten. Um – wie eingangs erwähnt – eine globale Bildverschiebung zu finden, müssen Objektverschiebungen und virtuelle Verschiebungen eliminiert werden. Solche Verschiebungen können erkannt werden, indem eine Approximationslösung mit den Clustern verglichen wird. Die Cluster, die erheblich von der Approximationslösung abweichen, werden entfernt. Aus der verbliebenen Menge von Clustern ist anschließend eine neue Approximationslösung zu ermitteln. Ein Maß für die Abweichung zwischen einem Cluster und der Approximationslösung ist der durch seinen Mittelwert normierte euklidische Abstand zwischen der Approximation und dem Cluster. Ein ermittelter Wert von eins bedeutet, daß der Abstand dem mittleren Abstand aller Cluster von der Approximation entspricht. Falls dieser normierte Abstand größer als ein bestimmter Schwellwert ist, wird der entsprechende Cluster eliminiert. Der Schwellwert sollte zwischen 1,2 und 1,5 liegen. Wird der Schwellwert kleiner gewählt, werden mehr Cluster eliminiert.
Die Verschiebung der Ecken der Bildebene läßt sich aus der Transformationsfunktion feststellen. Dabei kann eine maximale Verschiebung angegeben werden. Die zeitliche Abfolge der Verschiebung der Bildecken ist einer zeitlichen Filterung zuzuführen. Das Ergebnis der zeitlichen Filterung ist eine Sollverschiebung für jede Ecke. Aus der Differenz der Sollverschiebung zur tatsächlichen Verschiebung ergibt sich nach einer Integration die Korrekturverschiebung für jede Bildecke. Diese Art der Bildstandsstabilisierung glättet den Verlauf der globalen Bildverschiebung, so daß Filmbildsequenzen, die auf einem Kameraschwenk beruhen, ruckfrei wiedergegeben werden können.
Der Mensch ist an die Wahrnehmung von Objekten gewöhnt, die sich aufgrund ihrer Masse nur mit endlicher Beschleunigung bewegen, d.h. an Objekte, die sich stetig bewegen. Sprungstellen, wie sie bei einem Szenenwechsel oder an Klebestellen im Film auftreten können, werden als anomal betrachtet. Dieses Wahrnehmungsverhalten bedeutet jedoch nicht, daß keine Sprünge auftreten dürfen. Um diesem Widerspruch Rechnung zu tragen, wird vorteilhaft ein umschaltbares Filter verwendet, welches zu Beginn einer Szene ein Signal möglichst unbeeinflußt durchläßt und erst nach mehreren Bildern, z.B. zwanzig Bilder, eine Tiefpaßcharakteristik aufbaut. Dieses Verhalten wird über eine Filterstruktur verwirklicht, bei der die Anzahl der verwendeten Koeffizienten akkumuliert.
Klebestellen im Filmmaterial erzeugen diskontinuierliche Signalverläufe von begrenzter Länge. Solche Diskontinuitäten können mit einem Prädiktor erkannt werden, der die gleiche Filterstruktur aufweist; es sind lediglich andere Koeffizien ten zu verwenden. Eine Transversalfilteranordnung mit seriellen Registern kann daher sowohl vom Tiefpaß als auch vom Prädiktor gemeinsam genutzt werden.
Zur Bildstandstabilisierung von Standbildern wird das Filter nicht benötigt; es wird stattdessen konstant Null als Soll-Verschiebung eingespeist.
Nachdem die Korrekturtransformationen berechnet worden sind, müssen sie auf die Eingangssequenz angewendet werden. Dazu wird für jeden Pixel im transformierten Ausgangsbild die Position im Eingangsbild ermittelt, von der die Bildinformation kommen muß. Im Regelfall liegt diese Position nicht exakt auf einem Pixel, sondern zwischen den Pixeln. Es ist daher eine überabgetastete Filtermatrix auf diese Position im Eingangsbild anzulegen und der Luminanz- bzw. Chrominanzwert des Ausgangsbildes zu bestimmen.
Besonders vorteilhaft ist, für die Filtermatrix ein High-Resolution-Spline (Spline = Sub Pixel line) zu verwenden, welches separierbar in die Filtermatrix abgebildet wird. Dabei kann beispielsweise eine Normierung durchgeführt werden, die unabhängig davon, wo die Filtermatrix im Eingangsbild angewendet wird, die Summe der tatsächlich verwendeten Koeffizienten Eins ergibt.
Die 2 zeigt ein Blockschaltbild eines Eckendetektors. An einem Eingang (Klemme 5) des Eckendetektors liegen acht Bit breite Datenworte der Luminanzkomponente eines digitalen Videosignals. Die Datenworte werden mit einer Datenrate von 30 MByte/s einer Reihenschaltung aus zwei Verzögerungseinrichtungen 30 und 31 zugeführt, die die Datenworte um jeweils eine Zeilenperiode verzögern. Die Ein- und Ausgänge der beiden Zeilenverzögerungen 30 und 31 sind mit Eingängen einer Matrix 32 verbunden. Die aus den Schaltungselementen 30 bis 32 bestehende Anordnung berechnet in einem begrenzten Pixelbereich die Ableitungen in X- und in Y-Richtung. Durch diese Maßnahme werden senkrechte und waagerechte Linien auf Pixel-Ebene detektiert. An Ausgängen der Matrix 32 sind in X- und Y-Richtung differenzierte Luminanzsignale sowie ein Vorzeichensignal abnehmbar. Die differenzierten Luminanzsignale weisen eine Datenwortebreite von zehn Bit auf.
Das in X-Richtung differenzierte Luminanzsignal wird den beiden Eingängen eines Multiplizierers 33 und das in Y-Richtung differenzierte Luminanzsignal den beiden Eingängen eines Multiplizierers 34 zugeführt. An Eingängen eines weiteren Multiplizierers 35 liegt jeweils eines der beiden differenzierten Luminanzsignale. Die Multiplizierer 33 und 34 quadrieren die anliegenden differenzierten Luminanzsignale; es werden Absolutwerte der Signale gebildet, die in einer Wortbreite von sechzehn Bit abgegeben werden. An dem Ausgang des Multiplizierers 33 wird ein Mischproduktsignal in einer Wortbreite von sechzehn Bit zur Verfügung gestellt. Das Mischprodukt der Ableitungen kann als Kreuzkorrelation verstanden werden.
Die Wortbreite der erhaltenen Signale wird nachfolgend in Rundungseinrichtungen 36, 37 und 38 auf dreizehn Bit begrenzt. Ein von der Rundungseinrichtung 36 abgegebenes Signal kxx wird mit Verzögerungseinrichtungen 39 und 40 um die Dauer von zwei Zeilenperioden verzögert. Das nicht-verzögerte, das um eine Zeilenperiode verzögerte und das um zwei Zeilenperioden verzögerte Signal kxx wird Eingängen einer ersten Korrelationsmatrix 41 zugeleitet. Ein von der Rundungseinrichtung 37 abgegebenes Signal kxy wird mit Verzögerungseinrichtungen 42 und 43 um die Dauer von zwei Zeilenperioden verzögert. Das nicht-verzögerte, das um eine Zeilenperiode verzögerte und das um zwei Zeilenperioden verzögerte Signal kxy gelangt zu Eingängen einer zweiten Korrelationsmatrix 44. Ein von der Rundungseinrichtung 38 abgegebenes Signal kyy wird mit Verzögerungseinrichtungen 45 und 46 um die Dauer von zwei Zeilenperioden verzögert. Das nicht-verzögerte, das um eine Zeilenperiode verzögerte und das um zwei Zeilenperioden verzögerte Signal kyy wird Eingängen einer dritten Korrelationsmatrix 47 zugeführt. Die aus den Elementen 39 bis 47 bestehende Anordnung ermittelt in einem größeren Bereich bestimmte Korrelationen. Die Gradienten an Kanten korrelieren dann stark miteinander, wenn sie alle Gradienten in eine Richtung zeigen. Im Gegensatz dazu korrelieren die Gradienten an Ecken nur wenig, da die Gradienten in unterschiedliche Richtungen weisen; es ergibt sich ein kleines Mischprodukt.
Im weiteren Signalverarbeitungsverlauf werden die an den Korrelationsmatrizen 41, 44 und 47 in sechzehn Bit breiten Worten vorliegenden Bilddaten ksxx, ksxy und ksyy hinsichtlich ihrer Güte q untersucht.
Die Werte der Bilddaten ksxx, ksxy und ksyy werden zunächst in Stufen 48, 49 und 50 normalisiert, sodann erfolgen die verschiedenen Multiplikationen. Die Bilddaten ksxx und ksyy sind Eingängen eines Multiplizierers 51 aufgeschaltet, der Bilddaten mxx,yy ausgibt. Die Bilddaten ksxy liegen an beiden Eingängen eines Multiplizierers 52, der die Bilddaten mxy,xy liefert. Die Werte der so erzeugten Bilddaten werden in einer Stufe 53 gemäß folgender Gleichung verarbeitet: 2·1d (mxx,yy – mxy,xy) – 1d(mxx,yy)
Dabei werden die Logarithmusfunktionen realisiert, indem die Fließpunktdarstellungen zunächst normiert und anschließend nur noch die Exponenten der Darstellung verwendet werden. Das Ergebnis dieser Berechnung wird einer Stufe 54 zugeführt.
Die Stufe 54 nimmt in Abhängigkeit des Wertes eines. an einer Eingangsklemme 55 liegenden Keysignals eine qualitative Bewertung der anliegenden Datenwerte der bis dahin detektierten Ecken vor. Das Keysignal kennzeichnet die Form und/oder örtliche Lage einer oder mehrerer Bildmasken, die eine Bedienperson manuell auswählt, um beispielsweise bestimmte Bildstrukturen im wiedergegebenen Videobild von der Eckendetektion auszuschließen bzw. zu bevorzugen. In einer der Stufe 54 nachgeschalteten Stufe 56 können die verbliebenen Werte der detekierten Ecken durch an einer Eingangsklemme 57 aufgeschaltete Schwellwertdaten noch weiter selektiert werden. Die Schwellwertdaten bezeichnen Pegelwerte, die bei Über- oder Unterschreiten der Datenwerte der Ecken deren Weiterleitung beeinflussen. Auch die aufgeschalteten Schwellwertdaten beruhen auf manuelle Eingaben einer Bedienperson, die wiedergegebenen Videobilder hinsichtlich der darin verteilten Bildstrukturen zu beurteilen hat.
Als zeitliche Referenz werden der Stufe 56 ein an einer Klemme 58 liegendes Zeilenstartsignal und ein an einer Klemme 59 liegendes Bildstartsignal zugeführt. Das an einer Ausgangsklemme 60 abnehmbare Eckensignal ist so aufbereitet, daß vom Bildinhalt jeweils zweier Zeilen maximal eine erkannte Ecke übrig bleibt, die ein nachgeschalteter Blockmatcher auf das Vorliegen von Bewegung weiter untersucht.
Der Eckendetektor der 2 stellt ein Korrelationsfilter für einen bestimmten Punkt (x,y) dar. Durch zeilenweises Abarbeiten gelingt es in vorteilhafter Weise, Ableitungen für eine ganze Zeile zu bilden und Korrelationsprodukte in drei Speichern mit einer Speicherkapazität von jeweils drei Zeilen zu sichern. Nach Ablauf von drei Zeilen beginnt die Auswertung.
Wie eingangs erwähnt, werden zunächst mit Matrizen (Sobel-Operatoren) die Ableitungen in X- und Y-Richtung gebildet und daraus die Korrelationsprodukte berechnet. Dabei werden Werte für jeweils eine Zeile berechnet und in einem Korrelationsspeicher abgelegt. Nachdem die Datenwerte von drei Zeilen gespeichert sind, also insgesamt fünf Bildzeilen verarbeitet worden sind, kann die Korrelationssumme über einen Drei-mal-drei-Block gebildet werden. Ergibt die Korrelationssumme ksxx(x,y) oder ksyy(x,y) den Wert Null, endet an dieser Stelle die Eckendetektion. Da alle Ableitungen bzw. Gradienten Null sind, kann keine Krümmung vorliegen. Mit der weiteren Verarbeitung kann die Güte berechnet werden. Nachdem ein Block bearbeitet wurde, werden die Datenwerte der Ecken in logarithmische Werte umgesetzt und dann dem Blockmatcher zur Bewegungsmessung zugeführt.
Die Qualität der Eckendetektion hängt entscheidend vom Bildinhalt ab. Je strukturierter der Bildinhalt ist, umso sicherer können Musterbereiche (Ecken) erkannt werden, die ihrerseits mittelbar Einfluß auf die Qualität der Bildstandstabilisierung nehmen. Durch Manipulation des dem Eckendetektor 13 zugeführten Videosignals läßt sich die Strukturierung des Bildinhalts anheben. Eine vorteilhafte Maßnahme zur Verbesserung der Auswertbarkeit der Strukturierung des Bildinhalts besteht darin, daß zur Ermittelung des Musterbereichs einzelne und/oder mehrere Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals gegenüber anderen Signalkomponenten im Videosignal in der Amplitude beeinflußt werden. Eine weitere Möglichkeit besteht darin, daß zur Ermittelung des Musterbereichs bestimmte Farbkomponenten des durch die Filmabtastung erhaltenen Videosignals mit wählbaren Koeffizienten matriziert werden. Ferner ist vorteilhaft, zur Ermittelung des Musterbereichs bestimmte Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals hinsichtlich der Gamma-Entzerrung unterschiedlich zu behandeln. Eine andere Möglichkeit besteht darin, zur Ermittelung des Musterbereichs den Amplitudenverlauf bestimmter Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals verschieden von den anderer Signalkomponenten zu beeinflussen.
Besonders vorteilhaft ist es, zur Ermittelung des Musterbereichs das durch die Filmabtastung erhaltene Videosignal einer örtlichen und/oder zeitlichen Filterung zu unterwerfen. Durch die örtliche Filterung, die eine Hoch-, Band- und/oder Tiefpaßfilterung des anliegenden Videosignals umfassen kann, lassen sich zweidimensionale Bildstrukturen auf Videoebene selektieren. Eine dreidimensionale Filterung läßt sich durch Berücksichtigung zeitlich benachbarter Bilder erzielen. So können beispielsweise mit Hilfe einer Tiefpaßfilterung des Videosignals über mehrere Teilbilder hinweg bestimmte – die Eckendetektion störende – feingliedrige Bildstrukturen unterdrückt werden.
Weiterhin ist vorteilhaft, daß bestimmte Bereiche in einem Fernsehbild, das durch Wiedergabe des durch die Filmabtastung erhaltenen Videosignals entsteht, von einem Signalverarbeitungsprozeß zur Ermittelung des Musterbereichs ausgeschlossen oder nicht ausgeschlossen werden. Dabei können bestimmte Bildbereiche in einem wiedergegebenen Fernsehbild des durch die Filmabtastung erhaltenen Videosignals durch Maskierung ausgewählt werden oder auch abhängig von der vorliegenden Bildstruktur des Bildinhalts des durch die Filmabtastung erhaltenen Videosignals automatisch von der Ermittelung des Musterbereichs ausgeschlossen werden, wobei die Bildstrukturen im Bildinhalt des durch die Filmabtastung erhaltenen Videosignals zunächst bewertet werden, sodann von den von der Bewertung erfaßten Bildbereichen Gütewerte festgestellt werden und schließlich abhängig von der jeweiligen Größe der festgestellten Gütewerte der dem Gütewert zugeordnete Bildbereich bei der Ermittelung des Musterbereichs entweder berücksichtigt oder ausgeschlossen wird. Die Entscheidung sollte einer Bedienperson überlassen bleiben, die anhand des Bildeindrucks subjektiv geeignet erscheinende Bildstrukturen ermittelt und diese für die Eckendetektion zuläßt oder ausschließt.
Für die Entscheidungsfindung der Bedienperson ist es hilfreich, in die bestimmten Bildbereiche des wiedergegebenen Fernsehbildes mindestens einen dem bestimmten Bildbereich zugeordneten Bewegungsvektor einzublenden. Hilfreich ist es auch, die bestimmten Bildbereiche des wiedergegebenen Fernsehbildes abhängig vom festgestellten Gütewert unterschiedlich einzufärben, eine vom festgestellten Gütewert abhängige Formunterscheidung vorzunehmen, die bestimmten Bildbereiche des wiedergegebenen Fernsehbildes zur Unterscheidung gegenüber anderen Bildbereichen einzurahmen oder die bestimmten Bildbereiche des wiedergegebenen Fernsehbildes zur Unterscheidung gegenüber anderen Bildbereichen als Falschfarben darzustellen.
Die 4 zeigt das Prinzip des Blockmatchings. Gemäß der 4a wird zur Bewegungsmessung ein Block der Größe n·m gewählt. Dieser Block wird im folgenden Musterbereich genannt. Im Gegensatz dazu wird ein Block (4b) der Größe von (n + 2·Δxmax)·(m + 2Δymax), wobei Δxmax und Δymax der maximal detektierbare Geschwindigkeitsbereich ist, als Suchbereich bezeichnet. Bei dem Blockmatching wird versucht, den Musterbereich in dem größeren Suchbereich wiederzufinden. Die Position, die die größte Ähnlichkeit aufweist, stellt mit größter Wahrscheinlichkeit die richtige Verschiebung dar. Die Ähnlichkeit wird über eine sogenannte Displaced Frame Difference (DFD) gemessen. Bei der größten Übereinstimmung ergibt die DFD ein Minimum und bei absoluter Übereinstimmung den Wert Null.
Das Blockschaltbild der 5 zeigt eine Ausführungsform der Blockmatcheranordnung. Bei dieser Anordnung erfolgt die Signalverarbeitung bezüglich der verschiedenen Suchbereiche nicht parallel sondern seriell. Dabei gelangt das von dem Eckendetektor erzeugte Eckensignal zu dem Eingang einer Steuereinrichtung 90, die als digitaler Signalprozessor ausgestaltet sein kann. Das durch die Filmabtastung und anschließende A/D-Wandlung mit dem A/D-Wandlers AD (1) erzeugte in acht Bit breiten Datenworten und mit einer Datenrate von 30 MByte/s an einer Klemme 91 anliegende digitale Videosignal wird zum einen dem Eingang eines Tiefpaßfilters 92 und zum anderen dem Eingang einer Verzögerungseinrichtung 93 zugeführt.
Das Tiefpaßfilter 92 dient zur Unterdrückung von Alias-Effekten, die durch nachfolgende Unterabtastung in einer Stufe 94 entstehen können. Aufgrund der Unterabtastung steht am Ausgang der Stufe 94 ein in der Datenrate auf 5 MByte/s reduziertes digitales Videosignal zur Verfügung, das in horizontaler Richtung nur noch jedes zweite Pixel und in vertikaler Richtung nur noch jedes dritte Pixel der ursprünglichen Pixelmenge enthält. Das unterabgetastete digitale Videosignal gelangt zu dem Eingang eines Zwischenspeichers 95, dessen Ausgang mit dem Eingang eines Blockmatchers 96 verbunden ist. Als Blockmatcher 96 kann beispielsweise ein integrierte Baustein des Typs L 646720 (video motion estimation processor) der Firma LSI Verwendung finden, der ein Full-Search-Blockmatching mit einer Fenstergröße von acht mal acht Pixel bei einer Suchweite von minus vier bis plus drei Pixel in horizontaler und vertikaler Richtung berechnet und kaskadierbar ist. Sowohl der Blockmatcher 96 als auch der Zwischenspeicher 95, der eine Speicherkapazität von einem Bild aufweist, werden durch ein entsprechend unterabgetastetes Eckensignal, das die Steuerung 90 liefert, gesteuert. Der Blockmatcher 96 nimmt grobe Bewegungsschätzungen in einem Suchbereich vor, der aufgrund der 3/2-Unterabtastung eine Fenstergröße von vierundzwanzig mal sechzehn Pixel umfaßt, wobei die horizontale Auflösung zwei Pixel und die vertikale Auflösung drei Pixel beträgt.
Ein nachgeschalteter Blockmatcher 97 verfeinert die Auflösungssprünge auf ein Pixel-Genauigkeit. Hierzu wird das an einem Ausgang des Blockmatchers 96 abnehmbare Bewegungsvektorsignal zunächst der Steuereinrichtung 90 zugeführt und nach entsprechender Aufbereitung zu dem Blockmatcher 97 und einem dem Blockmatcher 97 zugeordneten Zwischenspeicher 98 weitergeleitet. Auch der Blockmatcher 97 kann beispielsweise vom Typ L 646720 sein. Im Gegensatz zu dem Blockmatcher 96 arbeitet der Blockmatcher 97 jedoch mit den Orginalbilddaten des durch die Filmabtastung gewonnenen digitalen Videosignals. Infolgedessen ist dem zum Blockmatcher 97 zugeordneten Zwischenspeicher 98 das in der Verzögerungseinrichtung 93 verzögerte digitale Videosignal zuzuführen. Aufgabe der Verzögerungseinrichtung 93 ist es, die Signallaufzeit des digitalen Videosignals an die Signalverarbeitungszeit des Blockmatchers 96 anzupassen.
Der Blockmatcher 97 nimmt Bewegungsschätzungen in einem Suchbereich mit der Fenstergröße acht mal acht vor; dabei wird Pixel-Genauigkeit erzielt.
Zur Ermittlung von Bewegungen in einem Subpixel-Suchbereich und zur Ableitung eines entsprechenden Bewegungsvektorsignals wird das von dem Blockmatcher 97 erzeugte Bewegungsvektorsignal in einem weiteren Blockmatcher 99 weiterverarbeitet. Um noch Bewegungen von einem sechzehntel Pixel aufzulösen, muß das von dem Blockmatcher 97 ausgegebene und in der Steuereinrichtung 90 aufbereitete Bewegungsvektorsignal dem Blockmatcher 99 zugeführt werden, der videomäßig von dem am Ausgang des Zwischenspeichers 98 abnehmbaren und von einer Verzögerungseinrichtung 100 verzögerten digitalen Videosignal versorgt wird. Die Verzögerungseinrichtung 100 verzögert das Videosignal um die Dauer von zwei Ecken-Abständen. Ein am Ausgang des Blockmatchers 99 abnehmbares Bewegungsvektorsignal im Subpixel-Suchbereich wird der Steuereinrichtung 90 zugeführt, die an einer Ausgangsklemme 101 ein Gesamt-Bewegungsvektorsignal an eine (nicht dargestellte) Cluster-Einrichtung abgibt.
Unter den oben erwähnten Voraussetzungen deckt das letztendlich erzeugte Bewegungsvektorsignal eine Suchweite in horizontaler Richtung von 32 Pixeln und in vertikaler Richtung von 96 Pixeln ab, wobei die Auflösung ein sechzehntel Pixel beträgt. Die Ausführungsform der Blockmatcheranordnung der 5 weist den Vorteil auf, daß das Bewegungsvektorsignal in Echtzeit erzeugt wird, welches nach weiterer Aufbereitung als Stellsignal zur Korrektur von Bildstandfehlern verwendet werden kann.
Selbstverständlich ist es auch möglich, andere als durch Filmabtastung erzeugte Videosignale nach dem erfindungsgemäßen Verfahren zu verarbeiten, um bestimmte Trickeffekte zu erzielen oder aufnahmebedingte Mängel auszugleichen. So kann eine Bedienperson ein bestimmtes bewegtes Bildobjekt auf dem Bildschirm eines Monitors elektronisch markieren und dieses Bildobjekt als Referenz für eine Bildstandstabilisierung verwenden, um beispielsweise aus künstlerischen Gründen einen von der Orginalaufnahme abweichenden Bewegungsverlauf für das bestimmte Bildobjekt zu schaffen.

Claims

Verfahren zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung, bei welchem von Bildern des Films moduliertes Licht in ein Videosignal umgewandelt wird und bei welchem der Bildanteil im Videosignal hinsichtlich des Bildstands von einem Korrektursignal korrigiert wird, dadurch gekennzeichnet, dass in einem ersten Schritt vom Bildinhalt des durch Filmabtastung erhaltenen Videosignals durch Strukturerkennung mindestens ein Musterbereich ermittelt wird, der einer Krümmung im Bildinhalt entspricht, dass in einem zweiten Schritt durch Vergleich geprüft wird, ob der mindestens eine ermittelte Musterbereich in einem Suchbereich des Folgebildes wiedererkennbar ist, dass in einem dritten Schritt beim Wiedererkennen des mindestens einen Musterbereichs im Folgebild Bewegungsvektorsignale erzeugt werden, welche die Bewegungsrichtung und den Betrag der Ablage von der Position des mindestens einen ermittelten Musterbereichs zur Position des wiedererkannten Musterbereichs definiert, dass in einem vierten Schritt von den Bewegungsvektorsignalen Parameter einer Transformationsfunktion ermittelt werden, dass in einem anschließenden fünften Schritt durch Vergleich der Transformationsfunktion mit den Bewegungsvektoren solche Bewegungsvektoren erkannt und eliminiert werden, die mit Partialbewegungen korrespondieren, dass die Schritte vier und fünf gegebenenfalls mehrfach durchgeführt werden, dass in einem sechsten Schritt durch Berücksichtigung der zeitlichen Abfolge der Transformationsfunktionen Korrektursignale abgeleitet werden und dass in einem siebten Schritt diese Korrektursignale einer Umsteuereinrichtung zugeführt werden, die in den Bildsignalen die Stabilitätsfehler korrigieren.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor Durchführung des zweiten Schritts ein dem mindestens einen ermittelten Musterbereich entsprechendes Signal einer Tiefpaßfilterung unterworfen wird.
Anordnung zur Durchführung des Verfahrens nach Anspruch 1, gekennzeichnet durch eine Einrichtung zur Erzeugung eines Struktursignals, welche einen Eingang und einen Ausgang aufweist, wobei dem Eingang das Videosignal des Filmabtasters zugeführt ist und wobei an dem Ausgang ein Struktursignal abnehmbar ist, welches ermittelte Krümmungen im Bildinhalt des zugeführten Videosignal repräsentiert, eine Einrichtung, die Muster im Bildinhalt gekennzeichnet durch das Struktursignal in einem Folgebild wiedererkennt, eine Einrichtung zur Erzeugung eines Bewegungsvektorsignals in Abhängigkeit der Richtung und des Betrags der Ablage der Position ermittelter Krümmungen bezüglich der Position wiedererkannter Krümmungen in einem Suchbereich und eine Einrichtung zur Ableitung eines Signals zur Korrektur von Bildstandsfehlern, deren Eingang das erzeugte Bewegungsvektorsignal zugeführt ist und an deren Ausgang das Signal zur Korrektur von Bildstandsfehlern abnehmbar ist.
Anordnung nach Anspruch 3, dadurch gekennzeichnet, dass die Einrichtung zur Erzeugung des Struktursignals ein Korrelationsfilter ist.
Anordnung nach Anspruch 4, gekennzeichnet durch eine erste Verzögerungseinrichtung (30) mit einem Eingang und einem Ausgang, wobei dem Eingang ein digitales Videosignal zugeführt ist, eine zweite Verzögerungseinrichtung (31) mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der ersten Verzögerungseinrichtung (30) verbunden ist, eine erste Einrichtung (32) zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und drei Ausgängen, wobei die Eingänge mit Ein- und Ausgängen der ersten und zweiten Verzögerungseinrichtung (30, 31) verbunden sind und wobei an einem ersten Ausgang ein in X-Richtung differenziertes Videosignal abnehmbar ist, an einem zweiten Ausgang ein in Y-Richtung differenziertes Videosignal und an einem dritten Ausgang ein Vorzeichensignal, eine erste Einrichtung (33) zur Quadrierung des in X-Richtung differenzierten Videosignals, eine zweite Einrichtung (34) zur Quadrierung des in Y-Richtung differenzierten Videosignals, eine erste Einrichtung (35) zur Multiplizierung der in X- und Y-Richtung differenzierten Videosignale, eine dritte Verzögerungseinrichtung (39) mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der ersten Einrichtung (33) zur Quadrierung erzeugtes Signal (kxx) zugeführt ist, eine vierte Verzögerungseinrichtung (40) mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der dritten Verzögerungseinrichtung (30) verbunden ist, eine zweite Einrichtung (41) zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der dritten und vierten Verzögerungseinrichtung (30, 31) verbunden sind und wobei an dem Ausgang ein in X-Richtung differenziertes Signal (ksxx) abnehmbar ist, eine fünfte Verzögerungseinrichtung (42) mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der Einrichtung (35) erhaltenes Signal (kxy) sowie das Vorzeichensignal zugeführt ist, eine sechste Verzögerungseinrichtung (43) mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der fünften Verzögerungseinrichtung (42) verbunden ist, eine dritte Einrichtung (44) zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der fünften und sechsten Verzögerungseinrichtung (42, 43) verbunden sind und wobei an dem Ausgang ein in X,Y-Richtung differenziertes Signal (ksxy) abnehmbar ist, eine siebente Verzögerungseinrichtung (45) mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der Einrichtung (34) erhaltenes Signal (kyy) zugeführt ist, eine achte Verzögerungseinrichtung (46) mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der siebenten Verzögerungseinrichtung (45) verbunden ist, eine vierte Einrichtung (47) zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der siebenten und achten Verzögerungseinrichtung (45, 46) verbunden sind und wobei an dem Ausgang ein in Y-Richtung differenziertes Signal (ksyy) abnehmbar ist, eine dritte Einrichtung (52) zur Quadrierung des von der dritten Einrichtung (44) zur Erzeugung von Ableitungen in X- und Y-Richtung erzeugten Signals (ksxy), eine zweite Einrichtung (51) zur Multiplizierung des von der zweiten Einrichtung (41) zur Erzeugung von Ableitungen in X-Richtung erzeugten Signals (ksxx) und des von der vierten Einrichtung (47) zur Erzeugung von Ableitungen in X-Richtung erzeugten Signals (ksyy), eine Einrichtung (53, 54, 56) zur Erzeugung des Struktursignals mit zwei Eingängen und einem Ausgang, wobei dem einen Eingang das von der dritten Einrichtung (52) zur Quadrierung erzeugte Signal (ksxy) zugeführt ist und dem anderen Eingang das von der zweiten Einrichtung (51) zur Multiplizierung erzeugte Signal (ksyy) und wobei an dem Ausgang das Struktursignal abnehmbar ist.
Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass die von der ersten und zweiten Einrichtung (33, 34) zur Quadrierung abgegebenen Signale sowie das von der ersten Einrichtung (35) zur Multiplizierung abgegebene Signal über jeweils eine Einrichtung (36-37) zur Rundung geführt sind.
Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass die von der zweiten, dritten und vierten Einrichtung (41, 44, 47) zur Erzeugung von Ableitungen abgegebenen Signale über jeweils eine Einrichtung (48-50) zur Normalisierung geführt sind.
Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass die Einrichtung (53, 54, 56) zur Erzeugung des Struktursignals Einrichtungen enthält, die das von der dritten Einrichtung (52) zur Quadrierung erzeugte Signal (mxy,xy) von dem von der ersten und zweiten Einrichtung (51) zur Multiplizierung erzeugte Signal (mxx,yy) subtrahiert, die erhaltene Differenz sodann logarithmiert und mit 2 multipliziert und davon den logarithmierten Wert des von der ersten und zweiten Einrichtung (51) zur Multiplizierung erzeugten Signals (mxx,yy) subtrahiert.
Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass die Einrichtung (53, 54, 56) zur Erzeugung des Struktursignals mindestens eine Einrichtung (54, 56) enthält, welche eine örtliche und/oder videopegelmäßige Selektion bestimmter Strukturen im erzeugten Struktursignal erlaubt.
Anordnung nach Anspruch 3, dadurch gekennzeichnet, dass die Einrichtung zur Erzeugung eines Bewegungsvektorsignals aufweist: eine Steuereinrichtung (90) mit Eingängen und Ausgängen, wobei einem der Eingänge (60) das Struktursignal zugeführt ist und an einem der Ausgänge (101) das Bewegungsvektorsignal abnehmbar ist, einen ersten Blockmatcher (96), dessen Videosignaleingang ein zwischengespeichertes unterabgetastetes Videosignal, dessen Positionssignaleingang ein unterabgetastetes Struktursignal zugeführt ist und an dessen Ausgang ein erstes Bewegungsvektorsignal abnehmbar ist, einen zweiten Blockmatcher (97), dessen Videosignaleingang ein zwischengespeichertes nicht unterabgetastetes Videosignal, dessen Positionssignaleingang das erste Bewegungsvektorsignal zugeführt ist und an dessen Ausgang ein zweites Bewegungsvektorsignal abnehmbar ist, und einen dritten Blockmatcher (99), dessen Videosignaleingang ein zwischengespeichertes verzögertes nicht unterabgetastetes Videosignal, dessen Positionssignaleingang das zweite Bewegungsvektorsignal zugeführt ist und an dessen Ausgang ein drittes Bewegungsvektorsignal abnehmbar ist, welches einem der Eingänge der Steuereinrichtung (90) zugeleitet ist.
Anordnung nach Anspruch 10, gekennzeichnet durch eine Einrichtung (92) zur Tiefpaßfilterung des vom Filmabtaster erzeugten Videosignals, eine Einrichtung (94) zur Unterabtastung des von der Einrichtung (92) zur Tiefpaßfilterung abgegebenen Signals und eine erste Einrichtung (95) zur gesteuerten Speicherung eines von der Einrichtung (94) ausgegebenen unterabgetasteten Videosignals.
Anordnung nach Anspruch 10, gekennzeichnet durch eine zweite Einrichtung (98) zur gesteuerten Speicherung eines von einer Verzögerungseinrichtung (93) verzögerten Videosignals.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Ermittelung des mindestens einen Musterbereichs eine Signalverarbeitung zur Anwendung kommt, welche hinsichtlich der Auflösung der Datenworte die Werte der Datenworte zunächst in einer Fließkomma-Darstellung verarbeitet und erhaltene Zwischenwerte sodann in einer n-Bit breiten Mantisse-Exponent-Darstellung weiterverarbeitet.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass von Werten der Mantisse-Exponent-Darstellung nur die Werte der Exponenten der weiteren Signalverarbeitung zugrunde gelegt werden.
Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass vor einer Umwandlung von Werten der Fließkomma-Darstellung in Werte einer Mantisse-Exponent-Darstellung eine Normierung der Mantisse vorgenommen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittelung des mindestens einen Musterbereichs einzelne und/oder mehrere Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals gegenüber anderen Signalkomponenten im Videosignal amplitudenmäßig beeinflusst werden.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass zur Ermittelung des mindestens einen Musterbereichs bestimmte Farbkomponenten des durch die Filmabtastung erhaltenen Videosignals mit wählbaren Koeffizienten matriziert werden.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass zur Ermittelung des mindestens einen Musterbereichs bestimmte Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals hinsichtlich der Gamma-Entzerrung unterschiedlich behandelt werden.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass zur Ermittelung des mindestens einen Musterbereichs der Amplitudenverlauf bestimmter Signalkomponenten des durch die Filmabtastung erhaltenen Videosignals verschieden von dem anderer Signalkomponenten beeinflusst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittelung des mindestens einen Musterbereichs das durch die Filmabtastung erhaltene Videosignal einer örtlichen und/oder zeitlichen Filterung unterworfen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bestimmte Bereiche in einem Fernsehbild, das durch Wiedergabe des durch die Filmabtastung erhaltenen Videosignals entsteht, von einem Signalverarbeitungsprozeß zur Ermittelung des mindestens einen Musterbereichs ausgeschlossen oder nicht ausgeschlossen werden.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die bestimmten Bereiche in einem wiedergegebenen Fernsehbild des durch die Filmabtastung erhaltenen Videosignals ausgewählt werden.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die bestimmten Bereiche im wiedergegebenen Fernsehbild abhängig von der vorliegenden Bildstruktur des Bildinhalts des durch die Filmabtastung erhaltenen Videosignals automatisch von der Ermittelung des mindestens einen Musterbereichs ausgeschlossen werden.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die Bildstrukturen im Bildinhalt des durch die Filmabtastung erhaltenen Videosignals bewertet werden, dass von den von der Bewertung erfassten Bildbereichen Gütewerte festgestellt werden und dass abhängig von der jeweiligen Größe der festgestellten Gütewerte der dem Gütewert zugeordnete Bildbereich bei der Ermittelung des mindestens einen Musterbereichs berücksichtigt oder ausgeschlossen wird.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass in die bestimmten Bereiche des wiedergegebenen Fernsehbildes mindestens ein dem bestimmten Bereich zugeordneter Bewegungsvektor eingeblendet wird.
Verfahren nach Anspruch 24, dadurch gekennzeichnet, dass die bestimmten Bereiche des wiedergegebenen Fernsehbildes eine vom festgestellten Gütewert abhängige Farbunterscheidung aufweisen.
Verfahren nach Anspruch 24, dadurch gekennzeichnet, dass die bestimmten Bereiche des wiedergegebenen Fernsehbildes eine vom festgestellten Gütewert abhängige Formunterscheidung aufweisen.
Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass die bestimmten Bereiche des wiedergegebenen Fernsehbildes zur Unterscheidung gegenüber anderen Bildbereichen eingerahmt werden.
Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass die bestimmten Bereiche des wiedergegebenen Fernsehbildes zur Unterscheidung gegenüber anderen Bildbereichen als Falschfarben dargestellt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Film derart abgetastet wird, dass Videosignale von n sich teilweise überlappenden Teilbildern erzeugt werden, wobei n eine ganz positive Zahl ist, und dass vom Bildinhalt eines jeden erzeugten Videosignals mindestens ein Musterbereich ermittelt wird, der einer Krümmung im Bildinhalt entspricht.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeder Bewegungsvektor mit einem Gütewert beaufschlagt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mehrere ermittelte lokale Bewegungsvektoren zu einem Cluster zusammengefasst werden.
Verfahren nach Anspruch 32, dadurch gekennzeichnet, dass zu jedem Cluster ein Clusterschwerpunkt ermittelt wird.
Verfahren nach Anspruch 32, dadurch gekennzeichnet, dass das Zusammenfassen lokaler Bewegungsvektoren auf der Grundlage von Fuzzy-Mengen erfolgt.
Verfahren nach Anspruch 32, dadurch gekennzeichnet, dass jeder Cluster mit einem Gütewert beaufschlagt wird.
Verfahren nach Anspruch 35, dadurch gekennzeichnet, dass Cluster, die unterhalb einer bestimmten Güteschwelle liegen, von der Korrektur der Bildstandfehler ausgeschlossen werden.
Verfahren nach Anspruch 32, dadurch gekennzeichnet, dass von Werten mehrerer Cluster eine Approximation zur Bestimmung von Modellparametern einer Transformationsfunktion durchgeführt wird, dass zur Feststellung von Partialbewegungen die ermittelte Transformationsfunktion mit der Menge der Cluster verglichen wird und dass durch den Vergleich ermittelte Partialbewegungen von der Bildstandsfehlerkorrektur ausgeschlossen werden.
Verfahren nach Anspruch 37, dadurch gekennzeichnet, dass die Verschiebung der Krümmungen aus der Transformationsfunktion ermittelt wird und dass zum Erhalt einer Sollverschiebung für jede Krümmung die zeitliche Abfolge der Verschiebung der Krümmungen einer zeitlichen Filterung unterworfen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zu Beginn einer Bildszene ein Korrektursignal im wesentlich ungefiltert übertragen wird und dass nach einer vorgegebenen Anzahl von Filmbildern das Signal tiefpaßgefiltert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Signal zur Korrektur von Bildstandsfehlern auf Sequenzen von Eingangsbildern des durch Filmabtastung erhaltenen Videosignals angewendet wird, wobei eine überabgetastete Filtermatrix auf Positionen der Eingangsbilder gelegt wird.
Verfahren nach Anspruch 40, dadurch gekennzeichnet, dass als Filtermatrix eine hochauflösende Subpixel-Zeile verwendet wird, die in zwei Dimensionen in die Filtermatrix abgebildet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein oder mehrere einer Partialbewegung entsprechende Bewegungsvektoren eines bestimmten bewegten Bildobjekts nicht entsprechend dem fünften Schritt eliminiert werden, sondern zur Bildstabilisierung verwendet werden, wodurch das bestimmte Bildobjekt zur Referenz für die Bildstabilisierung wird.