Die Erfindung betrifft ein Verfahren zur Korrektur von Bildstandsfehlern bei der
fernsehmäßigen Filmabtastung, bei welchem von Bildern des Films moduliertes
Licht in ein Videosignal umgewandelt wird und bei welchem der Bildanteil im
Videosignal hinsichtlich des Bildstands von einem Korrektursignal korrigiert wird.
Ferner betrifft die Erfindung eine Anordnung zur Durchführung des Verfahrens.
Ein Filmabtaster wandelt die auf einem Film gespeicherten optischen Bilder in ein
Videosignal um. Zum Erhalt eines Videosignals mit bildstandfehlerfreiem Bildinhalt
sollte jedes Filmbild während des Abtastvorgangs mechanisch genauso positioniert
werden wie während des Belichtungsvorgangs. Bisher erfolgt die Positionierung der
einzelnen Filmbilder durch eine sogenannte Pin-Registration, bei der die Lage von
Perforationslöchern, die der Film an seinen Rändern trägt, erfaßt und ausgewertet
wird. Aufgrund mechanischer Ungenauigkeiten liefert die Pin-Registration jedoch
nur unvollkommene Ergebnisse, so daß mehr oder weniger störende horizontale,
vertikale, translatorische und/oder rotatorische Bildstandsfehler im wiedergegebenen
Videobild erkennbar sind. Einige der Bildstandsfehler sind prinzipbedingt, beispiels
weise solche Bildstandsfehler, die zurückzuführen sind auf Beschädigungen der
Perforationslöcher, Unregelmäßigkeiten des Films, Klebestellen im Film, Schwan
kungen der Filmtransportgeschwindigkeit oder auch auf in Perforationslöchern
abgesetzten Filmabrieb.
Zur Beseitigung der Bildstandsfehler in Filmabtastern nach dem Lichtpunktprinzip
wurde bereits vorgeschlagen (US-Patent 4,104,680), die Kanten der Perforations
löcher in horizontaler Richtung optisch abzutasten und von dem erzeugten Kanten
signal ein Korrektursignal abzuleiten. Das Korrektursignal verschiebt die Horizontal
ablenkung des Abtaststrahls einer Abtaströhre, die ein Fernsehraster auf den abzu
tastenden Films wirft. Dieses Korrekturverfahren läßt sich jedoch in Filmabtastern
mit CCD-Zeilensensoren, die den Film abtasten, nicht einsetzen. Ein weiterer
Nachteil der optischen Perforationslochabtastung ist, daß selbst bei der Ermittlung
der genauen örtlichen Lage der Perforationslöcher sich die Lage der einzelnen
Filmbilder nicht in der gewünschten Genauigkeit von ca. dem +/-0,1fachen einer
Zeilenhöhe bestimmen läßt, weil schon der Standard größere Lageabweichungen
zwischen den Perforationslöchern und den Filmbildern zuläßt. Es ist festzustellen,
daß Bildstabilisierungs-Ergebnisse als unbefriedigend einzustufen sind, wenn das
Signal zur Korrektur von Bildstandsfehlern nach einem Verfahren abgeleitet wird,
bei dem die Lage der Perforationslöcher als Bezug für die Positionierung der
Filmbilder beim fernsehmäßigen Abtastvorgang dient.
Weiterhin ist aus der US 5,194,958 ein Verfahren zur Korrektur von Bildstands
fehlern bekannt, bei welchem von L-förmigen Markierungen, die in Lücken zwi
schen benachbarten Bildern auf dem Film aufgebracht sind, ein Korrektursignal zur
Bildstabilisierung abgeleitet wird. Das Korrektursignal steuert einen Videosignalpro
zessor, z. B. ein digitales Videoeffektgerät. Da handelsübliche Filme nicht mit L-
förmigen Markierungen versehen sind, können nach diesem bekannten Verfahren
nur Spezialfilme im Bildstand korrigiert werden.
Schließlich ist aus der GB 2,187,913 A eine Vorrichtung zur Ermittlung von Bild
standsfehlern bekannt, in welcher eine Bewegungsvektor-Meßschaltung vom Video
signal des Filmabtasters Verschiebesignale ableitet, die den horizontalen und verti
kalen Versatz zwischen aufeinanderfolgenden Bildern repräsentieren. Die Verschie
besignale steuern einen 2-dimensionalen Interpolator, der das Videosignal des Film
abtasters unter Ausschluß solcher Bilder interpoliert, deren Bewegungsinhalt auf eine
Bildverschiebung, Bildvergrößerung bzw. -Verkleinerung oder einen Szenenwechsel
zurückzuführen ist. Bei der Bewegungsvektor-Messung werden Unterschiede
zwischen benachbarten Bildpunkten innerhalb einer Zeile sowie Unterschiede
zwischen benachbarten Zeilen und Bildern ermittelt. Zur Erzeugung eines bild
standsfehler-repräsentierenden Korrektursignals werden die in der Bewegungsvektor-
Meßschaltung abgeleiteten Verschiebesignale einer auf einer verkürzten Taylor-
Expansion beruhenden Rechenoperation unterworfen. Nachteilig ist, daß die bekann
te Vorrichtung nicht geeignet ist, den Bildstand hinreichend genau zu stabilisieren.
Besonders nachteilig ist jedoch, daß bei einer Vielzahl bestimmter Bildinhalte
verhindert wird, daß ein Korrektursignal erzeugt wird.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine
Anordnung nach der eingangs genannten Art anzugeben, welche(s) die Erzeugung
eines Signals zur hochgenauen Korrektur von Bildstandsfehlern erlaubt.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, daß in einem ersten Schritt
aus dem Bildinhalt des durch Filmabtastung erhaltenen Videosignals durch Struktur
erkennung mindestens ein Musterbereich ermittelt wird, der einer Krümmung im
Bildinhalt entspricht, daß in einem zweiten Schritt durch Vergleich geprüft wird, ob
die ermittelten Musterbereiche in einem Suchbereich des Folgebildes wiedererkenn
bar sind, daß in einem dritten Schritt beim Wiedererkennen der Musterbereiche im
Folgebild Bewegungsvektorsignale erzeugt werden, welche die Bewegungsrichtung
und den Betrag der Ablage von der Position des ermittelten Musterbereichs zur
Position des wiedererkannten Musterbereichs definiert, daß in einem vierten Schritt
von den Verschiebungsvektorsignalen Parameter einer Transformationsfunktion
ermittelt werden, daß in einem anschließenden fünften Schritt durch Vergleich der
Transformationsfunktion mit den Verschiebungsvektoren solche Verschiebungsvekto
ren erkannt und eliminiert werden, die mit Partialbewegungen korrespondieren, daß
die Schritte vier und fünf gegebenenfalls mehrfach durchgeführt werden, daß in
einem sechsten Schritt durch Berücksichtigung der zeitlichen Abfolge der Transfor
mationsfunktionen Korrektursignale abgeleitet werden und daß in einem siebten
Schritt diese Korrektursignale einer Umsteuereinrichtung zugeführt werden, die in
den Bildsignalen die Stabilitätsfehler korrigieren.
Das erfindungsgemäße Verfahren weist den Vorteil auf, daß nunmehr unabhängig
von der Lage der Filmperforation bzw. speziellen Markierungen auf dem Film
direkt vom Bildinhalt der Filmbilder ein Signal zur hochgenauen Korrektur von
Bildstandsfehler abgeleitet werden kann. Bezugspunkt ist allein der Grad der
Bewegung von Krümmungen im Bildinhalt der auf dem Film gespeicherten Bilder.
Besonders vorteilhaft ist, daß durch Anwendung des erfindungsgemäßen Verfahrens
selbst dann noch Bildstandsfehler zuverlässig ermittelt werden können, wenn durch
einen Kameraschwenk oder durch Änderung des Zoom-Einstellung der Kamera sich
der gesamte Bildinhalt von Bild zu Bild ändert.
Um mehrdeutige Ergebnisse aufgrund von Bewegungsmessungen in periodisch
strukturierten Bildbereichen bzw. mehrfach erkannten Musterbereichen im
Suchbereich auszuschließen, ist nach einer Weiterbildung des erfindungsgemäßen
Verfahrens vorgesehen, daß vor Durchführung des zweiten Schritts ein dem
ermittelten Musterbereich entsprechendes Signal einer Tiefpaßfilterung unterworfen
wird.
Eine vorteilhafte Anordnung zur Durchführung des erfindungsgemäßen Verfahrens
weist auf: eine Einrichtung zur Erzeugung eines Struktursignals, welche einen
Eingang und einen Ausgang aufweist, wobei dem Eingang das Videosignal des
Filmabtasters zugeführt ist und wobei an dem Ausgang ein Struktursignal abnehmbar
ist, welches ermittelte Ecken im Bildinhalt des zugeführten Videosignal repräsen
tiert, eine Einrichtung zum Vergleich des Ecken repräsentierenden Struktursignals
mit dem Bildinhalt des Signals eines Suchbereichs, eine Einrichtung zur Erzeugung
eines Bewegungsvektorsignals in Abhängigkeit der Richtung und des Betrags der
Ablage der Position ermittelter Ecken bezüglich der Position wiedererkannter Ecken
in dem Suchbereich und eine Einrichtung zur Ableitung eines Signal zur Korrektur
von Bildstandsfehlern, deren Eingang das erzeugte Bewegungsvektorsignal zugeführt
ist und an deren Ausgang das Signal zur Korrektur von Bildstandsfehlern abnehmbar
ist.
Eine vorteilhafte Ausgestaltung eines Eckendetektors enthält eine erste Verzöge
rungseinrichtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein
digitales Videosignal zugeführt ist, eine zweite Verzögerungseinrichtung mit einem
Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang der ersten
Verzögerungseinrichtung verbunden ist, eine erste Einrichtung zur Erzeugung von
Ableitungen in X- und Y-Richtung mit drei Eingängen und drei Ausgängen, wobei
die Eingänge mit Ein- und Ausgängen der ersten und zweiten Verzögerungseinrich
tung verbunden sind und wobei an einem ersten Ausgang ein in X-Richtung differen
ziertes Videosignal abnehmbar ist, an einem zweiten Ausgang ein in Y-Richtung
differenziertes Videosignal und an einem dritten Ausgang ein Vorzeichensignal, eine
erste Einrichtung zur Quadrierung des in X-Richtung differenzierten Videosignals,
eine zweite Einrichtung zur Quadrierung des in Y-Richtung differenzierten Video
signals, eine erste Einrichtung zur Multiplizierung des in X- und Y-Richtung
differenzierten Videosignals, eine dritte Verzögerungseinrichtung mit einem Eingang
und einem Ausgang, wobei dem Eingang ein von der ersten Einrichtung zur
Quadrierung erzeugtes Signal (kxx) zugeführt ist, eine vierte Verzögerungseinrich
tung mit einem Eingang und einem Ausgang, wobei der Eingang mit dem Ausgang
der dritten Verzögerungseinrichtung verbunden ist, eine zweite Einrichtung zur
Erzeugung von Ableitungen in X- und Y-Richtung mit drei Eingängen und einem
Ausgang, wobei die Eingänge mit Ein- und Ausgängen der dritten und vierten
Verzögerungseinrichtung verbunden sind und wobei an dem Ausgang ein in X-
Richtung differenziertes Signal (ksxx) abnehmbar ist, eine fünfte Verzögerungsein
richtung mit einem Eingang und einem Ausgang, wobei dem Eingang ein von der
Einrichtung erhaltenes Signal (kxy) sowie das Vorzeichensignal zugeführt ist, eine
sechste Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der
Eingang mit dem Ausgang der fünften Verzögerungseinrichtung verbunden ist, eine
dritte Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit drei
Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen der
fünften und sechsten Verzögerungseinrichtung verbunden sind und wobei an dem
Ausgang ein in X,Y-Richtung differenziertes Signal (ksxy) abnehmbar ist, eine
siebente Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei
dem Eingang ein von der Einrichtung erhaltenes Signal (kyy) zugeführt ist, eine
achte Verzögerungseinrichtung mit einem Eingang und einem Ausgang, wobei der
Eingang mit dem Ausgang der siebenten Verzögerungseinrichtung verbunden ist,
eine vierte Einrichtung zur Erzeugung von Ableitungen in X- und Y-Richtung mit
drei Eingängen und einem Ausgang, wobei die Eingänge mit Ein- und Ausgängen
der siebenten und achten Verzögerungseinrichtung verbunden sind und wobei an
dem Ausgang ein in Y-Richtung differenziertes Signal (ksyy) abnehmbar ist, eine
dritte Einrichtung zur Quadrierung des von dritten Einrichtung zur Erzeugung von
Ableitungen in X- und Y-Richtung erzeugten Signals (ksxy), eine zweite Einrichtung
zur Multiplizierung des von der zweiten Einrichtung zur Erzeugung von Ableitungen
in X-Richtung erzeugten Signals (ksxx) und des von vierten Einrichtung zur Erzeu
gung von Ableitungen in X-Richtung erzeugten Signals (ksyy), eine Einrichtung zur
Erzeugung des Struktursignals mit zwei Eingängen und einem Ausgang, wobei dem
einen Eingang das von der dritten Einrichtung zur Quadrierung erzeugte Signal
(ksxy) zugeführt ist und dem anderen Eingang das von der zweiten Einrichtung zur
Multiplizierung erzeugte Signal (ksyy) und wobei an dem Ausgang das Struktur
signal abnehmbar ist.
Die Ausgestaltung einer Blockmatcheranordnung zur Erzeugung des Bewegungsvek
torsignals besteht vorteilhafterweise aus einer Steuereinrichtung mit Eingängen und
Ausgängen, wobei einem der Eingänge das Struktursignal zugeführt ist und an einem
der Ausgänge das Bewegungsvektorsignal abnehmbar ist, einem ersten Blockmat
cher, dessen Videosignaleingang ein zwischengespeichertes unterabgetastetes Video
signal, dessen Positionssignaleingang ein unterabgetastetes Struktursignal zugeführt
ist und an dessen Ausgang ein erstes Bewegungsvektorsignal abnehmbar ist, einem
zweiten Blockmatcher, dessen Videosignaleingang ein zwischengespeichertes nicht
unterabgetastetes Videosignal, dessen Positionssignaleingang das erste Bewegungs
vektorsignal zugeführt ist und an dessen Ausgang ein zweites Bewegungsvektor
signal abnehmbar ist, und einem dritten Blockmatcher, dessen Videosignaleingang
ein zwischengespeichertes verzögertes nicht unterabgetastetes Videosignal, dessen
Positionssignaleingang das zweite Bewegungsvektorsignal zugeführt ist und an
dessen Ausgang ein drittes Bewegungsvektorsignal abnehmbar ist, welches einem
der Eingänge der Steuereinrichtung zugeleitet ist.
Weitere Vorteile und Einzelheiten der Erfindung sind den Unteransprüchen zu
entnehmen.
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der
nachfolgenden Beschreibung näher erläutert. Es zeigt
Fig. 1 die schematische Darstellung eines Filmabtasters mit einer Einrichtung zur
elektronischen Bildstandsstabilisierung,
Fig. 2 das Blockschaltbild eines Eckendetektors,
Fig. 3 eine schematische Darstellung zur Erläuterung der Bewegungsmessung,
Fig. 4 eine prinzipielle schematische Darstellung der Suchbereiche der
Blockmatcher,
Fig. 5 das Blockschaltbild des Blockmatchings.
Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.
In der schematischen Darstellung der Fig. 1 ist mit 1 ein Film bezeichnet, der mit
gleichförmiger Geschwindigkeit an einem opto-elektrischen Sensor 2
vorbeitransportiert wird. Der Sensor 2 kann beispielsweise eine CCD-Zeile sein.
Während des Filmtransports durchleuchtet das Licht einer Lampe 3 den Film 1.
Eine Linse 4 fokussiert das durch den Film 1 dringende Licht auf den Sensor 2.
An einem Ausgang des Sensors 2 ist ein analoges, bildstandsfehlerbehaftetes Video
signal abnehmbar. Dieses Videosignal wird - vorzugsweise unter Zwischenschaltung
eines A/D-Wandlers AD - über eine Klemme 5 zu dem Eingang einer Einrichtung 6
zur Korrektur von Bildstandsfehlern geführt.
Es ist üblich, die Informationen für die rote, grüne und blaue Farbkomponente mit
jeweils einem Sensor aufzunehmen. Um die Auflösung zu erhöhen, benutzt man in
CCD-Filmabtastern nicht nur einen einzigen CCD-Zeilen-Sensor pro Zeile sondern
vier CCD-Zeilen-Sensoren, die nebeneinander versetzt angeordnet sind und die eine
geringe Überlappung besitzen. Dabei wird die Luminanz in einem HDTV-(high
definition television)-Format und die Chrominanz in einem Standardformat abge
tastet. Die Chrominanz wird durch die drei RGB-Komponenten dargestellt.
Für den weiteren Signalverarbeitungsprozeß sei angenommen, daß vier voneinander
unabhängige Datenströme zur Verfügung stehen, die in getrennten identisch aufge
bauten Kanälen verarbeitet werden. Die nachfolgende Beschreibung nimmt bezug auf
einen dieser Kanäle.
Die Einrichtung 6 zur Korrektur von Bildstandsfehlern enthält eine Signalverzö
gerungseinrichtung 7, ein Stellglied 8 und eine Einrichtung 9 zur Ableitung eines
Signals zur Korrektur der Bildstandsfehler. Das an der Klemme 5 abnehmbare
bildstandsfehlerbehaftete Videosignal liegt sowohl an einem Eingang der Signal
verzögerungseinrichtung 7 und als auch an einem Eingang der Einrichtung 9 zur
Ableitung eines Signals zur Korrektur von Bildstandsfehlern. Die Signalverzöge
rungseinrichtung 7 dient zur Anpassung der Laufzeit des bildstandsfehlerbehafteten
Videosignals an die Signallaufzeit der Einrichtung 9. Selbstverständlich ist es auch
möglich, einen zeitlichen Ausgleich dadurch vorzunehmen, daß die Datentransfer
zeiten eines digital vorliegenden Videosignals entsprechend verzögert werden.
Das an einem Ausgang der Signalverzögerungseinrichtung 7 abnehmbare bildstands
fehlerbehaftete Videosignal wird zu dem Signaleingang eines Stellgliedes 8 weiter
geleitet. An einem Stelleingang des Stellgliedes 8 liegt ein an einer Ausgangsklemme
10 der Einrichtung 9 zur Ableitung eines Signals zur Korrektur von Bildstands
fehlern abnehmbares Korrektursignal. Das Stellglied 8 gibt an einer Ausgangsklem
me 11 ein von Bildstandsfehlern befreites Videosignal ab.
Das Stellglied 8 kann beispielsweise ein an sich bekanntes Videoeffektgerät sein, das
stellsignalabhängig translatorische Bewegungen, horizontale und vertikale Größen
fehler, rotatorische Fehler um einen ermittelten Drehpunkt, Verzeichnungsfehler
(Fisheye-Effekte) oder auch Linearitätsfehler (Fehler höherer Ordnung) korrigiert.
Zur Überwachung des an der Ausgangsklemme 10 zur Verfügung gestellten Korrek
tursignals oder des an der Ausgangsklemme 11 abgegebenen, nunmehr von Bild
standsfehlern befreiten Videosignals ist ein Monitor 12 vorgesehen. Der Eingang des
Monitors 12 läßt sich wahlweise mit der Ausgangsklemme 10 oder 11 verbinden.
Von unstrukturierten Bildbereichen (Fig. 3a) läßt sich kein verwertbares, zur
Ableitung von Bewegungsvektoren geeignetes Struktursignal erzeugen. Unstruktu
rierte Bildbereiche lassen sich im Bildinhalt eines zeitlich nachfolgenden Bildes nicht
wiederfinden. Die Verwertbarkeit des vom Eckendetektor erzeugten Struktursignals
hängt somit entscheidend vom Bildinhalt des anliegenden Videosignals ab. Ermittelte
Bewegungsvektoren sind auch vom Rauschen des verwendeten Filmmaterials
abhängig.
Bewegungsmessungen an Kanten führen ebenfalls nicht zu eindeutigen Ergebnissen.
Sinnvoll können Geschwindigkeitskomponenten eines strukturierten Bildbereichs nur
senkrecht zu einer Kante bestimmt werden (Fig. 3b).
Dagegen können von strukturierten Bildbereichen, die auf Ecken oder Krümmungen
beruhen (Fig. 3c), mit großer Wahrscheinlichkeit exakte Bewegungsvektoren
bestimmt werden.
Nachfolgend wird mit einer Ecke eine allgemeine Krümmung bezeichnet und nicht
die ideale Ecke eines Rechtecks.
Die Bestimmung globaler Verschiebungsparameter verläuft in mehreren Schritten.
Zunächst sind die gefundenen Bewegungsvektoren durch eine sogenannte Clusterung
zusammenzufassen. Auf die ermittelte Clustermenge ist sodann eine (Least-Square)-
Approximation anzuwenden, um Modellparameter für eine Transformationsfunktion
zu bestimmen. Die gefundene Transformationsfunktion ist sodann mit der Cluster
menge zu vergleichen, um Partialverschiebungen zu erkennen und zu eliminieren.
Auf der Basis der hiernach verbleibenden Cluster sind die Parameter erneut zu be
stimmen. Die Iteration ist solange durchzuführen, bis die Abweichungen zwischen
den einzelnen Clustern und der Transformationsfunktion eine Schwelle unterschrei
ten.
In den meisten Fällen wird ein bewegtes Objekt mehrere detektierbare Krümmungen
besitzen, so daß hier Redundanz vorliegt, sofern sich das Objekt nur translatorisch
bewegt. Danach ist eine Transformation zu berechnen, die alle Bewegungsvektoren
wiederspiegelt und für die Orte im Bild eine Aussage über die Verschiebung liefert
an denen kein Bewegungsvektor aufsetzt. Zur Berechnung sind die Bewegungsvekto
ren als Stützstellen heranzuziehen. Wenn dabei ein kleines Objekt viele Stützstellen
aufweist, ist es starker zu berücksichtigen als ein großes Objekt mit wenigen Stütz
stellen. Redundanzen an solchen Stützstellen sind durch Clusterung der Bewe
gungsvektoren zu beseitigen. Besonders vorteilhaft ist, die ermittelten Bewe
gungsvektoren mit einem partitionierenden Clusteralgorithmus zusammenzufassen.
Ein Bewegungsvektor setzt sich aus den vier Skalaren zusammen, nämlich der x-
und y-Koordinate des Aufpunktes und der Verschiebung in x- und y-Richtung. Der
Verschiebungsvektor ist als Punkt in einem vierdimensionalen Raum aufzufassen.
Jeder Verschiebungsvektor ist zudem mit einen Gütewert zu beaufschlagen. Um eine
sinnvolle Abstandsfunktion zu finden, ist der vierdimensionale Raum zunächst zu
normieren, damit sowohl die Verschiebungsvektoren als auch Cluster als Punkte
desselben Raumes aufgefaßt werden können. Ein Cluster ist dabei als Menge von
Verschiebungsvektoren zu verstehen. Aus zugeordneten Elementen wird für den
Cluster ein neuer Schwerpunkt errechnet. Die Mengenzuordnung erfolgt vorteil
hafterweise durch Verwendung von Fuzzy-Mengen. Auf diese Weise ist es möglich,
einen Verschiebungsvektor auch mehreren Clustern zuzuordnen. In die Berechnung
der Clusterschwerpunkte sollte neben der normierten Zugehörigkeitsfunktion auch
Güteschwellen der Bewegungsvektoren als Gewichtungsfaktor eingehen, um
auszuschließen, daß extrem schlechte Vektoren den Clusterschwerpunkt entscheidend
mitprägen und das Ergebnis verfälschen. Den Clustern ist - ähnlich den Bewegungs
vektoren - eine Güteschwelle zugeordnet, die sich hier aus dem Maximum der
Güteschwellen aller zugehörigen Bewegungsvektoren ergibt.
Die Menge der Cluster beinhaltet nicht nur die Verschiebungen des Gesamtbildes,
sondern auch solche, die Bewegung von einzelnen Objekten beschreiben. Auch
virtuelle Verschiebungen, die durch Auf- bzw. Verdecken von Bildobjekten
entstehen, sind in der Menge der Cluster enthalten. Um - wie eingangs erwähnt -
eine globale Bildverschiebung zu finden, müssen Objektverschiebungen und virtuelle
Verschiebungen eliminiert werden. Solche Verschiebungen können erkannt werden,
indem eine Approximationslösung mit den Clustern verglichen wird. Die Cluster,
die erheblich von der Approximationslösung abweichen, werden entfernt. Aus der
verbliebenen Menge von Clustern ist anschließend eine neue Approximationslösung
zu ermitteln. Ein Maß für die Abweichung zwischen einem Cluster und der
Approximationslösung ist der durch seinen Mittelwert normierte euklidische Abstand
zwischen der Approximation und dem Cluster. Ein ermittelter Wert von eins
bedeutet, daß der Abstand dem mittleren Abstand aller Cluster von der Approxima
tion entspricht. Falls dieser normierte Abstand größer als ein bestimmter Schwell
wert ist, wird der entsprechende Cluster eliminiert. Der Schwellwert sollte zwischen
1,2 und 1,5 liegen. Wird der Schwellwert kleiner gewählt, werden mehr Cluster
eliminiert.
Die Verschiebung der Ecken der Bildebene läßt sich aus der Transformationsfunk
tion feststellen. Dabei kann eine maximale Verschiebung angegeben werden. Die
zeitliche Abfolge der Verschiebung der Bildecken ist einer zeitlichen Filterung
zuzuführen. Das Ergebnis der zeitlichen Filterung ist eine Sollverschiebung für jede
Ecke. Aus der Differenz der Sollverschiebung zur tatsächlichen Verschiebung ergibt
sich nach einer Integration die Korrekturverschiebung für jede Bildecke. Diese Art
der Bildstandsstabilisierung glättet den Verlauf der globalen Bildverschiebung, so
daß Filmbildsequenzen, die auf einem Kameraschwenk beruhen, ruckfrei wiederge
geben werden können.
Der Mensch ist an die Wahrnehmung von Objekten gewöhnt, die sich aufgrund ihrer
Masse nur mit endlicher Beschleunigung bewegen, d. h. an Objekte, die sich stetig
bewegen. Sprungstellen, wie sie bei einem Szenenwechsel oder an Klebestellen im
Film auftreten können, werden als anomal betrachtet. Dieses Wahrnehmungsverhal
ten bedeutet jedoch nicht, daß keine Sprünge auftreten dürfen. Um diesem Wider
spruch Rechnung zu tragen, wird vorteilhaft ein umschaltbares Filter verwendet,
welches zu Beginn einer Szene ein Signal möglichst unbeeinflußt durchläßt und erst
nach mehreren Bildern, z. B. zwanzig Bilder, eine Tiefpaßcharakteristik aufbaut.
Dieses Verhalten wird über eine Filterstruktur verwirklicht, bei der die Anzahl der
verwendeten Koeffizienten akkumuliert.
Klebestellen im Filmmaterial erzeugen diskontinuierliche Signalverläufe von
begrenzter Länge. Solche Diskontinuitäten können mit einem Prädiktor erkannt
werden, der die gleiche Filterstruktur aufweist; es sind lediglich andere Koeffizien
ten zu verwenden. Eine Transversalfilteranordnung mit seriellen Registern kann
daher sowohl vom Tiefpaß als auch vom Prädiktor gemeinsam genutzt werden.
Zur Bildstandstabilisierung von Standbildern wird das Filter nicht benötigt; es wird
statt dessen konstant Null als Soll-Verschiebung eingespeist.
Nachdem die Korrekturtransformationen berechnet worden sind, müssen sie auf die
Eingangssequenz angewendet werden. Dazu wird für jeden Pixel im transformierten
Ausgangsbild die Position im Eingangsbild ermittelt, von der die Bildinformation
kommen muß. Im Regelfall liegt diese Position nicht exakt auf einem Pixel, sondern
zwischen den Pixeln. Es ist daher eine überabgetastete Filtermatrix auf diese
Position im Eingangsbild anzulegen und der Luminanz- bzw. Chrominanzwert des
Ausgangsbildes zu bestimmen.
Besonders vorteilhaft ist, für die Filtermatrix ein High-Resolution-Spline (Spline =
Sub pixel line) zu verwenden, welches separierbar in die Filtermatrix abgebildet
wird. Dabei kann beispielsweise eine Normierung durchgeführt werden, die
unabhängig davon, wo die Filtermatrix im Eingangsbild angewendet wird, die
Summe der tatsächlich verwendeten Koeffizienten Eins ergibt.
Die Fig. 2 zeigt ein Blockschaltbild eines Eckendetektors. An einem Eingang
(Klemme 5) des Eckendetektors liegen acht Bit breite Datenworte der Lumi
nanzkomponente eines digitalen Videosignals. Die Datenworte werden mit einer
Datenrate von 30 MByte/s einer Reihenschaltung aus zwei Verzögerungseinrichtun
gen 30 und 31 zugeführt, die die Datenworte um jeweils eine Zeilenperiode verzö
gern. Die Ein- und Ausgänge der beiden Zeilenverzögerungen 30 und 31 sind mit
Eingängen einer Matrix 32 verbunden. Die aus den Schaltungselementen 30 bis 32
bestehende Anordnung berechnet in einem begrenzten Pixelbereich die Ableitungen
in X- und in Y-Richtung. Durch diese Maßnahme werden senkrechte und
waagerechte Linien auf Pixel-Ebene detektiert. An Ausgängen der Matrix 32 sind in
X- und Y-Richtung differenzierte Luminanzsignale sowie ein Vorzeichensignal
abnehmbar. Die differenzierten Luminanzsignale weisen eine Datenwortebreite von
zehn Bit auf.
Das in X-Richtung differenzierte Luminanzsignal wird den beiden Eingängen eines
Multiplizierers 33 und das in Y-Richtung differenzierte Luminanzsignal den beiden
Eingängen eines Multiplizierers 34 zugeführt. An Eingängen eines weiteren
Multiplizierers 35 liegt jeweils eines der beiden differenzierten Luminanzsignale.
Die Multiplizierer 33 und 34 quadrieren die anliegenden differenzierten Luminanz
signale; es werden Absolutwerte der Signale gebildet, die in einer Wortbreite von
sechzehn Bit abgegeben werden. An dem Ausgang des Multiplizierers 33 wird ein
Mischproduktsignal in einer Wortbreite von sechzehn Bit zur Verfügung gestellt.
Das Mischprodukt der Ableitungen kann als Kreuzkorrelation verstanden werden.
Die Wortbreite der erhaltenen Signale wird nachfolgend in Rundungseinrichtungen
36, 37 und 38 auf dreizehn Bit begrenzt. Ein von der Rundungseinrichtung 36
abgegebenes Signal kxx wird mit Verzögerungseinrichtungen 39 und 40 um die
Dauer von zwei Zeilenperioden verzögert. Das nicht-verzögerte, das um eine
Zeilenperiode verzögerte und das um zwei Zeilenperioden verzögerte Signal kxx
wird Eingängen einer ersten Korrelationsmatrix 41 zugeleitet. Ein von der
Rundungseinrichtung 37 abgegebenes Signal kxy wird mit Verzögerungseinrichtun
gen 42 und 43 um die Dauer von zwei Zeilenperioden verzögert. Das nicht-verzö
gerte, das um eine Zeilenperiode verzögerte und das um zwei Zeilenperioden
verzögerte Signal kxy gelangt zu Eingängen einer zweiten Korrelationsmatrix 44.
Ein von der Rundungseinrichtung 38 abgegebenes Signal kyy wird mit Verzöge
rungseinrichtungen 45 und 46 um die Dauer von zwei Zeilenperioden verzögert. Das
nicht-verzögerte, das um eine Zeilenperiode verzögerte und das um zwei Zeilen
perioden verzögerte Signal kyy wird Eingängen einer dritten Korrelationsmatrix 47
zugeführt. Die aus den Elementen 39 bis 47 bestehende Anordnung ermittelt in
einem größeren Bereich bestimmte Korrelationen. Die Gradienten an Kanten
korrelieren dann stark miteinander, wenn sie alle Gradienten in eine Richtung
zeigen. Im Gegensatz dazu korrelieren die Gradienten an Ecken nur wenig, da die
Gradienten in unterschiedliche Richtungen weisen; es ergibt sich ein kleines
Mischprodukt.
Im weiteren Signalverarbeitungsverlauf werden die an den Korrelationsmatrizen 41,
44 und 47 in sechzehn Bit breiten Worten vorliegenden Bilddaten ksxx, ksxy und
ksyy hinsichtlich ihrer Güte q untersucht.
Die Werte der Bilddaten ksxx, ksxy und ksyy werden zunächst in Stufen 48, 49 und
50 normalisiert, sodann erfolgen die verschiedenen Multiplikationen. Die Bilddaten
ksxx und ksyy sind Eingängen eines Multiplizierers 51 aufgeschaltet, der Bilddaten
mxx,yy ausgibt. Die Bilddaten ksxy liegen an beiden Eingängen eines Multiplizie
rers 52, der die Bilddaten mxy,xy liefert. Die Werte der so erzeugten Bilddaten
werden in einer Stufe 53 gemäß folgender Gleichung verarbeitet:
2 * ld (mxx,yy - mxy,xy) - ld( mxx,yy)
Dabei werden die Logarithmusfunktionen realisiert, indem die Fließpunktdarstellun
gen zunächst normiert und anschließend nur noch die Exponenten der Darstellung
verwendet werden. Das Ergebnis dieser Berechnung wird einer Stufe 54 zugeführt.
Die Stufe 54 nimmt in Abhängigkeit des Wertes eines an einer Eingangsklemme 55
liegenden Keysignals eine qualitative Bewertung der anliegenden Datenwerte der bis
dahin detektierten Ecken vor. Das Keysignal kennzeichnet die Form und/oder
örtliche Lage einer oder mehrerer Bildmasken, die eine Bedienperson manuell
auswählt, um beispielsweise bestimmte Bildstrukturen im wiedergegebenen
Videobild von der Eckendetektion auszuschließen bzw. zu bevorzugen. In einer der
Stufe 54 nachgeschalteten Stufe 56 können die verbliebenen Werte der detektierten
Ecken durch an einer Eingangsklemme 57 aufgeschaltete Schwellwertdaten noch
weiter selektiert werden. Die Schwellwertdaten bezeichnen Pegelwerte, die bei
Über- oder Unterschreiten der Datenwerte der Ecken deren Weiterleitung
beeinflussen. Auch die aufgeschalteten Schwellwertdaten beruhen auf manuelle
Eingaben einer Bedienperson, die wiedergegebenen Videobilder hinsichtlich der
darin verteilten Bildstrukturen zu beurteilen hat.
Als zeitliche Referenz werden der Stufe 56 ein an einer Klemme 58 liegendes
Zeilenstartsignal und ein an einer Klemme 59 liegendes Bildstartsignal zugeführt.
Das an einer Ausgangsklemme 60 abnehmbare Eckensignal ist so aufbereitet, daß
vom Bildinhalt jeweils zweier Zeilen maximal eine erkannte Ecke übrig bleibt, die
ein nachgeschalteter Blockmatcher auf das Vorliegens von Bewegung weiter
untersucht.
Der Eckendetektor der Fig. 2 stellt ein Korrelationsfilter für einen bestimmten Punkt
(x,y) dar. Durch zeilenweises Abarbeiten gelingt es in vorteilhafter Weise, Ableitun
gen für eine ganze Zeile zu bilden und Korrelationsprodukte in drei Speichern mit
einer Speicherkapazität von jeweils drei Zeilen zu sichern. Nach Ablauf von drei
Zeilen beginnt die Auswertung.
Wie eingangs erwähnt, werden zunächst mit Matrizen (Sobel-Operatoren) die Ablei
tungen in X- und Y-Richtung gebildet und daraus die Korrelationsprodukte berech
net. Dabei werden Werte für jeweils eine Zeile berechnet und in einem Korrelations
speicher abgelegt. Nachdem die Datenwerte von drei Zeilen gespeichert sind, also
insgesamt fünf Bildzeilen verarbeitet worden sind, kann die Korrelationssumme über
einen Drei-mal-drei-Block gebildet werden. Ergibt die Korrelationssumme ksxx(x,y)
oder ksyy(x,y) den Wert Null, endet an dieser Stelle die Eckendetektion. Da alle
Ableitungen bzw. Gradienten Null sind, kann keine Krümmung vorliegen. Mit der
weiteren Verarbeitung kann die Güte berechnet werden. Nachdem ein Block bear
beitet wurde, werden die Datenwerte der Ecken in logarithmische Werte umgesetzt
und dann dem Blockmatcher zur Bewegungsmessung zugeführt.
Die Qualität der Eckendetektion hängt entscheidend vom Bildinhalt ab. Je struktu
rierter der Bildinhalt ist, umso sicherer können Musterbereiche (Ecken) erkannt
werden, die ihrerseits mittelbar Einfluß auf die Qualität der Bildstandstabilisierung
nehmen. Durch Manipulation des dem Eckendetektor 13 zugeführten Videosignals
läßt sich die Strukturierung des Bildinhalts anheben. Eine vorteilhafte Maßnahme
zur Verbesserung der Auswertbarkeit der Strukturierung des Bildinhalts besteht
darin, daß zur Ermittelung des Musterbereichs einzelne und/oder mehrere Signal
komponenten des durch die Filmabtastung erhaltenen Videosignals gegenüber
anderen Signalkomponenten im Videosignal in der Amplitude beeinflußt werden.
Eine weitere Möglichkeit besteht darin, daß zur Ermittelung des Musterbereichs
bestimmte Farbkomponenten des durch die Filmabtastung erhaltenen Videosignals
mit wählbaren Koeffizienten matriziert werden. Ferner ist vorteilhaft, zur Ermitte
lung des Musterbereichs bestimmte Signalkomponenten des durch die Filmabtastung
erhaltenen Videosignals hinsichtlich der Gamma-Entzerrung unterschiedlich zu
behandeln. Eine andere Möglichkeit besteht darin, zur Ermittelung des Musterbe
reichs den Amplitudenverlauf bestimmter Signalkomponenten des durch die Film
abtastung erhaltenen Videosignals verschieden von den anderer Signalkomponenten
zu beeinflussen.
Besonders vorteilhaft ist es, zur Ermittelung des Musterbereichs das durch die Film
abtastung erhaltene Videosignal einer örtlichen und/oder zeitlichen Filterung zu
unterwerfen. Durch die örtliche Filterung, die eine Hoch-, Band- und/oder Tiefraß
filterung des anliegenden Videosignals umfassen kann, lassen sich zweidimensionale
Bildstrukturen auf Videoebene selektieren. Eine dreidimensionale Filterung läßt sich
durch Berücksichtigung zeitlich benachbarter Bilder erzielen. So können beispiels
weise mit Hilfe einer Tiefpaßfilterung des Videosignals über mehrere Teilbilder
hinweg bestimmte - die Eckendetektion störende - feingliedrige Bildstrukturen
unterdrückt werden.
Weiterhin ist vorteilhaft, daß bestimmte Bereiche in einem Fernsehbild, das durch
Wiedergabe des durch die Filmabtastung erhaltenen Videosignals entsteht, von
einem Signalverarbeitungsprozeß zur Ermittelung des Musterbereichs ausgeschlossen
oder nicht ausgeschlossen werden. Dabei können bestimmte Bildbereiche in einem
wiedergegebenen Fernsehbild des durch die Filmabtastung erhaltenen Videosignals
durch Maskierung ausgewählt werden oder auch abhängig von der vorliegenden
Bildstruktur des Bildinhalts des durch die Filmabtastung erhaltenen Videosignals
automatisch von der Ermittelung des Musterbereichs ausgeschlossen werden, wobei
die Bildstrukturen im Bildinhalt des durch die Filmabtastung erhaltenen Videosignals
zunächst bewertet werden, sodann von den von der Bewertung erfaßten Bildberei
chen Gütewerte festgestellt werden und schließlich abhängig von der jeweiligen
Größe der festgestellten Gütewerte der dem Gütewert zugeordnete Bildbereich bei
der Ermittelung des Musterbereichs entweder berücksichtigt oder ausgeschlossen
wird. Die Entscheidung sollte einer Bedienperson überlassen bleiben, die anhand des
Bildeindrucks subjektiv geeignet erscheinende Bildstrukturen ermittelt und diese für
die Eckendetektion zuläßt oder ausschließt.
Für die Entscheidungsfindung der Bedienperson ist es hilfreich, in die bestimmten
Bildbereiche des wiedergegebenen Fernsehbildes mindestens einen dem bestimmten
Bildbereich zugeordneten Bewegungsvektor einzublenden. Hilfreich ist es auch, die
bestimmten Bildbereiche des wiedergegebenen Fernsehbildes abhängig vom festge
stellten Gütewert unterschiedlich einzufärben, eine vom festgestellten Gütewert
abhängige Formunterscheidung vorzunehmen, die bestimmten Bildbereiche des
wiedergegebenen Fernsehbildes zur Unterscheidung gegenüber anderen Bildberei
chen einzurahmen oder die bestimmten Bildbereiche des wiedergegebenen Fern
sehbildes zur Unterscheidung gegenüber anderen Bildbereichen als Falschfarben
darzustellen.
Die Fig. 4 zeigt das Prinzip des Blockmatchings. Gemäß der Fig. 4a wird zur
Bewegungsmessung ein Block der Größe n * m gewählt. Dieser Block wird im
folgenden Musterbereich genannt. Im Gegensatz dazu wird ein Block (Fig. 4b) der
Größe von (n+2 * Δxmax) * (m+2Δymax), wobei Δxmax und Δymax der maximal
detektierbare Geschwindigkeitsbereich ist, als Suchbereich bezeichnet. Bei dem
Blockmatching wird versucht, den Musterbereich in dem größeren Suchbereich
wiederzufinden. Die Position, die die größte Ähnlichkeit aufweist, stellt mit größter
Wahrscheinlichkeit die richtige Verschiebung dar. Die Ähnlichkeit wird über eine
sogenannte Displaced Frame Difference (DFD) gemessen. Bei der größten Überein
stimmung ergibt die DFD ein Minimum und bei absoluter Übereinstimmung den
Wert Null.
Das Blockschaltbild der Fig. 5 zeigt eine Ausführungsform der Blockmatcher
anordnung. Bei dieser Anordnung erfolgt die Signalverarbeitung bezüglich der
verschiedenen Suchbereiche nicht parallel sondern seriell. Dabei gelangt das von
dem Eckendetektor erzeugte Eckensignal zu dem Eingang einer Steuereinrichtung
90, die als digitaler Signalprozessor ausgestaltet sein kann. Das durch die
Filmabtastung und anschließende A/D-Wandlung mit dem A/D-Wandlers AD (Fig. 1)
erzeugte in acht Bit breiten Datenworten und mit einer Datenrate von 30 MByte/s an
einer Klemme 91 anliegende digitale Videosignal wird zum einen dem Eingang eines
Tiefraßfilters 92 und zum anderen dem Eingang einer Verzögerungseinrichtung 93
zugeführt.
Das Tiefraßfilter 92 dient zur Unterdrückung von Alias-Effekten, die durch
nachfolgende Unterabtastung in einer Stufe 94 entstehen können. Aufgrund der
Unterabtastung steht am Ausgang der Stufe 94 ein in der Datenrate auf 5 MByte/s
reduziertes digitales Videosignal zur Verfügung, das in horizontaler Richtung nur
noch jedes zweite Pixel und in vertikaler Richtung nur noch jedes dritte Pixel der
ursprünglichen Pixelmenge enthält. Das unterabgetastete digitale Videosignal gelangt
zu dem Eingang eines Zwischenspeichers 95, dessen Ausgang mit dem Eingang
eines Blockmatchers 96 verbunden ist. Als Blockmatcher 96 kann beispielsweise ein
integrierte Baustein des Typs L 646720 (video motion estimation processor) der
Firma LSI Verwendung finden, der ein Full-Search-Blockmatching mit einer
Fenstergröße von acht mal acht Pixel bei einer Suchweite von minus vier bis plus
drei Pixel in horizontaler und vertikaler Richtung berechnet und kaskadierbar ist.
Sowohl der Blockmatcher 96 als auch der Zwischenspeicher 95, der eine Speicher
kapazität von einem Bild aufweist, werden durch ein entsprechend unterabgetastetes
Eckensignal, das die Steuerung 90 liefert, gesteuert. Der Blockmatcher 96 nimmt
grobe Bewegungsschätzungen in einem Suchbereich vor, der aufgrund der 3/2-
Unterabtastung eine Fenstergröße von vierundzwanzig mal sechzehn Pixel umfaßt,
wobei die horizontale Auflösung zwei Pixel und die vertikale Auflösung drei Pixel
beträgt.
Ein nachgeschalteter Blockmatcher 97 verfeinert die Auflösungssprünge auf ein
Pixel-Genauigkeit. Hierzu wird das an einem Ausgang des Blockmatchers 96 ab
nehmbare Bewegungsvektorsignal zunächst der Steuereinrichtung 90 zugeführt und
nach entsprechender Aufbereitung zu dem Blockmatcher 97 und einem dem Block
matcher 97 zugeordneten Zwischenspeicher 98 weitergeleitet. Auch der Blockmat
cher 97 kann beispielsweise vom Typ L 646720 sein. Im Gegensatz zu dem Block
matcher 96 arbeitet der Blockmatcher 97 jedoch mit den Originalbilddaten des durch
die Filmabtastung gewonnenen digitalen Videosignals. Infolgedessen ist dem zum
Blockmatcher 97 zugeordneten Zwischenspeicher 98 das in der Verzögerungsein
richtung 93 verzögerte digitale Videosignal zuzuführen. Aufgabe der Verzöge
rungseinrichtung 93 ist es, die Signallaufzeit des digitalen Videosignals an die
Signalverarbeitungszeit des Blockmatchers 96 anzupassen.
Der Blockmatcher 97 nimmt Bewegungsschätzungen in einem Suchbereich mit der
Fenstergröße acht mal acht vor; dabei wird Pixel-Genauigkeit erzielt.
Zur Ermittlung von Bewegungen in einem Subpixel-Suchbereich und zur Ableitung
eines entsprechenden Bewegungsvektorsignals wird das von dem Blockmatcher 97
erzeugte Bewegungsvektorsignal in einem weiteren Blockmatcher 99 weiterverar
beitet. Um noch Bewegungen von einem sechzehntel Pixel aufzulösen, muß das von
dem Blockmatcher 97 ausgegebene und in der Steuereinrichtung 90 aufbereitete
Bewegungsvektorsignal dem Blockmatcher 99 zugeführt werden, der videomäßig
von dem am Ausgang des Zwischenspeichers 98 abnehmbaren und von einer
Verzögerungseinrichtung 100 verzögerten digitalen Videosignal versorgt wird. Die
Verzögerungseinrichtung 100 verzögert das Videosignal um die Dauer von zwei
Ecken-Abständen. Ein am Ausgang des Blockmatchers 99 abnehmbares Bewegungs
vektorsignal im Subpixel-Suchbereich wird der Steuereinrichtung 90 zugeführt, die
an einer Ausgangsklemme 101 ein Gesamt-Bewegungsvektorsignal an eine (nicht
dargestellte) Cluster-Einrichtung abgibt.
Unter den oben erwähnten Voraussetzungen deckt das letztendlich erzeugte Bewe
gungsvektorsignal eine Suchweite in horizontaler Richtung von 32 Pixeln und in
vertikaler Richtung von 96 Pixeln ab, wobei die Auflösung ein sechzehntel Pixel
beträgt. Die Ausführungsform der Blockmatcheranordnung der Fig. 5 weist den
Vorteil auf, daß das Bewegungsvektorsignal in Echtzeit erzeugt wird, welches nach
weiterer Aufbereitung als Stellsignal zur Korrektur von Bildstandfehlern verwendet
werden kann.
Selbstverständlich ist es auch möglich, andere als durch Filmabtastung erzeugte
Videosignale nach dem erfindungsgemäßen Verfahren zu verarbeiten, um bestimmte
Trickeffekte zu erzielen oder aufnahmebedingte Mängel auszugleichen. So kann eine
Bedienperson ein bestimmtes bewegtes Bildobjekt auf dem Bildschirm eines Moni
tors elektronisch markieren und dieses Bildobjekt als Referenz für eine Bildstandsta
bilisierung verwenden, um beispielsweise aus künstlerischen Gründen einen von der
Originalaufnahme abweichenden Bewegungsverlauf für das bestimmte Bildobjekt zu
schaffen.