DE4343698C2 - Bildstabilisierungssystem für eine Videokamera - Google Patents

Description

Die Erfindung betrifft ein Bildstabilisierungssystem für eine Videokamera bzw. einen Camcorder, das Bildver­ wackelungen infolge zitternder Hände einer Person während einer Aufnahme automatisch ausgleichen kann.

Ein bekannter Doppelbildstabilisator für einen Camcorder ist mit einem Bildaufnahmeteil, das in einen Blendenbereich, einen Bildübertragungsbereich und einen Restbereich zur Aufnahme des Bildsignals für den Bildübertragungsbereich aufgeteilt ist, einem Signalprozessor für die Verarbeitung des Ausgabesignals des Aufnahmeteils, einem Bewegungs­ detektor für die Erfassung der Bewegung von Bildern aus dem Ausgabesignal des Signalprozessors und für die Ausgabe des erfaßten Bewegungssignals in Vorwärts- und Feedbackrich­ tungen und einem an den Ausgang des Signalprozessors angeschlossenen Pufferspeicher zur Speicherung des Bild­ signals für den Bildübertragungsbereich ausgerüstet. Der Stabilisator ist außerdem mit einer Steuereinheit für den Bildübertragungsbereich zur Aufnahme des Bewegungssignals in Feedbackrichtung vom Bewegungsdetektor und zur Steuerung des Bildübertragungsbereichs, einem Aufnahmeteiltreiber zur Ausführung kurzzeitigen Bewegungsausgleichs durch Verän­ derung des Bildübertragungsbereichs unter Steuerung der Steuereinheit für den Bildübertragungsbereich und einem Speicherregler zur Aufnahme der Bewegungssignale in Vor­ wärtsrichtung vom Bewegungsdetektor und zur Steuerung des Pufferspeichers zum Ausgleich des Bildsignals für den im Pufferspeicher gespeicherten Bildübertragungsbereich ver­ sehen. Die Funktion dieses Stabilisators ist wie folgt: Zuerst werden die vom Bildaufnahmeteil ausgegebenen Bild­ signale für den Bildübertragungsbereich vom Signalprozessor verarbeitet und dann im Pufferspeicher gespeichert. Gleich­ zeitig empfängt der Bewegungsdetektor das Ausgangssignal des Signalprozessors und führt eine Korrelationskalkulation durch, um die Bewegung der Bilder zu erfassen. In Überein­ stimmung mit der Korrelationskalkulation werden zwei­ dimensionale, vertikale und horizontale Randsignale des Bildes auf eindimensionale Randdaten projiziert bzw. reduziert und die entsprechenden Randdaten werden in einem Ein-Bit-Zeilenspeicher gespeichert. Die reduzierten Rand­ daten werden auch vom Zeilenspeicher ausgegeben und dann in einem anderen Ein-Bit-Zeilenspeicher gespeichert, der für ein Feld verzögert wird, während vorhergehende Felddaten und andere Randdaten im Zeilenspeicher als derzeitige Felddaten gespeichert werden. Die Bewegung kann durch Kalkulation der Korrelation zwischen den derzeitigen Felddaten aus dem erstgenannten Zeilenspeicher und den vorhergehenden Feld­ daten aus dem anderen Zeilenspeicher in einem Korrelations­ kalkulationsteil erfaßt werden. Das wie oben beschrieben erlangte Bewegungssignal wird dann in den Speicherregler eingegeben und dementsprechend wählt der Speicherregler die Reihen- und Spaltenadressen des Pufferspeichers, in dem das Bildsignal für den Bildübertragungsbereich zum Ausgleich des erfaßten Bewegungswertes gespeichert ist, was dazu führt, daß das stabilisierte Bildsignal aus diesem ausgegeben wird.

Ein anderes bekanntes Bildstabilisierungssystem ist mit einem Bewegungsdetektor versehen, der einen Vorfilter zu Extrahieren der Bandbestandteile eines Eingabesignals, einen Speicher mit vorher repräsentativen Daten zur Speicherung der Bewegungsdaten zwischen jedem Feld, einen Korrelations­ kalkulationsteil zur Kalkulation der Korrelation zwischen den Ausgaben des Vorfilters und dem Speicher mit vorher repräsentativen Daten, und eine Maximumkorrelations-Sortier­ einrichtung aufweist, die an den Ausgang des Korrelations­ kalkulationsteils zur Erfassung von Bewegungen in vier Quadranten eines Feldes angeschlossen ist. Das Stabilisier­ system ist außerdem mit einem Mikrocomputer zum Empfang der vom Bewegungsdetektor ausgegebenen Bewegungssignale und zur Auswahl eines der Bewegungssignale, das die Bewegung einer Videokamera am besten darstellt, und einem Feldspeicher zum Ausgleich des Eingabesignals für die Bildbewegung unter Steuerung des Mikrocomputers versehen. Bei diesem Stabili­ sierungsystem wird das Eingabesignal an den Bewegungs­ detektor bzw. an den Feldspeicher angelegt. Im Bewegungs­ detektor passiert das Bildsignal den Vorfilter, der als Bandbestandteil-Extraktionsfilter wirkt, und die Bild­ bewegung zwischen jedem Feld wird dann unter Anwendung eines repräsentativen Punktübereinstimmungsverfahrens kalkuliert. Der Vorfilter besteht aus einem in Reihe geschalteten Tiefpaßfilter zur Unterdrückung unnötiger Hochfrequenz­ bestandteile von Bild- und Störsignalen und einem Hochpaß­ filter für den Bildausgleich. Die Kalkulation der repräsentativen Punktübereinstimmung wird auch durch Speicherung der Bilddaten an den Stellen von dreißig fest­ gelegten, repräsentativen Punkten/Quadrant mit Bezug auf das Bildsignal für ein Feld, das in den Speicher für vorher repräsentative Daten eingegeben ist, kalkuliert. Die ent­ sprechenden Bewegungswerte für die vier Quadranten werden durch den Korrelationskalkulationsteil und die Maximum­ korrelations-Sortiereinrichtung in Übereinstimmung mit der Korrelation zwischen den repräsentativen Werten eines vorherigen Feldes und den Bildsignalwerten eines derzeitigen Feldes erfaßt und die erfaßten Bewegungswerte werden in den Mikrocomputer eingegeben. Dementsprechend wählt der Mikro­ computer einen der vier eingegebenen Bewegungswerte, der die Bewegung der Videokamera am besten darstellt, und steuert die Auswahl der Adressen der Bilddatenwerte, die im Feld­ speicher in Übereinstimmung mit dem gewählten Bewegungswert gespeichert sind, so daß die durch Bewegungsausgleich stabilisierten Bilddaten aus dem Feldspeicher ausgegeben werden.

Solche konventionellen Bildausgleichs-Systeme haben jedoch folgende Nachteile: Zwecks genauerer Erfassung der Bewegungsvektoren ist erstens eine erheblich aufwendigere Hardware erforderlich; wenn die Hardwarekonstruktion einfach ist, können falsche Bewegungsvektoren erfaßt werden. So kann z. B. das oben beschriebene konventionelle Stabilisiersystem Bewegungen ziemlich genau erfassen, wofür jedoch umfang­ reiche Hardware zur Kalkulation der Korrelation zwischen jedem von einhundertzwanzig repräsentativen Punkten erforderlich ist. Weil die Korrelation mit den Daten an den festgelegten repräsentativen Punkten kalkuliert wird, muß zweitens damit gerechnet werden, daß das System Punkte mit genaueren Bildinformationen verfehlt.

Bei einem weiteren bekannten Bildstabilisierungssystem (SMPTE Journal, Februar 1992, Seiten 66 bis 75) werden Bewegungsvektoren erfaßt, indem der Bildpunkt - bzw. Luminanzwert des repräsentativen Punktes eines jeden Bewegungsvektor-Erfassungsbereichs in dem vorherigen Bild mit demjenigen im gegenwärtigen Bild verglichen und eine Korrelation zwischen allen repräsentativen Punkten des vorherigen und des gegenwärtigen Bildes ermittelt wird. Der Ort des repräsentativen Punktes in jedem Bewegungsvektor- Erfassungsbereich ist fest vorgegeben, was die Genauigkeit der Bewegungserfassung beeinträchtigt. Bezogen auf jedes Feldbild werden vier Bewegungsvektor-Erfassungsbereiche, von denen jeder dreißig Bewegungsvektor-Erfassungsflächen hat, bestimmt; einer der Bewegungsvektor-Erfassungsbereiche wird ausgewählt, so daß die Bewegungsvektor-Erfassung nur in dem ausgewählten Bereich durchgeführt wird, um den Rechen- und Hardwareaufwand zu verringern.

Es ist Aufgabe der vorliegenden Erfindung, ein Bild­ stabilisierungssystem anzugeben, das die Bildbewegung durch Auswahl von wenigen variablen repräsentativen Punkten genau erfassen kann.

Zur Erfüllung der obigen Aufgabe umfaßt das Bildstabi­ lisierungssystem nach der Erfindung die im Patentanspruch l genannten Merkmale. Vorteilhafte Ausgestaltungen ergeben sich aus den Patentansprüchen 2 und 3.

Beim erfindungsgemäßen Bildstabilisierungssystem werden die Bewegungsvektoren durch einen einfachen Hardwareaufbau genauer erfaßt, indem eine Mehrzahl von Bewegungsvektor-Er­ fassungsflächen bezogen auf ein Gesamtbild festgelegt werden, und zu jedem Bild ein optimaler repräsentativer Punkt einer jeden Bewegungsvektor-Erfassungsfläche ermittelt wird, der den höchsten Kantenwert unter den in der Bewegungsvektor-Erfassungsfläche erfaßten Kantenwerten auf­ weist. Insoweit ist auch eine Vergrößerung des Hardwareauf­ wandes nicht erforderlich.

Im folgenden wird die Erfindung anhand einer Zeichnung näher erläutert; es zeigen

Fig. 1 ein schematisches Blockschaltbild eines auto­ matischen Bildstabilisierungssystems,

Fig. 2A und 2B Ansichten zur Erklärung eines Repräsentativ­ punkt-Erfassungsbereichs und eines Suchbereichs zur Erfassung eines Bewegungsvektors,

Fig. 3 ein Algorithmus-Diagramm zur Erklärung der Funktion und

Fig. 4 eine Ansicht zur Erklärung des Brennweiten-Ver­ stellungsprozesses.

Das Bildstabilisierungssystem ist mit einem Analog/Digital (A/D)-Umsetzer 25 zur Umwandlung eines Eingabebildsignals in digitale Bilddaten, einer Bewegungsvektor-Erfassungseinrich­ tung 26 zur Erfassung eines Bewegungsvektors aus den digitalen Bilddaten des A/D-Umsetzers 25 und einem Speicher- und Brennweiten-Verstellungsteil 27 für die Speicherung der digitalen Bilddaten und die Ausführung der Brennweiten-Ver­ stellung mit Bezug auf die digitalen Bilddaten versehen. Das System ist außerdem mit einem Mikrocomputer 28 zur Ausgabe eines Steuersignals in Übereinstimmung mit den Bewegungs­ vektorinformationen aus der Bewegungsvektor-Erfassungsein­ richtung 26, einer Speichersteuereinheit 29 zur Steuerung der Adressenauswahl der digitalen Bilddaten, die im Speicher- und Brennweiten-Verstellungsteil 27 in Überein­ stimmung mit dem vom Mikrocomputer 28 eingegebenen Steuer­ signal gespeichert sind, und einem Digital/Analog(D/A)-Um­ setzer 30 zur Umwandlung der aus dem Speicher- und Brenn­ weiten-Verstellungsteil 27 ausgegebenen digitalen Bilddaten in ein analoges Bildsignal ausgestattet.

Der Speicher- und Brennweiten-Verstellungsteil 27 besteht aus einem Feldspeicher 31 zur Speicherung der digitalen Bilddaten, und einem Brennweiten-Verstellprozessor 32 zur Ausführung des digitalen Brennweitenverstellprozesses mit Bezug auf die im Feldspeicher 31 gespeicherten digitalen Bilddaten, so daß nur die Brennweite der Bildteile mit Bewegungsausgleich, die aus zugeben und auf dem gesamten Bildschirm darzustellen sind, verstellt wird.

Die Bewegungsvektor-Erfassungseinrichtung 26 besteht aus einem Filter 33 zur Entstörung des digitalen Bildsignals aus dem A/D-Umsetzer 25, einem Maskenverarbeitungsteil 34 zur Ausführung eines Maskenbildungsprozesses in spezieller Form, um einen Rand zwischen zwei nebeneinanderliegenden Bereichen zu erfassen, einem Teil 35 zur Erfassung eines vorher repräsentativen Punkts, der an den Maskenverarbeitungsteil 34 angeschlossen ist, um den repräsentativen Wert für die Bewegungserfassung zu bestimmen, und einem Korrelations­ kalkulationsteil 36 zur Berechnung der Korrelation zwischen den Ausgaben des Maskenverarbeitungsteils 34 und des Teils 35 zur Erfassung eines vorher repräsentativen Punkts, um eine Bewegungsinformation abzugeben.

Funktion und Wirkung des beschriebenen Bildstabilisierungs­ systems sind folgendermaßen:

Das Eingabebildsignal wird durch den A/D-Umsetzer 25 in ein digitales Bildsignal umgewandelt, und das umgewandelte digitale Bildsignal wird dann im Feldspeicher 31 des Speicher- und Brennweiten-Verstellungsteils 27 gespeichert und passiert zwecks Entstörung auch den Filter 33 der Bewegungsvektor-Erfassungseinrichtung 26.

Der Filter 33 ist eine Art Tiefpaßfilter nach dem Durch­ schnittsfilterprinzip, d. h., die durchschnittliche Filter- Koeffizientmatrix mit Bezug auf den Bereich von 3 × 3 ist

Der mittlere Bildpunktwert in einer neu aus gegebenen Bild­ matrix ist

(f_1,1 × P_1,1) + (f_2,2 × P_2,1) + . . . + (f_3,3 × P_3,3)

wobei f_i,j eine Koeffizientmatrix und P_i,j Eingabebilddaten sind.

Die aus dem Filter 33 ausgegebenen Bilddaten werden in den Maskenverarbeitungsteil 34 eingegeben und passieren eine Maske in spezieller Form zum Erzielen eines repräsentativen Punktwertes. Somit gibt der Maskenverarbeitungsteil 34 einen resultierenden Rand aus, der zur Erfassung des repräsentativen Punkts in jedem definierten Bereich, wie in Fig. 2 gezeigt, eine wichtige Information darstellt. Der Wert, der sich aus der Addition der nebeneinanderliegenden Bildpunktwerte in horizontalen und vertikalen Richtungen mit dem Luminanzdifferenzwert ergibt, wird als Randwert fest­ gelegt.

Der wie oben beschrieben erlangte Randwert wird in den Teil 35 zur Erfassung vorher repräsentativer Punkte eingegeben und zur Bestimmung des repräsentativen Punktwertes für die Bewegungserfassung verwendet. Der Punkt mit dem größten Randwert in den sechzehn Teilbereichen des Eingabebildes wird als repräsentativer Punkt bestimmt (siehe Beispiel in Fig. 2A). Die Räume zwischen den sechzehn Teilbereichen sind zur Verhinderung von Datenredundanz zwischen nebeneinander­ liegenden Teilen in diesen Bereichen während der Suche nach Bewegungserfassung bestimmt.

Der repräsentative Punkt des vorherigen Bildes, der aus dem Teil 35 zur Erfassung des vorherigen repräsentativen Punkts ausgegeben wird, um die vom Maskenverarbeitungsteil 34 aus­ gegebenen Randdaten des Bildes werden in den Korrelations­ kalkulationsteil 36 eingegeben; die Korrelation zwischen dem repräsentativen Punkt und dem Randwert eines Suchbereichs um jeden der sechzehn repräsentativen Punkte wird im Korrelationskalkulationsteil 36 errechnet (siehe Darstellung in Fig. 2B). Die errechneten Korrelationswerte mit Bezug auf die sechzehn Teilbereiche werden addiert, und der daraus resultierende kleinste Stellungsvektor wird als Bewegungs­ information in den Mikrocomputer 28 ausgegeben.

Die Funktion des Mikrocomputers 28 verdeutlicht Fig. 3:

In Schritt S1 wird der Bewegungswert (i,j), welcher der Bewegungsvektor ist, der durch Anwendung der Korrelation zwischen jedem von der Bewegungsvektor-Erfassungseinrichtung 26 erfaßten repräsentativen Punkt erlangt wird, als aus zehn Rahmen extrahierte Bewegungsinformationen gespeichert.

In Schritt S2 wird unterschieden, ob die erfalten Bewegungs­ informationen korrekt oder falsch sind. Wenn die erfalten Informationen als falsch unterschieden werden, wird der Bewegungswert des derzeitigen Bildes als derjenige des vor­ herigen Bildes in Schritt 3 bestimmt, wenn andererseits die erfaßten Informationen korrekt sind, wird der Bewegungswert des derzeitigen Bildes als der in Schritt 4 erfaßte Bewegungswert bestimmt.

In Schritt S5 wird die Schwenkungsunterscheidung mit Bezug auf jeden der zehn ermittelten und dann in den Schritten S3 und S4 gespeicherten Bewegungsvektoren ausgeführt. Wenn die Bewegung auf die Schwenkung der Videokamera durch den Auf­ nehmenden zurückzuführen ist, wird der Bewegungsvektorwert in Schritt 7 auf "0" eingestellt; wenn andererseits die Bewegung auf das Zittern der Hände des Aufnehmenden zurück­ zuführen ist, wird der Bewegungsvektorwert in Schritt 8 auf den erfaßten Wert eingestellt.

In Schritt 59 wird das Bild in Übereinstimmung mit dem bei der Schwenkungsunterscheidung eingestellten Bewegungsvektor­ wert integriert, und dann so ausgeglichen, daß das Bild auf dem Bildschirm zentriert ist.

Dementsprechend gibt der Mikrocomputer 28 den kompensierten Wert in den Speicherregler 29 aus, und der Speicherregler 29 steuert die Positionen der Adressen des Feldspeichers 31 in Übereinstimmung mit dem kompensierten Wert.

Der Brennweiten-Verstellprozessor 32 führt den digitalen Brennweiten-Verstellprozeß mit Bezug auf die vom Feld­ speicher 31 ausgegebenen Bilddaten so aus, daß nur die bewegungskompensierten Bildteile ausgegeben und auf dem Bildschirm dargestellt werden. Die vom Brennweiten-Verstell­ prozessor 32 in der Brennweite verstellten Bilddaten werden vom D/A-Umsetzer 30 in ein analoges Bildsignal umgewandelt.

Im Ergebnis werden mit einer einfachen Hardware-Konstruktion genauere Bewegungsinformationen erfaßt und somit verwackelte Bilder infolge des Zitterns der Hände des Aufnehmenden kompensiert sowie ein stabilisiertes Bild erzielt.

Claims (3)

1. Bildstabilisierungssystem für eine Videokamera, bestehend aus
einem Analog/Digital-Umsetzer (25) zum Umwandeln eines Eingabebildsignals in ein Digitalbildsignal,
einem Feldspeicher (31) zum Speichern des Digitalbildsignals aus dem Analog/Digital-Umsetzer (25),
einem Brennweiten-Verstellprozessor (32) zum Durchführen eines digitalen Brennweiten-Verstellprozesses bezogen auf das im Feldspeicher (31) gespeicherte Digitalbildsignal, um nur bewegungskompensierte, auf einem gesamten Bildschirm darzustellende Bildbereiche in der Brennweite zu verstellen,
einem Digital/Analog-Umsetzer (30) zum Umwandeln des brenn­ weiten-verstellten Digitalbildsignals aus dem Brennweiten- Verstellprozessor (32) in ein analoges Ausgabebildsignal,
einer Bewegungsvektor-Erfassungseinrichtung (26) zum Erfas­ sen von Bewegungsvektoren durch Erfassen von Kantenwerten benachbarter Bildpunkte eines früheren Digitalbilddatensat­ zes aus dem Analog/Digital-Umsetzer (25) und Auswählen eines repräsentativen Punktes, der den maximalen Kantenwert hat, unter den erfaßten Kantenwerten mehrerer Bewegungsvektor-Er­ fassungsflächen als Bezugsposition für jede Bewegungsvektor- Erfassungsfläche und Vergleichen des Wertes des repräsenta­ tiven Punktes mit den Kantenwerten eines gegenwärtigen Digi­ talbilddatensatzes aus dem Analog/Digital-Umsetzer (25) und
einer Steuereinheit (29) zum Bestimmen mittels des von der Bewegungsvektor-Erfassungseinrichtung (26) erfaßten Bewe­ gungsvektors, ob eine erfaßte Bewegung durch das Zittern der Hand eines Benutzers oder eine Schwenkbewegung der Video­ kamera verursacht ist, zum Lesen des im Feldspeicher (31) gespeicherten Digitalbildsignals und zum Steuern des Brenn­ weiten-Verstellprozessors (32), um das Digitalbildsignal zu kompensieren, wenn festgestellt wird, daß die erfaßte Bewe­ gung durch das Zittern der Hand des Benutzers verursacht ist.

2. Bildstabilisierungssystem nach Anspruch 1, wobei die Bewegungsvektor-Erfassungseinrichtung (26) umfaßt
einen Filter (33) zum Beseitigen von Rauschen aus dem Digi­ talbildsignal aus dem Analog/Digital-Umsetzer (25),
ein Maskenverarbeitungsteil (34), welches mit dem Ausgang des Filters (33) verbunden ist, zum Durchführen eines Mas­ kierungsprozesses, um eine Kante zwischen benachbarten Bildpunkten, wie durch Umwandeln des gefilterten Digital­ bildsignals in die Kantenwerte, korrekt zu erfassen,
ein Repräsentativpunkterfassungsteil (35), welches mit dem Ausgang des Maskenverarbeitungsteils (34) verbunden ist, zum Bestimmen des repräsentativen Punktes einer jeden Bewegungs­ vektor-Erfassungsfläche als Bezugsposition durch Erfassen der Position des maximalen Werts unter Bewegungsvektor-Er­ fassungsflächen und
ein Korrelationskalkulationsteil (36) zum Berechnen der Kor­ relation zwischen dem Wert des repräsentativen Punktes eines vorherigen Bildes und dem Ausgangssignal des Maskenverarbei­ tungsteils (34) bezüglich eines auf dieses vorherige Bild folgenden Bildes und zum Liefern der Bewegungsvektoren an die Steuereinheit (29).

3. Bildstabilisierungssystem nach Anspruch 1 oder 2, wobei die Steuereinheit (29) umfaßt
einen Mikrocomputer (28) zum fortlaufenden Sammeln von Wer­ ten von Vektoren aus der Bewegungsvektor-Erfassungseinrich­ tung (26) für eine vorgegebene Anzahl von Zeiten und zum Entscheiden, ob die erfaßte Bewegung durch eine Schwenkbewe­ gung der Videokamera oder das Zittern der Hand des Benutzers verursacht ist, anhand der gesammelten Bewegungsvektorwerte, wobei der Mikrocomputer (28) als Bewegungsinformation den Wert 0 liefert, wenn entschieden wird, daß die erfaßte Bewe­ gung durch eine Schwenkbewegung der Videokamera verursacht ist, und die Bewegungsvektoren aus der Bewegungsvektor-Er­ fassungseinrichtung (26) als Bewegungsinformation liefert, wenn entschieden wird, daß die erfaßte Bewegung vom Zittern der Hand des Benutzers verursacht ist, und
eine Speichersteuerung zum Steuern von Adressen des Feld­ speichers (31) anhand der vom Mikrocomputer (28) gelieferten Bewegungsinformation, um die Kompensation der Digitalbild­ daten und deren Anzeige über den Brennweiten-Verstellprozes­ sor (32) zu steuern.