DE69130998T2

DE69130998T2 - Bewegungsvektorextraktor

Info

Publication number: DE69130998T2
Application number: DE69130998T
Authority: DE
Inventors: Kengo C/O Sharp Corporation Abeno-Ku Osaka 545 Takahama; Yasukuni C/O Sharp Corporation Abeno-Ku Osaka 545 Yamane
Original assignee: Yozan Inc; Sharp Corp
Current assignee: Yozan Inc; Sharp Corp
Priority date: 1990-10-16
Filing date: 1991-10-15
Publication date: 1999-07-29
Anticipated expiration: 2011-10-16
Also published as: DE69130998D1; EP0481421A3; EP0481421B1; JP2860702B2; KR920009244A; KR100232113B1; JPH04151982A; US5430479A; EP0481421A2

Description

FACHGEBIET DER ERFINDUNG

Die Erfindung betrifft ein Verfahren zum Extrahieren eines Bewegungsvektors von einem Bildsignal, und eine Videokamera, die einen Bewegungsvektor-Extrahierer zum Rüttel-Ausgleich benutzt.

HINTERGRUND DER ERFINDUNG

Herkömmlicherweise sind verschiedene Verfahren zum Extrahieren von Bewegungsvektoren eingerichtet worden, um die Richtung und Geschwindigkeit einer Bewegung in einem Bild zu bezeichnen. Die Richtung und Geschwindigkeit wird berechnet durch Teilen eines bestimmten Bildes in Blöcke vorgegebener Größe und durch Berechnen des Bewegungsvektors gemäß der Beziehung zwischen aufeinanderfolgenden Bildrahmen für jeden Block. Bei solchen Verfahren gibt es Gradienten-Verfahren, die sich mit räumlichen und zeitlichen Helligkeitsgradienten befassen, Phasenkorrelations-Verfahren, in welchen phasenbezogener Verhältniswert von Koeffizienten von Fourier-Transformation verwendet wird, und Repräsentativpunkt-Anpaßverfahren, in welchem die angesammelte Größe des Absolutwertes der Differenz zwischen den Rahmen an repräsentativen Punkten in aufeinanderfolgenden Bildern verwendet wird. Ein "repräsentatives Punktanpaß-Verfahren", das im MUSE-Kodierer verwendet wird, ist ein vorteilhaftes Verfahren wegen der geringeren Größe der benötigten Hardware als bei den vorgenannten Verfahren.
Dieses Repräsentativpunkt-Anpaßverfahren wird in einem Fall erklärt, bei dem ein bestimmtes Rahmenbild, wie in Fig. 2 gezeigt, in vier Blöcke aufgeteilt und ein Bewegungsvektor einer dieser Blöcke berechnet wird. Zuerst werden repräsentative Punkte, deren Zahl mit b · c = P berechnet wird, ausgewählt, und der Absolutwert der Differenz zwischen Rahmen wird durch eine Formel der folgenden Art mit Benutzung von Viel-Werten in einem Suchbereich von m Pixeln · n Pixeln erzeugt.
Pd,e(i, j) = a (i, j) - a (0, 0)
Für jeden repräsentativen Punkt wird die Summe des angesammelten Wertes von Pd,e (i, j) durch die folgende Formel,
P(i, j) = Pd,e(i, j)
berechnet, und der Versatzwert (i, j), der den Minimalwert besitzt, wird als ein Bewegungsvektor angesehen. Das ist das repräsentative Anpaßverfahren. Fig. 15 beschreibt das Konzept. Wie aus dieser Figur verstanden wird, wird durch Berechnen des Absolutwertes der Differenz zwischen Rahmen (Mark I) ein Datum für den Absolutwert der Differenz, einschließlich einer gekrümmten Linie K, deren Wert 0 (Mark J) ist, erhalten, und dann wird durch Ansammeln dieser Daten für den Absolutwert der Differenz für jeden repräsentativen Punkt der angesammelte Wert an der Überschneidung der gekrümmten Linie K ein Minimalwert sein, und das ist die Position des Bewegungsvektors. Das bedeutet, daß die Ansammlungsfunktion P(i, j) eine trichterartige Konkavität sein wird, die die Bewegungsvektor- Position (i, j) zentriert.
Ein derartiger Bildbewegungsdetektor, der einen Bildbewegungsvektor mit Benutzung eines repräsentativen Punktanpaß-Verfahrens erfaßt, ist in EP-A-389 168 beschrieben. Deshalb wird es beschrieben, eine Differenz zwischen Bilddaten in einem Bewegungsvektor-Erfassungsbereich um eine Position eines repräsentativen Punktes und Bilddaten eines vorangehenden Feldes in darauffolgenden Feldern oder Rahmen zu berechnen. Die berechneten Differenzen werden in Absolutwerte gewandelt. Diese Absolutwerte werden kumulativ für alle Absolutwerte addiert und in Beziehung zu einem repräsentativen Punkt berechnet. Aus allen kumulativen Additionen, die für alle repräsentative Punkte ausgeführt wurden, wird ein Ort errechnet, der einen Minimalwert kumulativ addierter Werte zeigt. Eine dem Minimalwert mit Bezug auf die Position des repräsentativen Punktes zugeordnete Position wird als ein Bewegungsvektor erhalten.
Es wird weiter beschrieben, einen Kernungsbetrieb auf einen Bewegungsvektor anzuwenden, der gemäß dem vorstehend beschriebenen Verfahren berechnet wurde. Der Kernungsbetrieb wird in Zuordnung zu der Größe eines erfaßten Bewegungsvektors ausgeführt, um kleine Bewegungsvektoren zu unterdrücken, die infolge der Rauschkomponenten auch in Standbildern auftreten.
EP-A3 095 560 ist auf ein Verfahren zum Verbessern der übertragenen Bildqualität und zum gleichzeitigen Erreichen einer hohen Komprimierungsrate der übertragenen Videodaten gerichtet. Deshalb beschreibt dieses Dokument ein Verfahren, das speziell mit einer Vorhersage eines zweiten Feldes aus den Videodaten eines ersten Feldes befaßt ist durch weiteres Berechnen von Differenzen zwischen dem vorhergesagten zweiten Feld und dem realen zweiten Feld, um nur die Minimalmenge der notwendigen Daten zum Verbessern der übertragenen Bildqualität zu übertragen. Die Differenz zwischen dem vorhergesagten (interpolierten) zweiten Feld und dem realen zweiten Feld wird nur für Bildorte gesendet, in welchen benachbarte Bildelemente in einer Zeile eines ersten Feldes direkt über oder unter den entsprechenden Bildelementen des zweiten Feldes eine ausreichend große Differenz zeigen. Da eine solche Differenz üblicherweise für sehr wenige Orte in einem Bild vorhanden ist, kann die Qualität einer gesendeten Videofolge durch zusätzliches Senden nur einer kleinen Datenmenge verbessert werden.
Es besteht ein Nachteil bei dem genannten Verfahren, daß das Extrahieren eines Bewegungsvektors in hohem Maße durch Rauschen in den aufeinanderfolgenden Rahmen beeinflußt wird, wenn das eingegebene Bild niedrig in Helligkeit oder Dichtegradient insgesamt ist. Das führt zu Fehlhandlungen. Der Absolutwert der Differenz mit Bezug auf einen repräsentativen Punkt enthält wenig Information für Bewegung an einer Stelle mit niederem Dichtegradienten. Der berechnete Bewegungsvektor erscheint in dem gesamten Suchbereich von Zufallsrauschen herzurühren, wie in Fig. 4 gezeigt. Die Rechengenauigkeit ist extrem niedrig.
Das Ziel der vorliegenden Erfindung ist die Verbesserung der Präzision von Bewegungsvektor-Extrahierung.
Das wird erreicht durch die Merkmale des Anspruchs 1 bei einem Verfahren zum Extrahieren eines Bewegungsvektors, und durch die Merkmale des Anspruchs 9 für eine Videokamera, die ein solches Verfahren benutzt.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 zeigt ein Blockschaltbild der ersten Ausführungsform der vorliegenden Erfindung.
Fig. 2 zeigt eine Position eines repräsentativen Punktes.
Fig. 3 und 4 zeigen ein Konzept von für ein Bild mit Rauschen benutztes Repräsentativpunkt-Anpaßverfahren.
Fig. 5 ist ein detailliertes Blockschaltbild eines Zeitgabegenerators in Fig. 3.
Fig. 6 zeigt eine Adreß-Aufzeichnung.
Fig. 7 und 8 zeigen verschiedene Blockzeitgaben.
Fig. 9 zeigt ein Konzept der Interpolierung von Zeilen in einem Feldbild.
Fig. 10 zeigt ein Beispiel von Koeffizienten eines Operators zum Berechnen des Dichtegradienten.
Fig. 11 ist ein detailliertes Blockschaltbild eines Dichtegradient-Extrahierers.
Fig. 12 zeigt ein Blockschaltbild der zweiten Ausführungsform der vorliegenden Erfindung.
Fig. 13 zeigt ein Blockschaltbild der dritten Ausführungsform der vorliegenden Erfindung.
Fig. 14 zeigt ein Blockschaltbild der vierten Ausführungsform der vorliegenden Erfindung.
Fig. 15 zeigt ein Grundkonzept des Repräsentativpunkt-Anpaßverfahrens.

BEVORZUGTE AUSFÜHRUNGSFORM DER VORLIEGENDEN ERFINDUNG

Die erste Ausführungsform der vorliegenden Erfindung wird nachfolgend mit Bezug auf die beigefügten Zeichnungen beschrieben.
Wie in Fig. 2 gezeigt, werden an b Spalten in der Horizontalrichtung und an c Zeilen in der Vertikalrichtung ausgerichtete repräsentative Punkte ausgewählt, so daß ein rechtwinkliger Block durch jeden in dem Block zentrierten repräsentativen Punkt definiert wird. Der Block ist ein Suchbereich von m Pixeln in der Horizontalrichtung und n Pixeln in der Vertikalrichtung. Die Helligkeit jedes repräsentativen Punktes in dem vorherigen Feld ist in einem Speicher gespeichert. Die Helligkeit des repräsentativen Punktes an der d-ten Spalte und e-ten Zeile wird hier als an-1d,e(0, 0) bezeichnet. Wenn die Helligkeit von Pixeln um den repräsentativen Punkt in dem aktuellen Feld and,e(i, j) ist, wird der Absolutwert des Differenzwertes Pd,e(i, j), wie in der nachstehenden Gleichung berechnet.
Pd,e(i j) = a (i, j) - a (0, 0) ...(1)
Fig. 3 zeigt illustrativ das genannte Konzept. Punkte (i, j), welche Pd,e(i, j) = 0 erfüllen, sind Kandidaten, die einen Bewegungsvektor ergeben, und diese Kandidaten definieren allgemein eine gekrümmte Linie.
Wenn jedoch der Dichtegradient um den repräsentativen Punkt klein ist und Zufallsrauschwerte von zwei Feldbildern addiert werden, wird der Pd,e(i, j) = 0 erfüllende Punkt (i, j) unsicher, wie in Fig. 4 gezeigt, und wenn speziell der Dichtegradientwert = 0 ist, können Pd,e(i, j) = 0 erfüllende Punkte (i, j) über den gesamten Suchbereich von m · n Pixeln vorhanden sein. Deswegen wird das Ansammlungsergebnis Pd,e(i, j) in hohem Maße durch den Punkt P(i, j) in aufeinanderfolgenden Bildern beeinflußt. Wobei
P(i, j) = Pd,e(i, j). ...(2)
Deshalb wird die Extrahierungsgenauigkeit des
Bewegungsvektors = (i, j)/(P(i, j) = min ... (3)
niedrig. Zum Lösen dieses Problems wird ein Mittel zum Extrahieren des Durchschnittswertes des Dichtegradienten um den repräsentativen Punkt vorgesehen, das den Absolutwert oder Quadratwert der Differenz mit einem Gewicht multipliziert, die dem Dichtegradienten für jeden repräsentativen Punkt entspricht, so daß ein Fehlbetrieb infolge Rauschen vermindert wird.
Bei der vorliegenden Ausführungsform wird, wenn ein Dichtegradientenwert geringer als ein Dichtegradienten-Schwellwert B ist, das Gewicht so bestimmt, das es Null ist, und wenn ein Dichtegradientenwert gleich dem oder höher als der Dichtegradienten-Schwellwert B ist, wird das Gewicht zu 1 bestimmt. Das wird wie folgt beschrieben:
Wenn ein Dichtegradient < B,
Pd,e(i, j) = 0,
Wenn ein Dichtegradient ≥ B,
Pd,e(i, j) = a (i, j) - a (0, 0) ...(4)
Fig. 1 zeigt ein Blockschaltbild eines Bewegungsvektor-Extrahierers.
In Fig. 1 ist eine Eingangsklemme 10, die mit einem Bildsignal versorgt wird, mit einer a +-Eingangsklemme eines Subtrahierers 21 durch einen A/D-Wandler 11, einen Zeileninterpolator 14, ein Tiefpaßfilter 12 zum Reduzieren des Einflusses von Rauschen und ein Hochpaßfilter 13 zum Reduzieren des Einflusses von dem Helligkeitswechsel über dem gesamten Bild verbunden.
Ein Repräsentativ-Speicher 18 zum Extrahieren und Speichern eines repräsentativen Punktes von dem aktuellen Feldsignal ist mit dem Subtrahierer 21 durch einen Repräsentativ-Speicher 19 zum Extrahieren eines repräsentativen Punktes an dem vorherigen Feld verbunden. Der Subtrahierer 21 arbeitet mit einem Absolutwert-Berechner 22 zur Korrelationsberechnung zwischen den beiden Feldern zusammen. Der Absolutwert-Berechner 22 ist mit dem Komparator 26 zur Binarisierung verbunden. Der Absolutwert-Berechner 22 und der Komparator 26 sind mit dem Addierer 23 durch einen Modusschalter 39 und einen Gewichtungsschalter 38 verbunden. Der Modusschalter 39 dient zum Auswählen des Binär- oder Mehrwertig-Modus, während der Gewichtungsschalter 38 dafür dient, entsprechend dem Dichtegradientenwert entweder mit 0 oder 1 zu gewichten. Der Addierer 23 ist mit einem Ansammlungsspeicher 24 verbunden, so daß eine anwachsende Addition von Pd,e(i, j) berechnet wird. Der Akkumulierungsspeicher 24 ist mit einem Extrahierer 25 zum Extrahieren des Bewegungsvektors verbunden. Ein Dichtegradient-Extrahierer 30 zum Berechnen des Durchschnittswertes des Dichtegradientenwertes um einen repräsentativen Punkt in dem aktuellen Feld ist mit einem Dichtegradienten-Zeilenspeicher 32 zum Ausgeben eines Dichtegradientenwerts des vorhergehenden Feldes durch einen Dichtegradienten-Speicher 31 verbunden. Der Dichtegradient-Zeilenspeicher 32 ist mit einem Komparator 33 verbunden, um den Dichtegradienten des vorhergehenden Feldes mit dem Schwellwert B zu vergleichen. Der Komparator 33 ist mit dem Gewichtungsschalter 38 verbunden, der gemäß dem Ausgangssignal vom Komparator 33 gesteuert wird. Taktsignale CK, Horizontal-Synchronsignale HD und Vertikal-Synchronsignale VD werden an einen Zeitgabegenerator 20 von außen angelegt, so daß der Generator diese Signale zählt, um Steuersignale beispielsweise für den A/D-Wandler 11, die Repräsentativ-Speicher 18 und 19, den Ansammlungsspeicher 24, den Extrahierer 25, den Dichtegradienten-Extrahierer 30, den Dichtegradienten-Speicher 31 und den Dichtegradienten-Zeilenspeicher 32 zu erzeugen.
Der Zeitgabegenerator wird in einem Blockschaltbild der Fig. 1 mit Einzelheiten mit Bezug auf Fig. 5 erklärt. Taktsignale CK 40 als Referenzsignal, durch Teilen von Taktsignalen erzeugte Horizontal-Synchronsignale HD 41 und Vertikal-Synchronsignale VD 42 werden in den Zeitgabegenerator eingegeben.
Im Zeitgabegenerator 20 werden Horizontal-Synchronsignale HD 41 als Rücksetzsignale benutzt, und Takte CK werden gezählt, so daß eine Adresse XADR in Horizontalrichtung im Suchbereich erzeugt wird, und ein Übertrag des gezählten Wertes wird gezählt, so daß eine Blockadresse XBLK in Horizontalrichtung erzeugt wird. In gleichartiger Weise werden Vertikal-Synchronsignale VD als ein Rücksetzsignal benutzt und Horizontal-Synchronsignale gezählt, so daß ein Adreßsignal YADR in horizontaler Richtung in dem Suchbereich erzeugt wird, und ein Übertrag des Zählwertes wird gezählt, so daß eine Blockadresse YBLK in Vertikalrichtung erzeugt wird. Unter diesen erzeugten Adreßsignalen werden die Adressen XADR und YADR in dem Suchbereich zur Erzeugung eines Zeitgabesignals für Lesen/Schreiben des Repräsentativpunktes benutzt, eine Abtastzeitgabe für Dichtegradient um den Repräsentativpunkt zum Berechnen des Dichtegradienten, eine Rücksetzzeitgabe für den Speicher und eine Sendezeitgabe für einen Zeilenspeicher.
Fig. 6 zeigt eine Adreßaufzeichnung von XADR, YADR, XBLK und YBLK.
Fig. 7 zeigt Verschiedenheiten der Blockzeitgabe.
In Fig. 7 stellen mit Horizontal-Zeilenteilen schraffierte Abschnitte Blöcke zum Löschen der Inhalte des Ansammlungsspeichers dar, und mit Diagonalzeilen schraffierte Abschnitte repräsentieren ungültige Blöcke, nicht zum Ansammeln eines Ansammlungsspeichers. Andererseits stellen weiß gelassene Abschnitte gültige Blöcke zum Ansammeln eines Akkumulierungsspeichers dar. Abschnitte, die mit Vertikallinien schraffiert sind, stellen Bewegungsvektor-Extrahierungsblöcke dar, die Zeitgaben für die Bewegungsvektor-Extrahierung von den angesammelten Daten in den genannten Blöcken ergeben.
Fig. 8 zeigt Zeitgaben für Lesen/Schreiben, Rücksetzen und Multiplizieren von x1/x2, die von XADR und YADR erzeugt werden.
In Fig. 1 wird die Betriebsweise erklärt. Zuerst werden von der Bildeingabeklemme 10 eingegebene Analogbildsignale in einem A/D-Wandler 11 in 8 Bits quantisiert, und da jede Feldzeile von jeweils einem geradzahligen und einem ungeradzahligen Feldbild von der Feldzeile des jeweils anderen um die Hälfte des Abstandes zwischen aufeinanderfolgenden Feldzeilen versetzt ist, sind interpolierte Zeilen zwischen aufeinanderfolgenden Feldzeilen in jeweils einem ungeradzahligen bzw. geradzahligen Feld zu erzeugen. Im Zeileninterpolator 14 nach Fig. 9 wird die Interpolierung jeweils nur für das geradzahlige bzw. ungeradzahlige Feld ausgeführt. Ein Beurteilungssignal für geradzahlig/ungeradzahliges Feld wird an den Interpolator von außen abgegeben, um zu bestimmen, ob die Interpolation notwendig ist oder nicht. Unnötiges Rauschen wird zeitweilig durch den Tiefpaß filter 12 und den Hochpaßfilter 13 entfernt und als Helligkeit and,e(i, j) ausgegeben. Bildsignale, deren Rauschwerte entfernt sind, werden in dem Repräsentativspeicher 18 als Repräsentativpunkt and,e(0, 0) des gegenwärtigen Rahmens mit der durch den Zeitgabegenerator 20 erzeugten Zeitgabe gespeichert. Die Helligkeit dieses Repräsentativpunktes wird während des nächsten Vertikalsynchronterms zum Repräsentativspeicher 19 übertragen und an den Subtrahierer 21 als Repräsentativpunkt an-1d,e(0, 0) des vorherigen Rahmens ausgegeben. Zu diesem Zeitpunkt werden das Adressieren der Repräsentativspeicher 18 und 19 und die Lese/Schreib-Anzeige durch den Zeitgabegenerator 20 betrieben. Wie vorstehend erklärt, werden Helligkeitssignale and,e(i, j) und an-1d,e(0, 0) in den Subtrahierer 21 eingegeben und die Differenz berechnet und dann wird im nächsten Schritt der Absolutwert der Differenz
Pd,e(i, j) = a (i, j) - a (0, 0)
durch das Absolutwertsystem 22 berechnet. Dieses Signal wird im Ansammlungsspeicher 24 durch den Addierer 23 und über den Gewichtungsschalter 38 angesammelt.
Von dem Ausgangssignal des Hochbandpaßfilters 13 and,e(i, j) werden die Dichtegradienten in horizontaler und vertikaler Richtung unabhängig voneinander in der Dichtegradienten-Extrahierschaltung 30 berechnet, so daß der Dichtegradient abschließend berechnet ist. Bei dieser Ausführungsform wird der Dichtegradient durch den Sobel-Operator berechnet, wie in der nachstehenden Formel gezeigt.
Der Dichtegradient in horizontaler Richtung DX
= { a (-hx, -hy) + 2a (-hx, -hy) - a (hx, -hy) - 2a (hx, 0) - a (hx, hy) }
Der Dichtegradient in vertikaler Richtung DY
= { a (-hx, -hy) + 2a (0, -hy) +a(hx, -hy) - a (-hx, hy) - 2a (0, hy) - a (hx, hy) }
Dichtegradient DV = DX + DY
und DV = SQR(DX · DX + DY · DY)
können benutzt werden, und statt des Sobel-Operators kann der Prewitt-Operator oder der Roberts-Operator eingesetzt werden. Fig. 10 zeigt Beispiele von Koeffizienten des Sobel- Operators und des Prewitt-Operators.
Der Dichtegradient-Extrahierer 30 wird im einzelnen in Fig. 11 erklärt. S&sub0; ist ein vom Hochbandpaßfilter 13 ausgegebenes gefiltertes Bildsignal, S&sub1; ein Blockadreßsignal in hori zontaler Richtung, das in dem Zeitgabegenerator 20 erzeugt wird, S&sub3;, S&sub4;, S&sub5; und S&sub6; sind in dem Zeitgabegenerator 20 zur Abtastzeitgabe erzeugte Lese/Schreib-Signale, S&sub2; ist ein Bezeichnungssignal, das im Zeitgabegenerator 20 zum Bezeichnen eines Multiplikators der Größe zwei oder eins erzeugt wird, 66, 76, 86 und 96 sind Multiplikatoren von x2 oder x1, 67, 77, 87 und 97 sind Addierer, 65, 75, 85 und 95 sind Zeilenspeicher mit einer Kapazität zum Speichern von Blöcken in Horizontalrichtung. Die Kapazität der Ausführungsform der Fig. 2 ist b · (a + 2 Bits) und S&sub4; ist ein Rücksetz-Zeitgabesignal, das durch den Zeitgabegenerator 20 aus Spaltenadresse in Horizontalrichtung und Zeilenadresse in Vertikalrichtung erzeugt ist.
Fig. 8 zeigt die Rücksetzzeitgabe, Abtastzeitgabe um repräsentative Punkte und Übertragungszeitgabe zum Dichtegradienten-Zeilenspeicher 32. Diese Zeitgaben werden in dem genannten Zeitgabegenerator 20 in Übereinstimmung mit Adressen in Horizontalrichtung XADR und Adresse in Vertikalrichtung YADR erzeugt.
Im Zeilenspeicher 65 der Fig. 11 wird im Multiplizierer 66, Addierer 67 und Schalter 68 eine Berechnung nach der nachstehenden Formel betrieben:
a (-hx, -hy) + 2x a (-hx, 0) + a (-hx, hy),
im Zeilenspeicher 75, Multiplizierer 76, Addierer 77 und Schalter 78 wird eine Berechnung gemäß der nachstehenden Formel betrieben:
a (hx, -hy) + 2x a (hx, 0) + a (hx, hy),
im Zeilenspeicher 85, Multiplizierer 86, Addierer 87 und Schalter 88 wird eine Berechnung betrieben gemäß der nachstehenden Formel:
a (-hx, -hy) + 2x a (0, -hy) + a (hx, -hy),
im Zeilenspeicher 95, Multiplizierer 96, Addierer 97 und Schalter 98 wird eine Berechnung gemäß der nachstehenden Formel betrieben:
a (-hx, hy) + 2x a (0, hy) + a (hx, hy).
Nach diesen Berechnungen werden die Ergebnisse den Blockadressen entsprechend in Dichtegradient-Berechnungsspeichern gespeichert. Dichtegradient DX in x-Richtung wird durch Subtrahierer 50 und Absolutwert-Rechner 52 aus einem Absolutwert der Differenz der Daten im Berechnungsspeicher 65 und 75 berechnet, und der Dichtegradient in y-Richtung wird durch Subtrahierer 51 und Absolutwert-Rechner 53 aus einem Absolutwert der Daten im Berechnungsspeicher 85 und 95 berechnet. Eine Dichtegradientwert um den repräsentativen Punkt wird durch den Addierer 54 berechnet und von DV = DX + DY ausgegeben.
Der durch den Dichtegradienten-Extrahierer 30 extrahierte Dichtegradient wird im Dichtegradient-Speicher 31 entsprechend einer im Zeitgabegenerator erzeugten Blockadresse gespeichert. Wenn jedoch der Dichtegradientwert des aktuellen Feldes in einen Speicher geschrieben wird, geht der Dichtegradientwert des vorhergehenden Bildes verloren, und deswegen sollte, bevor der Dichtegradientwert des aktuellen Feldes im Speicher 31 gespeichert wird, der Dichtegradientwert des vorhergehenden Speichers zu dem Dichtegradient-Zeilenspeicher 32 übertragen und in dem nächsten Schritt in den Komparator 33 eingegeben werden. Im Komparator 33 wird er, wenn der Dichtegradientwert gleich dem oder größer als der vorgegebene Schwellwert B ist, als 1 ausgegeben. Das Ausgabesignal des Komparators 33 wird zum Steuern des Schalters 38 verwendet, und wenn das Ausgangssignal vom Komparator 33 1 ist, wird das Ausgangssignal vom Absolutwertrechner 22 an den Eingang des Addierers 23 übertragen und Pd,e(i, j) wird im Ansammlungsspeicher 24 angesammelt. Im Gegensatz dazu wird, wenn der Dichtegradientwert kleiner als der Schwellwert B ist, das Ausgangssignal vom Komparator 33 der Wert 0 sein, und der Schalter 38 wird mit der Masseklemme verbunden, so daß Pd,e(i, j) nicht angesammelt wird.
Diese Reihe von Rechenverarbeitungen mit Bezug auf ein Bild für ein Feld wird abgeschlossen, Pn(i, j) wird entsprechend der Adresse dem Ansammlungsspeicher 24 gegeben, und die Adresse wird extrahiert entsprechend dem (i, j), bei dem Pn(i, j) der Maximal- oder der Minimalwert geworden ist, durch den Extrahierer 25 während des vertikalen Synchronterms und als Bewegungsvektor ausgegeben. Zu diesem Zeitpunkt wird die Zeitgabe wie Lese/Schreib-Steuersignal vom Addierer 23, Akkumulierungs- und Addierspeicher 24 und Extrahierer 25 gesteuert. Auch dieser Bewegungsvektor-Extrahierer 25 extrahiert gleichzeitig den Maximalwert, den Minimalwert und den Mittelwert des angesammelten Wertes und gibt diese aus. Sie werden als Parameter zur Beurteilung der Zuverlässigkeit des extrahierten Bewegungsvektors durch einen mit der Rückstufe verbundenen Mikrocomputer benutzt.
Hier bedeuten zwei aufeinanderfolgende Feldbilder die Kombination eines ungeraden Feldbildes und eines geraden Feldbildes, oder eine Kombination eines geraden Feldbildes und eines ungeraden Feldbildes, und ein Bewegungsvektor wird aus diesen Kombinationen extrahiert.
Statt zwei aufeinanderfolgender Feldbilder können auch Feldbilder benutzt werden, die von zwei aufeinanderfolgenden Rahmenbildern extrahiert wurden. Da in diesem Fall eine Kombination aus einem ungeraden Feldbild und einem ungeraden Feldbild oder einem geraden Feldbild und einem geraden Feldbild genommen werden, kann der Zeileninterpolator 14 unbeachtet bleiben.
Fig. 12 beschreibt die zweite Ausführungsform der vorliegenden Erfindung, und dies ist ein Kompensationssystem für Rütteln des VTR mit einer darin aufgenommenen Kamera, die einen Bewegungsvektor-Extrahierer benutzt, wie er in der vorangehenden ersten Ausführungsform erklärt wurde.
Bei dieser Figur stellt 101 einen CCD-TV-Signalverarbeitungsabschnitt dar, 102 ist ein Bewegungsvektor-Extrahierer, 103 ist ein Feldspeicher oder ein Rahmenspeicher zum Speichern eines Bildes des vorhergehenden Feldes oder Rahmens, 104 stellt einen Bewegungsvektor-Signalverarbeitungsabschnitt dar, der die Zuverlässigkeit eines Bandfilters zum Bestimmen der Kompensationsfrequenz und der Bewegungsvektor-Extrahierung beurteilt, 105 stellt einen interpolierenden Vergrößerungs-Verarbeitungsabschnitt dar, der einen Teil eines Bildes mit in einem Feldspeicher oder einem Rahmenspeicher gespeicherter Interpolation vergrößert.
Ein von dem CCD-TV-Signalverarbeitungsabschnitt 101 ausgegebenes Helligkeitssignal wird in den Bewegungsvektor-Extrahierer 102 eingegeben und ein Bewegungsvektor wird vom Bildsignal aus zwei aufeinanderfolgenden Feldern oder Rahmen extrahiert. Andererseites wird das Helligkeitssignal und ein Signal der Farbdifferenz R-Y und B-Y, das von dem CCD-N-Signalverarbeitungsabschnitt 101 ausgegeben wurde, in einem Feld- oder Rahmenspeicher 103 gespeichert, und sie werden teilweise in dem interpolierenden Vergrößerungs-Verarbeitungsabschnitt 105 nach Verzögerung von einem Feld oder einem Rahmen vergrößert. In diesem Augenblick wird der durch den Bewegungsvektor-Extrahierer 102 extrahierte Bewegungsvektor durch einen Bewegungsvektor-Signalverarbeitungsabschnitt 104 an eine Steuerklemme des interpolierenden Vergrößerungs-Verarbeitungsabschnittes 105 angelegt, und wird durch den Interpolations-Vergrößerungs-Verarbeitungsabschnitt 105 für das Ausmaß der extrahierten Bewegungsvektoren kompensiert, die Elemente des Rüttelns auf und ab und nach der rechten und der linken Seite sind, und ein TV-Bildsignal wird erhalten, in welchem das Rütteln kontrolliert ist.
Da eine Vergrößerung des Digitalbildes allgemein durch die Vergrößerungsleistung eines Exponenten der Größe zwei ausgeführt wird, wird ein von einem Eingabebild extrahiertes Bild ausgegeben, das interpoliert und um zwei vergrößert ist.
Fig. 13 zeigt die dritte Ausführungsform der vorliegenden Erfindung, und dies ist ein Kompensationssystem für das Rütteln des VTR, mit einer darin aufgenommenen Kamera, das einen Bewegungsvektor-Extrahierer benutzt, wie er in der vorangehenden ersten Ausführungsform erklärt wurde.
Der CCD-TV-Signalverarbeitungsabschnitt 201 steuert die Anzahl von Hochgeschwindigkeits-Ausgabetakten, welche die vertikale Elektrik-Änderungsübersetzung begleiten, so daß die Bewegung eines Bildes nach oben, nach unten, nach rechts oder nach links ebenfalls durch die steuerbare Verzögerung 202 steuerbar ist. Das von dem CCD-TV- Signalverarbeitungsabschnitt 201 ausgegebene Helligkeitssignal eines Bildes wird durch eine steuerbare Verzögerungsleitung 202 in einen Bewegungsvektor-Extrahierer 203 eingegeben, und ein Bewegungsvektor wird von dem Bildsignal extrahiert, wie es in dem Betrieb der zweiten Ausführungsform der Fall war. Der extrahierte Bewegungsvektor wird in den Bewegungsvektor-Verarbeitungsabschnitt 204 eingegeben, und eine Verarbeitung dort durchgeführt, in welcher die Zuverlässigkeit eines Bandfilters zum Bestimmen der Kompensationsfrequenz und einer Bewegungsvektor-Extrahierung beurteilt wird. Die Kompensationsvektoren für Auf- und Abwärtsrichtung werden zu dem CCD-TV-Signalverarbeitungsabschnitt 201 zurückgeführt, und Kompensationsvektoren für die Richtung nach rechts und nach links werden zu der steuerbaren Verzögerungsleitung 202 zurückgeführt, und das Rütteln wird durch den Regelservo kompensiert.
Fig. 14 zeigt die vierte Ausführungsform der vorliegenden Erfindung, und diese ist ein Kompensationssystem für das Rütteln von VTR mit einer darin enthaltenen Kamera, das einen Bewegungsvektor Extrahierer einschließt, wie er in der vorstehenden ersten Ausführungsform erklärt wurde.
301 stellt den CCD-TV-Signalverarbeitungsabschnitt dar, 302 ist ein Bewegungsvektor-Extrahierer, und es wird ein Bewegungsvektor in der gleichen Weise wie beim Betrieb der zweiten Ausführungsform extrahiert.
Der extrahierte Bewegungsvektor wird in den Bewegungsvektor-Verarbeitungsabschnitt 303 eingegeben und eine Verarbeitung durchgeführt, bei der die Zuverlässigkeit eines Bandfilters zum Bestimmen der Kompensationsfrequenz und der Bewegungsvektor Extrahierung beurteilt wird. Eine Linse 305 wird durch Stellglieder 306 und 307 so abgestützt, daß sie in zwei Dimensionen senkrecht zur optischen Achse der Linse bewegbar ist. Das bedeutet, die Linse 305 wird in zwei Dimensionen durch Eindrücken einer Kompensationsspannung auf die Stellglieder bewegt. Der von dem Bewegungsvektor-Signalverarbeitungsabschnitt 303 ausgegebene Kompensationsvektor wird im Treiber (Ansteuergerät) 304 in den Richtungen nach oben, unten, rechts und links verstärkt und durch Aufdrücken der Kompensationsspannung auf das Stellglied 306 und 307 wird die Position der Linse 305 kompensiert. Damit wird eine Rückkoppelschleife für die Kompensationsbewegung eines Bildes aufgebaut.
Wenn ein Linsenabschnitt mit einer Zoom-Funktion vorgesehen ist, ändert sich ein Schleifengewinn der Rüttelkompensation in Abhängigkeit von der Zoom-Vergrößerung, und deswegen wird die Zoom-Vergrößerungsinformation an den Verstärkungskompensator 308 eingegeben und eine Verstärkungssteuerung in umgekehrter Abhängigkeit zu der Zoom- Vergrößerung ausgeführt.
Bei der vorstehenden Ausführungsform wird ein Absolutwert der Differenz zwischen Rahmen berechnet. Es ist auch möglich, einen Quadratwert des Differenzwerts zu berechnen, um den Bewegungsvektor abzuleiten.
Entsprechend der vorstehend dargelegten vorliegenden Erfindung ist es, da Grunddaten eines Bewegungsvektors durch den Dichtegradientwert gewichtet und angesammelt werden, möglich, den Einfluß von Zufallsrauschen in einem flachen Bild, das einen kleinen Dichtegradientwert besitzt, herabzusetzen. Dadurch wird die Präzision der Bewegungsvektor Extrahierung verbessert.
Mittels dieses Bewegungsvektor-Extrahierers wird das Bewegungs-Extrahiersystem zum Kompensieren eines Rüttelns des VTR mit einer darin aufgenommenen Kamera erreicht.

Claims

1. Verfahren zum Extrahieren eines Bewegungsvektors mit folgenden Schritten:

Teilen aufeinanderfolgender Bilder in Blöcke mit einer vorbestimmten Größe,

Berechnen eines Differenzwertes zwischen einem Wert eines repräsentativen Punktes eines ersten Blocks und einem Wert eines zweiten Blocks, wobei der erste Block und der zweite Block an derselben Position in aufeinanderfolgenden Bildern positioniert sind, und Berechnen eines positiven Wertes dieses Differenzwertes,

Akkumulieren aller berechneten positiven Werte für Differenzen zwischen den Werten der repräsentativen Punkte und den Werten des zweiten Blocks an derselben Koordinatenposition in bezug auf die entsprechenden repräsentativen Punkte für eine Vielzahl von Koordinaten,

Extrahieren eines Minimumwertes aus den Akkumulationsergebnissen als Bewegungsvektor,

dadurch gekennzeichnet, daß das Verfahren weiterhin folgende Schritte umfaßt:

Berechnen eines Dichtegradientenwertes für jeden der ersten Blöcke, und

Gewichten der berechneten positiven Werte in Übereinstimmung mit dem entsprechenden Dichtegradientenwert.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Gewichtung mit einem Gewicht von "0" vorgenommen wird, wenn der Dichtegradientenwert kleiner ist als ein Dichtegradientenschwellwert (B), und mit einem Gewicht von "1" vorgenommen wird, wenn der Dichtegradientenwert größer oder gleich dem Dichtegradientenschwellwert (B) ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß der Dichtegradientenwert erhalten wird, indem ein horizontaler Dichtegradientenwert und ein vertikaler Dichtegradientenwert addiert werden.

4. Verfahren nach wenigstens einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß der horizontale und der vertikale Dichtegradientenwert berechnet werden, indem ein Sobel-Operator, ein Prewitt-Operator oder ein Roberts-Operator verwendet werden.

5. Verfahren nach wenigstens einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß der Dichtegradientenwert berechnet wird, indem eine Dichte eines Pixels mit einem Multiplikator multipliziert wird, der in Übereinstimmung mit einem Steuersignal geändert werden kann.

6. Verfahren nach wenigstens einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß der Dichtegradientenwert an Koordinaten um einen repräsentativen Wert herum berechnet wird.

7. Verfahren nach wenigstens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß der positive Wert ein absoluter Wert der Differenz ist.

8. Verfahren nach wenigstens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß der positive Wert ein Quadratwert der Differenz ist.

9. Videokamera mit:

einem Objektiv (305),

einem Stellglied (306, 307), um das Objektiv (305) in Antwort auf einen extrahierten Bewegungsvektor jeweils in der horizontalen und in der vertikalen Richtung zu bewegen,

einer Steuereinrichtung (303) zum Einstellen der Bewegungsgröße des Objektivs,

einer Bewegungsvektor-Extraktionseinrichtung (302) zum Berechnen des Bewegungsvektors zwischen aufeinanderfolgenden Bildern, wobei die Bewegungsvektor-Extraktionseinrichtung (302) umfaßt:

eine Einrichtung (18, 19, 21) zum Berechnen eines Differenzwertes zwischen einem Wert eines repräsentativen Punktes für einen ersten Block und dem Wert eines zweiten Blocks, wobei der erste Block und der zweite Block eine vorbestimmte Größe aufweisen und an derselben Position in aufeinanderfolgenden Vollbildern positioniert sind,

eine Einrichtung (22) zum Berechnen eines positiven Wertes des Differenzwertes,

eine Einrichtung (30-33) zum Berechnen eines Dichtegradienten für jeden der Blöcke,

eine Einrichtung (38) zum Gewichten der berechneten positiven Werte in Übereinstimmung mit dem Dichtegradientenwert,

eine Einrichtung (23, 24) zum Akkumulieren aller berechneten und gewichteten positiven Werte für Differenzen zwischen den Werten der repräsentativen Punkte und den Werten des zweiten Blocks an derselben Koordinatenposition in Bezug auf die entsprechenden repräsentativen Punkte für eine Vielzahl von Koordinaten, und

eine Einrichtung (25) zum Extrahieren eines Minimumwertes aus den Akkumulationsergebnissen, der den Bewegungsvektor wiedergibt.

10. Videokamera nach Anspruch 9, die weiterhin umfaßt:

eine Zoomeinrichtung zum Ändern der Vergrößerung des Objektivs (305), und

eine Verstärkungssteuereinrichtung (308) zum Ändern der Verstärkung durch das Steuern der durch die Steuereinrichtung (303) eingestellten Größe, wobei die Verstärkung umgekehrt proportional zu der Zoomvergrößerung gesteuert wird.