DE69116222T2 - Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator - Google Patents

Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator

Info

Publication number
DE69116222T2
DE69116222T2 DE69116222T DE69116222T DE69116222T2 DE 69116222 T2 DE69116222 T2 DE 69116222T2 DE 69116222 T DE69116222 T DE 69116222T DE 69116222 T DE69116222 T DE 69116222T DE 69116222 T2 DE69116222 T2 DE 69116222T2
Authority
DE
Germany
Prior art keywords
motion vector
image
correlation
detector
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69116222T
Other languages
English (en)
Other versions
DE69116222D1 (de
Inventor
Atsushi Morimura
Kenya Uomori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP13067690A external-priority patent/JP2676978B2/ja
Priority claimed from JP2133360A external-priority patent/JP2661330B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of DE69116222D1 publication Critical patent/DE69116222D1/de
Publication of DE69116222T2 publication Critical patent/DE69116222T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

    HINTERGRUND DER ERFINDUNG
  • Die vorliegende Erfindung betrifft eine Bewegungsvektor-Erfassungsvorrichtung zum Erfassen eines Betrages einer Bildverlagerung und einen Bildstabilisator zum Korrigieren von Schwankungen eines ausgegebenen Bildes, welcher die Bewegungsvektor-Erfassungsvorrichtung enthält.
  • Eine Bewegungsvektor-Erfassungsvorrichtung ist z. B. aus der japanischen Offenlegung JP-A-61 269475 bekannt. Wie in Fig. 1 dargestellt, enthält die bekannte Bewegungsvektor-Erfassungsvorrichtung einen Bewegungsvektordetektor 20 und einen Bewegungsvektorbestimmer 10. Der Bewegungsvektordetektor 20 beinhaltet einen ersten Zwischenspeicher 1, einen Vergleichspunktspeicher 2, einen zweiten Zwischenspeicher 3, einen Subtrahierer 4, eine Adreßsteuerung 5, einen Absolutwertwandler 6, einen Akkumulator 7, einen korrelierenden Abfrager 8 und eine korrelierende Entscheidungseinheit 9 zur Beurteilung der Giiltigkeit der Korrelation in einem Bild.
  • Die bekannte Bewegungsvektor-Erfassungsvorrichtung der oben beschriebenen Anordnung wird weiter beschrieben. Zu Beginn wird ein Bewegungsvektor eines Bildes anhand der Fig. 2a bis 2c erläutert. Fig. 2a stellt ein Bild zu einem Zeitpunkt und Fig. 2b ein dem Bild in Fig. 2a um ein Halbbild oder ein Vollbild folgendes Bild dar. Wenn das Bild durch eine Bewegung einer Bildaufnahmevorrichtung parallel verschoben wird, wie in den Fig. 2a und 2b gezeigt, wird der Betrag der Parallelverschiebung des Bildes durch den Vektor des Pfeiles in Fig. 2c ausgedrückt und dieser Vektor wird als ein "Bewegungsvektor" bezeichnet.
  • Fig. 3 zeigt einen Vergleichspunkt und die den Vergleichspunkt umgebenden Bildpunkte in einem sogenannten Vergleichspunktanpassungsverfahren zum Erfassen eines Bewegungsvektors eines Bildes. Bei diesem Verfahren werden Bilddaten in einem Teilbild an einem Vergleichspunkt positioniert und ein Bewegungsvektor wird durch Ausführen einer korrelierenden arithmetischen Operation zum Bestimmen, zu welchem der umgebenden Bildpunkte die Bilddaten im nächsten Teilbild verlagert werden, ermittelt.
  • Im folgenden wird die Wirkungsweise der bekannten Bewegungsvektor-Erfassungsvorrichtung, welche die korrelierende arithmetische Einheit verwendet, mit Bezug auf Fig. 1 beschrieben. Buddaten an entsprechenden Vergleichspunkten auf einem Bildschirm werden durch den ersten Zwischenspeicher 1 als Reaktion auf einen Zeitimpuls LP1 empfangen und werden, nach einer bestimmten Zeitsteuerung, an Adressen des Vergleichspunktspeichers 2 geschrieben, die jeweils den Vergleichspunkten entsprechen. Nachfolgend werden im nächsten Teilbild oder Volibild die Korrelation, nämlich Absolutwerte der Differenzen zwischen Bilddaten in einem Bewegungsvektor-Erfassungsbereich, der jeden Vergleichspunkt einschließt, und den Buddaten jedes Vergleichspunktes des vorangegangenen Teilbildes, welche in dem Vergleichspunktspeicher 2 abgelegt sind, erhalten und in den Akkumulator 7 eingegeben. Eine Korrelation repräsentierende Daten, die auf der Basis von Koordinaten jedes Vergleichspunktes erhalten wurden, werden durch den Akkumulator 7 akkumuliert. Wenn die Akkumulation der Daten für alle Vergleichspunkte beendet ist, wird der Ort mit dem engsten Korrelationswert aus den im Akkumulator 7 gespeicherten Summen durch den korrelierenden Abfrager 8 festgestellt. Der Ort (die Adresse) mit dem engsten Korrelationswert, bezogen auf den entsprechenden Vergleichspunkt, zeigt den Bewegungsvektor an.
  • In der in Fig. 1 gezeigten Anordnung wird eine korrelierende arithmetische Operation durch Akkumulation der Absolutwerte der Differenzen ausgeführt. Somit nehmen Daten an Punkten mit enger Korrelation im Akkumulator kleinere Werte an, als solche von anderen Punkten. Ferner beurteilt die Entscheidungseinheit 9 auf der Basis von Verteilungen (Mittelwert, Minimalwert, Gradient etc.) der Korrelationswerte im Bewegungsvektor-Erfassungsbereich, ob der durch korrelierende arithmetische Operation erhaltene Bewegungsvektor gültig ist oder nicht. Wenn (1) der Mittelwert klein ist, (2) der Minimalwert groß ist und (3) der Gradient um den Minimalpunkt des Korrelationswertes klein ist, erkennt die Korrelationsentscheidungseinheit 9, daß der durch korrelierende arithmetische Operation erhaltene Bewegungsvektor ungültig ist.
  • Die oben beschriebene Operation wird für Bildsignale in jeder einzelnen von mehreren Regionen, in die der Bildschirm aufgeteilt ist, ausgeführt. Dann bestimmt der Bewegungsvektorbestimmer 10 auf der Basis der aus den Bildsignalen in den jeweiligen Regionen des Bildschirmes erhaltenen Bewegungsvektoren und auf der Basis von Daten über die Gültigkeit der Bewegungsvektoren von der korrelierenden Entscheidungseinheit 9 einen Bewegungsvektor der Bildsignale des gesamten Bildschirms.
  • Da die oben beschriebene Operation für jedes Teilbild ausgeführt wird, ist der erste Zwischenspeicher 1 vorgesehen zum Speichern von Bilddaten an den Vergleichspunkten zur korrelierenden arithmetischen Operation im nächsten Teilbild, während die korrelierende arithmetische Operation ausgeführt wird. Inzwischen speichert der zweite Zwischenspeicher 3 die Bilddaten am Vergleichspunkt, sofern eine Korrelation zwischen Bllddaten an einem Vergleichspunkt und den den Vergleichspunkt umgebenden Bilddaten erhalten wird. Wenn die Korrelation bei der bekannten Bewegungsvektor-Erfassungsvorrichtung mit der oben beschriebenen Anordnung an entsprechenden Orten eines Objektes schwach ist und nur ein verschobener Punkt des Bildes durch die Bewegung einer Bildaufnahmevorrichtung eine enge Korrelation aufweist, ergibt sich kein Problem. Wenn jedoch ein Objekt eine regelmäßigen Korrelation aufweist, ergibt sich das folgende Problem. In diesem Fall weisen eine Anzahl von Punkten des Objektes eine enge Korrelation auf. Um den Bewegungsvektor genau zu bestimmen, wird daher ein Gradient um einen Minimalwert der Korrelationswerte geprüft, die Gültigkeit der Korrelation kann aber nicht durch bloßen Vergleich des Gradienten mit einer Konstanten beurteilt werden. Wenn inzwischen eine das Objekt aufnehmende Kamera schwankt, variiert der Gradient stark, so daß die Gültigkeit der Korrelation nicht ausreichend beurteilt werden kann.
  • Die auf dem Gradienten basierende Beurteilung stellt daher in vielen Fällen eine Beurteilung der Gültigkeit der Korrelation nicht positiv sicher. Daher nehmen die aus den entsprechenden Bereichen erhaltenen Bewegungsvektoren Positionen an, welche in dem Bild eine enge Korrelation aufweisen, für die korrekten Bewegungsvektoren in den entsprechenden Bereichen jedoch irrelevant sind und somit nicht die korrekten Bewegungsvektoren in den entsprechenden Bereichen darstellen. Als ein Ergebnis wird, wenn der Bewegungsvektor des gesamten Bildschirms dadurch bestimmt wird, daß z.B. ein Mittelwert der Bewegungsvektoren in den entsprechenden Bereichen herangezogen wird, der Bewegungsvektor des gesamten Bildschirms falsch erfaßt infolge eines künftigen Bewegungsvektors, der nur durch den Gradienten in einer Region mit enger Korrelation in dem Bild erhalten wird, dessen Korrelation von der Bewegung des gesamten Bildschirms abweicht.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Daher ist es eine wesentliche Aufgabe der vorliegenden Erfindung, eine Bewegungsvektor-Erfassungsvorrichtung anzugeben, welche, wenn eine Anzahl von Punkten eines Objektes eine enge Korrelation, insbesondere in einer bestimmten Richtung, wie z.B. in horizontaler Richtung oder vertikaler Richtung, aufweisen, die Korrelation erfaßt und einen Bewegungsvektor eines gesamten Bildschirms bestimmt, ohne Bewegungsvektoren zu verwenden, die unter Bedingungen erfaßt wurden, die zu einem Anstieg von Erfassungsfehlern der Bewegungsvektoren führen, so daß der Erfassungsfehler des Bewegungsvektors des gesamten Bildschirms unterdrückt wird.
  • Eine weitere wesentliche Aufgabe der vorliegenden Erfindung ist es, eine Bewegungsvektor-Erfassungsvorrichtung anzugeben, welche Bedingungen erfaßt, bei welchen eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und in den entsprechenden Regionen erhaltene Bewegungsvektoren sich unter den obigen Bedingungen zufällig scharf ändern, und welche die Bewegungsvektoren, die unter Bedingungen erhalten wurden, die zum Ansteigen des Erfassungsfehlers des Bewegungsvektors führen, verringert, so daß der Erfassungsfehler eines Bewegungsvektors eines gesamten Bildschirms unterdrückt wird.
  • Eine weitere Aufgabe der vorliegenden Erfindung ist es, einen Bildstabilisator zum Korrigieren von Schwankungen eines ausgegebenen Bildes anzugeben, welcher ein Bild in einer Richtung entgegengesetzt zu derjenigen des durch die Bewegungsvektor-Erfassungsvorrichtung erfaßten Bewegungsvektors verschiebt, um den Korrekturfehler von Schwankungen des ausgegebenen Bildes zu unterdrücken, so daß Schwankungen des ausgegebenen Bildes stabilisiert werden. Um diese Aufgaben der vorliegenden Erfindung zu verwirklichen, umfaßt eine Bewegungsvektor-Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung einen Bewegungsvektordetektor, welcher ein Bild eines eingegebenen Bildsignales in mehrere Regionen aufteilt und die Bewegungsvektoren für jede Region durch Ausführen korrelierender arithmetischer Operationen zwischen Bildpunkten in den Regionen eines ersten Feldes und Bildpunkten des nächsten Feldes in der gleichen Region berechnet; einen Kennzeichendetektor zum Erfassen von Gradientenverhältnissen, welche die Verhältnisse der Veränderung der Korrelationswerte in unterschiedlichen Richtungen in der Nachbarschaft des minimalen Korrelationswertes sind, und eine Vektorsteuerungs- und Entscheidungseinheit, welche die berechneten Bewegungsvektoren und Gradientenverhältnisse empfängt, wobei die Vektorsteuerungs- und Entscheidungseinheit (i) aus den Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten eine enge Korrelation in einer der verschiedenen Richtungen aufweisen und in diesem Fall den zugeordneten Bewegungsvektor als ungültig beurteilt und (ii) einen Bewegungsvektor für das Bildsignal aus den verbleibenden Bildvektoren selektiert.
  • Weiterhin erfaßt in einer zweiten Ausführungsform der vorliegenden Erfindung der Kennzeichendetektor Kennzeichen dafür, daß sich einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die Vektorsteuerungs- und Entscheidungseinheit die Größe des einen der Bewegungsvektoren verringert, wenn der Kennzeichendetektor die Kennzeichen in der einen der Regionen erfaßt hat.
  • Durch die oben beschriebene Anordnung der ersten Ausführungsform der vorliegenden Erfindung wird die Gültigkeit der Bewegungsvektoren in den jeweiligen Erfassungsregionen durch Verwenden von Verhältnissen von Gradienten an Punkten mit enger Korrelation beurteilt, welche durch den Kennzeichendetektor erfaßt werden. Wenn die Gradientenverhältnisse vorbestimmte Bereiche überschreiten, wird der Bewegungsvektor des gesamten Bildschirmes ohne Verwendung der Bewegungsvektoren bestimmt, die aus den Regionen mit den Gradientenverhältnissen, die die vorbestimmten Bereiche überschreiten, erhalten werden, so daß eine fehlerhafte Erfassung des Bewegungsvektors des gesamten Bildschirms beseitigt ist.
  • Inzwischen erfaßt der Kennzeichendetektor durch die oben erwähnte Anordnung der zweiten Ausführungsform der vorliegenden Erfindung die Bedingungen, daß eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und sich die erhaltenen Bewegungsvektoren scharf ändern. Wenn die Bedingungen erfaßt wurden, wird der Bewegungsvektor des gesamten Bildschirms erhalten durch Unterdrücken der Bewegungsvektoren, die aus den Regionen erhalten wurden, die diese Bedingungen erfüllen, so daß eine fehlerhafte Erfassung des Bewegungsvektors des gesamten Bildschirms beseitigt wird.
  • Die vorliegende Erfindung schlägt außerdem einen Bildstabilisator gemäß Anspruch 4 vor.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Diese Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung in Verbindung mit ihren bevorzugten Ausführungsformen und unter Bezug auf die beigefügten Zeichnungen deutlich.
  • Dabei zeigen:
  • Fig. 1 ein Blockschaltbild einer bekannten Bewegungsvektor-Erfassungsvorrichtung (bereits erwähnt);
  • Fig. 2a bis 2c erläuternde Ansichten eines Bewegungsvektors eines Bildes (bereits erwähnt);
  • Fig. 3 eine erläuternde Ansicht eines Vergleichspunktes und diesen Vergleichspunkt umgebender Bildpunkte (bereits erwähnt);
  • Fig. 4 ein Blockschaltbild einer Bewegungsvektor-Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung;
  • Fig. 5a und 5b vereinfachte Ansichten, welche die Wirkungsweise der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 erläutern;
  • Fig. 6 ein Blockschaltbild eines korrelierenden Kennzeichenextrahierers, der in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 verwendet wird;
  • Fig. 7a und 7b die Wirkungsweise der Bewegungsvektor-Erfassungsvorrichtung in Fig.g 4 erläuternde Ansichten;
  • Fig. 8a und 8b vereinfachte Ansichten, welche korrelierende Daten mit enger Korrelation in bestimmten Richtungen in der Bewegungsvektor- Erfassungsvorrichtung in Fig. 4 zeigen;
  • Fig. 9 ein Blockschaltbild eines Bildstabilisators mit der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 unter einem anderen Aspekt der vorliegenden Erfindung;
  • Fig. 10 ein Blockschaltbild einer Bewegungsvektor-Erfassungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung;
  • Fig. 11 ein Blockschaltbild eines in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 verwendeten Vektorkennzeichendetektors;
  • Fig. 12a bis 12d Graphen, welche Wellenformkennzeichen von Bewegungsvektoren zeigen, die durch die Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 erfaßt sind;
  • Fig. 13 einen Graphen, welcher Kennzeichen einer in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 verwendeten Bewegungsvektorsteuerung zeigt;
  • Fig. 14 ein Blockschaltbild eines Bildstabilisierers mit der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 unter einem anderen Aspekt der vorliegenden Erfindung; und
  • Fig. 15 eine mit Fig. 11 vergleichbare Ansicht, die insbesondere eine Modifikation davon zeigt.
  • Bevor die Beschreibung der vorliegenden Erfindung fortgesetzt wird, ist anzumerken, daß gleiche Teile in verschiedenen Ansichten der beigefügten Zeichnungen durch gleiche Bezugszeichen bezeichnet sind.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • In den Zeichnungen ist in Fig. 4 eine Bewegungsvektor-Erfassungsvorrichtung 50 gemäß einer ersten Ausführungsform der vorliegenden Erfindung gezeigt. Die Bewegungsvektor-Erfassungsvorrichtung 50 beinhaltet einen Bewegungsvektordetektor 20, einen korrelierenden Kennzeichenextrahierer 11 und eine Bewegungsvektor-Entscheidungseinheit 12. Ebenso wie bei der bekannten Bewegungsvektor-Erfassungsvorrichtung in Fig. 1 beinhaltet der Bewegungsvektordetektor 20 einen ersten Zwischenspeicher 1, einen Vergleichspunktspeicher 2, einen zweiten Zwischenspeicher 3, einen Subrahierer 4, eine Adreßsteuerung 5, einen Absolutwertwandler 6, einen Akkumulator 7, einen korrelierenden Abfrager 8 und eine korrelierende Entscheidungseinheit 9 zum Beurteilen der Gültigkeit einer Korrelation in einem Bild. In eingegebenen Signalen werden Bilddaten an entsprechenden Vergleichspunkten auf einem Bildschirm durch den ersten Zwischenspeicher 1 als Reaktion auf Zeitimpulse LP1 empfangen und mit einer bestimmten Zeitsteuerung an Adressen des Vergleichspunktspeichers 2 geschrieben, welche jeweils den Vergleichspunkten entsprechen. Anschließend wird bei dem nächsten Teilbild oder Vollbild eine Korrelation zwischen Bilddaten in einem Bewegungsvektor-Erfassungsbereich um jeden Vergleichspunkt herum und Bilddaten an jedem Vergleichspunkt des vorherigen Teilbildes erhalten und in den Akkumulator 7 eingegeben, in welchem eine korrelierende arithmetische Operation durch Akkumulieren der Absolutwerte von Differenzen zwischen den Bilddaten ausgeführt wird. Die Korrelation an einem Ort identischer Koordinaten relativ zu jedem Vergleichspunkt repräsentierende Daten werden durch den Akkumulator 7 akkumuliert. Wenn die Akkumulation der Daten um alle Vergleichspunkte herum beendet ist, wird der Ort eines Minimalwertes der durch den Akkumulator 7 gespeicherten akkumulierten Summen durch den korrelierenden Abfrager 8 beurteilt. Der zu dem Ort des entsprechenden Vergleichspunktes gehörende Ort (die Adresse) der minimalen Akkumulationssumme zeigt den Bewegungsvektor.
  • In der Anordnung der vorliegenden Erfindung wird die korrelierende arithmetische Operation durch Akkumulieren der Absolutwerte der Differenzen zwischen den Bilddaten ausgeführt, wie oben beschrieben. Daher nehmen Daten an einem Punkt mit einer engen Korrelation in dem Akkumulator 7 einen Pegel unterhalb dem von Daten an anderen Punkten an. Die Fig. 5a und 5b zeigen vereinfacht einen Teil der akkumulierten Summen des allgemeinen Bildsignals in der Bewegungsvektor-Erfassungsvorrichtung 50. In Fig. 5a stellt die Abszisse X-X' die horizontale Richtung dar, während die Ordinate Y-Y' die vertikale Richtung darstellt. In Fig. 5a zeigt die Dichte den Datenpegel an und der Datenpegel wird niedriger, wenn die Dichte sich schwarz nähert. Der Datenpegel an dem Ort der Abszisse X-X' in Fig. 5a ist in Fig. 5b gezeigt. In Fig. 5b zeigt der Punkt mit dem niedrigsten Pegel einen Punkt mit der engsten Korrelation an und wird durch den korrelierenden Abfrager 8 erhalten. Weiterhin beurteilt die korrelierende Entscheidungseinheit 9 auf der Basis der Verteilungen (Durchschnittswert, Minimalwert, Gradient, etc.) der korrelierten Werte in jedem Bewegungsvektor-Erfassungsbereich, ob ein künftiger Bewegungsvektor, der durch den korrelierenden Abfrager 8 in jedem Bewegungsvektor-Erfassungsbereich erhalten wird, gültig ist oder nicht.
  • Gleichzeitig werden bei dieser Beurteilung der Gültigkeit der Gradient in horizontaler Richtung, der Gradient in vertikaler Richtung, Gradienten in zwei schrägen Richtungen, die sich mit dem rechten Winkel schneiden, das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in den schrägen Richtungen durch den korrelierenden Kennzeichenextrahierer 11 berechnet. Wie in Fig. 6 gezeigt, beinhaltet der korrelierende Kennzeichenextrahierer 11 einen korrelierenden Wertleser 21, eine arithmetische Gradienteneinheit 22, eine arithmetische Gradientenverhältniseinheit 23 und ein Tiefpaßfilter 24. Ein korrelierender Wert um einen Punkt des künftigen Bewegungsvektors, welcher durch den korrelierenden Abfrager 8 erhalten wurde, wird durch den korrelierenden Wertleser 21 gelesen. Dann werden die Gradienten in horizontaler, vertikaler und den schrägen Richtungen durch die arithmetische Gradienteneinheit 22 berechnet. Danach wird das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in schrägen Richtungen durch die arithmetische Gradientenverhältniseinheit 23 berechnet. Die arithmetische Gradientenverhältniseinheit 23 führt zwei Arten von Berechnungen der Gradientenverhältnisse aus, nämlich eine Berechnung, bei welcher die durch die arithmetische Gradienteneinheit 22 erhaltenen Gradienten direkt berechnet werden und die andere Berechnung, bei welcher die Gradienten ein Tiefpaßfilter 24 durchlaufen und dann berechnet werden. Durch Führen der Gradienten durch das Tiefpaßfilter 24 wird es möglich, eine geringerem Rauschen unterworfene Beurteilung zu bilden.
  • Die Fig. 7a und 7b zeigen Kombinationen der Gradientenverhältnisse. Fig. 7a zeigt Richtungen zum Beurteilen des Verhältnis der Gradienten in horizontaler und vertikaler Richtung, während Fig. 7b Richtungen zum Beurteilen des Verhältnisses der Gradienten in schrägen Richtungen zeigt. In den Fig. 7a und 7b entspricht jeder quadratische Block jedem korrelierenden Wert und zeigt einen Ort, an welchem der korrelierende Wert erhalten wird und der zentrale, schraffierte quadratische Block zeigt den Ort mit der engsten Korrelation, d.h. mit dem niedrigsten Datenpegel. Angenommen, daß Gv und Gh die Gradienten in vertikaler und horizontaler Richtung bezeichnen, welche jeweils das Tiefpaßfilter 24 passiert haben, während Go1 und Go2 die Gradienten in schrägen Richtungen bezeichnen, welche jeweils das Tiefpaßfilter 24 durchlaufen haben, dann werden die Gradienten Gv, Gh, Go1 und Go2 wie folgt ausgedrückt.
  • Gv = max. {(LV1 - LS0), (LV2 - LS0)}
  • Gh = max. {(LHI - LS0), (LH2 - LS0)}
  • Gol = max. {(Lo1 - So1), (Lo2-So1)}
  • G02 = max. {(Lo3-So1), (Lo4-So1)}
  • In den obigen Gleichungen stellt ein Ausdruck max. {a, b} ein Maximum von a und b dar und LV1, etc. bezeichnet den Korrelationswert des Quadrates V1, etc. Die Gradientenverhältnisse werden durch die folgenden Gleichungen (1) und (2) beurteilt.
  • 4 > Gh/Gv > 0,8 ---(1)
  • 2 > Go1/Go2 > 0,5 ---(2) Wenn durch Berechnung der Gradientenverhältnisse durch den korrelierenden Kennzeichenextrahierer 11 herausgefunden wurde, daß die obigen Gleichungen (1) und (2) erfüllt wurden, erkennt die Bewegungsvektor-Entscheidungseinheit 12, daß der erhaltende Bewegungsvektor gültig ist.
  • Durch Berechnen der unter identischen Bedingungen erhaltenen Gradientenverhältnisse wird es möglich, veränderbare Komponenten der Gradienten zu entfernen, auch wenn diese Gradienten sich durch Versatz eines Bildes, der durch Schwankungen einer Kamera ausgelöst wurde, verändert haben. Dadurch kann der Einfluß von Variationen der Gradienten verringert werden, so daß es möglich wird, Bedingungen stabil zu erfassen, in welchen wahrscheinlich falsche Vektoren erzeugt werden.
  • Die Fig. 8a und 8b zeigen vereinfacht die Bedingungen, in welchen wahrscheinlich fehlerhafte Vektoren erzeugt werden. In den Fig. 8a und 8b sind die berechneten korrelierenden Werte durch Schwärzung ausgedrückt. Wenn die Schraffur dunkler wird, wird die Korrelation enger, d.h., der Korrelationswert wird kleiner. In den Fig. 8a und 8b stellen Positionen in zwei Dimensionen Änderungen in der korrelierenden Berechnung und Änderungen von Punkten mit enger Korrelation dar, d.h., die geringen Korrelationswerte sind in einem zentralen Teil von jeder der Fig. 8a und 8b gezeigt. Fig. 8a zeigt einen Fall, in welchem eine Korrelation in horizontaler Richtung eng ist, während Fig. 8b einen Fall zeigt, in welchem die Korrelation in vertikaler Richtung eng ist. In jeder der Fig. 8a und 8b ist die Gleichung (1) nicht erfüllt und daher ist es möglich, Bedingungen zu erfassen, in welchen wahrscheinlich ein falscher Vektor erzeugt wird.
  • Ein durch Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GL, ein durch Berechnen der Gradientenverhältnisse ohne Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GR und ein durch Berechnen der Gradientenverhältnisse nach Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GRL werden an die Bewegungsvektor-Entscheidungseinheit 12 angelegt. Die Bewegungsvektor-Entscheidungseinheit 12 beurteilt gleichzeitig die Signale GR und GR1 der Gradientenverhältnisse. Weiterhin beurteilt die Bewegungsvektor-Entscheidungseinheit 12 das Signal GL der Gradienten. Durch Laufen der Gradienten durch das Tiefpaßfilter 24 ist die Beurteilung der Bewegungsvektor-Entscheidungseinheit 12 geringerem Rauschen unterworfen und somit ist die Bewegungsvektor-Entscheidungseinheit 12 in der Lage, eine stabile Beurteilung abzugeben, jedoch wird die Antwortzeit länger. Daher wird unter Bedingungen, in welchen die Zeitverzögerung ein Problem schafft, die Verarbeitungspriorität den Daten gegeben, welche das Tiefpaßfilter 24 nicht passiert haben. Im Gegensatz dazu wird unter Bedingungen, in welchen die Zeitverzögerung kein Problem darstellt, die Verarbeitungspriorität den Daten gegeben, die das Tiefpaßfilter 24 passiert haben. Dann wird eine Entscheidung getroffen, ob der so erhaltene Bewegungsvektor zum Korrigieren der Schwankungen eines ausgegebenen Bildes verwendet werden kann oder nicht.
  • In dem Fall, in dem nur der Gradient erfaßt wird, wie in der bekannten Bewegungsvektor-Erfassungsvorrichtung, können die Phänomene der Fig. 8a und 8b nicht stabil erfaßt werden, so daß falsche Bewegungvektoren erfaßt werden. Bei der vorliegenden Erfindung kann jedoch eine falsche Erfassung der Bewegungsvektoren auch im Fall der Fig. 8a und 8b vermieden werden.
  • Die obige Operation wird för jede von mehreren Regionen ausgefiihrt, in die ein Bildschirm unterteilt ist. Da die oben beschriebene Operation für jedes Teilbild (Vollbild) ausgeführt wird, ist der erste Zwischenspeicher 1 zum Speichern von Bilddaten an den Vergleichspunkten für die korrelierende arithmetische Operation im nächsten Halbbild (Vollbild) vorgesehen, während die korrelierende, arithmetische Operation ausgeführt wird. Inzwischen speichert der zweite Zwischenspeicher 3 die Bilddaten an dem Vergleichspunkt, wenn die Korrelation zwischen Bilddaten an einem Vergleichspunkt und Bilddaten um den Vergleichspunkt herum erhalten werden.
  • Somit werden künftige Bewegungsvektoren jeweils in den getrennten Regionen des Bildschirms bestimmt. Dann werden diese künftigen Bewegungsvektoren durch ein Median-Filter geführt, um als ein Bewegungsvektor eines eingegebenen Signals selektiert zu werden. Somit wird der Bewegungsvektor des eingegebenen Signals erhalten. Da sie, unter Bedingungen, in denen eine Anzahl von Punkten eine enge Korrelation in horizontaler, vertikaler oder in schrägen Richtungen aufweisen, erhalten werden, werden die künftigen Bewegungsvektoren als ungültig betrachtet und werden nicht als Bewegungsvektor des eingegebenen Signals angenommen. Daher kann auch in einem Fall wie bei den bekannten Bewegungsvektor-Erfassungsvorrichtungen, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Signals ungültig sind, aber ein falscher Bewegungsvektor infolge einer fehlerhaften Beurteilung der Ungültigkeit ausgegeben wird, eine Beurteilung der Ungültigkeit in der vorliegenden Erfindung exakt gebildet werden und somit wird der fehlerhafte Bewegungsvektor nicht ausgegeben.
  • Nachfolgend wird ein Bildstabilisator 100 zum Korrigieren von Schwankungen eines ausgegebenen Bildes gemäß einem anderen Aspekt der vorliegenden Erfindung anhand von Fig. 9 beschrieben. Der Bildstabilisator 100 beinhaltet die Bewegungsvektor-Erfassungsvorrichtung 50, einen Speicher 15 zum Speichern von Bildsignalen, einen Interpolierer 16 zum Interpolieren von Signalen des Speichers 15 und eine Ausgangssteuerung 17 zum Steuern des Speichers 15 und des Interpolierers 16 auf der Basis von Ausgangssignalen der Bewegungsvektor-Erfassungsvorrichtung 50.
  • Die Wirkungsweise des Bildstabilisators 100 der oben beschriebenen Anordnung wird erläutert. In Fig. 9 wird, da der Bewegungsvektor nach dem gleichen Verfahren wie in der ersten Ausführungsform erhalten wird, die Beschreibung dessen aus Gründen der Kürze abgekürzt. Ein Bewegungsvektor eines eingegebenen Bildsignals wird von der Bewegungsvektor-Erfassungsvorrichtung 50 ausgegeben, um an die Ausgangssteuerung 17 angelegt zu werden. In dem Fall, in dem der Bewegungsvektor durch eine Adresse des Speichers 15 ausgedrückt wird, in welchem das eingegebene Bild gespeichert ist, wird die Adresse des aus dem Speicher 15 ausgelesenen Signals durch die Ausgabesteuerung 17 gemäß einem integralen Teil des durch die Adresse des Speichers 15 ausgedrückten Bewegungsvektors bestimmt. Inzwischen steuert die Ausgabesteuerung 17 den Interpolierer 16 in Übereinstimmung mit einem Dezimalteil des durch die Adresse des Speichers 15 ausgedrückten Bewegungsvektors. Der Interpolierer 16 führt eine lineare Interpolation aus, bei welcher eine Mulitplikation einer Gewichtung entsprechend einer umgekehrten Anzahl einer Distanz in vertikaler und horizontaler Richtung ausgeführt wird. Somit verschiebt die Ausgabesteuerung 17 das Bild in einer Richtung, die der Schwankung des Bildes in Übereinstimmung mit dem Bewegungsvektor von der Bewegungsvektor-Erfassungsvorrichtung entgegengesetzt ist, um die Schwankung des Bildes zu beseitigen. Weiterhin verstärkt die Ausgangssteuerung 17 ein Originalbild zu einem ausgegebenen Bild vom etwa 1,1- bis 1,5-fachen der Größe des Originalbildes und verschiebt das Bild in dem Speicher 15 vertikal und horizontal, so daß ein Rand des Bildes unsichtbar ist, wenn das Bild ausgegeben wird.
  • Dementsprechend werden auch in solch einem Fall, der bekannten Bildstabilisatoren zugeordnet ist, daß Schwankungen eines ausgegebenen Bildes irrtümlich korrigiert werden unter Bedingungen, bei denen eine Anzahl von Punkten mit enger Korrelation in horizontaler, vertikaler oder schrägen Richtungen erhalten werden, künftige Bewegungsvektoren, die wahrscheinlich zu einem Fehler führen, ungültig gemacht, und somit können Schwankungen eines ausgegebenen Bildes durch die oben beschriebene Anordnung des Bildstabilisators 100 mit der Bewegungsvektor-Erfassungsvorrichtung 50 der vorliegenden Erfindung stabil korrigiert werden.
  • Inzwischen werden in der Bewegungsvektor-Erfassungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung nur das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in den schrägen Richtungen beschrieben. Die Gradientenverhältnisse sind jedoch nicht auf die obigen Richtungen beschränkt. Weiterhin ist die Berechnung des Gradienten des Korrelationswertes nicht auf denjenigen der ersten Ausführungsform der vorliegenden Erfindung beschränkt. Z.B. kann der Gradient von einem Durchschnittswert der Differenzen zwischen der engsten Korrelation (minimaler Korrelationswert) an einem Punkt und Korrelationswerten an gegenüberliegenden Punkten zwischen den Punkten dazwischen in einer Richtung zum Erhalten des Gradienten erhalten werden. Dabei ist ein Verfahren zum Erhalten des Gradientenverhältnisses GRL nicht auf dasjenige der Ausführungsform beschränkt, aber das Gradientenverhältnis GRL kann durch Passieren des Signals GR durch das Tiefpaßfilter erhalten werden.
  • Weiterhin ist die Beurteilung des Gradientenverhältnisses nicht beschränkt auf diejenige der ersten Ausführungsform der vorliegenden Erfindung, sondern kann, unnötig zu erwähnen, entsprechend den Verarbeitungsbedingungen vielfältig variiert werden.
  • Wie aus der vorstehenden Beschreibung deutlich wird, wird bei der Bewegungsvektor-Erfassungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung die Gültigkeit des in den jeweiligen Erfassungsregionen erhaltenen Bewegungsvektors durch Verwenden von Gradientenverhältnissen beurteilt, die durch den korrelierenden Kennzeichenextrahierer an dem Punkt mit enger Korrelation erhalten werden. Durch diese Erfassung der Gradientenverhältnisse durch den korrelierenden Kennzeichenextrahierer wird eine Bedingung, in welcher der falsche Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild erfaßt wird, beurteilt. Dann wird durch Unterdrücken oder Vernachlässigen des in Regionen, in welchen eine solche Bedingung erfaßt wurde, erhaltenen Bewegungsvektors der durch das Bildsignal angezeigte Bewegungsvektor des gesamten Bildschirms erhalten.
  • Daher kann, auch in einem Fall wie bei den bekannten Bewegungsvektor- Erfassungsvorrichtungen, daß die künftigen Bewegungsvektoren als Bewegungsvektor des gesamten Bildschirmes ungültig sind, aber der fehlerhafte Bewegungsvektor durch fehlerhaftes Ausbilden einer Beurteilung der Ungültigkeit erfaßt wird, der Einfluß des falschen Bewegungsvektors beseitigt werden und somit die Ausgabe des falschen Bewegungsvektors vermieden werden.
  • Daher kann bei dem die erfindungsgemäße Bewegungsvektor-Erfassungsvorrichtung anwendenden Bildstabilisator die Schwankung des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors korrigiert werden, der unter der Bedingung erhalten wird, bei welcher der falsche Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild ausgegeben wird. Demzufolge kann gemäß dem Bildstabilisator der vorliegenden Erfindung auch in solch einem Fall, der bei bekannten Bildstabilisierern auftritt, daß die künftigen Bewegungsvektoren als Bewegungsvektor des gesamten Bildschirmes durch Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild ungültig sind, der falsche Bewegungsvektor aber durch fehlerhaftes Bilden der Beurteilung der Ungültigkeit ausgegeben wird, die Schwankung des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors einwandfrei korrigiert werden.
  • Fig. 10 zeigt eine Bewegungsvektor-Erfassungsvorrichtung 150 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. Die Bewegungsvektor- Erfassungsvorrichtung 150 beinhaltet den Bewegungsvektordetektor 20, einen Bewegungsvektor-Kennzeichendetektor 111, eine Bewegungsvektorsteuerung 112 und einen Bewegungsvektorbestimmer 113.
  • Wie bei der Bewegungsvektor-Erfassungsvorrichtung 50 beurteilt die korrelierende Entscheidungseinheit 9, ob ein durch den korrelierenden Abfrager 8 erhaltener künftiger Bewegungsvektor gültig ist oder nicht. Unabhängig von dieser Beurteilung der Gültigkeit durch die korrelierende Entscheidungseinheit 9 werden die Kennzeichen des Bewegungsvektors durch den Bewegungsvektor-Kennzeichendetektor 111 erfaßt.
  • Wie in Fig. 11 gezeigt, beinhaltet der Bewegungsvektor-Kennzeichendetektor 111 einen Änderungsdetektor 120, einen ersten Absolutwertwandler 121, ein erstes Tiefpaßfilter 122, einen zweiten Absolutwertwandler 123, ein zweites Tiefpaßfilter 124 und einen Standardisierer 125. Der Bewegungsvektor-Kennzeichendetektor 111 der oben beschriebenen Anordnung wirkt wie folgt. Der Bewegungsvektor-Kennzeichendetektor 111 unterscheidet Kennzeichen eines Bewegungsvektors, den er zu einem Zeitpunkt erhält, wenn eine Bildaufnahmevorrichtung von Hand gehalten wird oder ein Objekt von einem fahrenden Fahrzeug aufgezeichnet wird, etc., von Kennzeichen eines Bewegungsvektors, der zu einem Zeitpunkt erhalten wird, wenn ein Objekt mit einer Anzahl von Punkten mit einer regelmäßigen engen Korrelation in einem Bild aufgenommen wird. Die Fig. 12a bis 12d zeigen Änderungen typischer Bewegungsvektoren, die unter diesen Bedingungen erhalten werden. Fig. 12a zeigt einen horizontalen Bewegungsvektor, der erhalten wird, wenn ein Bildaufnahmegerät von Hand gehalten wird, während Fig. 12b einen horizontalen Bewegungsvektor zeigt, der erhalten wird, wenn ein Objekt von einem fahrenden Motorfahrzeug, etc. aufgenommen wird. Die Fig. 12c und 12d zeigen horizontale Bewegungsvektoren, die erhalten werden, wenn ein Objekt mit einer Anzahl von Punkten mit regelmäßiger enger Korrelation in einem Bild aufgenommen wird. Wie in den Fig. 12c und 12d gezeigt, verändert sich der erhaltene Bewegungsvektor mehrfach scharf, d.h., mit einer hohen Frequenz, wenn ein Objekt mit einer Anzahl von Punkten mit einer engen Korrelation in einem Bild aufgenommen wird. Um diese Bedingungen voneinander zu unterscheiden, werden verändernde Komponenten eines eingegebenen Bewegungsvektors durch einen Änderungsdetektor 120 durch Verwenden der folgenden Gleichungen erfaßt.
  • S1x_t(n) = Vx_t(n-1) - Vx_t(n)
  • S2x_t(n) = S1x_t(n-1) - S1x_t(n)
  • S1y_t(n) = Vy_t(n-1) - Vy_t(n)
  • S2y_t(n) = S1y_t(n-1) - S1y_t(n)
  • In den obigen Gleichungen bezeichnet V den Bewegungsvektor, x und y bezeichnen jeweils die horizontale Richtung und die vertikale Richtung und t(n) bezeichnet ein Feld, in welchem der Bewegungsvektor erhalten wird. Zusätzlich bezeichnet S1 ein im Zuge der arithmetischen Operation erhaltenes Ergebnis und S2 bezeichnet eine veränderte Kompontente des Bewegungsvektors. Absolutwerte dieser berechneten Änderungskomponenten des Bewegungsvektors werden durch den ersten Wandler 121 erhalten und durch das erste Tiefpaßfilter 122 geführt, so daß scharfe Änderungen der Bewegungsvektoren gedämpft werden. Dann wird ein Signal CH, das die erhaltenen Kennzeichen des Bewegungsvektors darstellt, von dem ersten Tiefpaßfilter 122 zu dem Standardisierer 125 übertragen.
  • Gleichzeitig wird ein Referenzsignal RF zum Ausführen der Standardisierung durch den zweiten Absolutwertwandler 123 und das zweite Tiefpaßfilter 124 erhalten. Insbesondere ein Absolutwert des Bewegungsvektors wird durch den zweiten Absolutwertwandler 123 erhalten und dann in das zweite Tiefpaßfilter 124 eingegeben, so daß scharfe Änderungen des Bewegungsvektors gedämpft werden, wodurch das Referenzsignal RF erhalten wird. Durch Verwenden dieses so erhaltenen Referenzsignals RF wird eine durch die folgende Gleichung ausgedrückte Standardisierung ausgeführt.
  • Gv = A x CH/(RF + O)
  • In der obigen Gleichung bezeichnen A und O jeweils Koeffizienten. In jedem System wird ein optimaler Wert als jeder der Koeffizienten A und O selektiert. Durch Ausführen der Standardisierung wie oben beschrieben, wird es möglich, den Pegel des Bewegungsvektors relativ zu vergrößern, auch unter Bedingungen, unter denen die Amplitude des Bewegungsvektors klein ist, wie in Fig. 12d gezeigt. Somit kann die Bedingung in Fig. 12d stabil unterschieden werden. Durch Verwenden eines so erhaltenen Steuerungssignals Gv von dem Standardisierer 125 wird ein Koeffizient, mit welchem der Bewegungsvektor multipliziert wird, durch die Bewegungsvektorsteuerung 112 erhalten, so daß der Bewegungsvektor mit dem Koeffizienten multipliziert wird.
  • Fig. 13 zeigt Kennzeichen der Bewegungsvektorsteuerung 112. In Fig. 13 stellt die Abszisse das Ausgangssignal Gv des Bewegungsvektor-Kennzeichendetektors 111 dar, während die Ordinate den Verstärkungswert darstellt, mit welchem der erhaltene Bewegungsvektor multipliziert wird.
  • Unter Bedingungen, unter denen der falsche Bewegungsvektor erfaßt wird, wenn der Ausgangspegel des Bewegungsvektor-Kennzeichendetektors 111 hoch ist, wenn nämlich eine Anzahl von Punkten mit regelmäßiger, enger Korrelation in einem aufgenommenen Bild existiert, wird es möglich, den Bewegungsvektor auf Null zu komprimieren.
  • In der gleichen Weise, wie bei der Bewegungsvektor-Erfassungsvorrichtung 50 werden die künftigen Bewegungsvektoren jeweils in den unterteilten Regionen des Bildschirms bestimmt und dann durch ein Median-Filter geführt, um als ein Bewegungsvektor eines eingegebenen Signals selektiert zu werden. Somit wird der Bewegungsvektor des eingegebenen Signals erhalten. Daher wird unter Bedingungen, unter denen eine Anzahl von Punkten mit enger Korrelation in einem Bild regelmäßig existiert und die künftigen Bewegungsvektoren falsch erfaßt werden, die künftigen Bewegungsvektoren mit einer Höhe von Null voreingestellt, so daß die falsch erfaßten, künftigen Bewegungsvektoren nicht als Bewegungsvektor des eingegebenen Signals berücksichtigt werden. Daher kann, auch in einem Fall, der bekannten Bewegungsvektor-Erfassungsvorrichtungen zugeordnet ist, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Signals ungültig sind, der falsche Bewegungsvektor infolge eines Fehlers beim Ausbilden der Beurteilung der Ungültigkeit aber ausgegeben wird, der falsche Bewegungsvektor in der vorliegenden Erfindung auf eine Höhe von Null eingestellt werden, so daß die Ausgabe des falschen Bewegungsvektors vermieden wird.
  • Nachfolgend wird ein Bildstabilisator 200 zum Korrigieren der Schwankungen eines ausgegebenen Bildes unter einem anderen Aspekt der vorliegenden Erfindung anhand von Fig. 14 beschrieben. Der Bildstabilisator 200 beinhaltet die Bewegungsvektor-Erfassungsvorrichtung 150, einen Speicher 118 zum Speichern der Bildsignale, einen Interpolierer 116 zum Interpolieren von Signalen des Speichers 118 und eine Ausgangssteuerung 117 zum Steuern des Speichers 118 und des lnterpolierers 116 auf der Basis der Ausgangssignale der Bewegungsvektor-Erfassungsvorrichtung 150. Da die Wirkungsweise des Bildstabilisators die gleiche wie des Bildstabilisators 100 ist, wird deren Beschreibung aus Gründen der Kürze abgekürzt.
  • Durch Verwenden des Bildstabilisators 200, der die Bewegungsvektor-Erfassungsvorrichtung 1 50 der vorliegenden Erfindung benutzt, unter Bedingungen, bei denen eine Anzahl von Punkten mit einer engen Korrelation in dem Bild regelmäßig existieren und somit der falsche Bewegungsvektor erfaßt wird, wird der falsche Bewegungsvektor auf eine Höhe von Null eingestellt. Daher kann einem Phönomen begegnet werden, daß der fälschlich erfaßte Bewegungsvektor zur Korrektur von Schwankungen des ausgegebenen Bildes verwendet wird. Demzufolge wird auch in einem Fall, der bekannten Bildstabilisatoren zugeordnet ist, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Bildsignals durch regelmäßiges Vorhandensein der Punkte mit enger Korrelation in dem Bild ungültig sind, Schwankungen des ausgegebenen Bildes jedoch fälschlich durch die Erfassung des falschen Bewegungsvektors, ausgelöst durch eine fehlerhafte Bildung der Beurteilung der Ungültigkeit, korrigiert werden, der fälschlich erfaßte Bewegungsvektor in der vorliegenden Erfindung auf eine Höhe von Null eingestellt werden und somit die falsche Korrektur von Schwankungen des ausgegebenen Bildes beseitigt werden.
  • Der Bewegungsvektor-Kennzeichendetektor 111 in Fig. 11 in der Bewegungsvektor-Erfassungsvorrichtung 150 kann zu einem Bewegungsvektor-Kennzeichendetektor 130 modifiziert werden, wie in Fig. 15 gezeigt. In dem Bewegungsvektor-Kennzeichendetektor 130 ist der Änderungsdetektor 120 durch ein Hochpaßfilter 130 ersetzt. Es ist erwünscht, daß die Grenzfrequenz des Hochpaßfilters in einem Bereich von 5 bis 15 Hz liegt.
  • Weiterhin ist bei der Bewegungsvektor-Erfassungsvorrichtung 150 das arithmetische Verfahren des Bewegungsvektor-Kennzeichendetektors 111 nicht auf dasjenige der zweiten Ausführungsform der vorliegenden Erfindung beschränkt und kann, unnötig zu erwähnen, durch jedes andere vergleichbare Verfahren ersetzt werden, das sich zum Zweck der vorliegenden Erfindung eignet.
  • Bei der Bewegungsvektor-Erfassungsvorrichtung 150 wird der Bewegungsvektor auf der Basis der Höhe des Bewegungsvektors standardisiert, es ist jedoch ohne ausdrückliche Erwähnung möglich, daß jedes andere Verfahren zur Standardisierung anwendbar ist. Um die Verarbeitung zu vereinfachen ist es möglich, den Standardisierer 125 zu beseitigen.
  • Wie aus dem Vorstehenden erkennbar ist, werden in der Bewegungsvektor- Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung Bedingungen, in denen eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und der erhaltene Bewegungsvektor sich scharf ändert, durch den Bewegungsvektor-Kennzeichendetektor erfaßt. Durch diese Erfassung der Bedingungen durch den Bewegungsvektor-Kennzeichendetektor wird eine Bedingung, in welcher ein falscher Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit regelmäßiger enger Korrelation in dem Bild erfaßt wird, beurteilt. Dann wird durch Unterdrücken oder Übergehen der Bewegungsvektoren, die in Regionen erhalten werden, wo eine solche Bedingung erfaßt wurde, der Bewegungsvektor des gesamten Bildschirmes mit dem angezeigten Bildsignal erhalten.
  • Dementsprechend kann bei der Bewegungsvektor-Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung die Ausgabe des falschen Bewegungsvektors beseitigt werden durch Beseitigen des Einflusses des falschen Bewegungsvektors. Daher kann unter jeder Bedingung ein genauer Bewegungsvektor erhalten werden.
  • Weiterhin können bei dem Bildstabilisierer, der die Bewegungsvektor-Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung verwendet, Schwankungen des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors einwandfrei korrigiert werden.

Claims (6)

1. Bewegungsvektor-Erfassungsvorrichtung (50; 1 50) mit:
einem Bewegungsvektordetektor (20), welcher ein Bild eines eingegebenen Bildsignales in mehrere Regionen aufteilt und die Bewegungsvektoren für jede Region durch Ausführen korrelierender arithmetischer Operationen zwischen Bildpunkten in der Region eines ersten Feldes und Bildpunkten des nächsten Feldes in der gleichen Region berechnet;
gekennzeichnet durch einen Kennzeichendetektor (11; 111) zum Erfassen von Gradientenverhältnissen, welche die Verhältnisse der Veränderung der Korrelationswerte in unterschiedlichen Richtungen in der Nachbarschaft des minimalen Korrelationswertes sind, und einer Vektorsteuerungs- und Entscheidungseinheit (12; 113), welche die berechneten Bewegungsvektoren und Gradientenverhältnisse empfängt, wobei die Vektorsteuerungs- und Entscheidungseinheit (12; 113) (i) aus den Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten eine enge Korrelation in einer der verschiedenen Richtungen aufweisen und in diesem Fall den zugeordneten Bewegungsvektor als ungültig beurteilt, und (ii) einen Bewegungsvektor für das Bildsignal aus den verbleibenden Bildvektoren selektiert.
2. Bewegungsvektor-Erfassungsvorrichtung (50) nach Anspruch 1, bei welcher der Kennzeichendetektor (11) einen Zustand erfaßt, in welchem eine enge Korrelation in horizontaler, vertikaler oder schräger Richtung in dem Bild existiert.
3. Bewegungsvektor-Erfassungsvorrichtung (150) nach Anspruch 1, bei welcher der Kennzeichendetektor (111) Kennzeichen dafür erfaßt, daß sich einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die Vektorsteuerungs- und Entscheidungseinheit (113) die Größe des einen der Bewegungsvektoren verringert, wenn der Kennzeichendetektor (111) die Kennzeichen in der einen der Regionen erfaßt hat.
4. Bildstabilisierer (100; 200) zum Korrigieren von Schwankungen eines ausgegebenen Bildes, mit:
einem Bewegungsvektordetektor (20), welcher ein Bild eines eingegebenen Bildsignales in mehrere Regionen aufteilt und Bewegungsvektoren für jede Region durch Ausführen korrelierender arithmetischer Operationen zwischen Bildpunkten eines ersten Feldes in der Region und Bildpunkten des nächsten Feldes in der gleichen Region berechnet;
gekennzeichnet durch einen Kennzeichendetektor (11; 111) zum Erfassen von Gradientenverhältnissen, welche die Verhältnisse der Änderung der Korrelationswerte in verschiedenen Richtungen in der Nachbarschaft hinter dem minimalen Korrelationswert sind; und
einer Vektorsteuerungs- und Entscheidungseinheit (12; 113), welche die berechneten Bewegungsvektoren und Gradientenverhältnisse empfängt, wobei die Vektorsteuerungs- und Entscheidungseinheit (12; 113) (i) aus den Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten in einer der verschiedenen Richtungen eine enge Korrelation aufweisen und in dem Fall den zugeordneten Bewegungsvektor als ungültig beurteilt, und (ii) einen Bewegungsvektor für das Bildsignal aus den verbleibenden Bewegungsvektoren selektiert; und
eine Bildausgabesteuerung (17; 117) zum Interpolieren des Bildes, um in der Lage zu sein, das an einer willkürlichen Position angeordnete Bild auszugeben; wobei, wenn der Bewegungsvektordetektor (20) Schwankungen des Bildes erfaßt hat, die Bildausgabesteuerung (17; 117) das Bild in eine Richtung verschiebt, die dem Bewegungsvektor entgegengesetzt ist, welcher durch die Vektorsteuerungs- und Entscheidungseinheit (12; 113) bestimmt ist.
5. Bildstabilisierer (100) nach Anspruch 4, bei welchem der Kennzeichendetektor (11) einen Zustand erfaßt, in welchem eine enge Korrelation in horizontalen und vertikalen Richtungen oder in schrägen Richtungen in dem Bild existiert.
6. Bildstabilisierer (200) nach Anspruch 4, bei welchem der Kennzeichendetektor (111) Kennzeichen dafür erfaßt, daß sich einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die Vektorsteuerungs- und Entscheidungseinheit (112) die Größe des einen der Bewegungsvektoren verringert, wenn der Kennzeichendetektor (111) die Kennzeichen in einer der Regionen erfaßt hat.
DE69116222T 1990-05-21 1991-05-21 Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator Expired - Lifetime DE69116222T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP13067690A JP2676978B2 (ja) 1990-05-21 1990-05-21 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法
JP2133360A JP2661330B2 (ja) 1990-05-23 1990-05-23 動きベクトル検出装置及び画像ゆれ補正装置

Publications (2)

Publication Number Publication Date
DE69116222D1 DE69116222D1 (de) 1996-02-22
DE69116222T2 true DE69116222T2 (de) 1996-08-14

Family

ID=26465747

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69116222T Expired - Lifetime DE69116222T2 (de) 1990-05-21 1991-05-21 Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator

Country Status (4)

Country Link
US (1) US5317685A (de)
EP (1) EP0458239B1 (de)
KR (1) KR950006045B1 (de)
DE (1) DE69116222T2 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861619B2 (ja) * 1991-07-12 1999-02-24 松下電器産業株式会社 情報提示装置及び提示情報作成装置
SE9201183L (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP3339191B2 (ja) * 1994-08-08 2002-10-28 ミノルタ株式会社 ブレ補正機能付カメラ
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
KR0163922B1 (ko) * 1995-09-19 1999-01-15 김광호 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법
WO1997035280A2 (en) 1996-03-15 1997-09-25 Zapa Digital Arts Ltd. System for producing animation sequence according to character behaviour characteristics
US5999194A (en) * 1996-11-14 1999-12-07 Brunelle; Theodore M. Texture controlled and color synthesized animation process
US6298143B1 (en) 1997-04-03 2001-10-02 Kabushiki Kaisha Toshiba Moving target detecting system and moving target detecting method
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP4208135B2 (ja) * 2003-11-07 2009-01-14 Kddi株式会社 ドリフト補償方式
US20070009034A1 (en) 2005-07-05 2007-01-11 Jarno Tulkki Apparatuses, computer program product, and method for digital image processing
US8094714B2 (en) * 2008-07-16 2012-01-10 Sony Corporation Speculative start point selection for motion estimation iterative search
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
JP5388910B2 (ja) * 2010-03-10 2014-01-15 パナソニック株式会社 画像揺れ補正装置および画像揺れ補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60110915A (ja) * 1983-11-16 1985-06-17 Toray Ind Inc ポリエステル繊維の製造法
GB2187913B (en) * 1984-09-07 1988-02-10 British Broadcasting Corp Measurement of film unsteadiness in a video signal
JPS61269475A (ja) * 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置
US5111511A (en) * 1988-06-24 1992-05-05 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
DE68921840T2 (de) * 1988-10-27 1995-09-07 Canon Kk Bildaufnahme- und Verarbeitungseinrichtung.

Also Published As

Publication number Publication date
US5317685A (en) 1994-05-31
DE69116222D1 (de) 1996-02-22
EP0458239B1 (de) 1996-01-10
KR910021128A (ko) 1991-12-20
EP0458239A2 (de) 1991-11-27
EP0458239A3 (en) 1993-01-20
KR950006045B1 (ko) 1995-06-07

Similar Documents

Publication Publication Date Title
DE69116222T2 (de) Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator
DE4411179B4 (de) Bildeinfangvorrichtung
DE68926475T2 (de) Vorrichtung zur Ermittlung eines Bildbewegungsvektors
DE69519361T2 (de) Elektronischer Bildstabilisator und damit versehene Kamera
DE69019571T2 (de) Schwankungsstabilisierungsvorrichtung.
DE69425785T2 (de) Videokamera mit elektronischem Bildstabilisator
DE69033322T2 (de) Bewegungsvektorsensor
DE69232732T2 (de) Messeinrichtung für sich bewegende Körper und Bildverarbeitungsanordnung zum Messen des Verkehrsflusses
DE69131591T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69428838T2 (de) Videokamera mit elektronischer Bildstabilisierung und Erzeugung von Additionsdaten
DE69228620T2 (de) Bewegungsvektorerkennungsvorrichtung zur Erkennung der Bewegung eines Bildes, um dessen Störung zu verhindern
DE69322423T2 (de) Vorrichtung zur Detektion von Bewegungsvektoren
DE19505244C2 (de) Vorrichtung zur Bestimmung des Abstandes zwischen Fahrzeugen
DE69431791T2 (de) Vorrichtung und verfahren zur automatischen bildentzerrung
DE69611113T3 (de) Vorrichtung zur Videorauschreduktion
DE69114907T2 (de) Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator.
DE4108288C2 (de)
DE10258794A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102009005860A1 (de) Umgebungs-Erkennungssystem
DE69609028T2 (de) Bewegungskompensierte bildfrequenzumwandlung
DE69027704T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE4343095C2 (de) Verfahren und Schaltung zur Störsignalbefreiung von Videosignalen
DE69531510T2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung mittels Blockübereinstimmung
DE69121627T2 (de) Vorrichtung zur Detektion von Bewegungsvektor
DE4105516C2 (de) Verfahren und Vorrichtung zur verbesserten Wiedergabe von Konturen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP