DE102015110026B4

DE102015110026B4 - Bildverarbeitungsvorrichtung, zugehöriges steuerverfahren und speichermedium

Info

Publication number: DE102015110026B4
Application number: DE102015110026.6A
Authority: DE
Inventors: Kenichi Miyasako
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-24
Filing date: 2015-06-23
Publication date: 2023-08-03
Anticipated expiration: 2035-06-24
Also published as: US10430660B2; GB201510251D0; CN105208263B; JP2016010014A; KR101830077B1; GB2553447B; DE102015110026A1; KR20170117991A; GB2529296A; US20150371090A1; GB2529296B; KR20160000423A; GB2553447A; GB201715875D0; JP6336341B2; CN105208263A

Abstract

Bildverarbeitungsvorrichtung (100) miteiner Bewegungsvektorerfassungseinrichtung (112) zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus einem Bildsensor (103) ausgegebenen Bildsignals,einer Erzeugungseinrichtung (108) zur Erzeugung von Informationen hinsichtlich eines Ergebnisses der Bewegungsvektorerfassung als Metadaten,einer Aufzeichnungseinrichtung zur Aufzeichnung jedes Bildrahmens eines aus dem Bildsensor ausgegebenen Bewegtbildes auf einem Aufzeichnungsmedium (109) in Verbindung mit den Metadaten undeiner Steuereinrichtung eingerichtet zumVeranlassen der Bewegungsvektorerfassungseinrichtung (112) während eines Bildaufnahmebetriebs zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus dem Bildsensor ausgegebenen Bildsignals, bei dem eine Verkleinerungsverarbeitung durchgeführt wurde, undVeranlassen der Bewegungsvektorerfassungseinrichtung (112) während eines Wiedergabebetriebs einer Wiedergabe des aufgezeichneten Bildes zur Bestimmung eines Bildbereichs in jedem Bildrahmen, in dem eine Bewegungsvektorerfassung durchzuführen ist, beruhend auf den Metadaten und zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus dem Aufzeichnungsmedium ausgegebenen Bildsignals, bei dem keine Verkleinerungsverarbeitung durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als dem während des Bildaufnahmebetriebs verwendeten durchgeführt wurde.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum mechanischen oder elektronischen Korrigieren einer Bildunschärfe in einer Bildaufnahmevorrichtung.
Beschreibung der verwandten Technik
Seit den vergangenen Jahren erhöht sich die Anzahl von Bildelementen einer Bildaufnahmevorrichtung, die Bewegtbilder aufnehmen kann, rapide. Bildaufnahmevorrichtungen, die Voll-HD-Bewegtbilder aufnehmen, sind bereits weit verbreitet, und Bildaufnahmevorrichtungen, die 4K-Bewegtbilder aufnehmen können, kommen auch allmählich auf den Markt. Die technische Entwicklung ist außerdem unterwegs zu einer 8K-Super-High-Vision-Rundsendung, deren Verfügbarkeit in der Zukunft erwartet wird.
Bei einem derartigen Trend zu einer höheren Auflösung von Bewegtbildern steigt hinsichtlich des Verfahrens zur Korrektur einer Bildunschärfe in einer Bildaufnahmevorrichtung das Erfordernis eines sehr genauen Verfahrens zur Korrektur einer feineren Bildunschärfe. Herkömmlicherweise wurden verschiedene Vorschläge für eine Bildstabilisierungsfunktion zur Korrektur einer Unschärfe in einem aufgenommenen Bild gemacht. Beispielsweise offenbart die JP 2009 - 152 802 A ein Verfahren, bei dem Bewegungsvektorinformationen eines Videos, das durch eine Bildaufnahmevorrichtung erfasst wird, zusammen mit einem Videosignal aufgenommen werden, und eine Bildstabilisierungsverarbeitung durchgeführt wird, wenn das Video wiedergegeben wird.
Allerdings entsteht in einer Bewegungsvektorerfassungsschaltung, die zur Erfassung einer Bildunschärfe bei dem vorstehend beschriebenen herkömmlichen Verfahren verwendet wird, ein Problem, wenn die Bildgröße des Videosignals erhöht wird.
Für den Fall, dass ein Bild eine charakteristische Form, wie eine Kante aufweist, wird ein Bewegungsvektor durch die Berechnung einer Positionsänderung eines Bildes der charakteristischen Form zwischen dem aktuellen Bildrahmen und dem vergangenen Bildrahmen erfasst. Demnach ist ein Erfassungsbereich in dem Bild, wo ein Bewegungsvektor erfasst wird, erforderlich, der eine Größe aufweist, die zum Umfassen der charakteristischen Form des Bildes ausreicht. Ein kleiner Erfassungsbereich bringt eine Verschlechterung der Genauigkeit der Bewegungsvektorerfassung mit sich. Ein Bewegtbild mit einer großen Bildgröße weist verglichen mit einem Bewegtbild mit einer kleinen Bildgröße eine größere Anzahl an Bildelementen in einem Bildbereich auf, der ein Objekt derselben Größe enthält. Wenn beispielsweise ein Voll-HD-(1920 × 1080 Bildelemente)Bewegtbild mit einem 4K-(3840 × 2160 Bildelemente)Bewegtbild verglichen wird, ist die Anzahl der Bildelemente um das vierfache höher, und wenn es mit einem 8K-(7680 × 4320 Bildelemente)Bewegtbild verglichen wird, ist die Anzahl der Bildelemente um das 16-fache höher, was unvermeidbar zu einer Vergrößerung des Schaltungsumfangs und einem Anstieg des Leistungsverbrauchs führt, der durch die Vergrößerung des Schaltungsumfangs verursacht wird.
US 2007 / 0 188 619 A1 offenbart ein Verfahren zum Korrigieren der Verzerrung eines aufgenommenen Bildes. Das Verfahren umfasst ein Empfangen einer Erfassungsausgabe von einem Sensor, eine optische Korrektur der Verzerrung eines aufgenommenen Bildes in Bilddaten eines Abbildungselements aufgrund der Positionsänderung des Abbildungselements durch Steuerung eines Steuermechanismus in Abhängigkeit von der Erfassungsausgabe, wobei der Mechanismus konfiguriert ist, um eine Position zu steuern, an der einfallendes Licht von einem Zielobjekt in das Abbildungselement eintritt, ein Empfangen von Bilddaten, die sich aus der optischen Korrektur eines erfassten Bildes im Korrekturschritt des Abbildungselements ergeben, und ein Erfassen eines Bewegungsvektors pro Bildschirm eines erfassten Bildes aus den Bilddaten, und eine weitere Korrektur der Verzerrung eines erfassten Bildes aufgrund der Positionsänderung des Abbildungselements für die Bilddaten von dem Abbildungselement basierend auf dem Bewegungsvektor.
US 2009 / 0 160 949 A1 offenbart eine Videoverarbeitungsvorrichtung, die eine Signaleingabeeinheit, die ein Videosignal empfängt, eine Verschiebungserfassungseinheit, die einen Verschiebungszeitabschnitt beim Aufnehmen und einen maximalen Verschiebungsbetrag während des Verschiebungszeitabschnitts aus dem Videosignal erfasst, eine effektive Bereichserfassungseinheit, die einen während des gesamten Verschiebungszeitabschnitts gemeinsamen Objektbereich als effektiven Bereich auf der Grundlage des Verschiebungszeitabschnitts und des maximalen Verschiebungsbetrags erkennt, eine Korrektureinheit, die eine Verschiebung während des Verschiebungszeitabschnitts korrigiert, indem sie Daten aus dem effektiven Bereich ausliest, und eine Auflösungsumwandlungseinheit umfasst, die eine Vergrößerungsverarbeitung durchführt, um eine Größe des effektiven Bereichs, der von der Korrektureinheit ausgelesen wird, in eine Ausgabebildgröße umzuwandeln.
US 5 712 474 A offenbart eine Bildverarbeitungsvorrichtung, die eine Bildunschärfe angemessen korrigiert und verhindern kann, dass ein Bild, das durch die Korrektur entgegen seinem ursprünglichen Zweck gestört wird, fotografiert oder aufgezeichnet wird. Die Bildverarbeitungsvorrichtung umfasst zum Erfassen von Bewegungsvektoren aus einem Bildsignal und zum Korrigieren einer Bildunschärfe in Echtzeit eine Detektionsvorrichtung zum Erfassen von Bewegungsvektoren zwischen Bildern durch Ausführen einer Korrelationsberechnung zwischen zeitseriell kontinuierlichen Bildern, eine Berechnungsvorrichtung zur Berechnung der absoluten Abweichung eines Bildes von einem Referenzpunkt durch Addition der von der Detektionsvorrichtung erfassten Bewegungsvektoren, eine Vergleichsvorrichtung zum Vergleich der absoluten Abweichung mit einem vorgegebenen Korrekturbetrag, und eine Unterbrechungsvorrichtung, um für den Fall, dass ein Zustand, in dem die absolute Abweichung größer als der vorgegebene Korrekturbetrag ist, für einen vorbestimmten Zeitraum oder länger anhält, festzustellen, dass die Bildunschärfe einen korrigierbaren Bereich überschritten hat, und die Korrektur der Bildunschärfe zu unterbrechen.
WO 2012/ 106 314 A2 offenbart ein Verfahren zum Bestimmen einer Bewegungsschätzung. Das Verfahren umfasst ein Erfassen von mindestens zwei digitalen Bildern einer Szene zu unterschiedlichen Erfassungszeiten, eine Benennung eines der digitalen Bilder als digitales Referenzbild, eine Benennung einer Vielzahl von Bildbereichen, eine Bestimmung von Bewegungsschätzungen für jeden Bildbereich durch Verschieben der Bildbereiche innerhalb der digitalen Nicht-Referenzbilder entsprechend einer Vielzahl von räumlichen Offsets relativ zum Bildbereich innerhalb des digitalen Referenzbildes, ein Berechnen von Merit-Function-Werten für jeden räumlichen Offset, die einen Hinweis auf eine Differenz zwischen dem Bildbereich im digitalen Referenzbild und den verschobenen Bildbereichen liefern, ein Berechnen einer Anpassungsfunktion, die einen geschätzten Wert der Leistungsfunktion als Funktion des räumlichen Offsets liefert, und ein Bestimmen der Bewegungsschätzung im Ansprechen auf den ermittelten nicht-ganzzahligen räumlichen Offset. Eine kombinierte Bewegungsschätzung wird unter Verwendung von Gewichtungskoeffizienten bestimmt, die in Abhängigkeit von den Formen der Anpassungsfunktionen bestimmt werden.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde in Anbetracht des vorstehend beschriebenen Problems gemacht, und verbessert die Bewegungsvektorerfassungsgenauigkeit, während sie eine Vergrößerung des Schaltungsumfangs unterdrückt.
Gemäß der Erfindung sind Bildverarbeitungsvorrichtungen, und Steuerverfahren zur Steuerung einer Bildverarbeitungsvorrichtung wie in den beiliegenden Patentansprüchen spezifiziert bereitgestellt.
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung der Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
Figurenliste

Die 1A und 1B zeigen Blockschaltbilder einer Konfiguration einer Videokamera, die ein erstes Ausführungsbeispiel der erfindungsgemäßen Bildaufnahmevorrichtung darstellt.
Die 2A bis 2E zeigen Darstellungen von durch eine Bewegungsvektorerfassungseinheit 112 durchgeführten Operationen.
Die 3A und 3B zeigen Darstellungen eines Unterschieds in der Größe von Bewegungsvektorerfassungsblöcken, die aufgrund eines Unterschieds der Größe aufgenommener Bilder erzeugt werden.
Die 4A und 4B zeigen Darstellungen eines Ergebnisses einer durch die Bewegungsvektorerfassungseinheit 112 durchgeführten Bewegungsvektorerfassung zur Zeit der Aufnahme eines Bewegtbildes.
5 zeigt eine Darstellung eines Beispiels der Anordnung eines Vorlagenbildes und eines Suchbildes, die durch die Bewegungsvektorerfassungseinheit 112 zur Zeit der Wiedergabe eines aufgezeichneten Bewegtbildes eingestellt sind.
Die 6A bis 6C zeigen Darstellungen der Zuverlässigkeit der Bewegungsvektorerfassung.
Die 7A und 7B zeigen Darstellungen eines weiteren Beispiels der Anordnung von Vorlagenbildern und Suchbildern, die durch die Bewegungsvektorerfassungseinheit 112 zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes eingestellt sind.
Die 8A und 8B zeigen Darstellungen eines Ergebnisses einer durch die Bewegungsvektorerfassungseinheit 112 durchgeführten Bewegungsvektorerfassung, wenn ein bewegtes Objekt auf einem Bildschirm vorhanden ist.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben.
Erstes Ausführungsbeispiel
Die 1A und 1B zeigen Blockschaltbilder einer Konfiguration einer Videokamera, die ein erstes Ausführungsbeispiel einer erfindungsgemäßen Bildaufnahmevorrichtung darstellt. 1A zeigt Blöcke einer Bildaufnahmevorrichtung, die zur Zeit der Aufnahme eines Bewegtbildes verwendet werden, und 1B zeigt Blöcke der Bildaufnahmevorrichtung, die zur Zeit der Wiedergabe des Bewegtbildes verwendet werden. Die in den 1A und 1B gezeigten Blöcke werden durch eine (nicht gezeigte) Steuereinheit gesteuert, die in der Bildaufnahmevorrichtung vorgesehen ist.
Zuerst werden Bauelemente einer Bildaufnahmevorrichtung 100, die zur Zeit der Aufnahme eines Bewegtbildes verwendet werden, und durch die Bauelemente durchgeführte Operationen unter Bezugnahme auf 1A speziell beschrieben. Ein in die Bildaufnahmevorrichtung eingegebenes Objektbild wird auf einem Bildsensor 103 über ein optisches Bildaufnahmesystem 101, das Operationen wie ein Zoomen und Fokussieren durchführt, und ein optisches Korrektursystem 102 erzeugt. Das optische Korrektursystem 102 ist beispielsweise ein Verschiebungsobjektiv und ist ein Korrektursystem, das eine Unschärfe optisch korrigieren kann, und das die Orientierung der optischen Achse durch deren Bewegung in eine Richtung senkrecht zu der optischen Achse ablenkt. Das optische Korrektursystem 102 korrigiert die Bewegung eines Objektbildes auf einer Abbildungsebene, die durch ein Zittern der Vorrichtung verursacht wird, und das Objektbild wird auf dem Bildsensor 103 erzeugt.
Der Bildsensor 103 wandelt das durch das optische Bildaufnahmesystem 101 erzeugte Objektbild in ein elektrisches Signal als aufgenommenes Bildsignal um und führt das Signal einer Signalverarbeitungseinheit 104 zu. Die Signalverarbeitungseinheit 104 verteilt das von dem Bildsensor 103 eingegebene Bild zu zwei Systemen.
Die Signalverarbeitungseinheit 104 gibt ein RAW-Bild einer Bayer-Anordnung, das aus dem Bildsensor 103 ausgegeben wird, zu einer MetadatenErzeugungseinheit 108 aus, ohne eine Verarbeitung bei dem Bild durchzuführen. Die Metadatenerzeugungseinheit 108 erzeugt vorbestimmte Metadaten beruhend auf Informationen von einer Bewegungsvektorerfassungseinheit 112 und zeichnet die Metadaten in einem Aufzeichnungsmedium 109 zusammen mit dem RAW-Bild auf. Die durch die Metadatenerzeugungseinheit 108 durchgeführten Operationen werden später genauer beschrieben.
Die Signalverarbeitungseinheit 104 führt auch eine Ausdünnungsverarbeitung, Additionsverarbeitung (Verkleinerungsverarbeitung) oder dergleichen bei dem RAW-Bild der Bayer-Anordnung durch, das aus dem Bildsensor 103 ausgegeben wird, um die Bildgröße auf eine Größe zu verkleinern, die kleiner als die des aus dem Bildsensor 103 ausgegebenen Bildes ist, und führt das verkleinerte Bild danach einer Entwicklungseinheit 105 und einer Luminanzerzeugungseinheit 110 zu.
Die Luminanzerzeugungseinheit 110 erzeugt ein Luminanzsignal aus dem durch die Signalverarbeitungseinheit 104 zugeführten Bildsignal und führt das Luminanzsignal einem Bildspeicher 110 und der Bewegungsvektorerfassungseinheit 112 zu. Die Bewegungsvektorerfassungseinheit 112 erfasst einen Bewegungsvektor des Bildes beruhend auf dem durch die Luminanzerzeugungseinheit 110 erzeugten Luminanzsignal des aktuellen Bildrahmens und dem Luminanzsignal eines Bildes, das einem Rahmen vor dem aktuellen Bildrahmen entspricht, der temporär in dem Bildspeicher 111 gespeichert wird. Der durch die Bewegungsvektorerfassungseinheit 112 erfasste ausgegebene Bewegungsvektor wird einer Bildverarbeitungskorrekturausmaßberechnungseinheit 113 und einer optischen Korrekturausmaßberechnungseinheit 115 zugeführt.
Die optische Korrekturausmaßberechnungseinheit 115 empfängt die Zufuhr der Ausgabe aus der Bewegungsvektorerfassungseinheit 112 und eine Ausgabe von einem Winkelgeschwindigkeitssensor 114. Der Winkelgeschwindigkeitssensor 114 erfasst eine Vibration, mit der die Bildaufnahmevorrichtung 100 beaufschlagt wird, als Winkelgeschwindigkeitssignal und führt das Winkelgeschwindigkeitssignal der optischen Korrekturausmaßberechnungseinheit 115 zu. Die optische Korrekturausmaßberechnungseinheit 115 berechnet das Ausmaß einer Ansteuerung des optischen Korrektursystems 112, das zur Korrektur einer an der Abbildungsebene des Bildsensors 100 erzeugten Bildunschärfe erforderlich ist, beruhend auf den Ausgaben aus dem Winkelgeschwindigkeitssensor 114 und der Bewegungsvektorerfassungseinheit 112 und sendet eine Anweisung zu einer Motoransteuereinheit 116. Ein Motor 117 ist ein Schwingspulenmotor zur Ansteuerung des optischen Korrektursystems 102, und als Ergebnis der Ansteuerung des Motors 117 durch die Motoransteuereinheit 116 wird das optische Korrektursystem 102 in eine Richtung senkrecht zur optischen Achse bewegt. Auf diese Weise wird eine Bildunschärfekorrektur durchgeführt.
Zur Anzeige des aktuell aufgenommenen Bildes auf einer Anzeigeeinrichtung 107 wandelt die Entwicklungseinheit 105 die von der Signalverarbeitungseinheit 104 zugeführten Bilddaten der Bayer-Anordnung in ein für die Anzeigeeinrichtung geeignetes Datenformat, wie das YUV-Format um, und führt das Bild einer Bildverarbeitungseinheit 106 zu. Die Bildverarbeitungseinheit 106 führt eine vorbestimmte Bildverarbeitung, wie eine elektronische Bildstabilisierungsverarbeitung, bei dem von der Entwicklungseinheit 105 ausgegebenen Bild im Ansprechen auf eine Anweisung von der Bildverarbeitungskorrekturausmaßberechnungseinheit 113 durch und gibt das Bild zu der Anzeigeeinrichtung 107 aus. Die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 bestimmt eine der Bildverarbeitungseinheit 106 zuzuführende Ausgabe beruhend auf der Ausgabe aus der Bewegungsvektorerfassungseinheit 112. Die durch die Bildverarbeitungseinheit 106 und die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 durchgeführte Verarbeitung wird nachstehend beschrieben.
Als Nächstes werden Bauelemente der Bildaufnahmevorrichtung 100, die einen Wiedergabeabschnitt eines aufgezeichneten Bewegtbildes bilden, und durch die Bauelemente durchgeführte Operationen insbesondere unter Bezugnahme auf 1B beschrieben. In 1B haben Blöcke, die dieselben wie in 1A sind, dieselben Bezugszeichen, und auf eine ausführliche Beschreibung wird hier verzichtet.
Wird eine Anweisung zur Wiedergabe eines aufgezeichneten Bewegtbildes vom Benutzer zu der Bildaufnahmevorrichtung 100 über ein Bedienelement (nicht gezeigt) ausgegeben, werden zur Zeit der Aufnahme des Bewegtbildes aufgezeichnete Daten aus dem Aufzeichnungsmedium 109 ausgelesen. Unter den gelesenen Daten werden RAW-Bilddaten zu einer Entwicklungseinheit 120 und der Luminanzerzeugungseinheit 110 geführt, und durch die Metadatenerzeugungseinheit 108 erzeugte Metadaten werden einer Metadatenanalyseeinheit 123 zugeführt.
Die Bewegungsvektorerfassungseinheit 112 führt eine genauere Bewegungsvektorerfassung als die zur Zeit der Aufnahme des Bewegtbildes durchgeführte beruhend auf den Informationen zur Zeit der Aufnahme des Bewegtbildes durch, die durch die Metadatenanalyseeinheit 123 zugeführt werden. Eine Bildverarbeitungskorrekturausmaßberechnungseinheit 122 bestimmt eine der Bildverarbeitungseinheit 121 zuzuführende Ausgabe beruhend auf der Ausgabe von der Bewegungsvektorerfassungseinheit 112. Die zur Zeit der Wiedergabe des Bewegtbildes durchgeführten Operationen werden später ausführlicher beschrieben.
Zur Ausgabe des aktuell wiedergegebenen Bildes zu einem externen Monitor 200 und einem externen Aufzeichnungsmedium 201 wandelt die Entwicklungseinheit 120 die von dem Aufzeichnungsmedium 109 zugeführten Bilddaten der Bayer-Anordnung in ein für die Anzeigeeinrichtung geeignetes Datenformat, wie das YUV-Format um, und führt die Bilddaten der Bildverarbeitungseinheit 121 zu. Die Bildverarbeitungseinheit 121 führt eine vorbestimmte Bildverarbeitung bei dem von der Entwicklungseinheit 120 ausgegebenen Bild im Ansprechen auf eine Anweisung von der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 durch, und gibt zu dem externen Monitor 200 und dem externen Aufzeichnungsmedium 201 auszugebende Videodaten aus. Der externe Monitor 200 und das externe Aufzeichnungsmedium 201 sind durch ein Kabel beispielsweise über ein externes Endgerät der Bildaufnahmevorrichtung 100 verbunden, und ein Videosignal in einem dem SDI-(Serial Digital Interface)Format oder dergleichen genügenden Format wird aus der Bildverarbeitungseinheit 121 ausgegeben.
Als Nächstes werden Blöcke ausführlicher beschrieben, die für das Ausführungsbeispiel charakteristisch sind. Die Bewegungsvektorerfassungseinheit 112 vergleicht durch die Luminanzerzeugungseinheit 110 erzeugte Luminanzdaten des aktuellen Bildes und in dem Bildspeicher 111 temporär gespeicherte Luminanzdaten des vergangenen Bildes, um das Ausmaß der Bildbewegung zu berechnen. Als Berechnungsverfahren kann ein beliebiges Verfahren verwendet werden, wie ein Merkmalspunktextraktionsverfahren, bei dem eine Suche nach einem Merkmalspunkt, wie einer Kante, in Bildern durchgeführt wird, und die Bilder um den Merkmalspunkt verglichen werden, oder ein Blockzusammenpassungsverfahren, bei dem ein Bild in eine Vielzahl von Blöcken unterteilt wird, und das Ausmaß der Bildbewegung für jeden Block (jeden Erfassungsbereich) berechnet wird. Dieses Ausführungsbeispiel wird nachstehend unter Verwendung des Blockzusammenpassungsverfahrens beschrieben.
2A zeigt eine Darstellung eines Beispiels eines in eine Vielzahl von Blöcken unterteilten Bildes. 2A zeigt ein Beispiel eines in 8 (in der Breite) × 5 (in der Höhe) Blöcke unterteilten Bildes zur Verwendung bei der Bewegungsvektorerfassung, die durch gestrichelte Linien angegeben sind. 2B zeigt ein nach 2A erzeugtes folgendes (zukünftiges) Bild, in dem die Position eines Objekts in 2B bezüglich der Position des Objekts in 2A aufgrund des Einflusses einer Vibration, mit der die Bildaufnahmevorrichtung beaufschlagt wird, nach oben verschoben wurde.
Die 2C und 2D zeigen Darstellungen eines Verfahrens zur Berechnung des Ausmaßes einer Bildbewegung in einem in 2A gezeigten Block A. Zur Berechnung des Ausmaßes der Bildbewegung im Block A wird ein Bild, das in einem Block A' des in 2B gezeigten Bildes vorhanden ist, der dem Block A entspricht und kleiner als der Block A' ist, und dessen Mittenposition mit der des Blocks A' übereinstimmt, als Vorlagenbild B eingestellt. Es wird angenommen, dass der Block A und das Vorlagenbild B als quadratische Bilddaten verwendet werden, wobei wie in den 2C und 2D gezeigt die Länge einer Seite durch N und M (N > M) jeweils im Block A und dem Vorlagenbild B dargestellt ist. Zur Erleichterung des Verständnisses der Beschreibung sind die Koordinaten des Bildes derart definiert, dass die obere linke Ecke von Block A als Ursprung (0, 0), die horizontale Richtung als X-Achse und die vertikale Richtung als Y-Achse eingestellt sind.
Das Ausmaß der Bildbewegung wird gemäß der folgenden Prozedur berechnet. Zuerst werden Bilder überlagert, sodass der in 2C gezeigte Ursprung (0, 0) und die Position des in 2D gezeigten Punktes P übereinstimmen, und es wird eine Gesamtsumme von Differenzen in Luminanzwerten aller Bildelemente (Summe absoluter Differenzen = SAD) berechnet. Als Nächstes wird die SAD an jeder Position berechnet, während die Position des Vorlagenbildes B um ein Bildelement in die X-Richtung und die Y-Richtung in dem Bild des Blocks A bewegt wird, bis ein Punkt P' in 2D mit den Koordinaten (N, N) in 2C übereinstimmt. Die SAD nimmt einen kleineren Wert an, wenn die Bildübereinstimmungsrate höher ist, und so kann das Ausmaß der Bildbewegung berechnet werden, wenn eine Position, an der SAD einen minimalen Wert annimmt, bestimmt wird. 2E zeigt eine Positionsbeziehung zwischen dem Block A und dem Vorlagenbild B, wenn die SAD einen minimalen Wert annimmt, und eine Differenz zwischen den Mittenkoordinaten (N/2, N/2) des in 2E gezeigten Blocks A und den Mittenkoordination O des Vorlagenbildes B ist das Ausmaß der Bildbewegung in Block A (das durch einen in 2E gezeigten Pfeil angegeben wird). Das Bild von Block A wird „Suchbild“ genannt, da nach einer Position gesucht wird, an der die SAD einen minimalen Wert annimmt, während das Vorlagenbild im Bereich des Bildes des Blocks A bewegt wird.
Der Schaltungsumfang der Bewegungsvektorerfassungseinheit 112 steigt an, wenn sich die Anzahl an Bildelementen des Suchbildes und des Vorlagenbildes erhöhen. Demnach sollte die Anzahl der Bildelemente in jedem Block in Hinblick auf den Schaltungsumfang so klein wie möglich sein. Zur Durchführung einer Bewegungsvektorerfassung mit hoher Genauigkeit muss jeder Block andererseits ein charakteristisches Muster, wie die Kante eines Objekts enthalten. Demnach sollte die Belegung jedes Blocks in dem gesamten Bild bis zu einem gewissen Ausmaß groß sein.
Erhöht sich die Anzahl der Bildelemente in dem zur Durchführung der Bewegungsvektorerfassung verwendeten Bild, bleibt aber die Anzahl der Bildelemente jedes Blocks unverändert, in dem die Bewegungsvektorerfassung durchgeführt wird, wird die Belegung jedes Blocks in dem gesamten Bild klein. Ist beispielsweise die Anzahl der Bildelemente in dem Bewegungsvektorerfassungsblock in einem Voll-HD-Bild und einem 8K-Bild dieselbe, verringert sich die Belegung jedes Blocks in dem gesamten Bild auf 1/16. Wie in 3A gezeigt, die ein Voll-HD-Bild zeigt, und wie in 3B gezeigt, die ein 8K-Bild veranschaulicht, hat jeder Block in dem 8K-Bild eine durch ein kleines Quadrat in 3B angegebene Größe, wenn die Anzahl der Bildelemente dieselbe ist. Wie aus 3B klar ersichtlich ist, ist, wenn die Belegung jedes Blocks zur Verwendung bei der Bewegungsvektorerfassung in dem gesamten Bild klein ist, die Wahrscheinlichkeit, dass ein charakteristisches Muster, wie die Kante eines Objekts, in jedem Block vorhanden ist, gering, und so kann eine Verschlechterung der Genauigkeit der Bewegungsvektorerfassung nicht vermieden werden. Ist die Anzahl der Bildelemente in jedem Bewegungsvektorerfassungsblock zum Verhindern der Verschlechterung der Genauigkeit der Bewegungsvektorerfassung andererseits erhöht, erhöht sich der Umfang der Schaltung zur Durchführung der Bewegungsvektorerfassung, was verschiedene Probleme verursacht, wie einen Anstieg des Leistungsverbrauchs und einen Anstieg der Rechenzeit.
Wie vorstehend beschrieben ist bei diesem Ausführungsbeispiel die Signalverarbeitungseinheit 104 zur Durchführung einer Ausdünnung, Addition oder dergleichen bei dem aus dem Bildsensor 103 ausgegebenen Bild, um die Bildgröße auf eine kleinere Größe als die des aus dem Bildsensor 103 ausgegebenen Bildes zu verringern, und danach zum Zuführen des Bildes zu der Entwicklungseinheit 105 und der Luminanzerzeugungseinheit 110 eingerichtet. Entspricht das aus dem Bildsensor 103 ausgegebene Bild beispielsweise 8K-Daten, wird die Bildgröße auf eine Voll-HD-Größe oder dergleichen verringert.
Es wird angenommen, dass die Anzeigeeinrichtung 107 eine kleine Anzeigeeinrichtung, wie eine an der Bildaufnahmevorrichtung 100 angebrachte LCD ist, und eine ausreichende Bildqualität in einem verkleinerten Bild ohne das Erfordernis der Zufuhr des Bildes unter Verwendung aller aus dem Bildsensor 103 ausgegebenen Bildelemente bereitstellen kann. Als Ergebnis der Verringerung der Anzahl der Bildelemente in dem der Bewegungsvektorerfassungseinheit 112 über die Luminanzerzeugungseinheit 110 zugeführten Bild wird eine Bewegungsvektorerfassung in einem weiten Bereich wie in 3A gezeigt möglich, ohne eine Vergrößerung des Schaltungsumfangs zu verursachen.
Die Bildverarbeitungseinheit 106 ist zur Durchführung einer Bildverarbeitung, die unter Verwendung von Bewegungsvektoren bei dem Bildsignal implementiert werden kann, das von der Entwicklungseinheit 120 zugeführt wird, und danach zum Zuführen des Videosignals zu der Anzeigeeinrichtung 107 konfiguriert. Beispielsweise kann eine Bildunschärfe, die durch das optische Korrektursystem 102 nicht korrigiert werden konnte, durch die Bewegungsvektorerfassungseinheit 112 erfasst werden. Zu diesem Zeitpunkt berechnet die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 das Ausmaß der Korrektur der Bildbewegung beruhend auf dem Bewegungsvektor in jedem Bewegungsvektorerfassungsblock, der durch die Bewegungsvektorerfassungseinheit 112 berechnet wird. Dann führt die Bildverarbeitungseinheit 106 eine Bildverarbeitung durch, die den Bildanzeigebereich entsprechend dem berechneten Ausmaß der Korrektur ändert. Wenn beispielsweise die Bildverarbeitungseinheit 106 eine Bildzusammensetzung wie die HDR-(High Dynamic Range)Zusammensetzung durchführt, berechnet die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 das Ausmaß einer Bildverschiebung zur Zeit der Bildzusammensetzung beruhend auf den durch die Bewegungsvektorerfassungseinheit 112 berechneten Bewegungsvektoren. Dann führt die Bildverarbeitungseinheit 106 eine Bildzusammensetzungsverarbeitung, wie die HDR-Zusammensetzung, unter Verwendung des berechneten Ausmaßes der Bildverschiebung aus.
Bei der Bildverarbeitung, die bei dem auf der Anzeigeeinrichtung 107 angezeigten verkleinerten Bild angewendet wird, ist die Genauigkeit der Bewegungsvektorerfassung unter Verwendung des verkleinerten Bildes ausreichend. Allerdings ist bei der Bildverarbeitung, die bei dem auf dem Aufzeichnungsmedium 109 aufgezeichneten ursprünglichen Bild angewendet wird, die Genauigkeit der Bewegungsvektorerfassung unter Verwendung des verkleinerten Bildes nicht ausreichend. Demnach wird bei diesem Ausführungsbeispiel eine Verarbeitung wie nachstehend beschrieben zum Sicherstellen einer ausreichenden Erfassungsgenauigkeit durchgeführt. Bei der folgenden Beschreibung wird der Einfachheit halber angenommen, dass die Größe des der Luminanzerzeugungseinheit 110 zum Zeitpunkt der Aufnahme des Bewegtbildes zugeführten Bildes Voll-HD und die Größe des auf dem Aufzeichnungsmedium 109 aufgezeichneten Bildes 8K ist.
4A zeigt eine Darstellung, in der Ergebnisse der Bewegungsvektorerfassung, die in Bewegungsvektorerfassungsblöcken unter Verwendung des von der Signalverarbeitungseinheit 104 zu der Luminanzerzeugungseinheit 110 zugeführten verkleinerten Bildes durchgeführt wird, durch Pfeile angegeben sind. In 4A sind die Koordinaten des Bildes derart definiert, dass die obere linke Ecke des Bildes als Ursprung (0, 0), die horizontale Richtung als X-Achse und die vertikale Richtung als Y-Achse eingestellt sind. 4B zeigt eine vergrößerte Ansicht eines in 4A gezeigten Blocks C, und der Block C hat Mittenkoordinaten (a, b). Die Koordinaten, an denen die SAD einen minimalen Wert annimmt, wenn ein Vorlagenbild mit Koordinaten (a, b) als Mitte auf einem Suchbild bewegt wird, sind durch (c, d) dargestellt.
Die Metadatenerzeugungseinheit 108 wandelt die Mittenkoordinaten jedes Blocks und die Koordinaten, an denen die SAD einen minimalen Wert annimmt, in für die Größe des Bildes geeignete Koordinaten um, das von der Signalverarbeitungseinheit 106 zu der Metadatenerzeugungseinheit 108 geführt wird, und zeichnet diese als Metadaten in dem Aufzeichnungsmedium 109 in Verbindung mit dem Bild auf. Ist das der Luminanzerzeugungseinheit 110 zugeführte Bild ein Voll-HD-Bild und das der Metadatenerzeugungseinheit 108 zugeführte Bild ein 8K-Bild, kann die Koordinatenumwandlung durch Multiplizieren der Mittenkoordinaten jedes Blocks und der Koordinaten, an denen die SAD einen minimalen Wert annimmt, mit vier durchgeführt werden.
Zur Zeit der Wiedergabe des aufgezeichneten Bildes wird eine genauere Bewegungsvektorerfassung unter Verwendung der durch die Metadatenerzeugungseinheit 108 erzeugten Metadaten durchgeführt. Gemäß 1B werden die Metadaten durch die Metadatenanalyseeinheit 123 aus dem Aufzeichnungsmedium 109 gelesen. Die Metadatenanalyseeinheit 123 führt die Mittenkoordinaten jedes Blocks und die Koordinaten, an denen die SAD einen minimalen Wert annimmt, die zur Durchführung der vorstehend beschriebenen Bewegungsvektorerfassung verwendet werden, der Bewegungsvektorerfassungseinheit 112 zu.
Die Bewegungsvektorerfassungseinheit 112 bestimmt einen Suchbildbereich und einen Vorlagenbildbereich, die auf dem von dem Bildspeicher 111 und der Luminanzerzeugungseinheit 110 zugeführten Bild eingestellt werden, unter Verwendung der Informationen von der Metadatenanalyseeinheit 123. 5 zeigt ein Bild an einer dem Block C in 4A entsprechenden Position in einem in dem Aufzeichnungsmedium 109 aufgezeichneten nicht verkleinerten Bild. Die Anzahl an Bildelementen in dem in 5 gezeigten Bild, ist 16 Mal größer als die Anzahl der Bildelemente in dem in 4 gezeigten Bild, und somit sind Koordinaten (C, D), die den Koordinaten (c, d) entsprechen, an denen die SAD einen minimalen Wert in 4B annimmt, (4c, 4d), und Mittenkoordinaten (A, B) sind (4a, 4b). Diese Koordinateninformationen werden von der Metadatenanalyseeinheit 123 zugeführt. Ein Vorlagenbild wird in einem Bereich einer Bildgröße eingestellt, die dieselbe wie das während der Aufnahme des Bewegtbildes eingestellte Vorlagenbild ist, wobei die in 5 gezeigten Koordinaten (A, B) als Mittelpunkt eingestellt sind. Andererseits ist das Suchbild in einem Bereich eingestellt, der derselbe wie das während der Aufnahme des Bewegtbildes eingestellte Suchbild ist, d.h., das in 4B gezeigte Bild, oder es ist in einem Bereich mit einer geringeren Anzahl an Bildelementen eingestellt, wobei die in 5 gezeigten Koordinaten (C, D) als Mittelpunkt eingestellt sind. Zu dieser Zeit ist die Belegung des Vorlagenbildes auf dem gesamten Bildschirm klein, und somit gibt es das Risiko, dass ein charakteristisches Muster in dem Vorlagenbild nicht enthalten sein kann. Wird der Suchbereich allerdings auf einen Bereich beschränkt, der den Bereich nicht überschreitet, der durch den zur Zeit der Aufzeichnung des Bewegtbildes erfassten Bewegungsvektor angegeben ist (beispielsweise ±4 Bildelemente, wenn ein 4K-Bild auf ein Voll-HD-Bild verkleinert wird), ist es möglich, das Auftreten einer falschen Erfassung bei der Bewegungsvektorerfassung zu verhindern.
So ist es in dem nicht verkleinerten Bild möglich, die Umgebung des Bereichs sehr genau zu durchsuchen, wo die SAD einen minimalen Wert annimmt, der in dem verkleinerten Bild während der Aufnahme des Bewegtbildes erfasst wird. Bei der zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes durchgeführten Bewegungsvektorerfassung wird die Anzahl der Bildelemente in dem Suchbild und in dem Vorlagenbild nicht gegenüber der zur Zeit der Aufnahme des Bewegtbildes erhöht, und daher kann eine signifikante Vergrößerung des Schaltungsumfangs verhindert werden.
Die durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 122 zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes durchgeführte Berechnung ist im Wesentlichen dieselbe wie die, die durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 zur Zeit der Aufnahme des Bewegtbildes durchgeführt wird. Allerdings ist die durch die Bildverarbeitungseinheit 106 und die Bildverarbeitungseinheit 121 verarbeitete Bildgröße verschieden, und somit sollten die von der Bewegungsvektorerfassungseinheit 112 zu der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 zugeführten Ergebnisse und die von der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 zu der Bildverarbeitungseinheit 121 zugeführten Daten bei einer für die Bildgröße geeigneten Auflösung ausgegeben werden.
Die Bildverarbeitungseinheit 121 führt dieselbe Bildverarbeitung wie die durch die Bildverarbeitungseinheit 106 bei dem Videosignal von der Entwicklungseinheit 120 aus, und gibt daher Videodaten zur Ausgabe zu dem externen Monitor 200 und dem externen Aufzeichnungsmedium 201 aus. Wie vorstehend beschrieben ist die Auflösung der Daten von der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 höher als die der Daten von der Bildverarbeitungskorrekturausmaßberechnungseinheit 113, und somit kann die Bildverarbeitungseinheit 121 eine für die Bildgröße geeignete äußerst genaue Bildverarbeitung durchführen. Andererseits sind die Ausgabe aus der Bildverarbeitungskorrekturausmaßberechnungseinheit 113 und die Ausgabe aus der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 nur dahingehend verschieden, dass die Auflösung entsprechend der Bildgröße verändert ist. Demnach sind das auf der Anzeigeeinrichtung 107 während der Aufnahme des Bewegtbildes angezeigte Bild und das auf dem externen Monitor 200 oder dergleichen zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes angezeigte Bild lediglich bezüglich der Anzahl an Bildelementen verschieden.
Wie vorstehend beschrieben ist dieses Ausführungsbeispiel derart eingerichtet, dass zur Zeit der Aufnahme des Bewegtbildes die bei der Bewegungsvektorerfassung und bei der Ausgabe zu der Anzeigeeinrichtung verwendete Bildgröße verkleinert ist, um lediglich eine Bewegungsvektorerfassung mit ausreichender Genauigkeit bei Unterdrückung einer Vergrößerung des Schaltungsumfangs durchzuführen. Zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes werden die Metadaten bezüglich der während der Aufnahme des Bewegtbildes durchgeführten Bewegungsvektorerfassung zur Durchführung einer sehr genauen Bewegungsvektorerfassung verwendet, die für die Größe des wiederzugebenden Bewegtbildes geeignet ist, ohne eine Vergrößerung des Schaltungsumfangs zu verursachen. Mit dieser Konfiguration ist es möglich, eine Bildverarbeitung, wie eine Unschärfekorrektur oder Bildzusammensetzung durchzuführen, die zur Zeit der Aufnahme des Bewegtbildes und zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes optimal ist.
In dem in 1A gezeigten Blockschaltbild ist eine Konfiguration beschrieben, bei der die verbleibende Unschärfe nach der durch das optische Korrektursystem 102 durchgeführten optischen Unschärfekorrektur durch die Bewegungsvektorerfassungseinheit erfasst wird, jedoch kann das optische Korrektursystem 102 weggelassen werden. Außerdem sind das Bewegungsvektorerfassungsverfahren und das Metadatenerzeugungsverfahren lediglich Beispiele, und so können die Metadaten ein beliebiges Datenformat haben, solange die Metadaten Informationen bezüglich des Bildbereichs, wo die Bewegungsvektorerfassung durchgeführt wird, und Informationen bezüglich der Ergebnisse der Bewegungsvektorerfassung enthalten.
Dieses Ausführungsbeispiel ist auch derart konfiguriert, dass bei der durch die Bewegungsvektorerfassungseinheit 112 zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes durchgeführten Bewegungsvektorerfassungsverarbeitung das in dem Aufzeichnungsmedium 109 aufgezeichnete Bild ohne Verkleinerung der Bildgröße verwendet wird, jedoch ist die Konfiguration nicht darauf beschränkt. Es ist auch eine Konfiguration möglich, bei der eine Größenreduktion, Ausdünnungsverarbeitung oder dergleichen in einem Bereich mit einem kleineren Verkleinerungsverhältnis als das während der Aufnahme des Bewegtbildes verwendete durchgeführt wird. Beispielsweise kann eine Konfiguration Anwendung finden, bei der während der Aufnahme des Bewegtbildes eine Bewegungsvektorerfassung unter Verwendung eines Bildes durchgeführt wird, das durch Verkleinern eines 8K-Bildes auf ein Voll-HD-Bild erhalten wird, und während der Wiedergabe des aufgezeichneten Bewegtbildes die Bewegungsvektorerfassung unter Verwendung eines Bildes durchgeführt wird, das durch Verkleinern eines 8K-Bildes auf ein 4K-Bild erhalten wird.
Zweites Ausführungsbeispiel
Ein grundlegendes Ausführungsbeispiel der Erfindung wurde beschrieben. Bei dem grundlegenden Ausführungsbeispiel kann durch das Hinzufügen weiterer Informationen zu den Metadaten eine effiziente Verarbeitung und eine Verbesserung der Genauigkeit der Bewegungsvektorerfassung erreicht werden, was nachstehend beschrieben wird.
Die durch die Bewegungsvektorerfassungseinheit 112 durchgeführte Bewegungsvektorerfassung hat Zuverlässigkeitsprobleme dahingehend, dass in Abhängigkeit vom Muster in den Bewegungsvektorerfassungsblöcken die Genauigkeit der Ergebnisse der Bewegungsvektorerfassung gering oder die Ergebnisse der Bewegungsvektorerfassung nicht korrekt sind. Nachstehend ist die Zuverlässigkeit von Bewegungsvektoren beschrieben.
Die 6A bis 6C zeigen Darstellungen von Beispielen von SAD-Änderungen in der X-Richtung bei der Bewegungsvektorerfassung, die ein verkleinertes Bild verwendet, die bezüglich der 2A bis 2E beschrieben wurde. Üblicherweise ist die SAD in einer zweidimensionalen X-Y-Darstellung aufgetragen, zur Erleichterung des Verständnisses der Beschreibung ist die SAD aber lediglich in der X-Achsenrichtung aufgetragen. Die in den 6A bis 6C gezeigten Graphen sind Graphen mit dem Ausmaß einer Bewegung, wenn die X-Koordinate in der Mitte des Vorlagenbildes mit der X-Koordinate in der Mitte des Suchbildes übereinstimmt, die auf 0 gesetzt ist, die horizontale Achse das sich in dem Vorlagenbild bewegende Bildelement angibt, und die vertikale Achse das Ergebnis der SAD-Berechnung angibt. Das maximale Bewegungsausmaß des Vorlagenbildes wird durch die Größe des Suchbildes und die Größe des Vorlagenbildes bestimmt, und im Fall der in den 2C und 2D gezeigten Bilder ist das maximale Bewegungsausmaß des Vorlagenbildes ±(N-M)/2.
Die der Bewegung des Vorlagenbildes entsprechende Änderung der SAD hängt von dem aufgenommenen Bild ab. Beispielsweise ist die Differenz des Luminanzwerts, wenn das Muster in dem Suchbild und das Muster in dem Vorlagenbild zusammenpassen, nahe 0 in einem Block, in dem ein Objekt mit hohem Kontrast aufgenommen ist. Wie in 6A gezeigt, kann daher ein klarer Unterschied zwischen dem maximalen SAD-Wert und dem minimalen SAD-Wert beobachtet werden, und so ist die Genauigkeit des Ergebnisses der Berechnung des Bildbewegungsausmaßes hoch.
In einem Block, in dem beispielsweise ein Objekt mit demselben Wiederholungsmuster wie beispielsweise ein Fliesenmuster aufgenommen wird, wird allerdings eine Vielzahl von Bereichen beobachtet, wo das Muster zwischen dem Suchbild und dem Vorlagenbild übereinstimmt. Wie in 6B gezeigt, erscheint demnach eine Vielzahl von Bereichen, in denen SAD einen Wert nahe dem minimalen Wert annimmt, und so ist die Genauigkeit des Ergebnisses der Berechnung des Ausmaßes der Bildbewegung gering. Zur Bestimmung, ob es eine Vielzahl von SAD-Spitzenwerten gibt, wird die Bestimmung beispielsweise beruhend darauf durchgeführt, ob es zumindest zwei SAD-Spitzenwerte gibt, die innerhalb eines Bereichs zwischen einem vorbestimmten Schwellenwert (SAD_TH) und einem SAD-Minimumwert (SAD_MIN) liegen.
In einem Block, in dem beispielsweise ein Objekt mit geringem Kontrast wie Himmel aufgenommen ist, ist der Grad der Übereinstimmung zwischen dem Suchbild und dem Vorlagenbild auch gering. Wie in 6C gezeigt, ist die Differenz zwischen dem SAD-Maximumwert und dem SAD-Minimumwert gering, und so ist die Genauigkeit des Ergebnisses der Berechnung des Ausmaßes der Bildbewegung gering. Die Bestimmung der Zuverlässigkeit kann quantitativ beruhend auf der Größe der Differenz zwischen dem SAD-Maximumwert (SAD_MAX) und dem SAD-Minimumwert (SAD_MIN) durchgeführt werden.
Bei diesem Ausführungsbeispiel zeichnet die Metadatenerzeugungseinheit 108 zusätzlich zu den Mittenkoordinaten jedes Blocks und den Koordinaten, an denen SAD einen minimalen Wert annimmt, wie vorstehend beschrieben, das Ergebnis der Zuverlässigkeitsbestimmung als Metadaten in dem Aufzeichnungsmedium 109 in Verbindung mit dem Bild auf. Zur Zeit der Wiedergabe des aufgezeichneten Bildes wird wie vorstehend beschrieben eine äußerst genaue Bewegungsvektorerfassung unter Verwendung der Metadaten durchgeführt, aber bei diesem Ausführungsbeispiel wird eine Verarbeitung wie nachstehend beschrieben unter Verwendung der Metadaten durchgeführt, die das Ergebnis der Zuverlässigkeitsbestimmung angeben.
In einem ersten Beispiel wird die Bewegungsvektorerfassung unter Verwendung eines nicht verkleinerten Bildes, die zur Zeit der Wiedergabe des aufgezeichnete Bildes durchgeführt wird, in Bewegungsvektorerfassungsblöcken nicht durchgeführt, die als Ergebnis der Zuverlässigkeitsbestimmung als gering zuverlässig bestimmt wurden, sondern wird lediglich in Blöcken durchgeführt, die als sehr zuverlässig bestimmt wurden. Sind beispielsweise Metadaten aufgezeichnet, die angeben, dass es eine Vielzahl von SAD-Spitzenwerten gibt, wie vorstehend beschrieben, oder wenn die Differenz zwischen dem SAD-Maximumwert und dem SAD-Minimumwert ein vorbestimmter Wert oder kleiner ist, wird bestimmt, dass die Zuverlässigkeit gering ist. Alternativ dazu ist eine Konfiguration möglich, bei der die Anzahl an Blöcken, die der Bewegungsvektorerfassung zur Zeit der Wiedergabe des aufgezeichneten Bildes unterzogen werden, vorab festgelegt wird, und die Bewegungsvektorerfassung in absteigender Reihenfolge von dem Block mit der größten Differenz zwischen dem SAD-Maximumwert und dem SAD-Minimumwert durchgeführt wird, oder anders gesagt von dem Block mit der höchsten Bewegungsvektorerfassungszuverlässigkeit. Da die Bewegungsvektorerfassung bei dieser Konfiguration primär bei Bewegungsvektorerfassungsblöcken mit hoher Zuverlässigkeit durchgeführt wird, kann eine äußerst akkurate Bewegungsvektorerfassung durchgeführt werden, und ein verschwenderischer Leistungsverbrauch kann reduziert werden.
Ein zweites Beispiel wird unter Bezugnahme auf die 7A und 7B beschrieben. Die 7A und 7B zeigen Darstellungen eines weiteren Beispiels der Anordnung eines Suchbildes und eines Vorlagenbildes während einer Bewegungsvektorerfassung zur Zeit der Wiedergabe des aufgezeichneten Bildes, was unter Bezugnahme auf 5 beschrieben wurde. In diesem Beispiel wird zuerst die Anzahl an Bewegungsvektorerfassungsblöcken zur Zeit der Wiedergabe des aufgezeichneten Bildes auf 1/8 der Anzahl der Bewegungsvektorerfassungsblöcke gesetzt, die während der Aufnahme des Bewegtbildes eingestellt sind. Dann werden auf ähnliche Weise wie im ersten Beispiel Blöcke, die vorzugsweise einer Bewegungsvektorerfassung zu unterziehen sind, in absteigender Reihenfolge von dem Block mit der höchsten Bewegungsvektorerfassungszuverlässigkeit herausgenommen, und Vorlagenbilder und Suchbilder werden bezüglich dieser Blöcke eingestellt.
7A zeigt ein Beispiel eines Einstellens eines Vorlagenbildes, und 7B zeigt ein Beispiel eines Einstellens eines Suchbildes. In 5 wurde das Vorlagenbild mit den Koordinaten (A, B) eingestellt, die als die Mittenkoordinaten eingestellt sind. Allerdings sind in 7A Vorlagenbilder in einem möglichst weiten Bereich mit acht Blöcken (b1 bis b8) in dem Vorlagenbildbereich angeordnet, der während der Aufnahme des Bewegtbildes eingestellt ist. Gleichermaßen sind in 7B gezeigte Suchbilder an Positionen (B1 bis B8) verschoben von den vorstehend beschriebenen Positionen b1 bis b8 um einen dem Ergebnis der Bewegungsvektorerfassung entsprechenden Betrag angeordnet, das während der Aufnahme des Bewegtbildes erfasst wird.
Wie vorstehend beschrieben ist bei diesem Beispiel eine Vielzahl von Vorlagenbildern bezüglich Bewegungsvektorerfassungsblöcken mit hoher Bewegungsvektorerfassungszuverlässigkeit innerhalb eines Bereichs des Vorlagenbildbereichs angeordnet, der während der Aufnahme des Bewegtbildes eingestellt ist. Dies erhöht die Wahrscheinlichkeit, dass ein charakteristisches Muster, wie die Kante eines Objekts, in einem der Vorlagenbilder enthalten ist, und somit kann eine Erhöhung der Bewegungsvektorerfassungsgenauigkeit erreicht werden. Bei diesem Beispiel ist außerdem die Anzahl an der Bewegungsvektorerfassung zu unterziehenden Blöcken reduziert, und die Bewegungsvektorerfassung wird an einer Vielzahl von Orten in Blöcken mit hoher Bewegungsvektorerfassungszuverlässigkeit durchgeführt, und somit kann eine Erhöhung des Leistungsverbrauchs vermieden werden, der sich aus einer Erhöhung der Verarbeitungslast zur Durchführung der Bewegungsvektorerfassung ergibt.
Drittes Ausführungsbeispiel
Bei der durch die Bewegungsvektorerfassungseinheit 112 durchgeführten Bewegungsvektorerfassung muss zusätzlich zu der vorstehend beschriebenen Bewegungsvektorerfassungszuverlässigkeit auch berücksichtig werden, ob es ein sich bewegendes Objekt auf dem Bildschirm gibt. Die 8A und 8B zeigen Darstellungen eines Ergebnisses einer Bewegungsvektorerfassung, wenn ein sich bewegendes Objekt auf dem Bildschirm vorhanden ist.
8A zeigt ein Bild, in dem ein sich bewegendes Objekt in der Mitte des Bildschirms vorhanden ist. 8B zeigt Ergebnisse der bei Bewegungsvektorerfassungsblöcken durchgeführten Bewegungsvektorerfassung mit Pfeilen, die die Richtung und Größe der Ergebnisse angeben. Die innerhalb einer dicken Umrahmung vorhandenen Bewegungsvektoren geben die Bewegungsvektoren des bewegten Objekts an, und die außerhalb der dicken Umrahmung vorhandenen Bewegungsvektoren geben die Bewegungsvektoren des Rests des Bereichs an, der einen Hintergrundbereich bildet. Wie aus 8B ersichtlich ist, gibt es bei zumindest einem sich bewegenden Objekt auf dem Bildschirm zumindest zwei Bereiche mit Bewegungsvektoren verschiedener Größen. Die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 führt eine Bestimmung bezüglich der Vielzahl der Bewegungsvektoren mit verschiedenen Größen dahingehend durch, welcher der Bewegungsvektoren der Bereiche zu verwenden ist. Als Bestimmungsverfahren wurden verschiedene Vorschläge gemacht, und es kann jedes bekannte Verfahren verwendet werden. Im Fall der Korrektur einer durch Handzittern oder dergleichen verursachten Bildunschärfe wird beispielsweise die Größe der Bewegungsvektoren des Hintergrundbereichs verwendet.
Bei diesem Ausführungsbeispiel zeichnet die Metadatenerzeugungseinheit 108 zusätzlich zu den Mittenkoordinaten jedes Blocks und den Koordinaten, an dem die SAD einen minimalen Wert wie vorstehend beschrieben annimmt, Bewegungsvektorgrößenklassifizierungsinformationen als Metadaten in dem Aufzeichnungsmedium 109 in Verbindung mit dem Bild auf.
Zur Zeit der Wiedergabe des aufgezeichneten Bildes werden die die Klassifizierungsinformationen angebenden Metadaten zur Bestimmung der durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 122 durchgeführten Verarbeitung verwendet. Als durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 122 zur Zeit der Wiedergabe des aufgezeichneten Bewegtbildes durchgeführte Berechnung ist es erforderlich, dieselbe Berechnung abgesehen von dem Auflösungsunterschied durchzuführen wie die, die durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 zur Zeit der Aufnahme des Bewegtbildes durchgeführt wird. Demnach wird bei diesem Ausführungsbeispiel unter Verwendung der als Metadaten aufgezeichneten Bewegungsvektorgrößenklassifizierungsinformationen eine Bestimmung dahingehend durchgeführt, welche der Ergebnisse der Bewegungsvektorerfassung der Bereiche zu verwenden sind. So kann eine Situation verhindert werden, in der die Bildverarbeitungskorrekturausmaßberechnungseinheit 113 und die Bildverarbeitungskorrekturausmaßberechnungseinheit 122 voneinander verschiedene Verarbeitungsoperationen durchführen. Werden in der Bildverarbeitungskorrekturausmaßberechnungseinheit 113 und der Bildverarbeitungskorrekturausmaßberechnungseinheit 122 lediglich die Daten eines Bereichs aus den Ergebnissen der Bewegungsvektorerfassung einer Vielzahl von Bereichen verwendet, kann der Bereich, wo eine ausführliche Bewegungsvektorerfassung zur Zeit der Wiedergabe des aufgezeichneten Bildes durchgeführt wird, als der durch die Bildverarbeitungskorrekturausmaßberechnungseinheit 122 verwendete Bereich entsprechend den Bewegungsvektorgrößenklassifizierungsinformationen eingestellt werden. So kann ein verschwenderischer Leistungsverbrauch reduziert werden.
Weitere Ausführungsbeispiele
Ausführungsbeispiele der Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (das vollständiger als nicht flüchtiges computerlesbares Speichermedium bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (beispielsweise Programme) zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele ausliest und ausführt, und/oder der eine oder mehrere Schaltungen (beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen der Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung beispielsweise durch Auslesen und Ausführen der computerausführbaren Anweisungen aus dem Speichermedium durchgeführtes Verfahren zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele und/oder zum Steuern der einen oder mehreren Schaltungen zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) enthalten und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium zugeführt werden. Das Speichermedium kann beispielsweise eine Festplatte, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nurlesespeicher (ROM), einen Speicher verteilter Rechensysteme, eine optische Scheibe (wie eine Kompaktdisk (CD), Digital Versatile Disc (DVD) oder Blue-ray Disk (BD)™), eine Festspeichereinrichtung, eine Speicherkarte und dergleichen enthalten.
Eine Bildverarbeitungsvorrichtung umfasst eine Bewegungsvektorerfassungseinheit, eine Erzeugungseinheit zur Erzeugung von Informationen bezüglich des Bewegungsvektors als Metadaten, eine Aufzeichnungseinheit zur Aufzeichnung jedes Bildrahmens in Verbindung mit den Metadaten und eine Steuereinheit zur Veranlassung der Bewegungsvektorerfassungseinheit zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines Bildsignals, bei dem eine Verkleinerungsverarbeitung oder Ausdünnungsverarbeitung durchgeführt wurde, und zur Veranlassung der Bewegungsvektorerfassungseinheit zur Bestimmung eines Bildbereichs beruhend auf den Metadaten und zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines Bildsignals, bei dem eine Verkleinerungsverarbeitung oder Ausdünnungsverarbeitung nicht durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als das während des Bildaufnahmebetriebs verwendete durchgeführt wurde, oder bei dem eine Ausdünnungsverarbeitung unter Verwendung eines kleineren Ausdünnungsverhältnisses als das während des Bildaufnahmebetriebs verwendete durchgeführt wurde.

Claims

Bildverarbeitungsvorrichtung (100) mit einer Bewegungsvektorerfassungseinrichtung (112) zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus einem Bildsensor (103) ausgegebenen Bildsignals, einer Erzeugungseinrichtung (108) zur Erzeugung von Informationen hinsichtlich eines Ergebnisses der Bewegungsvektorerfassung als Metadaten, einer Aufzeichnungseinrichtung zur Aufzeichnung jedes Bildrahmens eines aus dem Bildsensor ausgegebenen Bewegtbildes auf einem Aufzeichnungsmedium (109) in Verbindung mit den Metadaten und einer Steuereinrichtung eingerichtet zum Veranlassen der Bewegungsvektorerfassungseinrichtung (112) während eines Bildaufnahmebetriebs zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus dem Bildsensor ausgegebenen Bildsignals, bei dem eine Verkleinerungsverarbeitung durchgeführt wurde, und Veranlassen der Bewegungsvektorerfassungseinrichtung (112) während eines Wiedergabebetriebs einer Wiedergabe des aufgezeichneten Bildes zur Bestimmung eines Bildbereichs in jedem Bildrahmen, in dem eine Bewegungsvektorerfassung durchzuführen ist, beruhend auf den Metadaten und zur Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus dem Aufzeichnungsmedium ausgegebenen Bildsignals, bei dem keine Verkleinerungsverarbeitung durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als dem während des Bildaufnahmebetriebs verwendeten durchgeführt wurde.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner mit einer ersten Bildverarbeitungseinrichtung (106) zur Durchführung einer Bildverarbeitung unter Verwendung eines Ergebnisses der Bewegungsvektorerfassung während des Bildaufnahmebetriebs und einer zweiten Bildverarbeitungseinrichtung (121) zur Durchführung einer Bildverarbeitung unter Verwendung eines Ergebnisses der Bewegungsvektorerfassung während des Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes, wobei die durch die zweite Bildverarbeitungseinrichtung durchgeführte Bildverarbeitung eine höhere Auflösung als die durch die erste Bildverarbeitungseinrichtung durchgeführte Bildverarbeitung hat.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die durch die erste Bildverarbeitungseinrichtung und die zweite Bildverarbeitungseinrichtung durchgeführte Bildverarbeitung eine elektronische Bildstabilisierungsverarbeitung oder eine Bildzusammensetzungsverarbeitung ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinrichtung als Metadaten Informationen erzeugt, die eine Position in einem Bild, an dem die Bewegungsvektorerfassungseinrichtung die Bewegungsvektorerfassung während des Bildaufnahmebetriebs durchführt, und das Ergebnis der Bewegungsvektorerfassung enthalten.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinrichtung als Metadaten Informationen bezüglich einer Zuverlässigkeit jedes Bewegungsvektorerfassungsbereichs erzeugt, die durch die Bewegungsvektorerfassungseinrichtung während des Bildaufnahmebetriebs erhalten wird, und die Bewegungsvektorerfassungseinrichtung keine Bewegungsvektorerfassung in einem Bereich, der als wenig zuverlässig bestimmt ist, beruhend auf den Metadaten während des Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinrichtung als Metadaten Informationen hinsichtlich der Zuverlässigkeit jedes Bewegungsvektorerfassungsbereichs erzeugt, die durch die Bewegungsvektorerfassungseinrichtung während des Bildaufnahmebetriebs erhalten wird, und die Bewegungsvektorerfassungseinrichtung die Anzahl der Bewegungsvektorerfassungsbereiche während des Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes geringer als während des Bildaufnahmebetriebs einstellt, und vorzugsweise eine Bewegungsvektorerfassung in einem Bereich beruhend auf den Metadaten durchführt, der als sehr zuverlässig bestimmt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinrichtung als Metadaten Informationen hinsichtlich der Zuverlässigkeit jedes Bewegungsvektorerfassungsbereichs erzeugt, die durch die Bewegungsvektorerfassungseinrichtung während des Bildaufnahmebetriebs erhalten wird, und die Bewegungsvektorerfassungseinrichtung die Anzahl der Bewegungsvektorerfassungsbereiche während des Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes geringer als während des Bildaufnahmebetriebs einstellt, und eine Bewegungsvektorerfassung in einer Vielzahl von Bereichen beruhend auf den Metadaten durchführt, die durch weitere Unterteilung eines Bereichs erhalten werden, der als sehr zuverlässig bestimmt ist.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Erzeugungseinrichtung als Metadaten Informationen erzeugt, die angeben, ob ein sich bewegendes Objekt vorhanden ist oder nicht, das durch die Bewegungsvektorerfassungseinrichtung während des Bildaufnahmebetriebs erhalten wird, und die zweite Bildverarbeitungseinrichtung eine Bildverarbeitung unter Verwendung eines Ergebnisses der Bewegungsvektorerfassung in einem beruhend auf den Metadaten ausgewählten Bereich während des Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes durchführt.
Bildverarbeitungsvorrichtung mit einer Analyseeinrichtung zum Analysieren von Metadaten, die Informationen bezüglich eines Ergebnisses einer Bewegungsvektorerfassung darstellen, die in Verbindung mit jedem Bildrahmen eines aus einem Bildsensor ausgegebenen Bewegtbildes aufgezeichnet sind, einer Steuereinrichtung zum Veranlassen, dass während eines Wiedergabebetriebs einer Wiedergabe des aufgezeichneten Bildes ein Bildbereich in dem Bildrahmen, in dem eine Bewegungsvektorerfassung durchzuführen ist, beruhend auf den Metadaten bestimmt wird, und dass die Bewegungsvektorerfassung unter Verwendung eines aus einem Aufzeichnungsmedium ausgegebenen Bildsignals durchgeführt wird, bei dem keine Verkleinerungsverarbeitung durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als das während eines Bildaufnahmevorgangs verwendete durchgeführt wurde, wobei die Metadaten durch eine Bewegungsvektorerfassung erhaltene Daten sind, die unter Verwendung eines aus dem Bildsensor ausgegebenen Bildsignals durchgeführt wird, bei dem während des Bildaufnahmebetriebs eine Verkleinerungsverarbeitung durchgeführt wurde.
Steuerverfahren zur Steuerung einer Bildverarbeitungsvorrichtung, mit einem Bewegungsvektorerfassungsschritt einer Durchführung einer Bewegungsvektorerfassung unter Verwendung eines aus einem Bildsensor ausgegebenen Bildsignals, einem Erzeugungsschritt einer Erzeugung von Informationen bezüglich eines Ergebnisses der Bewegungsvektorerfassung als Metadaten, einem Aufzeichnungsschritt einer Aufzeichnung jedes Bildrahmens eines aus dem Bildsensor ausgegebenen Bewegtbildes in einem Aufzeichnungsmedium in Verbindung mit den Metadaten und einem Steuerschritt eines Veranlassens, dass während eines Bildaufnahmebetriebs der Bewegungsvektorerfassungsschritt eine Bewegungsvektorerfassung unter Verwendung eines aus dem Bildsensor ausgegebenen Bildsignals durchführt, bei dem eine Verkleinerungsverarbeitung durchgeführt wurde, und dass während eines Wiedergabebetriebs der Wiedergabe des aufgezeichneten Bildes der Bewegungsvektorerfassungsschritt einen Bildbereich in jedem Bildrahmen, in dem eine Bewegungsvektorerfassung durchzuführen ist, beruhend auf den Metadaten bestimmt und eine Bewegungsvektorerfassung unter Verwendung eines aus dem Aufzeichnungsmedium ausgegebenen Bildsignals durchführt, bei dem keine Verkleinerungsverarbeitung durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als das während des Bildaufnahmebetriebs verwendete durchgeführt wurde.
Steuerverfahren zur Steuerung einer Bildverarbeitungsvorrichtung, mit einem Analyseschritt eines Analysierens von Metadaten, die Informationen hinsichtlich eines Ergebnisses einer Bewegungsvektorerfassung darstellen, die in Verbindung mit jedem Bildrahmen eines aus einem Bildsensor ausgegebenen Bewegtbildes aufgezeichnet sind, und einem Steuerschritt eines Veranlassens, dass während eines Wiedergabebetriebs einer Wiedergabe des aufgezeichneten Bildes ein Bildbereich in jedem Bildrahmen, in dem eine Bewegungsvektorerfassung durchzuführen ist, beruhend auf den Metadaten bestimmt wird, und eine Bewegungsvektorerfassung unter Verwendung eines aus einem Aufzeichnungsmedium ausgegebenen Bildsignals durchgeführt wird, bei dem keine Verkleinerungsverarbeitung durchgeführt wurde, oder bei dem eine Verkleinerungsverarbeitung unter Verwendung eines kleineren Verkleinerungsverhältnisses als das während eines Bildaufnahmebetriebs verwendete durchgeführt wurde, wobei die Metadaten durch eine Bewegungsvektorerfassung während des Bildaufnahmebetriebs erhaltene Daten sind, die unter Verwendung eines aus dem Bildsensor ausgegebenen Bildsignals durchgeführt wird, bei dem eine Verkleinerungsverarbeitung durchgeführt wurde.
Computerlesbares Speichermedium, das ein Programm zur Veranlassung eines Computers zur Ausführung der Schritte des Steuerverfahrens nach Anspruch 10 oder 11 speichert, wenn das Programm auf dem Computer abläuft.