DE102018118620A1

DE102018118620A1 - Bildaufnahmevorrichtung und Steuerverfahren von dieser

Info

Publication number: DE102018118620A1
Application number: DE102018118620.7A
Authority: DE
Inventors: Kenji Takeuchi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-08-03
Filing date: 2018-08-01
Publication date: 2019-02-07
Also published as: CN109391755A; US20190045127A1; JP2019029968A; CN109391755B; US10623644B2; JP7009107B2

Abstract

Ein Vibrationssensor einer Bildaufnahmevorrichtung detektiert ein Wackeln einer Bildaufnahmevorrichtung und erfasst Wackelinformationen. Eine Bildgebungseinheit gibt ein Bildsignal eines Objekts an eine Bildgebungssignalverarbeitungseinheit aus. Eine Bewegungsvektordetektionseinheit berechnet einen Bewegungsvektor gemäß einem Bildsignal nach Bildgebung. Eine Merkmalspunktverfolgungseinheit führt eine Merkmalspunktverfolgung durch Berechnung eines Koordinatenwerts eines Objekts auf einer Fotografiebildfläche unter Verwendung des Bewegungsvektors durch. Eine Merkmalskoordinatenkennfeld- und Positions- und Lageschätzeinheit schätzt eine Position oder Lage der Bildaufnahmevorrichtung auf Grundlage von Informationen, die dadurch erhalten werden, dass ein Bandbegrenzungsfilter eine Bandbegrenzung auf Wackelinformationen von einem Vibrationssensor durchführt, und einer Ausgabe der Merkmalspunktverfolgungseinheit. Eine Schätzeinheit bewertet einen Schätzfehler und ändert ein durch das Bandbegrenzungsfilter begrenztes Band auf Grundlage des berechneten Bewertungswerts oder ändert eine Korrekturverstärkung zur Zeit einer Korrektur des Schätzwerts gemäß einem Korrekturwert.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine optische Vorrichtung wie etwa eine Videokamera, eine digitale Fotokamera oder ein Wechselobjektiv von dieser, und insbesondere auf eine Bildaufnahmevorrichtung mit einer Schätzfunktion einer Eigenposition und -lage, sowie ein Steuerverfahren von dieser.
Beschreibung der verwandten Technik
Es gibt eine Bildaufnahmevorrichtung, die eine Funktion zum Korrigieren von Bildverwacklung eines Objekts bzw. Motivs aufweist, das aufgrund eines Handwackelns bzw. -zitterns und dergleichen auftritt. Es ist notwendig, eine Vibration und eine Lageveränderung, die auf einen Hauptkörper bzw. ein Gehäuse einer Bildaufnahmevorrichtung angewandt werden, unter Verwendung eines Trägheitssensors zu detektieren, um eine Bildverwacklungskorrektur durchzuführen. Außerdem tritt eine Positionsveränderung aufgrund einer von einem Fotografen beabsichtigten Bewegung (die hierin nachstehend als Kameraführung bezeichnet wird) beim Fotografieren auf, bei dem der Fotograf ein Objekt bzw. Motiv (ein bewegliches Objekt oder ein stehendes Objekt) in einem Fotografie-Bild- bzw. Blickwinkel aufnimmt, während er sich mit dem Objekt bzw. Motiv bewegt. Die Bildaufnahmevorrichtung muss die Positionsveränderung aufgrund der Kameraführung getrennt von der Lageveränderung von dieser detektieren.
Als Verfahren zum Erfassen von Informationen der Position und Lage eines beweglichen Objekts gibt es Verfahren unter Verwendung von Trägheitsnavigationsdaten eines Trägheitssensors und Positionierungsdaten von dem Global Positioning System (GPS). Das US-Patent Nr. 8494225 offenbart ein Verfahren zum Korrigieren eines Schätzfehlers von Positions- und Lageschätzinformationen, die durch einen Trägheitssensor geschätzt werden, unter Verwendung von Bewegungsinformationen eines Bilds. Außerdem gibt es eine Technik der Positions- und Lageschätzung (Optik- und Trägheitssensorfusion), die eine Struktur aus Bewegung (SFM: „Structure From Motion“) und einen Trägheitssensor verwendet, als ein Eigenpositionsschätzverfahren zum Detektieren einer Lage und Position einer Bildaufnahmevorrichtung. Es ist ein Verfahren zum Schätzen einer dreidimensionalen Position eines Objekts in einem realen Raum sowie der Position und Lage einer Bildaufnahmevorrichtung unter Verwendung dieser Technik bekannt.
Gemäß dem Stand der Technik kann eine Korrektur unter Verwendung von Bildinformationen nicht korrekt durchgeführt werden, wenn eine Variation bzw. Schwankung eines Biasfehlers eines Trägheitssensors aufgrund einer Variation einer Fotografieumgebung sehr groß ist, oder wenn eine Ausgabe eines Trägheitssensors aufgrund einer plötzlichen Änderung der Kameraführung stark variiert bzw. schwankt, und dergleichen. Alternativ gibt es Probleme dahingehend, dass eine korrekte Positions- und Lageschätzung nicht durchgeführt wird, und dergleichen, bis die Korrektur abgeschlossen ist, wenn es eine lange Zeit braucht, bis ein Biasfehler korrekt korrigiert ist.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine Bildaufnahmevorrichtung bereit, die im Stande ist zum Erfassen von Wackelinformationen und Durchführen einer Positions- und Lageschätzung mit hoher Genauigkeit, sowie ein Steuerverfahren von dieser.
Eine Vorrichtung gemäß einem Aspekt der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung, die ein Bildsignal unter Verwendung einer Bildgebungseinheit erfasst, mit: einer ersten Erfassungseinheit, die konfiguriert ist zum Erfassen von ersten Informationen, die ein Wackeln der Bildaufnahmevorrichtung bezeichnen, das durch eine Wackeldetektionseinheit detektiert wird; einer zweiten Erfassungseinheit, die konfiguriert ist zum Erfassen von zweiten Informationen, die eine Bewegung eines Objekts bezeichnen, die in einem Bildsignal durch die Bildgebungseinheit detektiert wird; und einer Schätzeinheit, die konfiguriert ist zum Schätzen einer Position oder Lage der Bildaufnahmevorrichtung, wobei die Schätzeinheit umfasst: eine Berechnungseinheit, die konfiguriert ist zum Berechnen eines Schätzwerts der Position oder Lage der Bildaufnahmevorrichtung gemäß den bandbegrenzten ersten Informationen oder den ersten und zweiten Informationen, und eine Korrektureinheit, die konfiguriert ist zum Berechnen eines Korrekturwerts für den Schätzwert unter Verwendung der zweiten Informationen.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen (unter Bezugnahme auf die beigefügten Zeichnungen) deutlich.
Figurenliste

1 ist eine Darstellung, die ein Konfigurationsbeispiel einer Bildaufnahmevorrichtung gemäß Ausführungsbeispielen der vorliegenden Erfindung zeigt.
2 ist eine Darstellung, die ein Konfigurationsbeispiel eines Merkmalskoordinatenkennfeld- und einer Positions- und Lageschätzeinheit gemäß den Ausführungsbeispielen der vorliegenden Erfindung zeigt.
3 ist eine Darstellung, die eine interne Konfiguration der Positions- und Lageschätzeinheit gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung beschreibt.
4 ist eine Darstellung, die eine Beziehung zwischen einer Position und einer Lage einer Bildaufnahmevorrichtung in einem Bewegtbildrahmen, dreidimensionale Merkmalspunktkoordinaten und Merkmalspunktkoordinaten in einem fotografierten Bild darstellt.
5 ist eine Beziehungsdarstellung zwischen einer Koordinatenposition eines Objekts in Weltkoordinaten und einer Koordinatenposition in Kamerakoordinaten.
6 ist eine Darstellung, die ein Modell einer perspektivischen Projektion darstellt, wobei eine virtuelle Bildgebungsfläche vor einer Linse eingerichtet ist.
7 ist eine Darstellung, die eine detaillierte interne Konfiguration der Positions- und Lagekorrektureinheit beschreibt.
8A und 8B sind Darstellungen, die Beziehungen zwischen einer Größe eines Vibrationssensorrauschens und Steuerungsparametern darstellen.
9 ist ein Ablaufdiagramm einer Positions- und Lageschätzverarbeitung gemäß dem ersten Ausführungsbeispiel.
10 ist eine Darstellung, die eine interne Konfiguration einer Positions- und Lageschätzeinheit gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung beschreibt.
11 ist ein Ablaufdiagramm einer Positions- und Lageschätzverarbeitung gemäß dem zweiten Ausführungsbeispiel.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Ausführungsbeispiele der vorliegenden Erfindung werden unter Bezugnahme auf begleitende Zeichnungen beschrieben. Bei jedem Ausführungsbeispiel wird eine Bildaufnahmevorrichtung mit einer Positions- und Lageschätzfunktion beispielhaft dargelegt.
[Erstes Ausführungsbeispiel]
1 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Bildaufnahmevorrichtung gemäß dem vorliegenden Ausführungsbeispiel zeigt. Eine Bildaufnahmevorrichtung 100 ist zum Beispiel eine digitale Fotokamera und weist eine Bewegtbildfotografiefunktion auf.
Die Bildaufnahmevorrichtung 100 umfasst eine Zoomeinheit 101. Die Zoomeinheit 101 bildet ein optisches Bilderzeugungssystem und umfasst eine Zoomlinse zum Ändern einer Fotografievergrößerung. Eine Zoomansteuereinheit 102 steuert bzw. treibt die Zoomeinheit 101 gemäß einem Steuersignal von einer Steuereinheit 119 an. Eine (hierin nachstehend als Korrekturlinse bezeichnete) Bildverwacklungskorrekturlinse 103 ist ein bewegliches optisches Element, das eine Bildverwacklung korrigiert. Die Korrekturlinse 103 ist in einer Richtung beweglich, die orthogonal zu einer Richtung einer optischen Achse eines optischen Bildgebungssystems ist. Eine Bildverwacklungskorrekturlinsenansteuereinheit 104 steuert ein Ansteuern bzw. Antreiben der Korrekturlinse 103 gemäß einem Steuersignal von der Steuereinheit 119. Eine Blenden-/Verschlusseinheit 105 umfasst einen mechanischen Verschluss mit einer Blendenfunktion. Eine Blenden- und Verschlussansteuereinheit 106 steuert bzw. treibt die Blenden-/Verschlusseinheit 105 gemäß einem Steuersignal von der Steuereinheit 119 an. Eine Fokuslinse 107 ist eine bewegliche Linse, die zur Brennpunktanpassung verwendet wird, und deren Position entlang der optischen Achse des optischen Bildgebungssystems geändert werden kann. Eine Fokusansteuereinheit 108 steuert bzw. treibt die Fokuslinse 107 gemäß einem Steuersignal von der Steuereinheit 119 an.
Die Bildgebungseinheit 109 erfasst ein Bildsignal durch Umwandlung eines optischen Bilds, das durch das optische Bildgebungssystem gebildet wird, in ein elektrisches Signal in einer Pixeleinheit durch ein Bildgebungselement wie etwa einen CCD-Bildsensor oder einen CMOS-Bildsensor. CCD ist eine Abkürzung für „Charge Coupled Device“. CMOS ist eine Abkürzung für „Complementary Metal-Oxide Semiconductor“. Eine Bildgebungssignalverarbeitungseinheit 110 führt eine Analog(A)/Digital(D)-Wandlungs-, eine Korrelierte-Doppelabtastungs-, eine Gammakorrektur-, eine Weißabgleichkorrektur- und eine Farbinterpolationsverarbeitung auf einem durch die Bildgebungseinheit 109 ausgegebene Bildsignal durch, um dieses in ein Videosignal umzuwandeln.
Eine Videosignalverarbeitungseinheit 111 verarbeitet ein von der Bildgebungssignalverarbeitungseinheit 110 erfasstes Bildsignal gemäß einer Anwendung. Im Speziellen erzeugt die Videosignalverarbeitungseinheit 111 ein Bildsignal zur Anzeige, und führt sie eine Verarbeitung zur Umwandlung von diesem in Code oder eine Verarbeitung zur Umwandlung von diesem in eine Datendatei zur Aufzeichnung durch. Eine Anzeigeeinheit 112 zeigt gegebenenfalls ein Bild gemäß einem Bildsignal zur Anzeige an, das durch die Videosignalverarbeitungseinheit 111 ausgegeben wird. Eine Energieversorgungseinheit 115 liefert Energie an jede Einheit der Bildaufnahmevorrichtung gemäß einer Anwendung. Eine Extern-Eingabe-/Ausgabeanschlusseinheit 116 wird verwendet zum Empfangen oder Ausgeben eines Kommunikationssignals oder eines Videosignals von oder zu einer externen Vorrichtung. Eine Bedieneinheit 117 hat ein Bedienelement wie etwa eine Taste oder einen Schalter für einen Benutzer zum Geben einer Anweisung an die Bildaufnahmevorrichtung. Zum Beispiel hat die Bedieneinheit 117 einen Auslöseschalter, der derart konfiguriert ist, dass ein erster Schalter (bezeichnet als SW1) und ein zweiter Schalter (bezeichnet als SW2) gemäß einem Drückbetrag einer Auslösetaste nacheinander eingeschaltet werden. Außerdem hat die Bedieneinheit 117 verschiedene Arten von Moduseinstellschaltern. Eine Speichereinheit 118 speichert verschiedene Arten von Daten, die Bild- (oder Video-) Informationen oder dergleichen enthalten.
Die Steuereinheit 119 hat zum Beispiel eine CPU, einen ROM und einen RAM. CPU ist eine Abkürzung für „Central Processing Unit‟. ROM ist eine Abkürzung für „Read Only Memory“. RAM ist eine Abkürzung für „Random Access Memory“. Die CPU entwickelt ein in dem ROM gespeichertes Steuerprogramm in dem RAM und steuert jede Einheit der Bildaufnahmevorrichtung 100, um verschiedene Vorgänge zu verwirklichen, die nachstehend zu beschreiben sind. Wenn SW1 eingeschaltet wird, indem eine Halbdrückbedienung auf der in der Bedieneinheit 117 umfassten Auslösetaste vorgenommen wird, berechnet die Steuereinheit 119 einen Autofokus-(AF-)Bewertungswert auf Grundlage eines Videosignals zur Anzeige, das durch die Videosignalverarbeitungseinheit 111 an die Anzeigeeinheit 112 ausgegeben wird. Die Steuereinheit 119 führt eine automatische Brennpunktdetektion und eine Brennpunktanpassungssteuerung durch Steuerung der Fokusansteuereinheit 108 auf Grundlage des AF-Bewertungswerts durch. Außerdem führt die Steuereinheit 119 eine Autobelichtung-(AE-)Verarbeitung, um einen Blendenwert und eine Verschlussgeschwindigkeit zu bestimmen, um einen geeigneten Belichtungsbetrag zu erhalten, auf Grundlage von Luminanz- bzw. Helligkeitsinformationen eines Videosignals und einem vorbestimmten Programmablauf durch. Weiterhin, wenn SW2 eingeschaltet wird, indem eine Volldrückbedienung auf der Auslösetaste vorgenommen wird, führt die Steuereinheit 119 eine Fotografieverarbeitung unter Verwendung des Blendenwerts und der Verschlussgeschwindigkeit durch, die bestimmt werden, und steuert sie jede Verarbeitungseinheit, so dass durch die Bildgebungseinheit 109 erhaltene Bilddaten in der Speichereinheit 118 gespeichert werden.
Die Bedieneinheit 117 hat einen Bedienschalter, der zur Auswahl eines Bildverwacklungskorrektur- (Vibrationsschutz-/beständigkeits-) Modus verwendet wird. Wenn ein Bildverwacklungskorrekturmodus durch eine Bedienung dieses Bedienschalters ausgewählt wird/ist, weist die Steuereinheit 119 die Bildverwacklungskorrekturlinsenansteuereinheit 104 an, einen Bildverwacklungskorrekturbetrieb durchzuführen. Die Bildverwacklungskorrekturlinsenansteuereinheit 104 führt einen Bildverwacklungskorrekturbetrieb gemäß einem Steuerbefehl der Steuereinheit 119 durch, bis eine Anweisung zum Ausschalten der Bildverwacklungskorrektur abgegeben wird. Außerdem hat die Bedieneinheit 117 einen Fotografiemodusauswahlschalter, der im Stande ist zum Auswählen von einem von einem Stehbildfotografiemodus und einem Bewegtbildfotografiemodus. Eine Auswahlverarbeitung eines Fotografiemodus wird durch eine Benutzerbedienung des Fotografiemodusauswahlschalters durchgeführt, und die Steuereinheit 119 ändert eine Betriebsbedingung der Bildverwacklungskorrekturlinsenansteuereinheit 104. Die Bildverwacklungskorrekturlinsenansteuereinheit 104 bildet eine Bildverwacklungskorrektureinrichtung des vorliegenden Ausführungsbeispiels. Außerdem hat die Bedieneinheit 117 einen Wiedergabemodusauswahlschalter zum Auswählen eines Wiedergabemodus. Wenn ein Benutzer einen Wiedergabemodus durch eine Bedienung des Wiedergabemodusauswahlschalters auswählt, führt die Steuereinheit 119 eine Steuerung zum Stoppen des Bildverwacklungskorrekturbetriebs durch. Die Bedieneinheit 117 hat einen Vergrößerungsänderungsschalter zum Vornehmen einer Anweisung einer Zoomvergrößerungsänderung. Wenn eine Zoomvergrößerungsänderung durch eine Benutzerbedienung des Vergrößerungsänderungsschalters angewiesen wird, steuert die Zoomansteuereinheit 102, die die Anweisung von der Steuereinheit 119 empfängt, die Zoomeinheit 101 an, um eine Zoomlinse an eine angewiesene Position zu bewegen.
2 ist ein Blockschaltbild, das eine Konfiguration zur Verwirklichung einer Positions- und Lageschätzung der Bildaufnahmevorrichtung gemäß dem vorliegenden Ausführungsbeispiel zeigt. Die Bildaufnahmevorrichtung 100 umfasst einen ersten Vibrationssensor 201 und einen zweiten Vibrationssensor 203. Der erste Vibrationssensor 201 ist ein Winkelgeschwindigkeitssensor, der eine Winkelgeschwindigkeit der Bildaufnahmevorrichtung 100 detektiert, und der zweite Vibrationssensor 203 ist ein Beschleunigungssensor, der eine translatorische Beschleunigung der Bildaufnahmevorrichtung 100 detektiert. Ein A/D-Wandler 202 wandelt ein durch den ersten Vibrationssensor 201 detektiertes Analogsignal in Digitaldaten. Ein A/D-Wandler 204 wandelt ein durch den zweiten Vibrationssensor 203 detektiertes Analogsignal in Digitaldaten.
Eine Bewegungsvektordetektionseinheit 210 detektiert einen Bewegungsvektor auf Grundlage eines Signals, das dadurch erhalten wird, dass die Bildgebungssignalverarbeitungseinheit 110 Bilddaten verarbeitet, die durch die Bildgebungseinheit 109 erfasst werden. Eine Merkmalspunktverfolgungseinheit 209 erfasst den Bewegungsvektor von der Bewegungsvektordetektionseinheit 210, und sie detektiert und verfolgt eine Bewegungsposition von Koordinaten in jedem Rahmen bzw. Vollbild zu der Zeit eines Fotografierens bzw. Aufnehmens eines Bewegtbilds für einen vorbestimmten Merkmalspunkt in einem fotografierten Bild.
Eine (hierin nachstehend einfach als Schätzeinheit bezeichnete) Merkmalskoordinatenkennfeld- und Positions- und Lageschätzeinheit 205 erfasst Wackel- bzw. Erschütterungsinformationen von jedem der Vibrationssensoren 201 und 203 von den A/D-Wandlern 202 und 204 und Wackel- bzw. Erschütterungsinformationen basierend auf Bildinformationen von der Merkmalspunktverfolgungseinheit 209. Die Schätzeinheit 205 schätzt ein Merkmalskoordinatenkennfeld basierend auf diesen Informationen. Das Merkmalskoordinatenkennfeld stellt Informationen dar, die eine Positionsbeziehung umfassend eine Position und Lage der Bildaufnahmevorrichtung 100 und eine Tiefe eines fotografierten Objekts bzw. Motivs mit Bezug auf die Bildaufnahmevorrichtung bezeichnen. Die Schätzeinheit 205 ist aufgebaut durch eine Merkmalskoordinatenkennfeldschätzeinheit 206, eine Positions- und Lageschätzeinheit 207, eine Positions- und Lagekorrektureinheit 208 und eine Vibrationssensorrauschenbestimmungseinheit 211.
Als Nächstes werden unter Bezugnahme auf 3 eine Konfiguration und eine Verarbeitung der Positions- und Lageschätzeinheit 207 beschrieben. 3 ist eine Darstellung, die ein Konfigurationsbeispiel der Positions- und Lageschätzeinheit 207 zeigt. Die Positions- und Lageschätzeinheit 207 ist aufgebaut durch eine Lageschätzeinheit 401 und eine Positionsschätzeinheit 420. Die Lageschätzeinheit 401 schätzt eine Lage bzw. eine Stellung bzw. eine Haltung der Bildaufnahmevorrichtung 100, und die Positionsschätzeinheit 420 schätzt eine Position bzw. einen Ort der Bildaufnahmevorrichtung 100.
Die Lageschätzeinheit 401 umfasst Addierer 402, 405 und 406. In der folgenden Beschreibung wird eine Subtraktion durch einen Addierer als Addition eines negativen Werts durchgeführt. Die Lageschätzeinheit 401 umfasst eine Bewegungsgleichungsoperationseinheit 403 zum Durchführen einer Operation in Bezug auf eine Lageveränderung der Bildaufnahmevorrichtung 100, ein Hochpassfilter 404, ein Verzögerungselement 408 und eine Rotationsmatrixwandlungseinheit 407. Das Hochpassfilter 404, das eine Bandbegrenzung eines Frequenzbands durchführt, ist ein Filter, das zum Ändern einer Grenzfrequenz im Stande ist. Das Verzögerungselement 408 hat eine Funktion zum Verzögern eines Signals um eine Abtastung bzw. einen Abtastwert eines Operationszyklus, wenn eine Lageschätzoperation mit einem vorbestimmten Zyklus ausgeführt wird. Eine Rotationsmatrixwandlungseinheit 407 wandelt Lageinformationen von einem Quaternion- (Quaternion) Ausdruck in einen Rotations- bzw. Drehmatrixausdruck.
Außerdem umfasst die Positionsschätzeinheit 420 Addierer 409, 411, 413, 414 und 415, eine Beschleunigungsoperationseinheit 410 in Weltkoordinaten, Hochpassfilter 412 und 417, sowie Verzögerungselemente 416 und 418. Beide der Hochpassfilter 412 und 417 sind Filter, die zum Ändern einer Grenzfrequenz im Stande sind. Zunächst wird eine Lageschätzung durch die Lageschätzeinheit 401 beschrieben. Die Winkelgeschwindigkeit der Bildaufnahmevorrichtung 100 und ein Winkelgeschwindigkeitsbiasschätzwert, der durch die nachstehend zu beschreibende Positions- und Lagekorrektureinheit 208 berechnet wird, sind wie folgt definiert.
ω_m: Eine Winkelgeschwindigkeit der Bildaufnahmevorrichtung 100, die durch den ersten Vibrationssensor 201 (Winkelgeschwindigkeitssensor) detektiert wird.
b̂_g: Ein Winkelgeschwindigkeitsbiasschätzwert, der durch die Positions- und Lagekorrektureinheit 208 berechnet wird.
Der Addierer 402 führt eine Biaskorrektur unter Verwendung von Gleichung 1 durch und gibt ein Ergebnis in Bezug auf eine Lageveränderung an die Bewegungsgleichungsoperationseinheit 403 aus. $ω = ω_{m} - {\hat{b}}_{g}$
Ein Lageschätzwert ist definiert wie in Math 3 nachstehend. Das Verzögerungselement 408 gibt einen Lageschätzwert von einer Abtastung bzw. einem Abtastwert vorher aus, der verzögert ist. Eine Abtastung bzw. ein Abtastwert vorher meint, dass es eine um eine Länge eines Zyklus (eine Abtastperiode) entsprechend einer vorbestimmten Abtastfrequenz vergangene bzw. verstrichene Zeit ist. $\hat{\bar{q}}$
Die Bewegungsgleichungsoperationseinheit 403 erhält eine Lage unter Verwendung von Gleichung 2 auf Grundlage des Lageschätzwerts von einer Abtastung bzw. einem Abtastwert vorher und ω von Gleichung 1. $_{W}^{C} \hat{\bar{q}} = \frac{1}{2} Ω {(ω)}_{W}^{C} \hat{\bar{q}}$
Die Bedeutungen der Symbole sind wie folgt.
q: Quaternion
$_{W}^{C} \hat{\bar{q}} :$
Quaternion, die eine Rotation bzw. Drehung von Weltkoordinaten (W) in Kamerakoordinaten (C), die an der Bildaufnahmevorrichtung 100 fixiert sind, darstellt.
Die Weltkoordinaten sind feste Koordinaten, die Koordinaten eines Objekts ungeachtet einer Position der Bildaufnahmevorrichtung spezifizieren, wie es in 5 gezeigt ist. Um die Beschreibung des vorliegenden Ausführungsbeispiels zu vereinfachen, wird angenommen, dass ein Koordinatensystem, das der erste Vibrationssensor 201 und der zweite Vibrationssensor 203 verwenden, mit Kamerakoordinaten übereinstimmt bzw. zusammenfällt. Außerdem kann Ω(ω) in Gleichung 2 unter Verwendung von Gleichung 3 berechnet werden. $Ω (ω) = [\begin{matrix} - ⌊ ω X ⌋ & ω \\ - ω^{T} & 0 \end{matrix}] ω$
$⌊ ω X ⌋$
ist eine symmetrische Verzerrungsmatrix
Die Bewegungsgleichungsoperationseinheit 403 gibt einen Lagewinkeländerungsbetrag, der ein Operationsergebnis darstellt, an das Hochpassfilter 404 aus. Das Hochpassfilter 404 führt eine Bandbegrenzung auf dem Lagewinkeländerungsbetrag durch, um eine Niederfrequenzkomponente zu beseitigen. Der Addierer 405 addiert eine Ausgabe des Hochpassfilters 404 und eine Ausgabe des Verzögerungselements 408 (den Lageschätzwert von einer Abtastung bzw. einem Abtastwert vorher) und operiert bzw. errechnet einen Lageschätzwert bei einer nächsten Abtastung bzw. einem nächsten Abtastwert. Indem eine Integration nach Beseitigung einer Niederfrequenzkomponente auf diese Art und Weise durchgeführt wird, ist es möglich, eine Driftschwankung eines Lageschätzwerts durch einen Winkelgeschwindigkeitsbiasfehler selbst in einem Zustand zu unterdrücken, in dem ein Winkelgeschwindigkeitsbiasschätzfehler b̂_g korrekt geschätzt wird oder ein Schätzfehler groß ist.
Eine Ausgabe des Addierers 405 wird an den Addierer 406 und das Verzögerungselement 408 gesendet, und das Verzögerungselement 408 gibt ein Verzögerungssignal an die Bewegungsgleichungsoperationseinheit 403 und die Rotationsmatrixwandlungseinheit 407 aus. Ein Lageschätzwert, der eine Ausgabe des Addierers 405 ist, wird in dem Addierer 406 gemäß dem nachstehend zu beschreibenden Lageschätzkorrekturwert korrigiert und als endgültiger Lageschätzwert ausgegeben.
Als Nächstes wird eine Positionsschätzung durch die Positionsschätzeinheit 420 beschrieben. Eine Beschleunigung der Bildaufnahmevorrichtung 100 und ein Beschleunigungsbiasschätzwert, der durch die nachstehend zu beschreibende Positions- und Lagekorrektureinheit 208 berechnet wird, sind wie folgt definiert.
a_m: Eine Beschleunigung der Bildaufnahmevorrichtung 100, die durch den zweiten Vibrationssensor 203 (Beschleunigungssensor) detektiert wird.
b̂_a: Ein Beschleunigungsbiasschätzwert, der durch die Positions- und Lagekorrektureinheit 208 berechnet wird.
Der Addierer 409 führt eine Biaskorrektur unter Verwendung von Gleichung 4 durch und gibt ein Ergebnis in den Weltkoordinaten an die Beschleunigungsoperationseinheit 410 aus. $a = a_{m} - {\hat{b}}_{a}$
Ein Geschwindigkeitsschätzwert wird als V̂_C bezeichnet.
Das Verzögerungselement 416 gibt den Geschwindigkeitsschätzwert von einer Abtastung bzw. einem Abtastwert vorher aus, der verzögert ist. Die Beschleunigungsoperationseinheit 410 erfasst den Geschwindigkeitsschätzwert von einer Abtastung bzw. einem Abtastwert vorher und eine Ausgabe des Addierers 409. Die Beschleunigungsoperationseinheit 410 und der Addierer 411 erhalten eine Geschwindigkeit der Bildaufnahmevorrichtung 100 unter Verwendung von Gleichung 5 auf Grundlage einer Gravitationsbeschleunigung g in den Weltkoordinaten und geben diese an das Hochpassfilter 417 aus. $^{w} {\hat{V}}_{C} = C_{_{W}^{C} \hat{\bar{q}}}^{T} (a) - g$
$C_{_{W}^{C} \hat{\bar{q}}}^{T} :$
Eine Rotations- bzw. Drehmatrix, die durch Umwandlung eines durch die Lageschätzeinheit 401 geschätzten Lageschätzwerts $_{W}^{C} \hat{\bar{q}}$
erhalten wird.
Der zweite Vibrationssensor 203, der ein Beschleunigungssensor ist, detektiert eine Beschleunigung in dem Kamerakoordinatensystem. Es ist notwendig, das Koordinatensystem zu wandeln, um dieses als Beschleunigungsinformationen in dem Weltkoordinatensystem festzulegen, für die es ursprünglich vorgesehen ist, dass sie geschätzt werden. Daher wird eine Verarbeitung zum Wandeln von Beschleunigungsinformationen in dem Kamerakoordinatensystem in Beschleunigungsinformationen in dem Weltkoordinatensystem gemäß einer Rotations- bzw. Drehmatrix $C_{_{W}^{C} \hat{\bar{q}}}^{T}$
durchgeführt, die einen Lageschätzwert der Bildaufnahmevorrichtung darstellt.
Da der zweite Vibrationssensor 203 eine Gravitationsbeschleunigung zusätzlich zu einer Beschleunigung detektiert, die durch eine Bewegung der Bildaufnahmevorrichtung 100 verursacht wird, beseitigt der Addierer 411 einen Einfluss der Gravitationsbeschleunigung durch Subtraktion der Gravitationsbeschleunigung g von einer Ausgabe der Beschleunigungsoperationseinheit 410 gemäß Gleichung 5.
Außerdem werden bei dem vorliegenden Ausführungsbeispiel Maßnahmen getroffen gegen Einflüsse eines Schätzfehlers eines Beschleunigungsbiasschätzfehlers b̂_a und eines Lageschätzfehlers, der durch die Lageschätzeinheit 401 geschätzt wird. Es besteht ein Problem dahingehend, dass aufgrund dieser Fehler eine Drift in einem Geschwindigkeitsschätzwert ^wV̂_C auftreten kann, der durch Integration einer Beschleunigung berechnet wird. Daher beseitigt das Hochpassfilter 412 einen Niederfrequenzkomponentenfehler von Beschleunigungsinformationen in Weltkoordinaten aus einer Ausgabe des Addierers 411. Eine Ausgabe des Hochpassfilters 412 wird durch den Addierer 413 erfasst und mit einem Verzögerungssignal von einer Abtastung bzw. einem Abtastwert vorher des Verzögerungselements 416 addiert. Das Verzögerungselement 416 erfasst eine Ausgabe des Addierers 413 und gibt das Verzögerungssignal an die Beschleunigungsoperationseinheit 410 aus.
Ein durch den Addierer 413 ausgegebener Geschwindigkeitsschätzwert (Math 16) hat ferner eine Niederfrequenzkomponente, die durch das Hochpassfilter 417 beseitigt wird. Der Addierer 414 addiert eine Ausgabe des Hochpassfilters 417 und einen Positionsschätzwert von einer Abtastung bzw. einem Abtastwert vorher, der durch das Verzögerungselement 418 ausgegeben wird. Eine Ausgabe nach der Addition ^wp̂_C wird an den Addierer 415 und das Verzögerungselement 418 gesendet. Der Addierer 415 führt eine Korrektur durch Addition eines nachstehend zu beschreibenden Positionsschätzkorrekturwerts zu einer Ausgabe des Addierers 414 durch und gibt einen endgültigen Positionsschätzwert aus.
Wie es vorstehend beschrieben ist, kann bei einer Positionsschätzung ein Driftfehler in einem Ergebnis der Positionsschätzung auftreten, da eine Position durch eine Integrationsverarbeitung zweiter Ordnung einer Beschleunigung gegenüber einer Lageschätzoperation geschätzt wird, wenn ein Biasfehler in der Beschleunigung und einem Geschwindigkeitsschätzwert vorliegt. Außerdem kann, da ein Ergebnis einer Schätzung durch die Lageschätzeinheit 401 verwendet wird, wenn ein Einfluss einer Gravitationsbeschleunigung aus Beschleunigungsinformationen beseitigt wird/ist, eine große Drift aufgrund eines Lageschätzfehlers auftreten. Daher wird bei dem vorliegenden Ausführungsbeispiel eine Hochpassfilterverarbeitung in einer Positionsschätzoperation durchgeführt, bevor der Beschleunigungsbiasschätzfehler b̂_a geschätzt wird, oder während ein Fehler eines Lageschätzwerts, der durch die Lageschätzeinheit geschätzt wird, groß ist. Es ist möglich, eine Drift des Positionsschätzwerts zu unterdrücken, indem eine Niederfrequenzkomponente durch die Hochpassfilter 412 und 417 zweimal beseitigt wird.
Als Nächstes wird ein Merkmalskoordinatenkennfeldschätzverfahren in der Merkmalskoordinatenkennfeldschätzeinheit 206 beschrieben. Die Merkmalskoordinatenkennfeldschätzeinheit 206 verwendet Harris-Eckpunkte, SIFT-Merkmale oder dergleichen als Extraktionsmethode eines Merkmalspunkts. Außerdem wird, im Hinblick auf eine Verfolgungsmethode eines Merkmalspunkts durch die Merkmalspunktverfolgungseinheit 209, wenn ein an einem Merkmalspunkt zentriertes quadratisches Fenster bereitgestellt wird/ist und ein neuer Rahmen bzw. ein neues Vollbild eines Bewegtbilds gegeben wird/ist, ein Verfahren zum Erhalten eines Punkts verwendet, an dem ein Rest innerhalb eines Fensters zwischen Rahmen bzw. Vollbildern am kleinsten ist. Eine Position und eine Lage der Bildaufnahmevorrichtung und eine Position eines Merkmalspunkts in einem durch die Bildaufnahmevorrichtung abgebildeten bzw. aufgenommenen realen Raum werden gemäß einer Struktur aus Bewegung (SFM „Structure From Motion“) unter Verwendung von Merkmalspunktverfolgungsinformationen in jedem Rahmen bzw. Vollbild, die auf diese Art und Weise erhalten werden, gleichzeitig geschätzt.
4 ist eine schematische Darstellung, die eine Beziehung zwischen einer Position und Lage der Bildaufnahmevorrichtung 100 in einem Bewegtbildrahmen, dreidimensionalen Merkmalspunktkoordinaten und Merkmalspunktkoordinaten in einem fotografierten Bild darstellt. Merkmalskoordinaten eines Merkmalspunktkoordinatenkennfelds in einem dreidimensionalen Raum, die zu schätzende Tiefeninformationen umfassen, werden ausgedrückt als (X, Y, Z). Für eine Kameraposition und -lage in einem ersten Rahmen (Rahmen 1) wird eine Kameraposition ausgedrückt als O (Ursprung), und wird eine Kameralage ausgedrückt als I (Einheitsmatrix). Merkmalskoordinaten auf einer Fotografiebildfläche bzw. einem -schirm zu dieser Zeit werden ausgedrückt als (u₁, v₁).
Außerdem, für eine Kameraposition und -lage in einem zweiten Rahmen (Rahmen 2), wird eine Kameraposition ausgedrückt als T, wird eine Kameralage ausgedrückt als R, und werden Merkmalskoordinaten auf der Fotografiebildfläche bzw. dem - schirm zu dieser Zeit ausgedrückt als (u₂, v₂).
Unter Bezugnahme auf 5 bis 7 wird eine Konfiguration der Positions- und Lagekorrektureinheit 208 beschrieben. Die Positions- und Lagekorrektureinheit 208 gemäß 7 ist aufgebaut durch eine Merkmalskoordinatenwandlungseinheit für ein fotografiertes Bild 301, einen Addierer 302, eine Positions- und Lagerückkopplungsgewinneinheit 303 und eine Biasschätzgewinneinheit 304. Die Merkmalskoordinatenwandlungseinheit für ein fotografiertes Bild wird nachstehend einfach als Koordinatenwandlungseinheit bezeichnet, und die Positions- und Lagerückkopplungsgewinneinheit wird nachstehend einfach als FB-Gewinneinheit bezeichnet. Ein Gewinn- bzw. Verstärkungswert der FB-Gewinneinheit 303 entspricht einer Korrekturvergrößerung bzw. -verstärkung für eine Positions- und Lagekorrektur. Außerdem entspricht ein Gewinn- bzw. Verstärkungswert der Biasschätzgewinneinheit 304 einer Korrekturvergrößerung bzw. -verstärkung für eine Biaskorrektur. Jeder Gewinn- bzw. Verstärkungswert ist ein variabler Wert.
In der Koordinatenwandlungseinheit 301 wird eine Verarbeitung zum Wandeln von Merkmalskoordinatenkennfeldinformationen in dem dreidimensionalen Raum, auch umfassend Tiefeninformationen, die durch die Merkmalskoordinatenkennfeldschätzeinheit 206 geschätzt werden, und eines Positions- und Lageschätzwerts durch die Positions- und Lageschätzeinheit 207 in Merkmalspunktkoordinaten in einem fotografierten Bild durchgeführt. Die Koordinatenwandlungseinheit 301 wandelt zunächst dreidimensionale Merkmalskoordinaten in einem Weltkoordinatensystem, die durch die Merkmalskoordinatenkennfeldschätzeinheit 206 geschätzt werden, in dreidimensionale Merkmalskoordinaten in einem Kamerakoordinatensystem .
5 ist eine Darstellung, die eine Beziehung zwischen einer Koordinatenposition eines Objekts in Weltkoordinaten und einer Koordinatenposition in Kamerakoordinaten zeigt. T ist ein Vektor von einem Ursprung OW der Weltkoordinaten zu einem Ursprung OC der Kamerakoordinaten. (rx, ry, rz) bezeichnen einen Einheitsvektor, der eine Richtung von jeder Achse (x, y, z) der Kamerakoordinaten aus Sicht der Weltkoordinaten bezeichnet. Es wird angenommen, dass ein Punkt (x, y, z) in dem Kamerakoordinatensystem als ein Punkt (X, Y, Z) in dem Weltkoordinatensystem ausgedrückt wird. Eine Beziehung zwischen diesen Koordinaten ist wie folgt. $[\begin{matrix} x \\ y \\ z \end{matrix}] = R ([\begin{matrix} X \\ Y \\ Z \end{matrix}] - T) R = [\begin{matrix} r_{x}^{T} \\ r_{y}^{T} \\ r_{Z}^{T} \end{matrix}]$
In Gleichung 6 stellt R eine Rotations- bzw. Drehmatrix dar und stellt T einen Paralleltranslationsvektor dar. Rund T werden durch die Positions- und Lageschätzeinheit 207 berechnet.
Als Nächstes wird eine Wandlung von dreidimensionalen Merkmalskoordinaten des Kamerakoordinatensystems in Koordinaten in dem fotografierten Bild, die durch Gleichung 6 gewandelt werden/sind, zum Beispiel durch Perspektivwandlung durchgeführt. 6 zeigt ein Modell einer Perspektivprojektion, wenn eine virtuelle Bildgebungsfläche an einer Position eines Brennpunktabstands f vor einer Linse festgelegt ist. Ein Punkt O in 6 stellt ein Zentrum einer Kameralinse dar, und eine Z-Achse stellt eine optische Achse einer Kamera dar. Außerdem bezeichnet ein Koordinatensystem, das den Punkt O als den Ursprung hat, das Kamerakoordinatensystem. (X, Y, Z) bezeichnet eine Koordinatenposition eines Objekts in dem Kamerakoordinatensystem. Bildkoordinaten, die von den Kamerakoordinaten (X, Y, Z) eines Objekts durch Perspektivwandlung projiziert werden, werden ausgedrückt als (x, y). Eine Gleichung zur Wandlung von (X, Y, Z) in (x, y) ist als die folgende Gleichung ausgedrückt. $x = f \frac{x}{Y}, y = f \frac{y}{z}$
Es ist möglich, ein dreidimensionales Merkmalskoordinatenkennfeld, das durch die Merkmalskoordinatenkennfeldschätzeinheit 206 geschätzt wird und eine Tiefe eines Objekts bzw. Motivs umfasst, unter Verwendung von Gleichung 7 in zweidimensionale Merkmalskoordinaten auf einem fotografierten Bild zu wandeln.
Der Addierer 302 von 7 subtrahiert eine Ausgabe der Koordinatenwandlungseinheit 301 von einer Ausgabe der Merkmalspunktverfolgungseinheit 209. Es wird ein Fehler (ein Positionskoordinatenfehler) berechnet zwischen Positionskoordinaten von Merkmalskoordinaten, die durch die Merkmalspunktverfolgungseinheit 209 tatsächlich beobachtet werden, und zweidimensionale Merkmalskoordinaten, die durch Wandlung aus einem Merkmalskoordinatenkennfeld eines Zielobjekts bzw. - motivs erhalten werden. Die FB-Gewinneinheit 303 und die Biasschätzgewinneinheit 304 multiplizieren den Positionskoordinatenfehler mit einem jeweiligen Gewinnwert und berechnen einen Positions- und Lageschätzkorrekturwert und einen Biaskorrekturwert.
Der durch den Addierer 302 berechnete Positionskoordinatenfehler ist ein Fehler zwischen Merkmalspunktkoordinaten auf einer Fotografiebildfläche bzw. einem -schirm, die tatsächlich beobachtet werden, und Merkmalspunktkoordinaten, die durch Projektion eines dreidimensionalen Koordinatenkennfelds auf die Fotografiebildfläche bzw. den -schirm erhalten werden. Wenn ein dreidimensionaler Koordinatenkennfeldwert und ein Merkmalskoordinatenverfolgungswert, der durch Beobachtung erhalten wird, korrekt sind, wird der Positionskoordinatenfehler daher durch einen Fehler einer Positions- und Lageschätzung verursacht, wenn das dreidimensionale Koordinatenkennfeld auf die Fotografiebildfläche bzw. den -schirm projiziert wird. Ein Positions- und Lageschätzkorrekturwert und ein Biasschätzwert (ein Korrekturwert) werden durch die Addierer 406, 415, 402 und 409 an/auf ein Ergebnis der Positions- und Lageschätzung rückgekoppelt, so dass dieser Koordinatenfehlerbetrag zu Null wird, und dadurch nähert sich der Positions- und Lageschätzwert seinem wahren Wert.
Bei dem vorliegenden Ausführungsbeispiel werden jeder Gewinnwert von der FB-Gewinneinheit 303 und der Biasschätzgewinneinheit 304 und eine Frequenz einer Positions- und Lageschätzung gemäß einem Ergebnis einer Bestimmung einer (hierin nachstehend einfach als Rauschenbestimmungseinheit bezeichneten) Vibrationssensorrauschenbestimmungseinheit 211 geändert.
Unter Bezugnahme auf 8A und 8B wird eine Beziehung zwischen einer Rauschenbestimmung durch die Rauschenbestimmungseinheit 211 und einer Korrektur eines Positions- und Lageschätzwerts beschrieben. Bei der Positions- und Lageschätzung durch die Positions- und Lageschätzeinheit 207 werden Operationen unter Verwendung von jeder Ausgabe des ersten Vibrationssensors 201 und des zweiten Vibrationssensors 203 durchgeführt. Aus diesem Grund kann, wenn ein Biaswert und ein Driftwert der Vibrationssensoren groß sind, oder in einer Situation mit einer großen Vibration, ein Fehler in dem Schätzwert auftreten. Wenn eine Möglichkeit bzw. Wahrscheinlichkeit besteht, dass ein Fehler in dem Schätzwert auftreten kann, berechnet die Rauschenbestimmungseinheit 211 einen Bewertungswert, und ändert sie einen Steuerungsinhalt auf Grundlage des Bewertungswerts. Als Ergebnis hiervon ist es möglich, die Genauigkeit einer Positions- und Lageschätzung zu verbessern.
8A ist eine schematische Darstellung, die eine Beziehung zwischen einem Bestimmungsinhalt durch die Rauschenbestimmungseinheit 211 und einem Bewertungswert zeigt. Die horizontale Achse stellt eine zu bestimmende Größe dar, und die vertikale Achse stellt einen Bewertungswert dar. 8B zeigt eine Beziehung zwischen einem Bewertungswert und einem Korrektursteuerungsparameter. Die horizontale Achse stellt einen Bewertungswert dar, und die vertikale Achse stellt einen Korrektursteuerungsparameter dar.
Die Rauschenbestimmungseinheit 211 bestimmt einen Rauschenbewertungswert, gemäß den folgenden Bedingungen.

- Einem Fall, in dem Ausgaben des ersten Vibrationssensors 201 und des zweiten Vibrationssensors 203 groß sind Zum Beispiel, wenn ein Bild- bzw. Blickwinkel aufgrund eines Schwenkens der Bildaufnahmevorrichtung 100 erheblich geändert wird, tritt eine steile Positions- und Lagevariation auf. Als Folge einer Positions- und Lageschätzung, die durch die steile Positions- und Lagevariation verursacht wird, kann ein Fehler auftreten. Dementsprechend erhöht die Rauschenbestimmungseinheit 211 einen Bewertungswert, wenn Ausgaben der Vibrationssensoren zunehmen.
- Einem Fall, in dem ein Driftfehler (ein Variationsbetrag) in den Ausgaben der Vibrationssensoren nach Biaskorrektur auftritt Da eine Möglichkeit bzw. Wahrscheinlichkeit besteht, dass ein Driftfehler in einem Positions- und Lageschätzwert auftreten kann, erhöht die Rauschenbestimmungseinheit 211 einen Bewertungswert, wenn ein Driftfehler zunimmt.
- Einem Fall, in dem ein Reprojektionsfehler auftritt Ein Reprojektionsfehler ist ein Fehler zwischen Verfolgungskoordinaten eines Merkmalspunkts, die durch den Addierer 302 der Positions- und Lagekorrektureinheit 208 berechnet werden, und einem Koordinatenwert, der durch Wandlung eines Merkmalskoordinatenkennfelds in Merkmalskoordinaten auf einer Fotografiebildfläche bzw. einem -schirm erhalten wird. Die Rauschenbestimmungseinheit 211 erhöht einen Bewertungswert, wenn der Reprojektionsfehler zunimmt.
- Einem Fall, in dem ein Ansteuerbetrag oder eine Ansteuergeschwindigkeit einer Ansteuereinheit groß ist Die Bildaufnahmevorrichtung umfasst einen Mechanismusabschnitt, der die Zoomeinheit 101, die Bildverwacklungskorrekturlinse 103, die Blenden-/ Verschlusseinheit 105, die Fokuslinse 107 und dergleichen ansteuert bzw. -treibt. Alternativ ist der Mechanismusabschnitt in einer Linsen- bzw. Objektiveinrichtung bereitgestellt, die an einem Hauptkörper bzw. einem Gehäuse der Bildaufnahmevorrichtung angebracht werden kann. Wenn ein Ansteuerbetrag oder eine Ansteuergeschwindigkeit einer Ansteuereinheit in Bezug auf den Mechanismusabschnitt groß ist, detektiert ein Vibrationssensor eine durch mechanisches Ansteuern bzw. Antreiben verursachte Vibration, und kann ein Fehler in einem Positions- und Lageschätzwert auftreten. Daher erhöht die Rauschenbestimmungseinheit 211 einen Bewertungswert, wenn ein Ansteuerbetrag oder eine Ansteuergeschwindigkeit zunimmt.
- Einem Fall, in dem ein Biaskorrekturfehler in einer Ausgabe eines Vibrationssensors nach Biaskorrektur auftritt Wenn ein Biasschätzwert aufgrund eines Biaskorrekturfehlers von seinem wahren Wert abweicht, besteht eine Möglichkeit bzw. Wahrscheinlichkeit darin, dass ein Driftfehler in einem Positions- und Lageschätzwert auftreten kann, und daher erhöht die Rauschenbestimmungseinheit 211 einen Bewertungswert, wenn der Biaskorrekturfehler zunimmt.

Gemäß Bestimmungsergebnissen der vorgenannten Bedingungen wird ein Steuerungsinhalt geändert, wie es in 8B gezeigt ist.

- Steuerung zum Erhöhen einer Grenzfrequenz eines Hochpassfilters, wenn ein Bewertungswert zunimmt. Wenn ein Bewertungswert zunimmt, werden Grenzfrequenzen der Hochpassfilter 404, 412 und 417 auf höhere Frequenzen geändert, als wenn ein Bewertungswert niedrig ist.
- Steuerung zum Erhöhen eines Gewinnwerts (Korrekturvergrößerung bzw. -verstärkung), wenn ein Bewertungswert zunimmt. Wenn ein Bewertungswert zunimmt, wird jeder Gewinn- bzw. Verstärkungswert von der FB-Gewinneinheit 303 und der Biasschätzgewinneinheit 304 größer, als wenn ein Bewertungswert niedrig ist.
- Steuerung zum Erhöhen einer Korrekturfrequenz, wenn ein Bewertungswert zunimmt.

Wenn ein Bewertungswert zunimmt, werden eine Frequenz einer Positions- und Lagekorrektur durch die Positions- und Lagekorrektureinheit 208 und eine Frequenz der Korrektur eines Positions- und Lageschätzfehlers, der durch Biaskorrektur verursacht wird, höher eingestellt, als wenn ein Bewertungswert niedrig ist.
Wie es vorstehend beschrieben ist, besteht ein Problem dahingehend, dass ein Fehler in einer Positions- und Lageschätzung einer Niederfrequenzkomponente wie etwa einer Niederfrequenzdrift aufgrund eines detektierten Rauschens bzw. einer detektierten Störung des Vibrationssensors auftreten kann, wenn bestimmt wird, dass ein Rauschenbewertungswert eines Vibrationssensors hoch ist. Bei dem vorliegenden Ausführungsbeispiel werden Maßnahmen getroffen zum Beseitigen einer Niederfrequenzkomponente unter Verwendung eines Hochpassfilters. Außerdem besteht, wenn eine Niederfrequenzkomponente durch ein Hochpassfilter beseitigt wird/ist, eine Möglichkeit bzw. Wahrscheinlichkeit dafür, dass eine Niederfrequenzbewegung eines Positions- und Lageschätzwerts durch die Positions- und Lageschätzeinheit 207 nicht korrekt detektiert werden kann. Bei dem vorliegenden Ausführungsbeispiel kann ein Schätzfehler in einem Niederfrequenzbereich korrigiert werden, indem ein Gewinnwert von der FB-Gewinneinheit 303 erhöht wird. Es gibt andere Maßnahmen als eine Erhöhung eines Gewinnwerts einer Positions- und Lagekorrektur und eines Gewinnwerts einer Biasschätzung. Zum Beispiel gibt es ein Verfahren zum Verkürzen eines Schätzzyklus einer Merkmalskoordinatenschätzung durch die Merkmalskoordinatenkennfeldschätzeinheit 206 und eines Operationszyklus eines Korrekturwerts und eines Biaskorrekturwerts einer Positions- und Lageschätzung durch die Positions- und Lagekorrektureinheit 208. In diesem Fall weist die Rauschenbestimmungseinheit 211 die Merkmalskoordinatenkennfeldschätzeinheit 206 hinsichtlich eines Schätzzyklus an, und weist sie die Positions- und Lagekorrektureinheit 208 hinsichtlich eines Korrekturzyklus (eines Operationszyklus eines Korrekturbetrags) an. Außerdem ist es möglich, die gleiche Wirkung wie die des Verfahrens zum Erhöhen eines Korrekturgewinnwerts zu erzielen, indem die Häufigkeit erhöht wird, mit der eine Korrektur von einem Positions- und Lageschätzwert und einem Bias durch die Addierer 402, 406, 409 und 415 zu einer vorbestimmten Zeit durchgeführt wird, nämlich durch Erhöhen einer Korrekturfrequenz. In diesem Fall weist die Rauschenbestimmungseinheit 211 die Positions- und Lageschätzeinheit 207 hinsichtlich der Häufigkeit an, mit der eine Korrektur pro vorbestimmter Periode durchgeführt wird.
Wenn ein Gewinn- bzw. Verstärkungswert von der FB-Gewinneinheit 303 und der Biasschätzgewinneinheit 304 erhöht wird, nimmt eine Korrekturgeschwindigkeit von Position und Lage zu, und ist es daher möglich, einen Schätzwert früher nahe an seinen wahren Wert zu bringen. In einem Fall, in dem eine Verfolgung eines Merkmalspunkts, der aus einem Bild detektiert wird, nicht möglich ist, oder einem Fall, in dem eine Rauschenkomponente auf den Verfolgungskoordinaten eines Merkmalspunkts überlagert ist, besteht jedoch eine Möglichkeit bzw. Wahrscheinlichkeit, dass ein Fehler in einem korrigierten Schätzergebnis auftritt. Aus diesem Grund ist es wünschenswert, dass ein Gewinn- bzw. Verstärkungswert nicht zu hoch eingestellt wird. Bei dem vorliegenden Ausführungsbeispiel werden der Korrekturgewinn und die Grenzfrequenz eines Hochpassfilters nicht immer hoch eingestellt und wird ein Steuerungsinhalt auf Grundlage eines Bestimmungsergebnisses eines Bewertungswerts durch die Rauschenbestimmungseinheit 211 geändert. Wenn Vibrationssensorrauschen bzw. -störung und dergleichen groß sind und ein Bewertungswert hoch ist, wird ein Steuerungsinhalt gemäß der Situation geändert. Als Folge hiervon ist es möglich, eine Genauigkeit bei Positions- und Lageschätzung zu erhöhen.
Unter Bezugnahme auf ein Ablaufdiagramm gemäß 9 wird eine Positions- und Lageschätzverarbeitung der Bildaufnahmevorrichtung 100 beschrieben. Eine Verarbeitung von S101 bis S105 und eine Verarbeitung von S108 bis S111 von 9 werden als parallele Verarbeitung ausgeführt.
Zunächst wandelt die Bildgebungseinheit 109 in S108 ein optisches Signal, das durch ein optisches Bildgebungssystem aus einem Objekt bzw. Motiv als Bild ausgebildet ist, in ein elektrisches Signal, und erfasst sie ein Bildsignal. Als Nächstes wandelt die Bildgebungssignalverarbeitungseinheit 110 ein analoges Signal in ein digitales Signal, und führt sie eine vorbestimmte Bildverarbeitung durch. Die Bewegungsvektordetektionseinheit 210 berechnet einen Bewegungsvektor auf Grundlage von einer Vielzahl von Bilddaten mit unterschiedlichen Bildzeiten (S109). Die Bewegungsvektordetektionseinheit 210 erfasst ein Bild von einem Rahmen vorher, das in einem Speicher gespeichert ist (S111), vergleicht das Bild mit einem Bild eines aktuellen Rahmens, und berechnet einen Bewegungsvektor auf Grundlage einer Abweichung zwischen den Bildern. Verfahren zum Detektieren eines Bewegungsvektors umfassen ein Korrelationsverfahren, ein Blockabstimmungsverfahren und dergleichen. Bei dem vorliegenden Ausführungsbeispiel kann jedes beliebige Verfahren als ein Verfahren zum Berechnen eines Bewegungsvektors verwendet werden.
Die Merkmalspunktverfolgungseinheit 209 detektiert und verfolgt eine Bewegungsposition der Koordinaten eines vorbestimmten Bewegungspunkts auf einem fotografierten Bild auf Grundlage von Bewegungsvektorinformationen eines detektierten Bilds in jedem Rahmen zu der Zeit eines Fotografierens bzw. Aufnehmens von Bewegtbildern (S110). Hinsichtlich einer Merkmalspunktverfolgungstechnik gibt es ein Verfahren zum Erhalten eines Punkts, an dem der kleinste Rest in einem Fenster zwischen Rahmen vorliegt, wenn ein an einem Merkmalspunkt zentriertes quadratisches Fenster bereitgestellt wird/ist und ein neuer Rahmen eines Zielbilds (oder -videos) gegeben wird/ist. Eine Verarbeitung durch dieses Verfahren wird mit einem Zyklus, der einer Rahmenrate bzw. Bildfrequenz einer Bilderfassung einer Bewegtbildfotografie bzw. -aufnahme entspricht, wiederholt ausgeführt. Nach der Verarbeitung von S110 schreitet der Ablauf zu S106 voran.
Als Nächstes wird die Positions- und Lageschätzverarbeitung unter Bezugnahme auf S101 bis S105 von 9 beschrieben.
Der erste Vibrationssensor 201 detektiert die Winkelgeschwindigkeit der Bildaufnahmevorrichtung 100 (S101), und der zweite Vibrationssensor 203 detektiert die Beschleunigung der Bildaufnahmevorrichtung 100 (S102). Als Nächstes wird eine Biaskorrektur des ersten Vibrationssensors 201 und des zweiten Vibrationssensors 203 unter Verwendung eines Biaskorrekturwerts durchgeführt, der durch die Positions- und Lagekorrektureinheit 208 gemäß einer Verarbeitung in einem vorhergehenden Abtastzyklus geschätzt wird (S103). Jedes von den Hochpassfiltern 404, 412 und 417, deren Grenzfrequenzen durch die Rauschenbestimmungseinheit 211 eingestellt werden/sind, gibt ein bandbegrenztes Signal aus (S104). Ein Positions- und Lageschätzwert wird durch die vorstehend beschriebene Operation berechnet (S105).
Die Verfolgungskoordinaten eines Merkmalspunkts, die in S110 detektiert werden, und der Positions- und Lageschätzwert, der in S105 berechnet wird, werden als ein Satz von Informationen in der Speichereinheit 118 gespeichert (S106). Im folgenden S107 wird bestimmt, ob eine aktuelle Rahmennummer/-zahl einer Bewegtbildrahmennummer/-zahl entspricht, die einer Positions- und Lageschätzkorrektur durch die Positions- und Lagekorrektureinheit 208 unterzogen wird/ist. Ob ein aktueller Rahmen ein Bewegtbildrahmen ist, auf dem eine Positions- und Lageschätzkorrektur durchgeführt wird, wird dadurch bestimmt, ob so viele Sätze von Merkmalskoordinaten und Positions- und Lageschätzwerten wie die Anzahl von Rahmen, die zur Schätzung eines Merkmalskoordinatenkennfelds erforderlich sind, aneinandergereiht bzw. abgeglichen sind oder nicht. Zum Beispiel in dem Fall einer Schätzverarbeitung eines in 4 gezeigten Merkmalskoordinatenkennfelds, kann eine Schätzung ausgehend von einem Zustand durchgeführt werden, in dem die Anzahl von Rahmen zwei oder mehr ist. Daher schreitet der Ablauf zu der Verarbeitung von S112 zu einer Zeit voran, zu der Informationen für zwei Rahmen erfasst werden/sind. Wenn die Anzahl von Rahmen nicht ausreichend ist, endet der Vorgang. Ein Verfahren zum Verkürzen eines Schätzzyklus oder eines Operationszyklus oder zum Erhöhen einer Korrekturfrequenz unter Verwendung der Rauschenbestimmungseinheit 211 als eine Maßnahme, die verschieden ist von dem Verfahren zum Erhöhen eines Gewinnwerts einer Positions- und Lagekorrektur und eines Biasschätzgewinnwerts, wenn ein Bewertungswert zunimmt, wurde beschrieben. In diesen Fällen wird/ist die Anzahl von einer Positions- und Lageschätzkorrektur unterzogenen Rahmen, die in S107 bestimmt wird, auf die kleinere Anzahl von Rahmen eingestellt. Dies ist deshalb so, da eine Steuerung zum Verkürzen eines Operationszyklus eines Positions- und Lageschätzkorrekturwerts und eines Biaskorrekturwerts und zum Erhöhen der Häufigkeit einer Korrektur eines Positions- und Lageschätzwerts und eines Biaswerts unter Verwendung der Addierer 402, 406, 409 und 415 zu einer vorbestimmten Zeit durchgeführt wird.
Nachdem die Schätzverarbeitung eines Merkmalskoordinatenkennfelds in S112 ausgeführt ist, wird ein Biaswert durch die Positions- und Lagekorrektureinheit 208 aktualisiert (S113). Dann wird die Korrekturverarbeitung eines Positions- und Lageschätzwerts durchgeführt (S114), und wird die Aufeinanderfolge von Verarbeitungen beendet. Wenn in S107 eine negative Bestimmung getroffen wird (NEIN), wird die Korrektur eines Biaswerts und eines Positions- und Lageschätzwerts nicht durchgeführt, und endet die Verarbeitung.
Gemäß dem vorliegenden Ausführungsbeispiel werden eine Verarbeitung einer Positions- und Lageschätzung und einer Merkmalskoordinatenkennfeldschätzung einer Bildaufnahmevorrichtung und eine Korrektur eines Positions- und Lageschätzwerts in jedem Rahmen bzw. Vollbild von Bewegtbildern wiederholt ausgeführt, und daher ist es möglich, einen korrekten Positions- und Lageschätzwert zu erhalten.
[Zweites Ausführungsbeispiel]
Als Nächstes wird ein zweites Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Den gleichen Komponenten des vorliegenden Ausführungsbeispiels wie bei dem ersten Ausführungsbeispiel werden Bezugszeichen gegeben, die bereits bei dem ersten Ausführungsbeispiel verwendet sind, und Beschreibungen von diesen werden ausgelassen.
10 ist eine Darstellung, die ein Konfigurationsbeispiel der Positions- und Lageschätzeinheit 207 des vorliegenden Ausführungsbeispiels zeigt. Das Folgende sind Unterschiede gegenüber der in 3 gezeigten Konfiguration.

- Die Hochpassfilter 404, 412 und 417, die eine Bandbegrenzung eines Frequenzbands durchführen, sind entfernt.
- Im Gegensatz zu der Positions- und Lageschätzung des ersten Ausführungsbeispiels sind Hochpassfilter 1001 und 1002 für Änderungsinformationen einer Positions- und Lageschätzung für eine Merkmalspunktkoordinatenschätzung hinzugefügt.

Das Hochpassfilter 1001 führt eine Filterverarbeitung auf einer Ausgabe des Addierers 406 durch und gibt einen Lageschätzwert für eine Merkmalspunktkoordinatenschätzung an die Merkmalskoordinatenkennfeldschätzeinheit 206 aus. Das Hochpassfilter 1002 führt eine Filterverarbeitung auf einer Ausgabe des Addierers 415 durch und gibt einen Positionsschätzwert für eine Merkmalspunktkoordinatenschätzung an die Merkmalskoordinatenkennfeldschätzeinheit 206 aus. Beide der Hochpassfilter 1001 und 1002 sind Filter, die zum Ändern einer Grenzfrequenz im Stande sind.
11 ist ein Ablaufdiagramm, das die Positions- und Lageschätzverarbeitung gemäß dem vorliegenden Ausführungsbeispiel beschreibt. Das Folgende sind Unterschiede gegenüber 9.

- Ohne eine Hochpassfilterverarbeitung von S104 gemäß 9 schreitet der Ablauf nach einer Biaskorrekturverarbeitung von S103 zu einer Positions- und Lageschätzverarbeitung von S105 voran.
- In S1101 zwischen S105 und S106 führen die Hochpassfilter 1001 und 1002 jeweils eine Verarbeitung auf Änderungsinformationen einer Position und Lage (Änderung in dem Positions- und Lageschätzwert) durch, die für eine Merkmalskoordinatenkennfeldschätzung verwendet werden.

Bei dem vorliegenden Ausführungsbeispiel wird eine Bandbegrenzungsverarbeitung durch ein Hochpassfilter nicht auf einem Schätzwert einer Positions- und Lageänderung mit einer niedrigen Frequenz durch einen Vibrationssensor in der Positions- und Lageschätzeinheit 207 durchgeführt. Als Folge hiervon ist es möglich, eine Schätzgenauigkeit einer Positions- und Lageänderung zu verbessern, die mit einer niedrigen Frequenz langsam ist. Andererseits ist herausgefunden, dass ein Einfluss einer großen Abweichung (insbesondere einer Drift einer Position) einer Positions- und Lageschätzung eine Schätzgenauigkeit bei einer dreidimensionalen Koordinatenschätzung durch die Merkmalskoordinatenkennfeldschätzeinheit 206 stark beeinträchtigt. Daher wird eine Niederfrequenzkomponente durch die Hochpassfilter 1001 und 1002 nur für eine Änderung in einem Positions- und Lageschätzwert beseitigt, der für eine dreidimensionale Koordinatenschätzung verwendet wird, um einen Fehler der dreidimensionalen Koordinatenschätzung, der durch einen Driftfehler eines Positionsschätzwerts verursacht wird, zu reduzieren und zu verbessern.
Gemäß dem vorliegenden Ausführungsbeispiel ist es möglich, eine Schätzgenauigkeit eines dreidimensionalen Koordinatenschätzwerts zu verbessern, und eine Genauigkeit einer Positions- und Lageschätzung durch Korrektur eines Positions- und Lageschätzwerts zu verbessern. Selbst wenn eine große Variation bzw. Schwankung in einem Fehler von Vibrationssensorinformationen vorliegt, ist es möglich, eine Bildaufnahmevorrichtung bereitzustellen, die im Stande ist zum Erhalten eines Positions- und Lageschätzergebnisses mit hoher Genauigkeit, sowie ein Steuerverfahren von dieser.
Während die vorliegende Erfindung unter Bezugnahme auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Patentansprüche ist die breiteste Auslegung zuzugestehen, so dass alle derartigen Modifikationen und äquivalente Strukturen und Funktionen umfasst sind.
Diese Anmeldung beansprucht den Vorteil der am 3. August 2017 eingereichten Japanischen Patentanmeldung Nr. 2017-151024 , die hierin mittels Bezugnahme in ihrer Gesamtheit eingebunden ist.
Ein Vibrationssensor einer Bildaufnahmevorrichtung detektiert ein Wackeln einer Bildaufnahmevorrichtung und erfasst Wackelinformationen. Eine Bildgebungseinheit gibt ein Bildsignal eines Objekts an eine Bildgebungssignalverarbeitungseinheit aus. Eine Bewegungsvektordetektionseinheit berechnet einen Bewegungsvektor gemäß einem Bildsignal nach Bildgebung. Eine Merkmalspunktverfolgungseinheit führt eine Merkmalspunktverfolgung durch Berechnung eines Koordinatenwerts eines Objekts auf einer Fotografiebildfläche unter Verwendung des Bewegungsvektors durch. Eine Merkmalskoordinatenkennfeld- und Positions- und Lageschätzeinheit schätzt eine Position oder Lage der Bildaufnahmevorrichtung auf Grundlage von Informationen, die dadurch erhalten werden, dass ein Bandbegrenzungsfilter eine Bandbegrenzung auf Wackelinformationen von einem Vibrationssensor durchführt, und einer Ausgabe der Merkmalspunktverfolgungseinheit. Eine Schätzeinheit bewertet einen Schätzfehler und ändert ein durch das Bandbegrenzungsfilter begrenztes Band auf Grundlage des berechneten Bewertungswerts oder ändert eine Korrekturverstärkung zur Zeit einer Korrektur des Schätzwerts gemäß einem Korrekturwert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8494225 [0003]
JP 2017151024 [0075]

Claims

Bildaufnahmevorrichtung, die ein Bildsignal unter Verwendung einer Bildgebungseinheit erfasst, mit: einer ersten Erfassungseinheit, die konfiguriert ist zum Erfassen von ersten Informationen, die ein Wackeln der Bildgebungsvorrichtung bezeichnen, das durch eine Wackeldetektionseinheit detektiert wird; einer zweiten Erfassungseinheit, die konfiguriert ist zum Erfassen von zweiten Informationen, die eine Bewegung eines Objekts bezeichnen, die in einem Bildsignal durch die Bildgebungseinheit detektiert wird; und einer Schätzeinheit, die konfiguriert ist zum Schätzen einer Position oder Lage der Bildaufnahmevorrichtung, wobei die Schätzeinheit umfasst: eine Berechnungseinheit, die konfiguriert ist zum Berechnen eines Schätzwerts der Position oder Lage der Bildaufnahmevorrichtung gemäß den bandbegrenzten ersten Informationen oder den ersten und zweiten Informationen, und eine Korrektureinheit, die konfiguriert ist zum Berechnen eines Korrekturwerts für den Schätzwert unter Verwendung der zweiten Informationen.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei die Schätzeinheit eine Bandbegrenzungseinheit umfasst, die konfiguriert ist zum Begrenzen eines Frequenzbands der ersten Informationen, wobei die Berechnungseinheit den Schätzwert gemäß den durch die Bandbegrenzungseinheit bandbegrenzten ersten Informationen berechnet, und wobei die Schätzeinheit den Schätzwert gemäß dem Korrekturwert korrigiert.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei die Berechnungseinheit den Schätzwert gemäß den ersten und zweiten Informationen berechnet, und wobei die Schätzeinheit eine Bandbegrenzungseinheit umfasst, die konfiguriert ist zum Begrenzen eines Frequenzbands mit Bezug auf einen durch den Korrekturwert korrigierten Schätzwert.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Schätzeinheit eine Bewertungseinheit umfasst, die konfiguriert ist zum Berechnen eines Bewertungswerts eines Schätzfehlers, und das durch die Bandbegrenzungseinheit begrenzte Frequenzband gemäß dem Bewertungswert ändert oder eine Korrekturverstärkung zur Zeit einer Korrektur des Schätzwerts gemäß dem Korrekturwert ändert.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, zusätzlich mit: einer Verfolgungseinheit, die konfiguriert ist zum Durchführen einer Merkmalspunktverfolgung durch Berechnung eines Koordinatenwerts eines Objekts auf einer Fotografiebildfläche unter Verwendung der zweiten Informationen, wobei die Schätzeinheit ein Merkmalskoordinatenkennfeld, das eine Positionsbeziehung umfassend eine Position oder Lage oder die Position und Lage der Bildaufnahmevorrichtung und eine Tiefe des Objekts hinsichtlich der Bildaufnahmevorrichtung bezeichnet, auf Grundlage der ersten Informationen und eines Koordinatenwerts des Objekts erzeugt.
Bildaufnahmevorrichtung gemäß Anspruch 5, wobei die Korrektureinheit Merkmalskoordinaten des Objekts auf der Fotografiebildfläche auf Grundlage des Merkmalskoordinatenkennfelds und des Schätzwerts einer Position oder Lage der Bildaufnahmevorrichtung schätzt und den Korrekturwert auf Grundlage eines Schätzwerts der Merkmalskoordinaten auf der Fotografiebildfläche und Verfolgungskoordinaten eines Merkmalspunkts, die durch die Verfolgungseinheit berechnet werden, berechnet.
Bildaufnahmevorrichtung gemäß Anspruch 6, wobei die Korrektureinheit umfasst: eine Wandlungseinheit, die konfiguriert ist zum Erfassen des Schätzwerts einer Position oder Lage der Bildaufnahmevorrichtung und des Merkmalskoordinatenkennfelds und zum Wandeln des Merkmalskoordinatenkennfelds in Merkmalskoordinaten auf einer Fotografiebildfläche; eine Subtraktionseinheit, die konfiguriert ist zum Subtrahieren einer Ausgabe der Wandlungseinheit von den Verfolgungskoordinaten des Merkmalspunkts, die durch die Verfolgungseinheit berechnet werden; und eine Gewinneinheit, die konfiguriert ist zum Berechnen des Korrekturwerts durch Multiplikation einer Ausgabe der Subtraktionseinheit mit einem Gewinnwert.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Wackeldetektionseinheit ein Winkelgeschwindigkeitssensor oder ein Beschleunigungssensor ist oder ein Winkelgeschwindigkeitssensor und ein Beschleunigungssensor ist.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, zusätzlich mit: einer Detektionseinheit, die konfiguriert ist zum Detektieren eines Bewegungsvektors als die zweiten Informationen.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei die Bewertungseinheit eine Rauschenbestimmung der Wackeldetektionseinheit gemäß dem Bewertungswert durchführt.
Bildaufnahmevorrichtung gemäß Anspruch 10, wobei der Bewertungswert in einem Fall, in dem eine Ausgabe der Wackeldetektionseinheit oder ein Variationsbetrag der Ausgabe groß ist, höher wird als der Bewertungswert in einem Fall, in dem eine Ausgabe der Wackeldetektionseinheit oder ein Variationsbetrag der Ausgabe klein ist.
Bildaufnahmevorrichtung gemäß Anspruch 4, zusätzlich mit: einer Verfolgungseinheit, die konfiguriert ist zum Durchführen einer Merkmalspunktverfolgung durch Berechnung eines Koordinatenwerts eines Objekts auf einer Fotografiebildfläche unter Verwendung der zweiten Informationen, wobei die Schätzeinheit ein Merkmalskoordinatenkennfeld, das eine Positionsbeziehung umfassend eine Position oder Lage oder die Position und Lage der Bildaufnahmevorrichtung und eine Tiefe des Objekts hinsichtlich der Bildaufnahmevorrichtung bezeichnet, auf Grundlage der ersten Informationen und eines Koordinatenwerts des Objekts erzeugt, und einen Reprojektionsfehler berechnet, der ein Fehler zwischen Verfolgungskoordinaten des Merkmalspunkts und einem Koordinatenwert ist, der durch Wandeln des Merkmalskoordinatenkennfelds in Merkmalskoordinaten auf der Fotografiebildfläche erhalten wird.
Bildaufnahmevorrichtung gemäß Anspruch 12, wobei der Bewertungswert in einem Fall, in dem der Reprojektionsfehler groß ist, höher wird als der Bewertungswert in einem Fall, in dem der Reprojektionsfehler klein ist.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei der Bewertungswert in einem Fall, in dem ein Ansteuerbetrag oder eine Ansteuergeschwindigkeit einer Ansteuereinheit, die in der Bildaufnahmevorrichtung oder einer an einem Hauptkörper der Bildaufnahmevorrichtung angebrachten Linseneinrichtung umfasst ist, groß ist, höher wird als der Bewertungswert in einem Fall, in dem ein Ansteuerbetrag oder eine Ansteuergeschwindigkeit der Ansteuereinheit klein ist.
Bildaufnahmevorrichtung gemäß Anspruch 14, wobei die Ansteuereinheit eine Linse, eine Blende oder einen Verschluss ansteuert, die/der ein optisches Bildgebungssystem bildet.
Bildaufnahmevorrichtung gemäß Anspruch 10, wobei der Bewertungswert in einem Fall, in dem ein Biaskorrekturfehler der Wackeldetektionseinheit groß ist, höher wird als der Bewertungswert in einem Fall, in dem ein Biaskorrekturfehler der Wackeldetektionseinheit klein ist.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei die Schätzeinheit eine Grenzfrequenz der Bandbegrenzungseinheit erhöht, wenn der Bewertungswert zunimmt.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei die Schätzeinheit die Korrekturverstärkung oder eine Korrekturfrequenz erhöht, wenn der Bewertungswert zunimmt.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei die Schätzeinheit einen Zyklus einer Schätzung oder einen Zyklus zur Durchführung einer Operation des Korrekturwerts verkürzt, wenn der Bewertungswert zunimmt.
Verfahren, das in einer Bildaufnahmevorrichtung ausgeführt wird, die ein Bildsignal unter Verwendung einer Bildgebungseinheit erfasst, wobei das Verfahren aufweist: Erfassen von ersten Informationen, die ein Wackeln der Bildaufnahmevorrichtung bezeichnen, das durch eine Wackeldetektionseinheit detektiert wird, und zweiten Informationen, die eine Bewegung eines Objekts bezeichnen, die in einem Bildsignal durch die Bildgebungseinheit detektiert wird; und Schätzen einer Position oder Lage der Bildaufnahmevorrichtung, wobei das Schätzen umfasst: Berechnen eines Schätzwerts der Position oder Lage der Bildaufnahmevorrichtung gemäß den bandbegrenzten ersten Informationen oder den ersten und zweiten Informationen, und Berechnen eines Korrekturwerts für den Schätzwert unter Verwendung der zweiten Informationen.