DE202018105518U1

DE202018105518U1 - Kombinierte mechanische und elektronische Bildstabilisierung

Info

Publication number: DE202018105518U1
Application number: DE202018105518.6U
Authority: DE
Original assignee: GoPro Inc
Current assignee: GoPro Inc
Priority date: 2017-09-26
Filing date: 2018-09-25
Publication date: 2019-05-06
Anticipated expiration: 2028-09-26
Also published as: US20220078322A1; US11178329B2; US10924674B2; US20230308761A1; US11678054B2; US11936982B2; US20190098191A1; US20200169654A1; US20210168272A1; US10491824B2

Abstract

System umfassend:
einen Bildsensor;
ein mechanisches Stabilisierungssystem, das zum Steuern einer Ausrichtung des Bildsensors ausgelegt ist; und
ein elektronisches Bildstabilisierungsmodul, das zum Steuern einer oder mehrerer Drehungen des Bildsensors ausgelegt ist.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht den Vorteil der am 26. September 2017 eingereichten vorläufigen US-Patentanmeldung Nr. 62/563,224 und der am 5. Januar 2018 eingereichten vorläufigen US-Patentanmeldung 62/614,140 und der am 8. März 2018 eingereichten US-Anmeldung Nr. 15/915,763 , deren Inhalte hier durch Inbezugnahme vollumfänglich in dieses Dokument mit aufgenommen werden.
Technisches Gebiet
Diese Offenbarung bezieht sich auf eine Bildstabilisierung für die Bilderfassung.
Hintergrund
Bilderfassungsvorrichtungen wie Kameras können Inhalte wie Bilder oder Videos aufnehmen. Licht kann über ein Objektiv empfangen und fokussiert werden und durch einen Bildsensor in ein elektronisches Bildsignal umgewandelt werden. Das Bildsignal kann durch einen Bildsignalprozessor (ISP) verarbeitet werden, um ein Bild zu erzeugen, das gespeichert und/oder kodiert werden kann. In einigen Ausführungsformen können mehrere Bilder oder Videoaufnahmen (Frames) von unterschiedlichen Bildsensoren einen räumlich benachbarten oder überlappenden Inhalt aufweisen, der per Stitching zusammengesetzt werden kann, um ein größeres Bild mit einem größeren Sichtfeld auszubilden.
Kurzfassung
Vorliegend werden Ausführungsformen einer Bildstabilisierung für die Bilderfassung offenbart.
In einem ersten Aspekt kann der vorliegend beschriebene Gegenstand in Systemen realisiert werden, die umfassen: einen Bildsensor, der zum Erfassen eines Bilds ausgelegt ist; ein mechanisches Stabilisierungssystem, das Motoren umfasst, die zum Steuern einer Ausrichtung des Bildsensors ausgelegt sind, um Bewegungen innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz abzulehnen; und ein elektronisches Bildstabilisierungsmodul, das zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, ausgelegt ist, um ein stabilisiertes Bild zu erzeugen, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz.
In einem zweiten Aspekt kann der vorliegend beschriebene Gegenstand in Techniken realisiert werden, die umfassen: Bestimmen einer Abfolge von Ausrichtungsschätzungen basierend auf Sensordaten von einem oder mehreren Bewegungssensoren; Aufrufen eines mechanischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen von Bewegungen eines Bildsensors, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten; Empfangen eines Bilds vom Bildsensor; Aufrufen eines elektronischen Bildstabilisierungsmoduls, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren des Bilds in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, um ein stabilisiertes Bild zu erzeugen, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz; und Speichern, Anzeigen oder Senden eines Ausgabebildes basierend auf dem stabilisierten Bild.
In einem dritten Aspekt kann der vorliegend beschriebene Gegenstand in Systemen realisiert werden, die umfassen: einen Bildsensor, der zum Erfassen eines Bilds ausgelegt ist; einen oder mehrere Bewegungssensoren, die zum Erkennen der Bewegung des Bildsensors ausgelegt sind; ein mechanisches Stabilisierungssystem, das Gimbals und Motoren umfasst, die zum Steuern einer Ausrichtung des Bildsensors ausgelegt sind; und ein elektronisches Bildstabilisierungsmodul, das zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors ausgelegt ist. Die Systeme umfassen eine Verarbeitungseinrichtung, die ausgelegt ist zum: Bestimmen einer Abfolge von Ausrichtungsschätzungen basierend auf Sensordaten von dem einen oder den mehreren Bewegungssensoren; Aufrufen des mechanischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen von Bewegungen, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten; Empfangen des Bilds vom Bildsensor; Aufrufen des elektronischen Bildstabilisierungsmoduls, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren des Bilds in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, um ein stabilisiertes Bild zu erzeugen, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz; und Speichern, Anzeigen oder Senden eines Ausgabebildes basierend auf dem stabilisierten Bild.
Diese und andere Aspekte der vorliegenden Offenbarung werden in der folgenden detaillierten Beschreibung, den angehängten Ansprüchen und den Begleitzeichnungen offenbart.
Figurenliste
Die Offenbarung lässt sich anhand der nachfolgenden detaillierten Beschreibung am besten verstehen, wenn im Zusammenhang mit den Begleitzeichnungen gelesen. Dabei wird hervorgehoben, dass entsprechend der üblichen Vorgehensweise die verschiedenen Merkmale der Zeichnungen nicht maßstabsgetreu sind. Im Gegenteil werden aus Gründen der Klarheit die Abmessungen der verschiedenen Merkmale willkürlich vergrößert oder verkleinert.

1 ist ein Blockschaltbild eines beweglichen Bildgebungsystems und übergeordneter Komponenten.
2A ist eine bildliche Darstellung einer beweglichen Bildgebungsanordnung.
2B ist eine bildliche Darstellung einer Bildgebungsvorrichtung.
2C ist eine bildliche Darstellung eines Steuergeräts und einer Benutzerschnittstelle einer beweglichen Bildgebungsanordnung.
2D ist eine bildliche Darstellung der Bildgebungsvorrichtung von 2B in einem Bewegungsmechanismus.
3A ist ein Blockschaltbild eines beispielhaften Systems, das für die Bilderfassung mit Bildstabilisierung ausgelegt ist.
3B ist ein Blockschaltbild eines beispielhaften Systems, das für die Bilderfassung mit Bildstabilisierung ausgelegt ist.
4 ist ein Blockschaltbild eines beispielhaften Systems, das für die Bilderfassung mit Bildstabilisierung ausgelegt ist.
5 ist ein Flussdiagramm eines beispielhaften Verfahrens zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung.
6 ist ein Flussdiagramm eines beispielhaften Verfahrens zur Verstellung der operativen Bandbreiten eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls.
7 ist ein Diagramm einer beispielhaften Übertragungsfunktion eines MSS-Filters entsprechend der operativen Bandbreite des MSS, überlagert mit einer Übertragungsfunktion eines EBS-Filters entsprechend der operativen Bandbreite des EBS.
8A ist eine bildliche Darstellung eines beispielhaften Bilderfassungsmoduls aus einer ersten Perspektive.
8B ist eine bildliche Darstellung eines beispielhaften Bilderfassungsmoduls aus einer zweiten Perspektive.
9A ist eine bildliche Darstellung eines beispielhaften Handmoduls aus einer ersten Perspektive.
9B ist eine bildliche Darstellung eines beispielhaften Handmoduls aus einer zweiten Perspektive.
10A ist eine bildliche Darstellung eines beispielhaften Handmoduls, das für die Verbindung mit einem Bilderfassungsmodul ausgelegt ist.
10B ist eine bildliche Darstellung einer beispielhaften beweglichen Bildgebungsanordnung in Kommunikation mit einer persönlichen Rechenvorrichtung.

Detaillierte Beschreibung
Dieses Dokument umfasst die Offenbarung von Systemen, Einrichtungen und Verfahren zur Bilderfassung mit kombinierter mechanischer und elektronischer Bildstabilisierung. Elektronische Bildstabilisierungssysteme (EBS-Systeme) und mechanische Stabilisierungssysteme (MSS-Systeme) streben nach einer Lösung des gleichen Problems unter Verwendung ähnlicher Daten. Typische Ausführungen sind nicht zum gleichen Zeitpunkt funktionstüchtig. Typische elektronische Bildstabilisierungsmodule können Daten von Gyroskopen verwenden, um die Drehbewegung der Kamera um die X-, Y- und Z-Achse des Kamerarahmens zu korrigieren. Typische mechanische Stabilisierungssysteme können Daten von Gyroskopen und Beschleunigungsmessern sowie optional Daten von Magnetometern, Barometern und/oder globalen Positionsbestimmungssystemen verwenden, um eine Rollbewegung in der X-, Y- und Z-Achse eines Gimbal-Rahmens sowie eine translatorische Bewegung in der X-, Y- und Z-Achse im Gimbal-Rahmen abzulehnen. Ein mechanisches Stabilisierungssystem kann zum Ablehnen einer Bewegung ausgelegt sein, während das elektronische Bildstabilisierungsmodul Bewegungsartefakte in einem erfassten Bild (zum Beispiel in einem Videobild) korrigiert. Ein mechanisches Stabilisierungssystem arbeitet im Gimbal-Referenzrahmen (gegebenenfalls je nach Achse unterschiedlich), während ein elektronisches Bildstabilisierungsmodul am Kamera-Referenzrahmen arbeitet.
Ein mechanisches Stabilisierungssystem kann eine Bewegung innerhalb einer bestimmten operativen Bandbreite ablehnen, die sich von einer unteren Grenzfrequenz, MSS_L_CF, bis zu einer oberen Grenzfrequenz, MSS_U_CF, erstrecken kann. Ein elektronisches Bildstabilisierungsmodul wird eine Bewegung innerhalb einer bestimmten operativen Bandbreite ablehnen, die sich von einer unteren Grenzfrequenz, EBS_L_CF, bis zu einer oberen Grenzfrequenz, EBS_U_CF, erstrecken kann.
Die gleichzeitige Verwendung eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls im gleichen Bilderfassungssystem kann zu einer Interferenz zwischen der Dynamik der beiden Systeme führen, was de facto das Bild (zum Beispiel die Videoqualität) verschlechtert. Ein anderes Problem besteht darin, dass ein mechanisches Stabilisierungssystem gegebenenfalls einen höheren Stromverbrauch erfordert und eine Batterie eines Bilderfassungssystems leerzieht. Ein anderes Problem besteht darin, dass ein elektronisches Bildstabilisierungsmodul gegebenenfalls einen komplexen Rechenaufwand erfordert und erhebliche Computerressourcen (zum Beispiel Prozessorzyklen oder Speicher) verbraucht. Ein weiteres Problem besteht darin, dass ein mechanisches Stabilisierungssystem typischerweise Motoren aufweist, die bei übermäßigem Energieverbrauch überhitzen können.
Es wird eine Technik vorgeschlagen, bei welcher der Betrieb sowohl eines mechanischen Stabilisierungssystems als auch eines elektronischen Bildstabilisierungsmoduls durch Änderung des Regelverhaltens des jeweiligen Systems geändert wird. Adaptive Regler können die Bandbreite drosseln. Zur Verbesserung des Energieverbrauchs des mechanischen Stabilisierungssystems kann dessen operative Bandbreite so begrenzt werden, dass sie nicht mit der operativen Bandbreite des elektronischen Bildstabilisierungsmoduls überlappt. Zur Schonung von Computerressourcen kann die operative Bandbreite des elektronischen Bildstabilisierungsmoduls so begrenzt werden, dass sie nicht mit der operativen Bandbreite des mechanischen Stabilisierungssystems überlappt. Ein Bilderfassungssystem kann die Aufteilung von operativer Bandbreite zwischen dem mechanischen Stabilisierungssystem und dem elektronischen Bildstabilisierungsmodul dynamisch anpassen, um die Systemleistung zu verbessern (zum Beispiel die thermische Leistung und/oder die Batterielaufzeitleistung zu verbessern). Operative Bandbreiten können beispielsweise auf komplementäre Weise verstellt werden, um die operative Bandbreite des mechanischen Stabilisierungssystems zu begrenzen, wenn Motoren zu überhitzen beginnen, und die operative Bandbreite des elektronischen Bildstabilisierungsmoduls durch entsprechende Erhöhung auszugleichen, um die operative Bandbreitenlücke zu füllen. Die Verstellung der operativen Bandbreitenzuteilung zwischen dem mechanischen Stabilisierungssystem und dem elektronischen Bildstabilisierungsmodul kann ein vom Benutzer wählbares Merkmal sein oder automatisch erfolgen.
In Bezug auf die Zeichnungen werden Ausführungsformen detailliert beschrieben, die als Beispiele angeführt werden, um Fachleute in die Lage zu versetzen, die Technologie praktisch auszuführen. Die Figuren und Beispiele sollen den Umfang der vorliegenden Offenbarung nicht auf eine einzelne Realisierungs- oder Ausführungsform beschränken, und es sind auch andere Realisierungs- und Ausführungsformen möglich, in denen einige oder alle der beschriebenen oder abgebildeten Elemente ausgetauscht oder kombiniert werden können. Soweit praktikabel, werden in allen Zeichnungen gleiche Bezugszeichen verwendet, um auf identische oder ähnliche Teile zu verweisen.
1 ist ein Blockschaltbild eines beweglichen Bildgebungsystems 10 und übergeordneter Komponenten. Das bewegliche Bildgebungssystem 10 kann zwei Hauptkomponenten aufweisen: eine bewegliche Bildgebungsanordnung 20 (BGA) und eine externe Vorrichtung 50, wie ein BGA-Steuergerät mit einer Benutzerschnittstelle. Diese Komponenten können über einen Link 55 kommunikationstechnisch verbunden sein. Der Link 55 kann drahtlos oder drahtgebunden sein. Auch andere Komponenten können im beweglichen Bildgebungssystem 10 enthalten sein. Die bewegliche Bildgebungsanordnung 20 kann beispielsweise eine Bildgebungsvorrichtung 100 wie eine Kamera umfassen (der Begriff „Kamera“ ist im vorliegenden Gebrauch breit angelegt und erfasst jegliche Form von Bildaufnahmevorrichtung), die zur Erfassung von Standfotos und Videobildern verwendet werden kann. Die bewegliche Bildgebungsanordnung 20 kann eine bewegliche Plattform 40 umfassen, die in Bezug auf einen festen Bezugsuntergrund positionell und/oder rotatorisch bewegt werden kann. Die bewegliche Bildgebungsanordnung 20 kann auch einen Bewegungsmechanismus 30 umfassen, der dafür sorgt, dass sich die Bildgebungsvorrichtung 100 in Bezug auf die bewegliche Plattform 40 positionell und rotatorisch bewegen kann.
In einigen Ausführungsformen kann die externe Vorrichtung 50 einem Smartphone, einem Tablet-Computer, einem Phablet, einer Smartwatch, einem tragbaren Computer und/oder einer anderen Vorrichtung entsprechen, die dazu ausgelegt ist, Benutzereingaben zu empfangen und Informationen mit der Bildgebungsvorrichtung 100, dem Bewegungsmechanismus 30 und/oder der beweglichen Plattform 40 jeweils einzeln oder mit der beweglichen Bildgebungsanordnung 20 insgesamt auszutauschen.
In einer oder mehreren Ausführungsformen kann der Link 55 eine beliebige drahtlose Schnittstellenkonfiguration nutzen, zum Beispiel WiFi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, Nahfeldkommunikationsverbindung (NFC-Link), zum Beispiel über Protokoll ISO/IEC 14443, ANT+ Link und/oder andere drahtlose Kommunikationsverbindungen. In einigen Ausführungsformen kann der Link 55 über eine drahtgebundene Schnittstelle, zum Beispiel HDMI, USB, digitale Video-Schnittstelle, Display-Port-Schnittstelle (zum Beispiel die von der Video Electronics Standards Association (VESA) entwickelte Digitalanzeigeschnittstelle, Ethernet, Thunderbolt) und/oder eine andere Schnittstelle umgesetzt werden.
Die Benutzerschnittstelle (UI) der externen Vorrichtung 50 kann mit einer Software-Anwendung (zum Beispiel GoPro Studio®, GoPro App® und/oder eine andere Anwendung) arbeiten, die dazu ausgelegt ist, verschiedene Operation in Bezug auf die Kamerakonfiguration, Steuerung der Videoerfassung und/oder Anzeige des von der Bildgebungsvorrichtung 100 aufgenommenen Videos auszuführen. Eine Anwendung (zum Beispiel GoPro App)® ermöglicht einem Benutzer das Erstellen von kurzen Videoclips und das Einstellen der Videoclips in einem Cloud-Dienst (zum Beispiel Instagram®, Facebook®, YouTube®, Dropbox®); das Ausführen einer kompletten Fernsteuerung der Funktionen der Bildgebungsvorrichtung 100; eine Live-Vorschau des aktuell in Aufnahme befindlichen Videos für das Shot-Framing; das Markieren von Schlüsselmomenten während des Aufzeichnens (zum Beispiel HiLight Tag®, View HiLight Tags in GoPro Camera Roll®) für Lokalisierung und/oder Playback von Video-Highlights; die drahtlose Bedienung von Kamerasoftware; und/oder die Durchführung anderer Funktionen. Für die Konfigurierung der Bildgebungsvorrichtung 100 und/oder die Anzeige der erfassten Informationen können verschiedene methodische Techniken eingesetzt werden.
Die Benutzerschnittstelle (UI) der externen Vorrichtung 50 kann rein beispielhaft eine Benutzereinstellung entgegennehmen, welche die Bildauflösung (zum Beispiel 3840 Pixel mal 2160 Pixel), die Bildrate (zum Beispiel 60 Bilder (Frames) je Sekunde (fps)) und/oder andere Einstellungen (zum Beispiel Lokalisierung) in Bezug auf eine vom Benutzer aufgenommene Aktivität (zum Beispiel Mountainbiking) festlegt. Die Benutzerschnittstelle der externen Vorrichtung 50 kann diese Einstellungen über den Link 55 an die Bildgebungsvorrichtung 100 übermitteln.
Ein Benutzer kann die Benutzerschnittstelle der externen Vorrichtung 50 zur Betrachtung des von der Bildgebungsvorrichtung 100 erfassten Inhalts nutzen. Ein Display der Benutzerschnittstelle der externen Vorrichtung 50 kann als Viewport-Ansicht für einen 3D-Raum des Inhalts dienen. In einigen Ausführungsformen kann die Benutzerschnittstelle der externen Vorrichtung 50 zusätzliche Informationen (z. B. Metadaten) an die Bildgebungsvorrichtung 100 übermitteln. Die Benutzerschnittstelle der externen Vorrichtung 50 kann rein beispielhaft dafür sorgen, dass sich die Benutzerschnittstelle der externen Vorrichtung 50 in Bezug auf ein gegebenes Koordinatensystem zur Bildgebungsvorrichtung 100 hin ausrichtet, um die Bestimmung einer Viewport-Lokalisierung oder die Bestimmung von Abmessungen zur Betrachtung eines Teilabschnitts des Panorama-Inhalts oder beides zu aktivieren. Ein Benutzer kann beispielsweise die Benutzerschnittstelle der externen Vorrichtung 50 in einem räumlichen Bogen drehen (schwenken). Die Benutzerschnittstelle der externen Vorrichtung 50 kann Display-Ausrichtungsinformationen über eine Kommunikationsschnittstelle wie den Link 55 an die Bildgebungsvorrichtung 100 übermitteln. Die Bildgebungsvorrichtung 100 kann einen kodierten Bitstrom bereitstellen, der dazu ausgelegt ist, das Betrachten eines Teilabschnitts des Inhalts, der einem Teilabschnitt der Umgebung des Display-Standorts entspricht, zu ermöglichen, während die Bildgebungsvorrichtung 100 unterwegs ist. Dementsprechend erlauben die von der Benutzerschnittstelle der externen Vorrichtung 50 an die Bildgebungsvorrichtung 100 gesendeten Display-Ausrichtungsinformationen eine benutzerselektive Betrachtung der erfassten Bild- und/oder Videoaufnahme.
In vielen Fällen besteht der Wunsch, ein Ziel (das ein oder mehrere Motive umfasst) mit der beweglichen Bildgebungsanordnung 20 zu verfolgen. Es können verschiedene Formen der Verfolgung (Tracking) verwendet werden, darunter jene, die nachfolgend und in der am 21. Juli 2016 eingereichten vorläufigen US-Patentanmeldung mit der laufenden Nr. 62/364960 erörtert werden und durch Inbezugnahme vollumfänglich in das vorliegende Dokument aufgenommen werden. Zur Realisierung der beschriebenen Formen der Zielverfolgung kann ein Tracking-System 60 eingesetzt werden. Das Tracking-System 60 kann einen Prozessor und zur Verfolgung des Ziels verwendete Algorithmen umfassen. Das Tracking-System 60 ist mit gestrichelten Linien dargestellt, da es vollständig in der beweglichen Bildgebungsanordnung 20 oder vollständig in der externen Vorrichtung 50 enthalten sein kann, oder Teilbereiche des Tracking-Systems 60 jeweils in der beweglichen Bildgebungsanordnung 20 und in der externen Vorrichtung 50 angeordnet oder dupliziert sein können. Für die Interaktion mit dem Tracking-System 60 und für die Ausgabe von Befehlen (zum Beispiel von Befehlen, die ein Ziel identifizieren oder anpassen) kann auch ein Spracherkennungssystem 70 verwendet werden.
Die 2A bis 2D sind bildliche Darstellungen von Ausführungsformen der in 1 dargestellten Komponenten.
2A ist eine bildliche Darstellung der beweglichen Bildgebungsanordnung 20. In der abgebildeten Ausführungsform umfasst die bewegliche Bildgebungsanordnung 20 eine bewegliche Plattform 40, die eine Quadrocopter-Drohne ist. Die bewegliche Bildgebungsanordnung 20 kann eine beliebige Form von Luftfahrzeug oder eine beliebige Form von beweglicher Vorrichtung sein, die in Bezug auf einen festen Untergrund beweglich ist, wozu erdgebundene bewegliche mechanische Systeme gehören können. Wie in 2A dargestellt, ist die Bildgebungsvorrichtung 100 in der Vorderseite der beweglichen Plattform 40 montiert, so dass sie in eine Richtung entlang einer Achse der beweglichen Plattform 40 weist. In verschiedenen Ausführungsformen erfolgt jedoch die Montage der Bildgebungsvorrichtung 100 an der beweglichen Plattform 40 mit Hilfe des Bewegungsmechanismus 30.
2B ist eine bildliche Darstellung der Bildgebungsvorrichtung 100. In 2B ist die Bildgebungsvorrichtung 100 eine Kamera GoPro Hero4®, es kann jedoch eine beliebige Art von Bildgebungsvorrichtung 100 verwendet werden. Die Bildgebungsvorrichtung 100 kann eine Videokameravorrichtung umfassen. 2B zeigt auch ein Objektiv 130 der Kamera ebenso wie einen Anzeigebildschirm 147.
2C ist ein bildliche Darstellung einer externen Vorrichtung 50, insbesondere eines BGA-Steuergeräts und einer Benutzerschnittstelle. Die Benutzerschnittstelle kann ferner ein Anzeigesystem 51 mit einer Anzeigevorrichtung 52 umfassen. Das BGA-Steuergerät kann ferner eine Kommunikationsschnittstelle umfassen, über die es Befehle sowohl für den Betrieb der beweglichen Plattform 40, wie des unbemannten Luftfahrzeugs (UAV) oder der Drohne, als auch für die Bedienung der Bildgebungsvorrichtung 100 empfangen kann. Die Befehle können Bewegungsbefehle, Konfigurationsprobleme und andere Arten von betrieblichen Steuerbefehlen umfassen.
2D ist eine bildliche Darstellung der Bildgebungsvorrichtung 100 von 2B im Bewegungsmechanismus 30. Der Bewegungsmechanismus 30 koppelt die Bildgebungsvorrichtung 100 mit der beweglichen Plattform 40. Die in 2D dargestellte Ausführungsform des Bewegungsmechanismus 30 ist ein dreiachsiger kardanischer Mechanismus, der die Drehung der Bildgebungsvorrichtung 100 um drei unabhängige Achsen gestattet. Der Bewegungsmechanismus 30 kann jedoch eine beliebige Art von translatorischen und/oder rotatorischen Elementen umfassen, die eine Dreh- und/oder Verfahrbewegung in einer, zwei oder drei Dimensionen gestatten.
3A ist ein Blockschaltbild eines beispielhaften Systems 300, das für die Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System 300 umfasst eine Bilderfassungsvorrichtung 310 (zum Beispiel eine Kamera oder eine Drohne), die eine Verarbeitungseinrichtung 312 umfasst, die dazu ausgelegt ist, Bilder von einem oder mehreren Bildsensoren 314 zu empfangen. Die Bilderfassungsvorrichtung 310 umfasst Gimbals und Motoren 316, bei denen es sich um Stellantriebe (Aktoren) eines mechanischen Stabilisierungssystems handelt, die zur Steuerung einer Ausrichtung des einen oder der mehreren Bildsensoren 314 (zum Beispiel einer Ausrichtung im Verhältnis zu einer beweglichen Plattform) ausgelegt sind. Die Gimbals und Motoren 316 können durch ein Steuergerät des mechanischen Stabilisierungssystems angesteuert werden, das durch die Verarbeitungseinrichtung 312 (zum Beispiel als Software-Modul oder als spezialisiertes Hardware-Modul) realisiert sein kann. Die Verarbeitungseinrichtung 312 kann zur Ausführung einer Bildsignalverarbeitung (zum Beispiel Filterung, Tone Mapping, Stitching und/oder Kodierung) ausgelegt sein, um Ausgabebilder auf Grundlage der Bilddaten vom Bildsensor 314 zu erzeugen. Die Verarbeitungseinrichtung 312 kann ein (zum Beispiel als Software-Modul oder als spezialisiertes Hardware-Modul implementiertes) elektronisches Bildstabilisierungsmodul umfassen, das für Bildkorrekturen in Bezug auf Drehungen des einen oder der mehreren Bildsensoren 314 ausgelegt ist. Die Bilderfassungsvorrichtung 310 umfasst einen oder mehrere Bewegungssensoren 318, die zur Erfassung der Bewegung des einen oder der mehreren Bildsensoren 314 ausgelegt sind. Der eine oder die mehreren Bewegungssensoren 318 können Rückkopplungssignale an das mechanische Stabilisierungssystem und/oder elektronische Bildstabilisierungsmodul bereitstellen. Die Bilderfassungsvorrichtung 310 umfasst eine Kommunikationsschnittstelle 322 für die Übertragung von Bildern zu anderen Vorrichtungen. Die Bilderfassungsvorrichtung 310 umfasst eine Benutzerschnittstelle 320, mit der ein Benutzer Bilderfassungsfunktionen ansteuern und/oder Bilder zur Anzeige bringen kann. Die Bilderfassungsvorrichtung 310 umfasst eine Batterie 324 zur Stromversorgung der Bilderfassungsvorrichtung 310. Das System 300 kann beispielsweise verwendet werden, um Prozesse zu implementieren, die in der vorliegenden Offenbarung beschrieben werden, wie den Prozess 500 von 5 und den Prozess 600 von 6.
Die Verarbeitungseinrichtung 312 kann einen oder mehrere Prozessoren mit einem oder mehreren Prozessorkernen umfassen. Die Verarbeitungseinrichtung 312 kann Speicher wie eine Direktzugriffsspeichervorrichtung (RAM), ein Flash-Memory oder eine andere geeignete Art von Speichervorrichtung wie einen nichtflüchtigen computerlesbaren Speicher aufweisen. Der Speicher der Verarbeitungseinrichtung 312 kann ausführbare Anweisungen und Daten enthalten, auf die ein oder mehrere Prozessoren der Verarbeitungseinrichtung 312 zugreifen können. Die Verarbeitungseinrichtung 312 kann beispielsweise ein oder mehrere DRAM-Module wie DDR SDRAM (double data rate synchronous dynamic random-access memory) aufweisen. In einigen Ausführungen kann die Verarbeitungseinrichtung 312 einen digitalen Signalprozessor (DSP) aufweisen. In einigen Ausführungen kann die Verarbeitungseinrichtung 312 einen anwendungsspezifischen integrierten Schaltkreis (ASIC) aufweisen. Beispielsweise kann die Verarbeitungseinrichtung 312 einen Custom-Image-Signalprozessor aufweisen. In einigen Ausführungsformen kann die Verarbeitungseinrichtung 312 mehrere Verarbeitungseinheiten in unterschiedlichen Abschnitten der Bilderfassungsvorrichtung 310 aufweisen. Die Verarbeitungseinrichtung 312 kann beispielsweise einen Prozessor auf einer beweglichen Plattform (zum Beispiel der beweglichen Plattform 40) und einen Prozessor in einer Bildgebungsvorrichtung (zum Beispiel der Bildgebungsvorrichtung 100) aufweisen, die durch Gimbals und Motoren 316 verbunden sind.
Die Verarbeitungseinrichtung 312 kann ein elektronisches Bildstabilisierungsmodul umfassen, das zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors ausgelegt ist. Das elektronische Bildstabilisierungsmodul kann beispielsweise über eine von der Verarbeitungseinrichtung 312 ausgeführte Software realisiert werden. Das elektronische Bildstabilisierungsmodul kann Sensordaten (zum Beispiel Gyroskopdaten) und/oder Ausrichtungsschätzungen für den Bildsensor als Eingangsdaten übernehmen, eine korrigierende Drehung bestimmen und die korrigierende Drehung an ein Bild vom Bildsensor anlegen, um ein stabilisiertes Bild zu erzeugen.
Der eine oder die mehreren Bildsensoren 314 sind zum Erfassen von Bildern ausgelegt. Der eine oder die mehreren Bildsensoren 314 sind zum Erfassen von Licht eines bestimmten Spektrums (zum Beispiel des sichtbaren Spektrums oder des Infrarotspektrums) und zum Weiterleiten von Informationen, die ein Bild als elektrische Signale (z. B. analoge oder digitale Signale) darstellen, ausgelegt. Der eine oder die mehreren Bildsensoren 314 können beispielsweise ladungsgekoppelte Bausteine (CCD) oder aktive Pixelsensoren in einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS) umfassen. Der eine oder die mehreren Bildsensoren 314 können ein durch ein entsprechendes Objektiv (zum Beispiel ein Fischaugenobjektiv) einfallendes Licht erfassen. In einigen Ausführungsformen können in dem einen oder den mehreren Bildsensoren 314 Digital-Analog-Umsetzer vorhanden sein. In einigen Ausführungsformen weisen der eine oder die mehreren Bildsensoren 314 überlappende Sichtfelder auf.
Das mechanische Stabilisierungssystem für den einen oder die mehreren Bildsensoren 314 umfasst die Gimbals und Motoren 316. Die Gimbals und Motoren 316 können Teile eines Bewegungsmechanismus (zum Beispiel des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 316 können den einen oder die mehreren Bildsensoren 314 mit einer beweglichen Plattform verbinden und ihre Ausrichtung steuern. Die Bilderfassungsvorrichtung 310 kann beispielsweise eine Drohne aufweisen, die über die Gimbals des mechanischen Stabilisierungssystems mit einem Gehäuse des Bildsensors / der Bildsensoren 314 gekoppelt ist. Die Gimbals und Motoren 316 können mehrere Achsen abdecken (zum Beispiel 3-achsiger Gimbal-Satz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann einen Regler (zum Beispiel einen Proportional-Integral-Differential(PID)-Regler) aufweisen. Der Regler des mechanischen Stabilisierungssystems kann beispielsweise durch die Verarbeitungseinrichtung 312 (zum Beispiel als Software-Modul oder spezialisiertes Hardware-Modul) realisiert werden.
Der eine oder die mehreren Bewegungssensoren 318 sind dazu ausgelegt, die Bewegung des einen oder der mehreren Bildsensoren 314 zu erkennen. Der eine oder die mehreren Bewegungssensoren 318 können Teile einer (zum Beispiel Gyroskope, Beschleunigungsmesser und Magnetoskope enthaltenden) inertialen Messeinheit umfassen, die in einem Gehäuse mit dem einen oder den mehreren Bildsensoren 314 montiert ist. In einigen Ausführungsformen können der eine oder die mehreren Bewegungssensoren 318 Teile einer inertialen Messeinheit umfassen, die in einer beweglichen Plattform der Bilderfassungsvorrichtung 310 montiert ist. In einigen Ausführungsformen umfassen der eine oder die mehreren Bewegungssensoren 318 Sensoren (zum Beispiel magnetische Messgeber, optische Messgeber und/oder Potentiometer), die den Zustand der Gimbals und Motoren 316 erfassen, um eine relative Ausrichtung des Bildsensors und einer beweglichen Plattform der Bilderfassungsvorrichtung 310 zu messen. Die Verarbeitungseinrichtung 312 kann dazu ausgelegt sein, dass sie anhand von Sensordaten des einen oder der mehreren Bewegungssensoren 318 eine Abfolge von Ausrichtungsschätzungen bestimmt. Das Bestimmen der Abfolge von Ausrichtungsschätzungen kann beispielsweise umfassen, dass eine quadratische Schätzung auf Sensordaten von mehreren der einen oder mehreren Bewegungssensoren 318 angewendet wird.
Die Verarbeitungseinrichtung 312 kann zum kombinierten Aufrufen des mechanischen Stabilisierungssystems und des elektronischen Bildstabilisierungsmoduls ausgelegt sein, um eine durch die Bewegung der Bilderfassungsvorrichtung verursachte Verzerrung bei erfassten Bildern zu vermindern. Die Verarbeitungseinrichtung 312 kann dazu ausgelegt sein, das mechanische Stabilisierungssystems basierend auf der Abfolge von Ausrichtungsschätzungen aufzurufen, um Bewegungen, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten, abzulehnen. Die Verarbeitungseinrichtung 312 kann dazu ausgelegt sein, das elektronische Bildstabilisierungsmodul basierend auf der Abfolge von Ausrichtungsschätzungen aufzurufen, um Bilder in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, zu korrigieren, um ein stabilisiertes Bild zu erzeugen. Die untere Grenzfrequenz kann größer sein als die obere Grenzfrequenz. Die erste operative Bandbreite und die zweite operative Bandbreite können somit überlappungsfrei sein, so dass das mechanische Stabilisierungssystem und das elektronische Bildstabilisierungsmodul ohne erhebliche Interferenz unabhängig arbeiten können. In einigen Ausführungsformen kann die Verarbeitungseinrichtung 312 ausgelegt sein zum: Anlegen eines ersten Filters mit einem Durchlassband, das der ersten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das mechanische Stabilisierungssystem eingegeben werden; und Anlegen eines zweiten Filters mit einem Durchlassband, das der zweiten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das elektronische Bildstabilisierungsmodul eingegeben werden. Das erste Filter und das zweite Filter können beispielsweise Übertragungsfunktionen ähnlich den in 7 abgebildeten Funktionen aufweisen. Durch die Filterung des Eingangssignals zu einem mechanischen Stabilisierungssystem und einem elektronischen Bildstabilisierungsmodul, die lineare Regler aufweisen, können die jeweiligen operativen Bandbreiten für diese Teilsysteme erzwungen werden. In einigen Ausführungsformen umfasst das mechanische Stabilisierungssystem einen Proportional-Integral-Differential-Regler mit auf die Erzwingung der ersten operativen Bandbreite abgestimmten Koeffizienten. In einigen Ausführungsformen umfasst das elektronische Bildstabilisierungsmodul einen Proportional-Integral-Differential-Regler mit auf die Erzwingung der ersten operativen Bandbreite abgestimmten Koeffizienten. Die Verarbeitungseinrichtung 312 kann dazu ausgelegt sein, die erste operative Bandbreite und die zweite operative Bandbreite auf komplementäre Weise zu verstellen, indem sie die obere Grenzfrequenz und die untere Grenzfrequenz um einen gleichen Betrag verstellt. Die Verarbeitungseinrichtung 312 kann beispielsweise so ausgelegt sein, dass sie den Prozess 600 von 6 realisiert.
Die Bilderfassungsvorrichtung 310 kann eine Benutzerschnittstelle 320 aufweisen. Die Benutzerschnittstelle 320 kann beispielsweise eine LCD-Anzeige zur Darstellung von Bildern und/oder Mitteilungen für einen Benutzer aufweisen. Die Benutzerschnittstelle 320 kann beispielsweise einen Taster oder Schalter aufweisen, mit dem eine Person die Bilderfassungsvorrichtung 310 manuell ein- und ausschalten kann. Die Benutzerschnittstelle 320 kann beispielsweise einen Auslöseknopf für Fotoaufnahmen aufweisen.
Die Bilderfassungsvorrichtung 310 kann eine Kommunikationsschnittstelle 322 aufweisen, die Kommunikationsverkehr mit einer persönlichen Rechenvorrichtung (zum Beispiel einem Smartphone, einem Tablet, einem Laptop-Computer oder einem Desktop-Computer) ermöglichen kann. Die Kommunikationsschnittstelle 322 kann beispielsweise für das Empfangen von Befehlen zum Steuern der Bilderfassung und Bildverarbeitung in der Bilderfassungsvorrichtung 310 verwendet werden. Die Kommunikationsschnittstelle 322 kann beispielsweise verwendet werden, um Bilddaten an eine persönliche Rechenvorrichtung zu übertragen. Die Kommunikationsschnittstelle 322 kann beispielsweise eine drahtgebundene Schnittstelle wie ein High Definition Multimedia Interface (HDMI), eine universelle serielle Bus(USB)-Schnittstelle oder eine FireWire-Schnittstelle umfassen. Die Kommunikationsschnittstelle 322 kann beispielsweise eine drahtlose Schnittstelle wie eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle umfassen.
Die Bilderfassungsvorrichtung 310 kann eine Batterie 324 aufweisen, welche die Bilderfassungsvorrichtung 310 und/oder ihre Peripheriegeräte speist. Die Batterie 324 kann beispielsweise drahtlos oder über eine Mikro-USB-Schnittstelle aufgeladen werden. 3B ist ein Blockschaltbild eines beispielhaften Systems 330, das für die Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System 330 umfasst eine Bilderfassungsvorrichtung 340 und eine persönliche Rechenvorrichtung 360, die über eine Kommunikationsverbindung 350 kommuniziert. Die Bilderfassungsvorrichtung 340 umfasst einen oder mehrere Bildsensoren 342, die zum Erfassen von Bildern ausgelegt sind. Die Bilderfassungsvorrichtung 340 umfasst eine Kommunikationsschnittstelle 348, die zum Übertragen von Bildern über die Kommunikationsverbindung 350 zur persönlichen Rechenvorrichtung 360 ausgelegt ist. Die persönliche Rechenvorrichtung 360 umfasst eine Verarbeitungseinrichtung 362, die zum Empfangen von Bildern von dem einen oder den mehreren Bildsensoren 342 mit Hilfe der Kommunikationsschnittstelle 366 ausgelegt ist. Die Bilderfassungsvorrichtung 340 umfasst Gimbals und Motoren 344, bei denen es sich um Stellantriebe (Aktoren) eines mechanischen Stabilisierungssystems handelt, die zur Steuerung einer Ausrichtung des einen oder der mehreren Bildsensoren 342 (zum Beispiel einer Ausrichtung in Bezug zu einer beweglichen Plattform) ausgelegt sind. Die Gimbals und Motoren 344 können durch ein Steuergerät des mechanischen Stabilisierungssystems angesteuert werden, das durch die Verarbeitungseinrichtung 362 (zum Beispiel als Software-Modul oder als spezialisiertes Hardware-Modul) realisiert sein kann und über die Kommunikationsverbindung 350 Steuersignale an die Motoren 344 liefern kann. Die Verarbeitungseinrichtung 362 kann zur Ausführung einer Bildsignalverarbeitung (zum Beispiel Filterung, Tone Mapping, Stitching und/oder Kodierung) ausgelegt sein, um Ausgabebilder anhand der Bilddaten von dem einen oder den mehreren Bildsensoren 342 zu erzeugen. Die Verarbeitungseinrichtung 362 kann ein (zum Beispiel als Software-Modul oder als spezialisiertes Hardware-Modul implementiertes) elektronisches Bildstabilisierungsmodul umfassen, das für Bildkorrekturen in Bezug auf Drehungen des einen oder der mehreren Bildsensoren 342 ausgelegt ist. Die Bilderfassungsvorrichtung 340 umfasst einen oder mehrere Bewegungssensoren 346, die zur Erfassung der Bewegung des einen oder der mehreren Bildsensoren 342 ausgelegt sind. Der eine oder die mehreren Bewegungssensoren 346 können Rückkopplungssignale (zum Beispiel über die Kommunikationsverbindung 350) an das mechanische Stabilisierungssystem und/oder elektronische Bildstabilisierungsmodul liefern. Das System 330 kann beispielsweise verwendet werden, um in der vorliegenden Offenbarung beschriebene Verfahren wie das Verfahren 500 von 5 und das Verfahren 600 von 6 zu realisieren.
Der eine oder die mehreren Bildsensoren 342 sind zum Erfassen von Bildern ausgelegt. Der eine oder die mehreren Bildsensoren 342 sind ausgelegt zum: Erfassen von Licht eines bestimmten Spektrums (zum Beispiel des sichtbaren Spektrums oder des Infrarotspektrums) und Weiterleiten von Informationen, die ein Bild als elektrische Signale (z. B. analoge oder digitale Signale) darstellen. Der eine oder die mehreren Bildsensoren 342 können beispielsweise ladungsgekoppelte Bausteine (CCD) oder aktive Pixelsensoren in einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS) umfassen. Der eine oder die mehreren Bildsensoren 342 können ein durch ein entsprechendes Objektiv (zum Beispiel ein Fischaugenobjektiv) einfallendes Licht erfassen. In einigen Ausführungsformen können Digital-Analog-Umsetzer in dem einen oder den mehreren Bildsensoren 342 vorhanden sein. In einigen Ausführungsformen weisen der eine oder die mehreren Bildsensoren 342 überlappende Sichtfelder auf.
Die Verarbeitungseinrichtung 362 kann einen oder mehrere Prozessoren mit einem oder mehreren Prozessorkernen umfassen. Die Verarbeitungseinrichtung 362 kann Speicher wie eine Direktzugriffsspeichervorrichtung (RAM), ein Flash-Memory oder eine andere geeignete Art von Speichervorrichtung wie einen nichtflüchtigen computerlesbaren Speicher aufweisen. Der Speicher der Verarbeitungseinrichtung 362 kann ausführbare Anweisungen und Daten enthalten, auf die ein oder mehrere Prozessoren der Verarbeitungseinrichtung 362 zugreifen können. Die Verarbeitungseinrichtung 362 kann beispielsweise ein oder mehrere DRAM-Module wie DDR SDRAM (double data rate synchronous dynamic random-access memory) aufweisen. In einigen Ausführungen kann die Verarbeitungseinrichtung 362 einen digitalen Signalprozessor (DSP) aufweisen. In einigen Ausführungen kann die Verarbeitungseinrichtung 362 einen anwendungsspezifischen integrierten Schaltkreis (ASIC) aufweisen. Beispielsweise kann die Verarbeitungseinrichtung 362 einen Custom-Image-Signalprozessor aufweisen.
Die Verarbeitungseinrichtung 362 kann ein elektronisches Bildstabilisierungsmodul umfassen, das zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors ausgelegt ist. Das elektronische Bildstabilisierungsmodul kann beispielsweise über eine von der Verarbeitungseinrichtung 362 ausgeführte Software realisiert werden. Das elektronische Bildstabilisierungsmodul kann Sensordaten (zum Beispiel Gyroskopdaten) und/oder Ausrichtungsschätzungen für den Bildsensor als Eingangsdaten übernehmen, eine korrigierende Drehung bestimmen und die korrigierende Drehung an ein Bild vom Bildsensor anlegen, um ein stabilisiertes Bild zu erzeugen.
Das mechanische Stabilisierungssystem für den einen oder die mehreren Bildsensoren 342 umfasst die Gimbals und Motoren 344. Die Gimbals und Motoren 344 können Teile eines Bewegungsmechanismus (zum Beispiel des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 344 können den einen oder die mehreren Bildsensoren 342 mit einer beweglichen Plattform verbinden und ihre Ausrichtung steuern. Die Bilderfassungsvorrichtung 340 kann beispielsweise eine Drohne aufweisen, die über die Gimbals des mechanischen Stabilisierungssystems mit einem Gehäuse des Bildsensors / der Bildsensoren 342 gekoppelt ist. Die Gimbals und Motoren 344 können mehrere Achsen abdecken (zum Beispiel 3-achsiger Gimbal-Satz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann einen Regler (zum Beispiel einen Proportional-Integral-Differential(PID)-Regler) aufweisen. Der Regler des mechanischen Stabilisierungssystems kann beispielsweise durch die Verarbeitungseinrichtung 362 (zum Beispiel als Software-Modul oder spezialisiertes Hardware-Modul) realisiert werden.
Der eine oder die mehreren Bewegungssensoren 346 sind dazu ausgelegt, die Bewegung des einen oder der mehreren Bildsensoren 342 zu erkennen. Der eine oder die mehreren Bewegungssensoren 346 können Teile einer (zum Beispiel Gyroskope, Beschleunigungsmesser und Magnetoskope enthaltenden) inertialen Messeinheit umfassen, die in einem Gehäuse mit dem einen oder den mehreren Bildsensoren 342 montiert ist. In einigen Ausführungsformen können der eine oder die mehreren Bewegungssensoren 346 Teile einer inertialen Messeinheit umfassen, die in einer beweglichen Plattform der Bilderfassungsvorrichtung 340 montiert ist. In einigen Ausführungsformen umfassen der eine oder die mehreren Bewegungssensoren 346 Sensoren (zum Beispiel magnetische Messgeber, optische Messgeber und/oder Potentiometer), die den Zustand der Gimbals und Motoren 344 erkennen, um eine relative Ausrichtung des Bildsensors und einer beweglichen Plattform der Bilderfassungsvorrichtung 340 zu messen. Die Verarbeitungseinrichtung 362 kann dazu ausgelegt sein, basierend auf Sensordaten von dem einen oder den mehreren Bewegungssensoren 346 eine Abfolge von Ausrichtungsschätzungen zu bestimmen. Das Bestimmen der Abfolge von Ausrichtungsschätzungen kann beispielsweise umfassen, dass eine quadratische Schätzung auf Sensordaten von mehreren der einen oder mehreren Bewegungssensoren 346 angewendet wird.
Die Verarbeitungseinrichtung 362 kann zum kombinierten Aufrufen des mechanischen Stabilisierungssystems und des elektronischen Bildstabilisierungsmoduls ausgelegt sein, um eine durch die Bewegung der Bilderfassungsvorrichtung 340 verursachte Verzerrung von erfassten Bildern zu vermindern. Die Verarbeitungseinrichtung 362 kann dazu ausgelegt sein, das mechanische Stabilisierungssystem basierend auf der Abfolge von Ausrichtungsschätzungen aufzurufen, um Bewegungen, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten, abzulehnen. Die Verarbeitungseinrichtung 362 kann dazu ausgelegt sein, das elektronische Bildstabilisierungsmodul basierend auf der Abfolge von Ausrichtungsschätzungen aufzurufen, um Bilder in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, zu korrigieren, um ein stabilisiertes Bild zu erzeugen. Die untere Grenzfrequenz kann größer sein als die obere Grenzfrequenz. Die erste operative Bandbreite und die zweite operative Bandbreite können somit überlappungsfrei sein, so dass das mechanische Stabilisierungssystem und das elektronische Bildstabilisierungsmodul ohne erhebliche Interferenz unabhängig arbeiten können. In einigen Ausführungsformen kann die Verarbeitungseinrichtung 362 ausgelegt sein zum: Anlegen eines ersten Filters mit einem Durchlassband, das der ersten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das mechanische Stabilisierungssystem eingegeben werden; und Anlegen eines zweiten Filters mit einem Durchlassband, das der zweiten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das elektronische Bildstabilisierungsmodul eingegeben werden. Das erste Filter und das zweite Filter können beispielsweise Übertragungsfunktionen ähnlich den in 7 abgebildeten Funktionen aufweisen. Durch die Filterung des Eingangssignals zu einem mechanischen Stabilisierungssystem und einem elektronischen Bildstabilisierungsmodul, die lineare Regler aufweisen, können die jeweiligen operativen Bandbreiten für diese Teilsysteme erzwungen werden. In einigen Ausführungsformen umfasst das mechanische Stabilisierungssystem einen Proportional-Integral-Differential-Regler mit auf die Erzwingung der ersten operativen Bandbreite abgestimmten Koeffizienten. In einigen Ausführungsformen umfasst das elektronische Bildstabilisierungsmodul einen Proportional-Integral-Differential-Regler mit auf die Erzwingung der ersten operativen Bandbreite abgestimmten Koeffizienten. Die Verarbeitungseinrichtung 362 kann dazu ausgelegt sein, die erste operative Bandbreite und die zweite operative Bandbreite auf komplementäre Weise zu verstellen, indem sie die obere Grenzfrequenz und die untere Grenzfrequenz um einen gleichen Betrag verstellt. Die Verarbeitungseinrichtung 362 kann beispielsweise zur Realisierung des Prozesses 600 von 6 ausgelegt sein.
Die Kommunikationsverbindung 350 kann eine drahtgebundene Kommunikationsverbindung oder eine drahtlose Kommunikationsverbindung sein. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können Kommunikationsverkehr über die Kommunikationsverbindung 350 ermöglichen. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können ein High Definition Multimedia Interface (HDMI), eine universelle serielle Bus(USB)-Schnittstelle, eine FireWire-Schnittstelle, eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle umfassen. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können beispielsweise verwendet werden, um Bilddaten von der Bilderfassungsvorrichtung 340 zur Bildsignalverarbeitung (zum Beispiel Filterung, Tone Mapping, Stitching und/oder Kodierung) an die persönliche Rechenvorrichtung 360 zu übertragen, um Ausgabebilder auf Grundlage der von dem einen oder den mehreren Bildsensoren 342 kommenden Bilddaten zu erzeugen. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können beispielsweise verwendet werden, um Bewegungssensordaten zwecks Verarbeitung in einem Steuergerät eines mechanischen Stabilisierungssystems und/oder eines elektronischen Bildstabilisierungssystems von der Bilderfassungsvorrichtung 340 an die persönliche Rechenvorrichtung 360 zu übertragen. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können beispielsweise verwendet werden, um Steuersignale zwecks Ansteuerung der Gimbals und Motoren 344 eines mechanischen Stabilisierungssystems von der persönliche Rechenvorrichtung 360 an die Bilderfassungsvorrichtung 340 zu übertragen.
Die persönliche Rechenvorrichtung 360 kann eine Benutzerschnittstelle 364 aufweisen. Die Benutzerschnittstelle 364 kann beispielsweise eine Touchscreen-Anzeige zur Darstellung von Bildern und/oder Mitteilungen für einen Benutzer und zur Entgegennahme von Befehlen eines Benutzers aufweisen. Die Benutzerschnittstelle 364 kann beispielsweise einen Taster oder Schalter aufweisen, mit dem eine Person die persönliche Rechenvorrichtung 360 manuell ein- und ausschalten kann. In einigen Ausführungsformen können Befehle (zum Beispiel Start der Videoaufnahme, Stopp der Videoaufnahme, Fotografieren oder Auswahl des Tracking-Ziels), die über die Benutzerschnittstelle 364 empfangen werden, über die Kommunikationsverbindung 350 an die Bilderfassungsvorrichtung 340 übergeben werden.
4 ist ein Blockschaltbild eines beispielhaften Systems 400, das für eine Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System umfasst einen Bildsensor 410, der zum Erfassen eines Bilds ausgelegt ist; ein mechanisches Stabilisierungssystem 420, das zum Steuern einer Ausrichtung des Bildsensors 410 ausgelegt ist; ein elektronisches Bildstabilisierungsmodul 430, das zum Korrigieren des Bilds in Bezug auf Drehungen des Bildsensors ausgelegt ist; und ein Bewegungsverfolgungsmodul 440, das einen oder mehrere Bewegungssensoren umfasst, die zum Erfassen der Bewegung des Bildsensors 410 und zum Bereitstellen einer Eingabe in das mechanische Stabilisierungssystem 420 und das elektronische Bildstabilisierungsmodul 430 ausgelegt sind. Das mechanische Stabilisierungssystem 420 und das elektronische Bildstabilisierungsmodul 430 können so ausgelegt sein, dass sie in entsprechenden, im Wesentlichen überlappungsfreien Bandbreiten arbeiten. Das System 400 kann beispielsweise verwendet werden, um in der vorliegenden Offenbarung beschriebene Verfahren, wie das Verfahren 500 von 5 und das Verfahren 600 von 6, zu realisieren.
Das System umfasst einen Bildsensor 410, der zum Erfassen eines Bilds 412 ausgelegt ist. Der Bildsensor 410 kann zum Erfassen von Licht eines bestimmten Spektrums (zum Beispiel des sichtbaren Spektrums oder des Infrarotspektrums) und zum Weiterleiten von Informationen, die ein Bild als elektrische Signale (z. B. analoge oder digitale Signale) darstellen, ausgelegt sein. Der Bildsensor 410 kann beispielsweise ladungsgekoppelte Bausteine (CCD) oder aktive Pixelsensoren in einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS) umfassen. Der Bildsensor 410 kann ein durch ein Objektiv (zum Beispiel ein Fischaugenobjektiv) einfallendes Licht erfassen. In einigen Ausführungsformen umfasst der Bildsensor 410 einen Digital-Analog-Umsetzer.
Das System 400 umfasst ein mechanisches Stabilisierungssystem 420, das Motoren umfasst, die zum Steuern einer Ausrichtung des Bildsensors zur Ablehnung von Bewegungen innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz ausgelegt sind. In diesem Beispiel umfasst das mechanische Stabilisierungssystem 420 Gimbals und Motoren 422, bei denen es sich um Stellantriebe (Aktoren) handelt, die zur Steuerung einer Ausrichtung des Bildsensors 410 (zum Beispiel einer Ausrichtung in Bezug auf eine bewegliche Plattform) verwendet werden. Die Gimbals und Motoren 422 können Teile eines Bewegungsmechanismus (zum Beispiel des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 422 können den Bildsensor 410 mit einer beweglichen Plattform verbinden und die Ausrichtung des Bildsensors 410 mit der beweglichen Plattform steuern. Das System 400 kann beispielsweise eine Drohne (zum Beispiel die bewegliche Plattform 40) umfassen, die über das mechanische Stabilisierungssystem 420 mit einem Gehäuse des Bildsensors 410 gekoppelt ist. Die Gimbals und Motoren 422 können mehrere Achsen abdecken (zum Beispiel 3-achsiger Gimbal-Satz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem 420 kann einen Regler 424 (zum Beispiel einen Proportional-Integral-Differential(PID)-Regler) aufweisen. Der Regler 424 des mechanischen Stabilisierungssystems 420 kann beispielsweise als Software-Modul oder spezialisiertes Hardware-Modul (zum Beispiel durch die Verarbeitungseinrichtung 312) realisiert sein. Der Regler 424 kann eine Zieleingabe 426 aus einem Tracking-System (zum Beispiel Tracking-System 60) übernehmen, wie einen Sollwert oder eine gewünschte Ausrichtung. Der Regler 424 kann so ausgelegt sein, dass er innerhalb der ersten operativen Bandbreite auftretende Bewegungen ablehnt, die von einer gewünschten Ausrichtung (zum Beispiel einer aktuellen Ausrichtung) abweichen. Die Gimbals und Motoren 422 werden zur Erzeugung von Kräften 428 (zum Beispiel von Drehmomenten oder Verschiebungen) verwendet, um eine Ausrichtung und/oder Position des Bildsensors 410 anzusteuern. Die Kräfte 428 können beispielsweise dazu dienen, den Bildsensor während der Bewegung einer angeschlossenen beweglichen Plattform (zum Beispiel eine Drohne) stabil auf das Ziel gerichtet zu halten.
Das System 400 umfasst ein elektronisches Bildstabilisierungsmodul 430, das dazu ausgelegt ist, Bilder in Bezug auf Drehungen des Bildsensors 410, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, zu korrigieren, um ein stabilisiertes Bild 432 zu erzeugen. Die untere Grenzfrequenz der zweiten operativen Bandbreite ist größer als die obere Grenzfrequenz der ersten operativen Bandbreite. Das Vorhandensein von im Wesentlichen überlappungsfreien operativen Bandbreiten kann eine Interferenz zwischen der Dynamik des mechanischen Stabilisierungssystems 420 und der Dynamik des elektronischen Bildstabilisierungsmoduls 430 verhindern oder reduzieren und die Bildqualität des stabilisierten Bilds 432 verbessern. Das elektronische Bildstabilisierungsmodul 430 kann beispielsweise durch eine von einer Verarbeitungseinrichtung (zum Beispiel einem Bildsignalprozessor) ausgeführte Software realisiert werden. Das elektronische Bildstabilisierungsmodul 430 kann Sensordaten (zum Beispiel Gyroskopdaten) und/oder Ausrichtungsschätzungen für den Bildsensor als Eingangsdaten 434 übernehmen, eine korrigierende Drehung bestimmen und die korrigierende Drehung an ein vom Bildsensor 410 kommendes Bild 412 anlegen, um ein stabilisiertes Bild 432 zu erzeugen. Bestimmte höherfrequente Bewegungen des Bildsensors 410 (zum Beispiel Schwingungen) können beispielsweise für eine wirksame Ablehnung durch das mechanische Stabilisierungssystem 420 zu schnell sein und dadurch eine Verzerrung des Bilds 412 verursachen. Diese Restverzerrung kann durch die digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul 430 ganz oder teilweise korrigiert werden.
Das System 400 umfasst ein Bewegungsverfolgungsmodul 440, das einen oder mehrere Bewegungssensoren umfasst, die zum Erfassen der Bewegung des Bildsensors 410 und zum Bestimmen einer Abfolge von Ausrichtungsschätzungen für den Bildsensor 410 ausgelegt sind. Das Bewegungsverfolgungsmodul 440 umfasst eine inertiale Messeinheit 442, die verwendet werden kann, um Änderungen der Position (Lage) und Ausrichtung des Bildsensors 410 zu erfassen. Die inertiale Messeinheit 442 kann beispielsweise einen 3-achsigen Beschleunigungsmesser, ein 3-achsiges Gyroskop und/oder ein 3-achsiges Magnetometer aufweisen. Das Bewegungsverfolgungsmodul 440 umfasst Messgeber 444 (zum Beispiel magnetische Messgeber, optische Messgeber und/oder laserinterferometrische Messgeber), die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors 410 im Verhältnis zu einer über die Gimbals und Motoren 422 verbundenen beweglichen Plattform (zum Beispiel einer Drohne) zu erfassen. Das Bewegungsverfolgungsmodul 440 umfasst Potentiometer 446, die einen Zustand der Gimbals und Motoren 422 und damit eine Position und/oder Ausrichtung des Bildsensors 410 im Verhältnis zu einer durch die Gimbals und Motoren 422 angeschlossenen beweglichen Plattform (zum Beispiel einer Drohne) erfassen. Das Bewegungsverfolgungsmodul 440 kann ein Sensorfusionsmodul zum Kombinieren von Daten aus verschiedenen Sensoren des Bewegungsverfolgungsmoduls umfassen, um die Abfolge von Schätzungen der Position und/oder Ausrichtung des Bildsensors 410 zu bestimmen. Das Bestimmen der Abfolge von Ausrichtungsschätzungen kann beispielsweise umfassen, dass eine quadratische Schätzung auf Sensordaten von der inertialen Messeinheit 442, den Messgebern 44 und/oder den Potentiometern 446 angewendet wird.
Das System 400 umfasst ein erstes Filtermodul 450 für das mechanische Stabilisierungssystem 420. Das erste Filtermodul 450 ist dazu ausgelegt, ein erstes Filter mit einem Durchlassband, das der ersten operativen Bandbreite entspricht, an eine Abfolge von Ausrichtungsschätzungen 452 anzulegen, um Daten 454 zu erhalten, die in das mechanische Stabilisierungssystem 420 eingegeben werden. Das erste Filter kann beispielsweise eine Übertragungsfunktion ähnlich der in 7 abgebildeten Übertragungsfunktion 710 aufweisen. Die erste operative Bandbreite für das mechanische Stabilisierungssystem 420 kann zur Übernahme von Eingangsdaten 454 aus dem ersten Filtermodul 450 ausgelegt sein, soweit der Regler 424 ein lineares System ist. Es ist erwähnenswert, dass die zur Übernahme von Eingangsdaten 454 aus dem ersten Filtermodul 450 ausgelegte erste operative Bandbreite eine schmalere Teilmenge einer maximalen operativen Bandbreite des mechanischen Stabilisierungssystems 420 (zum Beispiel durch Faktoren wie das maximale Drehmoment der Motoren 422 begrenzt) sein kann. In einigen Ausführungsformen (in 4 nicht dargestellt) wird die erste operative Bandbreite des mechanischen Stabilisierungssystems 420 durch die Abstimmung des Reglers 424 eingerichtet oder erzwungen. Das erste Filtermodul 450 kann beispielsweise als eine von einer Verarbeitungseinrichtung (zum Beispiel Verarbeitungseinrichtung 312) ausgeführte Software realisiert werden.
Das System 400 umfasst ein zweites Filtermodul 460 für das elektronische Bildstabilisierungsmodul 430. Das zweite Filtermodul 460 ist dazu ausgelegt, ein zweites Filter mit einem Durchlassband, das der zweiten operativen Bandbreite entspricht, an eine Abfolge von Ausrichtungsschätzungen 462 anzulegen, um Daten zu erhalten, die in das elektronische Bildstabilisierungsmodul 430 eingegeben 434 werden. Das zweite Filter kann beispielsweise eine Übertragungsfunktion ähnlich der in 7 abgebildeten Übertragungsfunktion 720 aufweisen. Die zweite operative Bandbreite für das elektronische Bildstabilisierungsmodul 430 kann zur Übernahme von Eingangsdaten 434 aus dem zweiten Filtermodul 460 ausgelegt sein, soweit ein Regler 430 des elektronischen Bildstabilisierungsmoduls 430 ein lineares System ist. Es ist erwähnenswert, dass die zur Übernahme von Eingangsdaten 434 aus dem zweiten Filtermodul 460 ausgelegte zweite operative Bandbreite eine schmalere Teilmenge einer maximalen operativen Bandbreite des elektronischen Bildstabilisierungsmoduls 430 (zum Beispiel durch Faktoren wie die Abstimmung eines Reglers begrenzt) sein kann. In einigen Ausführungsformen (in 4 nicht dargestellt) wird die zweite operative Bandbreite des elektronischen Bildstabilisierungsmoduls 430 durch die Abstimmung eines Reglers des elektronischen Bildstabilisierungsmoduls 430 eingerichtet oder erzwungen. Das zweite Filtermodul 460 kann beispielsweise als eine von einer Verarbeitungseinrichtung (zum Beispiel Verarbeitungseinrichtung 312) ausgeführte Software realisiert werden.
5 ist ein Flussdiagramm eines beispielhaften Verfahrens 500 zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung. Das Verfahren 500 umfasst: Verstellen 510 der jeweiligen operativen Bandbreiten eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls auf komplementäre Weise; Bestimmen 520 einer Abfolge von Ausrichtungsschätzungen basierend auf Sensordaten von einem oder mehreren Bewegungssensoren; Aufrufen 530 eines mechanischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen von Bewegungen eines Bildsensors, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten; Empfangen 540 eines Bilds vom Bildsensor; Aufrufen 550 eines elektronischen Bildstabilisierungsmoduls, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren des Bilds in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, um ein stabilisiertes Bild zu erzeugen, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz; und Speichern, Anzeigen oder Senden 560 eines Ausgabebildes basierend auf dem stabilisierten Bild. Das Verfahren 500 kann beispielsweise durch das bewegliche Bildgebungssystem 10 von 1, das System 300 von 3A, das System 330 von 3B oder das System 400 von 4 realisiert werden. Das Verfahren 500 kann beispielsweise durch eine Bilderfassungsvorrichtung, wie die in 3A dargestellte Bilderfassungsvorrichtung 310, realisiert werden. Das Verfahren 500 kann beispielsweise durch eine persönliche Rechenvorrichtung, wie die persönliche Rechenvorrichtung 360, realisiert werden.
Das Verfahren 500 umfasst das Verstellen 510 der ersten operativen Bandbreite und der zweiten operativen Bandbreite auf komplementäre Weise durch Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz um einen gleichen Betrag. Die operativen Bandbreiten der beiden Systeme können verstellt 510 werden, um Kompromisse zwischen Betriebskosten und Betriebsleistungsnutzen des mechanischen Stabilisierungssystems mit einer breiten operativen Bandbreite zu verwalten. Das Betreiben von Motoren des mechanischen Stabilisierungssystems mit breiter operativer Bandbreite kann beispielsweise zu einem höheren Stromverbrauch und einer übermäßigen Wärmeentwicklung führen. Das Betreiben des mechanischen Stabilisierungssystems mit breiter operativer Bandbreite hingegen kann eine bessere Bildqualität hervorbringen als die verstärkte Nutzung des elektronischen Bildstabilisierungsmoduls, das unter Umständen nicht in der Lage ist, einige Komponenten der durch die Bildsensorbewegung entstehenden Verzerrung (zum Beispiel Bewegungsunschärfe) zu korrigieren. Die erste operative Bandbreite und die zweite operative Bandbreite können beispielsweise anhand einer von einem Benutzer einer Bilderfassungsvorrichtung ausgewählten Betriebsart, einer Umgebungsbedingung (zum Beispiel wenig Licht oder hoher Kontrast), einer Temperatur der Motoren und/oder eines Ladezustands einer Batterie der Bilderfassungsvorrichtung dynamisch verstellt 510 werden. Die erste operative Bandbreite und die zweite operative Bandbreite können beispielsweise durch Realisierung des Prozesses 600 von 6 verstellt 510 werden. In einigen Ausführungsformen kann die Verstellung 510 der ersten operativen Bandbreite und der zweiten operativen Bandbreite durch die Änderung von Filtern erfolgen, die an die ins mechanische Stabilisierungssystem beziehungsweise ins elektronische Bildstabilisierungsmodul eingegebenen Bewegungssignale angelegt werden. In einigen Ausführungsformen kann die Verstellung 510 der ersten operativen Bandbreite und der zweiten operativen Bandbreite durch die Abstimmung von Parametern (zum Beispiel Koeffizienten eines PID-Reglers) entsprechender Regler des mechanischen Stabilisierungssystems und des elektronischen Bildstabilisierungsmoduls erfolgen.
Das Verfahren 500 umfasst das Bestimmen 520 einer Abfolge von Ausrichtungsschätzungen basierend auf Sensordaten von einem oder mehreren Bewegungssensoren (zum Beispiel von dem einen oder den mehreren Bewegungssensoren 318). Der eine oder die mehreren Bewegungssensoren können eine inertiale Messeinheit (zum Beispiel die inertiale Messeinheit 442) umfassen, die verwendet werden kann, um Änderungen der Position und Ausrichtung des Bildsensors zu erfassen. Der eine oder die mehreren Bewegungssensoren können Messgeber (zum Beispiel magnetische Messgeber, optische Messgeber und/oder laserinterferometrische Messgeber) umfassen, die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors im Verhältnis zu einer über die Gimbals und Motoren des mechanischen Stabilisierungssystems verbundenen beweglichen Plattform (zum Beispiel einer Drohne) zu erfassen. Der eine oder die mehreren Bewegungssensoren können Potentiometer umfassen, die einen Zustand der Gimbals und Motoren und damit eine Position und/oder Ausrichtung des Bildsensors im Verhältnis zu einer durch die Gimbals und Motoren verbundenen beweglichen Plattform (zum Beispiel einer Drohne) erfassen. Daten von dem einen oder den mehreren Sensoren können zum Bestimmen 520 der Abfolge von Schätzungen der Ausrichtung des Bildsensors kombiniert werden. Das Bestimmen 520 der Abfolge von Ausrichtungsschätzungen kann beispielsweise umfassen, dass eine quadratische Schätzung auf Sensordaten von dem einen oder den mehreren Bewegungssensoren 318 angewendet wird.
Das Verfahren 500 umfasst das Aufrufen 530 eines mechanischen Stabilisierungssystems (zum Beispiel des mechanischen Stabilisierungssystems 420), basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen von Bewegungen des Bildsensors, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten. Das mechanische Stabilisierungssystem kann beispielsweise Gimbals und Motoren (zum Beispiel die Gimbals und Motoren 316) umfassen, die durch Proportional-Integral-Differential(PID)-Regler angesteuert werden. Das mechanische Stabilisierungssystem kann beispielsweise aufgerufen 530 werden, indem eine Software-Realisierung eines Reglers des mechanischen Stabilisierungssystems aufgerufen und/oder ausgeführt wird und diese zum Verarbeiten von Eingangsdaten veranlasst wird, um, basierend auf der Abfolge von Ausrichtungsschätzungen, Steuersignale zum Antreiben der Aktoren (zum Beispiel der Gimbals und Motoren 316) zu erzeugen und so die Ausrichtung und/oder Position des Bildsensors zu regeln. Das mechanische Stabilisierungssystem kann beispielsweise aufgerufen 530 werden, indem Daten basierend auf einer Abfolge von Ausrichtungsschätzungen in eine spezialisierte Hardware-Realisierung eines Reglers des mechanischen Stabilisierungssystems eingegeben werden und diese zum Verarbeiten der Eingangsdaten veranlasst wird, um Steuersignale zum Antreiben der Aktoren (zum Beispiel der Gimbals und Motoren 316) zu erzeugen und so die Ausrichtung und/oder Position des Bildsensors zu regeln. In einigen Ausführungsformen werden die Eingangsdaten zum mechanischen Stabilisierungssystem gefiltert, um bei einem linearen Regler die erste operative Bandbreite zu erzwingen. Beispielsweise kann ein erstes Filter (zum Beispiel mit einer Übertragungsfunktion ähnlich der in 7 dargestellten Übertragungsfunktion 710) mit einem Durchlassband, das der ersten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen angelegt werden, um Daten zu erhalten, die in das mechanische Stabilisierungssystem eingegeben werden. Das Aufrufen 530 des mechanischen Stabilisierungssystems kann eine unerwünschte Bewegung des Bildsensors und diesbezügliche Verzerrungen (zum Beispiel Bewegungsunschärfe und Verwackeln von Videobildern) reduzieren.
Das Verfahren 500 umfasst das Empfangen 540 eines Bilds vom Bildsensor. Der Bildsensor kann Teil eines Bilderfassungssystems (zum Beispiel des beweglichen Bildgebungssystems 10, der Bilderfassungsvorrichtung 310 oder der Bilderfassungsvorrichtung 340) sein. In einigen Ausführungsformen kann der Bildsensor an einer Verarbeitungseinrichtung angebracht sein, die das Verfahren 500 realisiert. Das Bild kann beispielsweise über einen Bus aus dem Bildsensor 540 empfangen werden. In einigen Ausführungsformen kann das Bild über eine Kommunikationsverbindung (zum Beispiel die Kommunikationsverbindung 350) empfangen 540 werden. Das Bild kann beispielsweise über eine drahtlose oder drahtgebundene Kommunikationsschnittstelle (zum Beispiel, Wi-Fi, Bluetooth, USB, HDMI, Wireless USB, Nahfeldkommunikation (NFC), Ethernet, Hochfrequenz-Transceiver und/oder andere Schnittstellen) empfangen 540 werden. Das Bild kann beispielsweise über die Kommunikationsschnittstelle 366 empfangen 540 werden. Das Bild kann beispielsweise als Eingangsbildsignal empfangen 540 werden, das jeden Pixelwert in einem definierten Format, wie einem RAW-Bildformat, darstellen kann. In einigen Ausführungsformen kann das Bild ein Videoframe, d. h. ein Bild aus einer Bildfolge eines Videos sein. In einigen Ausführungsformen wird das Bild unmittelbar aus dem Bildsensor empfangen 540, ohne dass das Bild zwischenverarbeitet wird. In einigen Ausführungsformen wird das Bild empfangen 540, nachdem es einer Bildzwischenverarbeitung unterzogen wurde (zum Beispiel Korrektur von „toten“ Pixeln, Bandverarbeitung, Entkopplung von vertikalen Austastlücken, räumliche Rauschminderung und/oder zeitliche Rauschminderung).
Das Verfahren 500 umfasst das Aufrufen 550 eines elektronischen Bildstabilisierungsmoduls (zum Beispiel des elektronischen Bildstabilisierungsmoduls), basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren des Bilds in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, um ein stabilisiertes Bild zu erzeugen. Die untere Grenzfrequenz kann größer als die obere Grenzfrequenz sein, so dass die erste operative Bandbreite und die zweite operative Bandbreite im Wesentlichen überlappungsfrei sind. Das elektronische Bildstabilisierungsmodul kann beispielsweise aufgerufen 550 werden, indem eine Software-Realisierung des elektronischen Bildstabilisierungsmoduls aufgerufen und/oder ausgeführt wird und diese zum Verarbeiten von Eingangsdaten veranlasst wird, um, basierend auf der Abfolge von Ausrichtungsschätzungen, eine korrigierende Rotationstransformation zu bestimmen und auf das vom Bildsensor kommende Bild anzuwenden, um das Bild zu stabilisieren (zum Beispiel in Bezug zu anderen Bildern in der Videobildsequenz). Das elektronische Bildstabilisierungsmodul kann beispielsweise aufgerufen 550 werden, indem Daten basierend auf der Abfolge von Ausrichtungsschätzungen in eine spezialisierte Hardware-Realisierung des elektronischen Bildstabilisierungsmoduls eingegeben werden und diese zum Verarbeiten der Eingangsdaten veranlasst wird, um eine korrigierende Rotationstransformation auf das vom Bildsensor kommende Bild anzuwenden und so das Bild zu stabilisieren. In einigen Ausführungsformen werden die Eingangsdaten zum elektronischen Bildstabilisierungsmodul gefiltert, um bei einem linearen Regler die zweite operative Bandbreite zu erzwingen. Beispielsweise kann ein zweites Filter (zum Beispiel mit einer Übertragungsfunktion ähnlich der in 7 dargestellten Übertragungsfunktion 720) mit einem Durchlassband, das der zweiten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen angelegt werden, um Daten zu erhalten, die in das elektronische Bildstabilisierungsmodul eingegeben werden. Das Vorhandensein von im Wesentlichen überlappungsfreien operativen Bandbreiten kann eine Interferenz zwischen der Dynamik des mechanischen Stabilisierungssystems und der Dynamik des elektronischen Bildstabilisierungsmoduls verhindern oder reduzieren und die Bildqualität des stabilisierten Bilds verbessern. Bestimmte höherfrequente Bewegungen des Bildsensors (zum Beispiel Schwingungen) können beispielsweise für eine wirksame Ablehnung durch das mechanische Stabilisierungssystem zu schnell sein und dadurch eine Verzerrung des Bilds verursachen. Diese Restverzerrung kann durch die digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul ganz oder teilweise korrigiert werden.
Das Verfahren 500 umfasst das Speichern, Anzeigen oder Senden 560 eines Ausgabebildes basierend auf dem stabilisierten Bild. In einigen Ausführungsformen ist das Ausgabebild das stabilisierte Bild. In einigen Ausführungsformen kann das stabilisierte Bild einer zusätzlichen Bildverarbeitung (zum Beispiel wahrnehmungsbezogenes Tone Mapping, Korrektur von Objektivverzerrungen, Korrektur von elektronischen Rolling-Shutter-Effekten, Stitching mit Parallaxenkorrektur und Blending zur Kombination von Bildern von mehreren Bildsensoren und/oder Ausgabeprojektion) unterzogen werden, um das Ausgabebild zu bestimmen. Das Ausgabebild kann zur Anzeige oder Speicherung beispielsweise an eine externe Vorrichtung (zum Beispiel eine persönliche Rechenvorrichtung) gesendet 560 werden. Das Ausgabebild kann beispielsweise im Speicher einer Verarbeitungseinrichtung (zum Beispiel der Verarbeitungseinrichtung 312 oder der Verarbeitungseinrichtung 362) gespeichert 560 werden. Das Ausgabebild kann beispielsweise in der Benutzerschnittstelle 320 oder in der Benutzerschnittstelle 364 angezeigt 560 werden. Das Ausgabebild kann beispielsweise über die Kommunikationsschnittstelle 322 versendet 560 werden.
6 ist ein Flussdiagramm eines beispielhaften Verfahrens 600 zum Verstellen der operativen Bandbreiten eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls. Das Verfahren 600 umfasst: Empfangen 610 einer von einer Benutzerschnittstelle kommenden Betriebsartenauswahl-Eingabe; Verstellen 620 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Betriebsartenauswahl-Eingabe; Erfassen 630 einer Umgebungsbedingung; Verstellen 640 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Umgebungsbedingung; Bestimmen 650 einer Temperatur der Motoren des mechanischen Stabilisierungssystems; Verstellen 660 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Temperatur; Bestimmen 670 eines Ladezustands einer Batterie; und Verstellen 680 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf dem Ladezustand. Das Verfahren 600 kann beispielsweise durch das bewegliche Bildgebungssystem 10 von 1, das System 300 von 3A, das System 330 von 3B oder das System 400 von 4 realisiert werden. Das Verfahren 600 kann beispielsweise durch eine Bilderfassungsvorrichtung, wie die in 3A dargestellte Bilderfassungsvorrichtung 310, realisiert werden. Das Verfahren 600 kann beispielsweise durch eine persönliche Rechenvorrichtung, wie die persönliche Rechenvorrichtung 360, realisiert werden.
Das Verfahren 600 umfasst das Empfangen 610 einer Betriebsartenauswahl-Eingabe von einer Benutzerschnittstelle (zum Beispiel der Benutzerschnittstelle 320 oder der Benutzerschnittstelle 364). Die benutzerseitige Betriebsartenauswahl kann beispielsweise darauf beruhen, dass ein Benutzer einen Betriebsartenschalter oder ein Betriebsarten-Icon drückt. Die Betriebsartenauswahl-Eingabe kann beispielsweise eine Betriebsart mit hoher Bildqualität oder eine Betriebsart mit geringer Bildqualität vorgeben. Die benutzerseitige Betriebsartenauswahl kann beispielsweise darauf beruhen, dass ein Benutzer eine Wischleiste bedient, um eine Bildqualität auf einen diskreten Wertebereich zu verstellen. Die benutzerseitige Betriebsartenauswahl kann beispielsweise andere Kamera-Modi, wie eine Bildrate oder Verschlusszeit, vorgeben. Das Verfahren 600 umfasst das Verstellen 620 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Betriebsartenauswahl-Eingabe. Basierend auf einer Betriebsartenauswahl-Eingabe mit Vorgabe einer hohen Bildqualität, können die obere Grenzfrequenz und die untere Grenzfrequenz beispielsweise erhöht werden. Basierend auf einer Betriebsartenauswahl-Eingabe mit Vorgabe einer niedrigen Bildqualität, können die obere Grenzfrequenz und die untere Grenzfrequenz beispielsweise vermindert werden. Die obere Grenzfrequenz und die untere Grenzfrequenz können beispielsweise um einen Betrag proportional zu einer durch eine Betriebsartenauswahl-Eingabe angezeigte Änderung der Bildqualitätsstufe verschoben werden. Basierend auf einer Betriebsartenauswahl-Eingabe mit Vorgabe einer niedrigen Bildrate oder einer niedrigen Verschlusszeit, können die obere Grenzfrequenz und die untere Grenzfrequenz beispielsweise erhöht werden.
Das Verfahren 600 umfasst das Erfassen 630 einer Bedingung einer vom Bildsensor betrachteten Umgebung. Eine dynamische Umgebung kann berücksichtigt werden, so dass Augenblicke mit wenig Licht, schneller Bewegung, starkem Rauschen und hohem Kontrast dynamisch stärker auf das mechanische Stabilisierungssystem und weniger auf das elektronische Bildstabilisierungsmodul zurückgreifen. Die Umgebungsbedingung kann beispielsweise aus der Gruppe ausgewählt sein, die da besteht aus: wenig Licht, schnelle Bewegung, starkes Rauschen und hoher Kontrast.
Das Verfahren 600 umfasst das Verstellen 640 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Umgebungsbedingung. Basierend auf einer erfassten 630 Umgebungsbedingung, die wenig Licht, schnelle Bewegung, starkes Rauschen oder hohen Kontrast anzeigt, können die obere Grenzfrequenz und die untere Grenzfrequenz beispielsweise erhöht werden.
Das Verfahren 600 umfasst das Bestimmen 650 einer Temperatur von Motoren des mechanischen Stabilisierungssystems. Die Bestimmung 650 der Temperatur von Motoren kann durch direkte Messung oder durch indirekte Schätzung mit Modellen erfolgen. Bei einem direkten Messverfahren kann ein Sensor wie ein Thermistor zum Fühlen der Motortemperatur verwendet werden. In einigen Ausführungsformen wird ein thermodynamisches Modell der Motoren verwendet, um die Motortemperatur basierend auf der Umgebungstemperatur oder einem Worst-Case-Fixwert, wie der maximal garantierten Betriebsumgebungstemperatur, in Kombination mit einer Berechnung zu schätzen. Die Berechnung kann durch einen Motorregler erreicht werden, der den an den Motor angelegten Strom abtastet und approximativ als Wärmeverlust behandelt und die Eingangsleistung des Motors als I2 * R berechnet, wobei R der Widerstand des Motors und I der Strom ist. Ein Modell kann für jeden Motor/jede Struktur sowie eine Lookup-Tabelle oder Kurvenanpassung des Algorithmus zur Referenzierung verwendet werden. Das Bestimmen 650 der Temperatur kann beispielsweise umfassen: Empfangen von Messungen des von den Motoren des mechanischen Stabilisierungssystems gezogenen Stroms und Schätzen der Temperatur anhand der Strommessungen.
Das Verfahren 600 umfasst das Verstellen 660 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Temperatur. Die Reduzierung der oberen Grenzfrequenz und der unteren Grenzfrequenz und damit Reduzierung der ersten operativen Bandbreite des mechanischen Stabilisierungssystems kann bewirken, dass weniger Leistung an die Motoren angelegt wird, und kühlt damit die Motoren über die Zeit herunter. Die bestimmte 650 Temperatur der Motoren kann mit einer für die Motoren geltenden maximalen Nenntemperatur verglichen werden, und die erste Bandbreite kann reduziert werden, wenn die Temperatur zu nah an der maximalen Nenntemperatur liegt oder diese um einen gegebenenfalls temperaturabhängigen Betrag übersteigt. In einigen Ausführungsformen erfolgt die Verstellung 660 der oberen Grenzfrequenz und der unteren Grenzfrequenz ausgehend von einer Differenz zwischen der Temperatur und einer maximalen Nenntemperatur für die Motoren des mechanischen Stabilisierungssystems. Die Verstellung 660 der oberen Grenzfrequenz des mechanischen Stabilisierungssystems kann beispielsweise nach folgender Gleichung erfolgen: $MSS_CF = (((M_T - t) + B) * S_F) + MSS_MIN_C F)$
wobei gilt: MSS CF ist die obere Grenzfrequenz des mechanischen Stabilisierungssystems, M_T ist die maximale Nenntemperatur des Motors, t ist die bestimmte 650 Temperatur, B ist ein konstanter Bias-Term, S_F ist ein konstanter Skalierungsfaktor und MSS_MIN_CF ist ein Mindestwert der oberen Grenzfrequenz des mechanischen Stabilisierungssystems. Auch die untere Grenzfrequenz des elektronischen Bildstabilisierungsmoduls kann mit Hilfe einer ähnlichen Gleichung mit abweichendem Versatzwert (zum Beispiel EBS_MIN_CF an Stelle von MSS_MIN_CF) verstellt werden.
Das Verfahren 600 umfasst das Bestimmen 670 eines Ladezustands einer Batterie. Mit einem integrierten Batterieprüfer kann ein Ladezustand der Batterie gemessen und/oder geschätzt werden (zum Beispiel basierend auf einer Abfolge von periodisch abgetasteten Spannungsmessungen der Batterie).
Das Verfahren 600 umfasst das Verstellen 680 der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf dem Ladezustand. Die Reduzierung der oberen Grenzfrequenz und der unteren Grenzfrequenz und damit Reduzierung der ersten operativen Bandbreite des mechanischen Stabilisierungssystems kann bewirken, dass weniger Leistung an die Motoren angelegt wird, und spart damit Batterieladung ein. Der bestimmte 670 Ladezustand kann mit einem Mindestladestand (zum Beispiel 10 % geladen) verglichen werden, und die erste Bandbreite kann reduziert werden, wenn der Ladezustand zu nah beim Mindestladestand liegt oder diesen um einen gegebenenfalls ladezustandsabhängigen Betrag unterschreite. In einigen Ausführungsformen erfolgt die Verstellung 680 der oberen Grenzfrequenz und der unteren Grenzfrequenz ausgehend von einer Differenz zwischen dem Ladezustand und einem Mindestladestand für die Batterie. Die Verstellung 680 der oberen Grenzfrequenz des mechanischen Stabilisierungssystems kann beispielsweise nach folgender Gleichung erfolgen: $MSS_CF = (((s - MIN_CL) + B) * S_F) + MSS_MIN_C F)$
wobei gilt: MSS_CF ist die obere Grenzfrequenz des mechanischen Stabilisierungssystems, M_T ist die maximale Nenntemperatur des Motors, s ist der bestimmte 670 Ladezustand, B ist ein konstanter Bias-Term, S_F ist ein konstanter Skalierungsfaktor und MSS_MIN_CF ist ein Mindestwert der oberen Grenzfrequenz des mechanischen Stabilisierungssystems. Auch die untere Grenzfrequenz des elektronischen Bildstabilisierungsmoduls kann mit Hilfe einer ähnlichen Gleichung mit abweichendem Versatzwert (zum Beispiel EBS_MIN_CF an Stelle von MSS_MIN_CF) verstellt werden.
7 ist ein Diagramm 700 einer beispielhaften Übertragungsfunktion 710 eines MSS-Filters entsprechend der operativen Bandbreite des MSS, überlagert mit einer Übertragungsfunktion 720 eines EBS-Filters entsprechend der operativen Bandbreite des EBS. Das Diagramm 700 zeigt die Filterverstärkung (Gain) auf der y-Achse und die Frequenz auf der x-Achse. Die Übertragungsfunktion 710 des MSS-Filters weist eine obere Grenzfrequenz 730 auf. Die Übertragungsfunktion 720 des EBS-Filters weist eine untere Grenzfrequenz 740 auf. Eine erste Bandbreite 750 ist die operative Bandbreite des entsprechenden mechanischen Stabilisierungssystems. Eine zweite Bandbreite 760 ist die operative Bandbreite des entsprechenden elektronischen Bildstabilisierungsmoduls. Die untere Grenzfrequenz 740 ist größer als die obere Grenzfrequenz 730, so dass die erste Bandbreite 750 und die zweite Bandbreite 760 im Wesentlichen überlappungsfrei sind.
Es wird darauf hingewiesen, dass die in Bezug auf die 5 bis 6 beschriebenen Verfahren und ähnliche Verfahren für mehrere Bilder von unterschiedlichen Bildsensoren einer Bilderfassungseinrichtung (zum Beispiel der in 1 dargestellten beweglichen Bildgebungsanordnung 20, des Systems 300 von 3A oder des Systems 330 von 3B) angewendet werden können. Die resultierenden stabilisierten Bilder können über einen Stitching-Arbeitsgang kombiniert werden.
In einigen Ausführungsformen kann ein mechanisches Stabilisierungssystem in ein Bilderfassungsmodul (zum Beispiel in das weiter unten beschriebene Bilderfassungsmodul 800), das einen Bildsensor aufweist, integriert werden. Eine bewegliche Plattform zur Bilderfassung kann ein Handmodul, wie das weiter unten beschriebene Handmodul 900, sein, das an ein Bilderfassungsmodul angebaut wird, um eine bewegliche Bildgebungsanordnung 1000 zu bilden, wie in Bezug auf die 10A-B beschrieben. Beispielsweise kann das Verfahren 500 von 5 durch die bewegliche Bildgebungsanordnung 1000 realisiert werden. Beispielsweise kann das Verfahren 600 von 6 durch die bewegliche Bildgebungsanordnung 1000 realisiert werden.
Die 8A und 8B sind bildliche Darstellungen eines beispielhaften Bilderfassungsmoduls 800 aus zwei Perspektiven. Das Bilderfassungsmodul 800 umfasst einen Bildsensor 810, der zum Erfassen von Bildern ausgelegt ist; ein mechanisches Stabilisierungssystem 820, das Gimbals und Motoren (822, 824 und 826) umfasst; und ein Verbindungsstück 830, das zum auswechselbaren Verbinden des mechanischen Stabilisierungssystems mit einem Luftfahrzeug (zum Beispiel einer Quadrocopter-Drohne) und einem Handmodul (zum Beispiel dem Handmodul 900) ausgelegt ist.
Das Bilderfassungsmodul 800 umfasst einen Bildsensor 810, der zum Erfassen von Bildern (zum Beispiel Fotografien oder Videobildern (Frames)) ausgelegt ist. Der Bildsensor 810 kann zum Erfassen von Licht eines bestimmten Spektrums (zum Beispiel des sichtbaren Spektrums oder des Infrarotspektrums) und zum Weiterleiten von Informationen, die ein Bild als elektrische Signale (z. B. analoge oder digitale Signale) darstellen, ausgelegt sein. Der Bildsensor 810 kann beispielsweise ladungsgekoppelte Bausteine (CCD) oder aktive Pixelsensoren in einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS) umfassen. Das Bilderfassungsmodul 800 umfasst ein Objektiv 812 (zum Beispiel ein rektilineares Weitwinkelobjektiv). Der Bildsensor 810 erfasst Licht, das aus der Umgebung durch das Objektiv 812 einfällt.
Das Bilderfassungsmodul 800 kann auch eine Verarbeitungseinrichtung (die zum Beispiel Speicher, einen Bildsignalprozessor, einen Hardware-Encoder, einen Mikrocontroller und/oder anderen Prozessor aufweist) umfassen, die zum Verfolgen eines Benutzers ausgelegt ist, und zwar basierend auf Positionsdaten von einem Leitstrahlmodul (Beacon-Modul) und/oder basierend auf einem Computer-Vision-Tracking des Benutzers in vom Bildsensor 810 kommenden Bildern in einem ersten Verwendungsszenario, in dem das Bilderfassungsmodul 800 an einem Luftfahrzeug (zum Beispiel an einer Quadrocopter-Drohne) angebaut ist, und/oder in einem zweiten Verwendungsszenario, in dem das Bilderfassungsmodul 800 an einem Handmodul (zum Beispiel am Handmodul 900) angebaut ist. In einigen Ausführungsformen kann die Verarbeitungseinrichtung dazu ausgelegt sein, Bildverarbeitungsoperationen (zum Beispiel Korrektur von „toten“ Pixeln, Bandverarbeitung, Entkopplung von vertikalen Austastlücken, räumliche Rauschminderung, zeitliche Rauschminderung, automatischer Weißabgleich, globales Tone Mapping, lokales Tone Mapping, Korrektur von Objektivverzerrungen, elektronische Korrektur von Rolling-Shutter-Effekten, elektronische Bildstabilisierung, Ausgabeprojektion und/oder Kodierung) an vom Bildsensor 810 erfassten Bildern durchzuführen. In einigen Ausführungsformen werden einige oder alle Bildverarbeitungsoperation an den vom Bildsensor erfassten Bildern durch eine Verarbeitungseinrichtung verarbeitet, die ganz oder teilweise in einer anderen Komponente eines größeren beweglichen Bildgebungssystems 10 angeordnet ist. Die Verarbeitungseinrichtung kann beispielsweise im Verbindungsstück 830 unterhalb des Gimbals 826 des mechanischen Stabilisierungssystems 820 angeordnet sein.
Das Bilderfassungsmodul 800 umfasst ein mechanisches Stabilisierungssystem 820 mit Gimbals und Motoren (822, 824 und 826) (die zum Beispiel dem Nicken, Gieren beziehungsweise Rollen entsprechen), das im Bildsensor 810 des Bilderfassungsmoduls 800 integriert ist und dazu ausgelegt ist, eine Ausrichtung des Bildsensors 810 zu steuern. Die Gimbals und Motoren (822, 824 und 826) können beispielsweise die Rotation des Bildsensors mit drei Freiheitsgraden ermöglichen. In einigen Ausführungsformen ermöglichen die Gimbals und Motoren (822, 824 und 826) einen breiten Bereich von Drehwinkeln (zum Beispiel bis zu 180 Grad, 270 Grad beziehungsweise 360 Grad). Ein Gimbal 826 des mechanischen Stabilisierungssystems 820 ist im Wesentlichen bündig zu einer Oberfläche des Verbindungsstücks 830 und bewirkt, dass das mechanische Stabilisierungssystem 820 ein niedriges Profil hat und den Gimbal 826 vor Beschädigungen schützt. In einigen Ausführungsformen ist der Gimbal 826 vollständig in einem Gehäuse des Verbindungsstücks 830 auf Höhe oder unterhalb der Höhe einer Außenfläche des Verbindungsstücks 830 enthalten. Die Ansteuerung des mechanischen Stabilisierungssystem 820 kann beispielsweise mit einem Regler (zum Beispiel einem Proportional-Integral-Differential-Regler) anhand von Zielausrichtungen erfolgen, die von einer Verarbeitungseinrichtung anhand von Bilddaten des Bildsensors 810, Bewegungssensordaten eines Bewegungssensors im Bilderfassungsmodul 800 oder einer beweglichen Plattform (zum Beispiel einer Quadrocopter-Drohne oder eines Handmoduls 900), an der das Bilderfassungsmodul 800 angebracht ist, und/oder Positionsdaten für ein Tracking-Ziel eines Leitstrahls bestimmt werden.
Das mechanische Stabilisierungssystem 820 kann zur Ermöglichung einer elektronisch betätigten Transportbetriebsart ausgelegt sein. Wenn viele 3-achsige Gimbals abgeschaltet werden, schweben sie einfach ziellos umher und lassen sich schwer verstauen oder transportieren. In einigen Ausführungsformen ist das mechanische Stabilisierungssystem 820 so ausgelegt, dass es einen elektronisch betätigten Transportbetrieb ermöglicht, in dem beim Eintreten eines auslösenden Ereignisses (zum Beispiel eines speziellen Benutzerbefehls oder eines Befehls zum AUS-Schalten des Bilderfassungsmoduls 800 oder des mechanischen Stabilisierungssystems 820) die Gimbals und Motoren (822, 824 und 826) jeweils elektronisch so angesteuert werden, dass sie eine flach eingeklappte Stellung annehmen und diese Stellung für einen festen Zeitraum (zum Beispiel 10, 30 oder 60 Sekunden) beibehalten, was es dem Benutzer ermöglicht, das Bilderfassungsmodul 800 problemlos in eine Kleidungstasche, eine Tragetasche, einen Rucksack oder ein anderes Behältnis gleiten zu lassen. Nach Ablauf der Zeit schaltet sich dann das mechanische Stabilisierungssystem 820 komplett ab, was eine freie Bewegung der Gimbal-Arme gestattet, sobald sie sich in der gewünschten Transportposition befinden. In einigen Ausführungsformen kann diese elektronisch betätigte Transportbetriebsart von einer physischen Verriegelung begleitet sein, die entweder im eigentlichen Gimbal integriert ist oder über ein externes Mittel wie eine Halterung oder Tragetasche erfolgt. Der elektronisch betätigte Transportbetrieb kann beispielsweise mit Hilfe von elektronischen Motorlagesensoren, mechanischer Einklappbarkeit (Bewegungsbereich) und Firmware-Steuerung realisiert (zum Beispiel in einer Verarbeitungseinrichtung des Bilderfassungsmoduls 800 implementiert) werden.
Das Bilderfassungsmodul 800 umfasst ein Verbindungsstück 830, das zum auswechselbaren Anschließen des mechanischen Stabilisierungssystems 820 an einem Luftfahrzeug (zum Beispiel einer Quadrocopter-Drohne) in einem ersten Verwendungsszenario und an einem Handmodul in einem zweiten Verwendungsszenario (zum Beispiel dem Handmodul 900) ausgelegt ist. Das Verbindungsstück kann formschlüssig mit einem Steckplatz des Luftfahrzeugs und formschlüssig mit einem Steckplatz des Handmoduls verbunden werden. Der Formschluss des Verbindungsstücks 830 erfolgt über die Formgestalt einer Außenfläche des Verbindungsstücks 830, die auf die entsprechende Form der Steckplatzöffnung im Luftfahrzeug und auf die entsprechende Form in der Steckplatzöffnung des Handmoduls (zum Beispiel des Handmoduls 900) angepasst ist. Die Passform des Verbindungsstücks 830 weist eine gewisse Asymmetrie auf (das heißt, der rechteckige Querschnitt des Verbindungsstücks 830 verjüngt sich über die halbe Länge des Verbindungsstücks 830 auf einer Seite nach innen), was die problemlose Verbindung des Luftfahrzeugs und des Handmoduls mit dem Bilderfassungsmodul 800 erleichtern kann, indem verhindert wird, dass ein Benutzer das Verbindungsstück 830 versehentlich falsch herum einführt. Das Verbindungsstück 830 kann beispielsweise einen ersten Befestigungsmechanismus und einen zweiten Befestigungsmechanismus aufweisen, die dazu ausgelegt sind, das Verbindungsstück 830 zu arretieren, wenn das Bilderfassungsmodul 800 am Handmodul angebracht wird. Der Befestigungsmechanismus kann so ausgelegt sein, dass sowohl der erste Befestigungsmechanismus als auch der zweite Befestigungsmechanismus jeweils zur sicheren Arretierung des Verbindungsstücks 830 ausreicht. Das Verbindungsstück 830 umfasst einen elektrischen Verbinder (zum Beispiel einen universellen seriellen Bus(BUS)-Verbinder vom Typ C), der innen im verjüngten äußeren Abschnitt des Verbindungsstücks 830 eingelassen ist. Der elektrische Verbinder kann mehrere Verbinder umfassen, die verwendet werden können, um Strom von einer beweglichen Plattform (zum Beispiel dem Handmodul 900) an das Bilderfassungsmodul 800 bereitzustellen und Kommunikationssignale (zum Beispiel USB2.0-, USB3.0-, I2C- SPI- und/oder MIPI-Signale) zwischen der beweglichen Plattform und dem Bilderfassungsmodul 800 zu übertragen, wenn diese verbunden sind. In einigen Ausführungsformen umfasst das Verbindungsstück 830 Verbinderpaare, die verwendet werden, um Strom an das Bilderfassungsmodul 800 zu übertragen, Massendaten aus dem Bilderfassungsmodul 800 zu übertragen, Steuersignale an das Bilderfassungsmodul 800 zu übertragen und Echtzeit-Videodaten aus dem Bilderfassungsmodul 800 zu übertragen.
Das Verbindungsstück kann einen elektrischen Verbinder (zum Beispiel einen universellen seriellen Bus(BUS)-Verbinder vom Typ C) umfassen, der innen im keilförmigen äußeren Abschnitt des Verbindungsstücks eingelassen ist. Der elektrische Verbinder kann mehrere Verbinder umfassen, die verwendet werden können, um Strom vom Handmodul 900 an das Bilderfassungsmodul 800 bereitzustellen und Kommunikationssignale (zum Beispiel USB2.0-, USB3.0-, I2C- SPI-und/oder MIPI(Mobile Industry Processor Interface)-Signale zwischen dem Handmodul 900 und dem Bilderfassungsmodul 800 zu übertragen, wenn diese verbunden sind. Beispielsweise können Leiter der Verbindung für Stromübertragung, schnelle Massendatenübertragungen, eingebetteten Echtzeit-Steuersignalverkehr und/oder Rohvideosignalübertragung mit Bildaufnahmerate verwendet werden. Das Verbindungsstück 830 kann beispielsweise Verbinderpaare umfassen, die verwendet werden, um Strom an das Bilderfassungsmodul 800 zu übertragen, Massendaten aus dem Bilderfassungsmodul 800 zu übertragen, Steuersignale an das Bilderfassungsmodul 800 zu übertragen und Echtzeit-Videodaten aus dem Bilderfassungsmodul 800 zu übertragen.
Im Beispiel der 8A und 8B ist der Gimbal 826 des mechanischen Stabilisierungssystems 820 im Wesentlichen bündig zu einer Oberfläche des Verbindungsstücks 830. Der Gimbal 826 kann durch ein Gehäuse des Verbindungsstücks 830 geschützt sein, das den Gimbal vor Beschädigung und/oder Staubeintritt schützt. Der Gimbal 826 kann beispielsweise ein Roll-Gimbal mit einem entsprechenden Rollmotor mit Rollmotorgehäuse sein, der in das Gehäuse des Verbindungsstücks 830 eingebaut ist, so dass der Rollmotor versteckt und/oder geschützt unter der Oberkante einer Außenfläche des Verbindungsstücks 830 sitzt. Diese Ausgestaltung kann Vorteile gegenüber anderen mechanischen Stabilisierungssystemen bringen, bei denen alle kardanischen Lagerungen freiliegen (zum Beispiel freiliegende dreiachsige Gimbals, bei denen ein Rollachsen-Motorgehäuse oben auf einem Hauptgehäuse sitzt). Dadurch, dass der Gimbal 826 im Gehäuse 830 und/oder im Wesentlichen bündig zu einer Oberfläche des Verbindungsstücks 830 angeordnet ist, kann beispielsweise der Umfang freiliegender Gimbalteile verringert werden, die Höhe des Gimbals über einem Hauptgehäuse reduziert werden und/oder die Gesamtkonstruktion vereinfacht werden, indem die Anzahl sichtbarer Motorelemente reduziert wird (beispielsweise von drei Gimbals auf zwei Gimbals).
Die 9A und 9B sind bildliche Darstellungen eines beispielhaften Handmoduls 900 aus zwei Perspektiven. Das Handmodul 900 umfasst eine Anzeige 910, einen Aufnahmeknopf 920, eine Statusanzeigeleuchte 924, einen ersten Befestigungsmechanismus 930 und einen zweiten Befestigungsmechanismus 932, einen Steckplatz 940 in einer auf das Verbindungsstück 830 des Bilderfassungsmoduls 800 abgestimmten Form und einen Batteriedeckel 950 mit einer Batterieentriegelung 952.
Das Handmodul 900 kann so formgestaltet sein, dass es im Gebrauch während der Bedienung eines Tastbildschirms und/oder Knopftasters (zum Beispiel des Aufnahmeknopfs 920) des Handmoduls 900 ergonomisch in der Hand liegt. Das äußere Material kann so ausgewählt sein, dass es eine griffige Gummitextur aufweist.
Das Handmodul 900 umfasst eine Benutzerschnittstelle, die einem Benutzer das Steuern einer Bilderfassung mit einem angebauten Bilderfassungsmodul (zum Beispiel des Bilderfassungsmoduls 800) gestattet. Die Benutzerschnittstelle umfasst das Anzeigedisplay 910 zum Betrachten von erfassten Bildern, den Aufnahmeknopf 920 für Einzelbildaufnahmen oder für Start beziehungsweise Stopp einer Videoaufzeichnung und die Statusanzeigeleuchte 924. Die Statusanzeigeleuchte 924 kann eine mehrfarbige LED-Vorrichtung umfassen und kann den Status einer elektronischen Verbindung mit einem angebauten Bilderfassungsmodul und/oder einen Aufnahme-/Aufzeichnungszustand anzeigen. In einigen Ausführungsformen ist das Display 910 ein Tastbildschirm, der die Eingabe von zusätzlichen Befehlen durch einen Benutzer ermöglicht. Ein Benutzer kann beispielsweise Befehle zur Änderung eines Gimbal-Winkels eingeben; er kann „Selfie-Modus“oder „HiLight Tag“ per Sprachbefehl und/oder Eingabe von der Tastschnittstelle des Displays 910 und/oder Taster des Handmoduls 900 eingeben. Eine „Selfie-Modus“-Funktion kann den Gimbal 826 drehen (zum Beispiel um 180 Grad drehen), so dass ein Bildsensor (zum Beispiel der Bildsensor 810) in die gleiche Richtung wie das Display 910 weist. Mit der „HiLight-Tag“-Funktion kann ein Benutzer ein Einzelbild oder Bilder in einem Video mit Metadaten als wichtig markieren. Zum Beispiel kann eine „HiLight-Tag“-Geste für eine Tastbildschirmschnittstelle des Displays 910 definiert sein, mit denen ein Benutzer durch die Herausstellung eines Objekts oder anderer Teilabschnitte eines Bilds zeitliche und/oder räumliche Bereiche eines Videodatensatzes generieren kann, während die Bilder auf dem Display 910 angezeigt werden.
Der erste Befestigungsmechanismus 930 und der zweite Befestigungsmechanismus 932 sind so ausgestaltet, dass sie das Verbindungsstück 830 des Bilderfassungsmoduls 800 sicher arretieren, wenn dieses in den Steckplatz 940 eingeführt wird, um das Handmodul 900 am Bilderfassungsmodul 800 anzubauen. Der erste Befestigungsmechanismus 930 und der zweite Befestigungsmechanismus 932 umfassen einen Knopf beziehungsweise ein Schiebeelement, mit denen der erste Befestigungsmechanismus 930 beziehungsweise der zweite Befestigungsmechanismus 932 gelöst werden können, um ein angebautes Bilderfassungsmodul (zum Beispiel Bilderfassungsmodul 800) abzunehmen. Andere Arten von Befestigungsmechanismen sind ebenso möglich.
Der Batteriedeckel 950 kann mit Hilfe der Batterie-Entriegelung 952 geöffnet werden und gestattet den Zugang zur Batterie des Handmoduls 900 zum Wechseln oder Aufladen. Es können beispielsweise mehrere Batterien verwendet und ins Handmodul 900 eingewechselt werden, um einen kontinuierlichen Gebrauch zu ermöglichen, während eine der Batterien in einem externen Ladegerät aufgeladen wird.
10A ist eine bildliche Darstellung eines beispielhaften Handmoduls 900, das entsprechend ausgerichtet ist, um mit einem Bilderfassungsmodul 800 verbunden zu werden und so eine bewegliche Bildgebungsanordnung 1000 auszubilden. Das Verbindungsstück 830 des Bilderfassungsmoduls 800 wird formschlüssig in den Steckplatz 940 des Handmoduls 900 gesteckt. In der abgebildeten Ausrichtung kann das Bilderfassungsmodul 800 nach unten geführt werden, um das Verbindungsstück 830 in die Steckplatzöffnung 940 hineinzuschieben, um das Bilderfassungsmodul 800 am Handmodul 900 anzubauen und so die bewegliche Bildgebungsanordnung 1000 zu bilden. Mit Einführen des Verbindungsstücks 830 in den Steckplatz 940 können paarige Befestigungsmechanismen (zum Beispiel Rastelemente) im Verbindungsstück 830 und im Steckplatz 940 ineinander greifen und die neu gebildete Verbindung arretieren. Beispielsweise können federbelastete Verriegelungselemente miteinander verrasten und so die Verbindung der beweglichen Bildgebungsanordnung 1000 sicher fixieren. Als Teil der Verbindung können gepaarte elektronische Verbinder (zum Beispiel USB-Verbinder vom Typ C), die im Verbindungsstück 830 und im Steckplatz 940 eingelassen sind, ineinander greifen, um eine elektronische Verbindung auszubilden, die mehrere Leiter umfasst, die verwendet werden können, um Strom vom Handmodul 900 zum Bilderfassungsmodul 800 zu liefern und Steuersignale und Daten (zum Beispiel Bilddaten) zwischen den angebauten Modulen der beweglichen Bildgebungsanordnung 1000 zu übertragen.
Wenn ein Benutzer das Handmodul 900 vom Bilderfassungsmodul 800 trennen möchte, kann er diese Befestigungsmechanismen entriegeln. Die Entriegelung kann ein Benutzer beispielsweise durch Fingerbetätigung von Knöpfen oder Entriegelungshebeln vornehmen. In einigen Ausführungsformen müssen zur Abnahme des Handmoduls 900 vom Bilderfassungsmodul 800 zwei Rastelemente gleichzeitig entriegelt werden, was das Risiko einer unbeabsichtigten Lösung der Verbindung reduziert. Für einen kompletten An- und Abbauvorgang des Handmoduls 900 am/vom Bilderfassungsmodul 800 benötigt ein Benutzer beispielsweise nur ein paar Sekunden.
10B ist eine bildliche Darstellung einer beispielhaften beweglichen Bildgebungsanordnung 1000 in Kommunikation mit einer persönlichen Rechenvorrichtung 1020. Im Verwendungsszenario von 10B wird die bewegliche Bildgebungsanordnung 1000 von einem Benutzer in der Hand 1010 gehalten und nimmt Bilder (zum Beispiel Einzelbilder oder Videobildfolgen) des Benutzers auf. Die erfassten Bilder werden auf dem Display 910 des Handmoduls 900 angezeigt. Die erfassten Bilder können über eine Drahtlosverbindung 1025 (zum Beispiel per Bluetooth-Verbindung oder WiFi-Verbindung) an eine persönliche Rechenvorrichtung 1020 (zum Beispiel ein Smartphone) übertragen werden. Die persönliche Rechenvorrichtung 1020 kann dann verwendet werden, um die erfassten Bilder anzuzeigen und/oder zu teilen oder anderweitig zu versenden und zu verteilen. Die persönliche Rechenvorrichtung 1020 kann auch mit einer Anwendung ausgestaltet sein, die verwendet werden kann, um Bilderfassungsfunktionen der beweglichen Bildgebungsanordnung 1000 fernzusteuern und/oder Software zu aktualisieren, die auf einer Verarbeitungseinrichtung der beweglichen Bildgebungsanordnung 1000 installiert ist.
In diesem Beispiel liegt ein Gimbal 826 des mechanischen Stabilisierungssystems im Wesentlichen bündig zu einer Oberfläche (zum Beispiel zur Oberseite) des Handmoduls 900, wenn das Bilderfassungsmodul 800 am Handmodul 900 angebaut ist. Das bewirkt ein reduziertes Profil für das mechanische Stabilisierungssystem und den Bildsensor sowie Schutz für den Gimbal 826, um das Risiko von Beschädigungen am Gimbal 826 zu reduzieren. Diese Ausgestaltung kann Vorteile gegenüber anderen mechanischen Stabilisierungssystemen bringen, bei denen alle kardanischen Lagerungen freiliegen (zum Beispiel freiliegende dreiachsige Gimbals, bei denen ein Rollachsen-Motorgehäuse oben auf einem Hauptgehäuse sitzt). Dadurch, dass der Gimbal 826 im Handmodul 900 und/oder im Wesentlichen bündig zu einer Oberfläche des Handmoduls 900 angeordnet ist, wenn das Bilderfassungsmodul 800 am Handmodul 900 angebaut ist, kann beispielsweise der Umfang freiliegender Gimbalteile verringert werden, die Höhe des Gimbals über einem Hauptgehäuse reduziert werden und/oder die Gesamtkonstruktion vereinfacht werden, indem die Anzahl sichtbarer Motorelemente reduziert wird (beispielsweise von drei Gimbals zu zwei Gimbals).
Eine erste Ausführungsform ist ein System, das umfasst: einen Bildsensor, der zum Erfassen eines Bilds ausgelegt ist; einen oder mehrere Bewegungssensoren, die zum Erkennen der Bewegung des Bildsensors ausgelegt sind; ein mechanisches Stabilisierungssystem, das Gimbals und Motoren umfasst die zum Steuern einer Ausrichtung des Bildsensors ausgelegt sind; ein elektronisches Bildstabilisierungsmodul, das zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors ausgelegt ist; und eine Verarbeitungseinrichtun, die ausgelegt ist zum: Bestimmen einer Abfolge von Ausrichtungsschätzungen basierend auf Sensordaten von dem einen oder den mehreren Bewegungssensoren; Aufrufen des mechanischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen von Bewegungen, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten; Empfangen des Bilds vom Bildsensor; Aufrufen des elektronischen Bildstabilisierungsmoduls, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren von Bildern in Bezug auf Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, um ein stabilisiertes Bild zu erzeugen, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz; und Speichern, Anzeigen oder Senden eines Ausgabebildes basierend auf dem stabilisierten Bild. Die erste Ausführungsform kann ein Handmodul aufweisen, das über die Gimbals des mechanischen Stabilisierungssystems mit einem Gehäuse des Bildsensors gekoppelt ist, wobei das Handmodul eine Batterie und ein integriertes Display, das zum Anzeigen von aus dem Bildsensor empfangenen Bildern ausgelegt ist, umfasst.
Obwohl die Offenbarung in Verbindung mit bestimmten Ausführungsformen beschrieben wurde, versteht es sich, dass die Offenbarung nicht auf die offenbarten Ausführungsformen beschränkt sind, sondern im Gegenteil verschiedene im Geltungsbereich der angehängten Ansprüche enthaltene Abwandlungen und äquivalente Anordnungen mit abdeckt, wobei dieser Geltungsbereich in breitester Deutung zu lesen ist, so dass all diese Abwandlungen und äquivalenten Strukturen im gesetzlich zulässigen Maße mit erfasst sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62563224 [0001]
US 62614140 [0001]
US 15915763 [0001]

Claims

System umfassend: einen Bildsensor; ein mechanisches Stabilisierungssystem, das zum Steuern einer Ausrichtung des Bildsensors ausgelegt ist; und ein elektronisches Bildstabilisierungsmodul, das zum Steuern einer oder mehrerer Drehungen des Bildsensors ausgelegt ist.
System nach Anspruch 1, wobei der Bildsensor zum Erfassen eines Bilds ausgelegt ist.
System nach einem der Ansprüche 1 bis 2, wobei das mechanische Stabilisierungssystem einen oder mehrere Motoren und einen oder mehrere Gimbals aufweist.
System nach Anspruch 3, wobei das mechanische Stabilisierungssystem die Ausrichtung des Bildsensors steuert, indem es eine oder mehrere Bewegungen des Bildsensors, die innerhalb einer ersten operativen Bandbreite mit einer oberen Grenzfrequenz auftreten, mit Hilfe des einen oder der mehreren Motoren und des einen oder der mehreren Gimbals ablehnt.
System nach Anspruch 4, wobei das elektronische Bildstabilisierungssystem die eine oder mehreren Drehungen des Bildsensors steuert, indem es Bilder in Bezug auf die eine oder mehreren Drehungen des Bildsensors, die innerhalb einer zweiten operativen Bandbreite mit einer unteren Grenzfrequenz auftreten, korrigiert.
System nach Anspruch 5, wobei die untere Grenzfrequenz größer ist als die obere Grenzfrequenz.
System nach einem der Ansprüche 3 bis 6, ferner umfassend: ein mit einem Gehäuse des Bildsensors gekoppeltes Luftfahrzeug.
System nach Anspruch 7, wobei das Luftfahrzeug über das mechanische Stabilisierungssystem mit dem Gehäuse des Bildsensors gekoppelt ist.
System nach einem der Ansprüche 7 bis 8, wobei das Luftfahrzeug über den einen oder die mehreren Gimbals des mechanischen Stabilisierungssystems mit dem Gehäuse des Bildsensors gekoppelt ist.
System nach einem der Ansprüche 5 bis 9, ferner umfassend: ein Bewegungsverfolgungsmodul, das einen oder mehrere Bewegungssensoren aufweist, die zum Erfassen der Ausrichtung des Bildsensors ausgelegt sind.
System nach Anspruch 10, wobei das Bewegungsverfolgungsmodul die Ausrichtung des Bildsensors erfasst, indem es eine Abfolge von Ausrichtungsschätzungen für den Bildsensor bestimmt.
System nach Anspruch 11, wobei das Bewegungsverfolgungsmodul die Abfolge von Ausrichtungsschätzungen für den Bildsensor mit Hilfe von Sensordaten aus dem einen oder den mehreren Bewegungssensoren bestimmt.
System nach einem der Ansprüche 11 bis 12, ferner umfassend: ein erstes Filtermodul, das zum Anlegen eines ersten Filters mit einem Durchlassband, das der ersten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das mechanische Stabilisierungssystem eingegeben werden, ausgelegt ist; und ein zweites Filtermodul, das zum Anlegen eines zweiten Filters mit einem Durchlassband, das der zweiten operativen Bandbreite entspricht, an die Abfolge von Ausrichtungsschätzungen, um Daten zu erhalten, die in das elektronische Stabilisierungssystem eingegeben werden, ausgelegt ist.
System nach einem der Ansprüche 11 bis 13, ferner umfassend: eine Verarbeitungseinrichtung, die ausgelegt ist zum: Aufrufen des mechanischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Ablehnen der einen oder mehreren Bewegungen des Bildsensors, die innerhalb der ersten operativen Bandbreite auftreten; Empfangen des Bilds vom Bildsensor; und Aufrufen des elektronischen Stabilisierungssystems, basierend auf der Abfolge von Ausrichtungsschätzungen, zum Korrigieren des Bilds in Bezug auf die eine oder mehreren Drehungen des Bildsensors, die innerhalb der zweiten operativen Bandbreite auftreten, um ein stabilisiertes Bild zu erzeugen.
System nach Anspruch 14, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Speichern eines Ausgabebildes basierend auf dem stabilisierten Bild.
System nach einem der Ansprüche 14 bis 15, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Anzeigen eines Ausgabebildes basierend auf dem stabilisierten Bild.
System nach einem der Ansprüche 14 bis 16, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Senden eines Ausgabebildes basierend auf dem stabilisierten Bild.
System nach einem der Ansprüche 14 bis 17, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Verstellen der ersten operativen Bandbreite und der zweiten operativen Bandbreite auf komplementäre Weise durch Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz um einen gleichen Betrag.
System nach einem der Ansprüche 14 bis 18, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Bestimmen einer Temperatur des einen oder der mehreren Motoren des mechanischen Stabilisierungssystems; und Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Temperatur.
System nach Anspruch 19, wobei das Bestimmen der Temperatur des einen oder der mehreren Motoren umfasst: Empfangen von Messungen des von dem einen oder den mehreren Motoren gezogenen Stroms; und Bestimmen der Temperatur basierend auf den Strommessungen.
System nach einem der Ansprüche 19 bis 20, wobei die obere Grenzfrequenz und die untere Grenzfrequenz anhand einer Differenz zwischen der Temperatur und einer maximalen Nenntemperatur für den einen oder die mehreren Motoren des mechanischen Stabilisierungssystems verstellt werden.
System nach einem der Ansprüche 14 bis 21, ferner umfassend: eine Benutzerschnittstelle.
System nach Anspruch 22, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Empfangen einer Betriebsartenauswahl-Eingabe von der Benutzerschnittstelle; und Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Betriebsartenauswahl-Eingabe.
System nach einem der Ansprüche 14 bis 23, ferner umfassend: eine Batterie.
System nach Anspruch 24, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Bestimmen eines Ladezustands der Batterie; und Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf dem Ladezustand der Batterie.
System nach einem der Ansprüche 14 bis 25, wobei die Verarbeitungseinrichtung ferner ausgelegt ist zum: Erfassen einer Bedingung, die mindestens eines von wenig Licht, schneller Bewegung, starkem Rauschen oder hohem Kontrast umfasst; und Verstellen der oberen Grenzfrequenz und der unteren Grenzfrequenz basierend auf der Bedingung.
System nach einem der Ansprüche 4 bis 26, wobei das mechanische Stabilisierungssystem einen Regler mit Koeffizienten umfasst, die auf die Erzwingung der ersten operativen Bandbreite abgestimmt sind.
System nach Anspruch 27, wobei der Regler einen Proportional-Integral-Differential-Regler umfasst.
System nach Anspruch 28, wobei der eine oder die mehreren Motoren und der eine oder die mehreren Gimbals durch den Proportional-Integral-Differential-Regler angesteuert werden.
System nach einem der Ansprüche 14 bis 29, wobei das elektronische Stabilisierungssystem durch von der Verarbeitungseinrichtung ausgeführte Software realisiert wird.
System nach einem der Ansprüche 7 bis 9, wobei das Luftfahrzeug ein unbemanntes Luftfahrzeug ist.
System nach Anspruch 31, wobei das unbemannte Luftfahrzeug eine Quadrocopter-Drohne ist.
System nach einem der Ansprüche 7 bis 9 und 31 bis 32, wobei das Gehäuse des Bildsensors ein Verbindungsstück für die Ankopplung an das Luftfahrzeug aufweist.
System nach Anspruch 33, wobei das Verbindungsstück einen elektrischen Verbinder aufweist.
System nach einem der Ansprüche 33 bis 34, wobei das Verbindungsstück auswechselbar an das Luftfahrzeug und an ein Handmodul ankoppelt.
System nach einem der vorhergehenden Ansprüche, ferner umfassend: ein Handmodul.
System nach Anspruch 36, wobei das Handmodul mindestens eines von einer Anzeige, einem Aufnahmeknopf, einer Statusanzeigeleuchte, einem Batteriedeckel oder einer Batterie-Entriegelung aufweist.
System nach einem der Ansprüche 36 bis 37, wobei das Handmodul eine Steckplatzöffnung mit einer zu einem Verbindungsstück passenden Form aufweist.
System nach einem der Ansprüche 37 bis 38, wobei die Statusanzeigeleuchte eine mehrfarbige LED-Vorrichtung umfasst.
System nach einem der Ansprüche 38 bis 39, wobei das Handmodul einen oder mehrere Befestigungsmechanismen umfasst, die so ausgelegt sind, dass sie das Verbindungsstück bei dessen Einführung in die Steckplatzöffnung arretieren, um das Handmodul an einem Gehäuse des Bildsensors anzubauen.
System nach einem der vorhergehenden Ansprüche, wobei das mechanische Stabilisierungssystem einen entsprechend einer Nickbewegung ausgelegten ersten Motor, einen entsprechend einer Gierbewegung ausgelegten zweiten Motor und einen entsprechend einer Rollbewegung ausgelegten dritten Motor aufweist.