DE212017000258U1

DE212017000258U1 - Visionsbasiertes Navigationssystem

Info

Publication number: DE212017000258U1
Application number: DE212017000258.1U
Authority: DE
Original assignee: GoPro Inc
Current assignee: GoPro Inc
Priority date: 2016-11-30
Filing date: 2017-11-30
Publication date: 2019-08-01
Anticipated expiration: 2027-12-01
Also published as: US20180150718A1; WO2018102559A3; WO2018102559A2

Abstract

Visionsbasiertes Navigationssystem, umfassend:
ein Luftfahrzeug, das eine mit ihm gekoppelte Bildgebungsvorrichtung aufweist;
eine Fernbedienung zum Empfangen von Benutzerfluganweisungen von einem Benutzer; und
eine Rechenvorrichtung;
wobei die Rechenvorrichtung eingerichtet ist zum:
Erfassen eines ersten Bildes zu einem ersten Zeitpunkt mit der Bildgebungsvorrichtung des Luftfahrzeugs;
Erstellen einer ersten Bildpyramide des ersten Bildes, wobei die erste Bildpyramide erste Pyramidschichten umfasst, die Kopien des ersten Bildes mit abweichenden Auflösungen sind;
Identifizieren von Merkmalen in den ersten Pyramidschichten und Erzeugen einer ersten Position und einer ersten Größe für die jeweiligen Merkmale;
Erfassen eines zweiten Bildes zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, mit der Bildgebungsvorrichtung, wobei der zweite Zeitpunkt ein gegenwärtiger Zeitpunkt ist;
Erstellen einer zweiten Bildpyramide des zweiten Bildes, wobei die zweite Bildpyramide zweite Pyramidschichten umfasst, die Kopien des zweiten Bildes mit den abweichenden Auflösungen sind;
Identifizieren der Merkmale in den zweiten Pyramidschichten und Erzeugen einer zweiten Position und einer zweiten Größe für die jeweiligen Merkmale;
Bestimmen von gegenwärtigen Navigationsinformationen des Luftfahrzeugs in Abhängigkeit von Änderungen von der ersten Position zur zweiten Position der jeweiligen Merkmale, wobei die gegenwärtigen Navigationsinformationen mindestens eines von gegenwärtiger Position, gegenwärtiger Geschwindigkeit, gegenwärtiger Orientierung oder gegenwärtiger Orientierungsrate umfassen;
Vorhersagen einer dritten Position und einer dritten Größe der jeweiligen Merkmale in dritten Pyramidschichten einer dritten Bildpyramide, die einem dritten Zeitpunkt entspricht, wobei die dritte Position und die dritte Größe der jeweiligen Merkmale in den dritten Pyramidschichten entsprechend einem dynamischen Modell des Luftfahrzeugs, den gegenwärtigen Navigationsinformationen und den Benutzerfluganweisungen bestimmt werden und der dritte Zeitpunkt ein zukünftiger Zeitpunkt nach dem zweiten Zeitpunkt ist;
Bestimmen anhand der dritten Position und der dritten Größe der jeweiligen Merkmale, ob für die Bestimmung zukünftiger Navigationsinformationen des Luftfahrzeugs eine ausreichende Anzahl der Merkmale in den dritten Pyramidschichten identifizierbar sein wird; und
Einschränken des Flugs des Luftfahrzeugs gegenüber den Benutzerfluganweisungen bei Vorhersage, dass eine nicht-ausreichende Anzahl der Merkmale in der dritten Bildpyramide identifizierbar sein wird.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG(EN)
Diese Anmeldung beansprucht die Priorität und den Vorteil der am 30. November 2016 eingereichten vorläufigen US-Patentanmeldung Nr. 15/364,990 , deren Inhalt durch Inbezugnahme vollumfänglich hier mit aufgenommen wird.
GEBIET DER TECHNIK
Diese Offenbarung bezieht sich auf unbemannte Luftfahrzeuge (UAVs) und Flugsteuerungssysteme für dieselben und insbesondere auf ein visionsbasiertes Navigationssystem.
STAND DER TECHNIK
UAVs können eine oder mehrere Navigationssysteme aufweisen, die verwendet werden, um Navigationsinformationen des UAV wie Position, Geschwindigkeit, Orientierung und Orientierungsrate (zum Beispiel Winkelgeschwindigkeit) zu bestimmen, die für die Steuerung des Flugs des UAV verwendet werden. Die Navigationsinformationen können beispielsweise verwendet werden, um das UAV zu stabilisieren, indem das UAV trotz veränderlicher Umgebungsbedingungen (zum Beispiel Wind) in einer geplanten Position gehalten wird oder entlang eines geplanten Flugwegs fortbewegt wird. Das eine oder die mehreren Navigationssysteme können ein globales Positionsbestimmungssystem (GPS) und/oder ein visionsbasiertes Navigationssystem aufweisen. Das visionsbasierte Navigationssystem kann als ein zum GPS-System redundantes Navigationssystem oder als ein primäres Navigationssystem in Umgebungen mit unzuverlässigen oder fehlenden GPS-Signalen (zum Beispiel in einem geschlossenen Raum) besonders von Vorteil sein. Das visionsbasierte Navigationssystem stützt sich auf die Identifizierung und Verfolgung von einer ausreichenden Anzahl visuell eindeutiger Merkmale zwischen aufeinander folgenden Bildern. Bei den aufeinanderfolgenden Bildern kann jedoch die Dichte der visuell eindeutigen Merkmale (zum Beispiel Bildtextur) abnehmen, wenn das UAV unterschiedliche Landschaften (zum Beispiel erst Land und dann Wasser) überfliegt und wenn das UAV die Höhe ändert (zum Beispiel zu hoch steigt, so dass Merkmale miteinander verschmelzen, oder zu tief zu einer gleichförmigen Oberfläche absinkt). Durch eine solche Bewegung und Verminderung der visuell eindeutigen Merkmale kann es dazu kommen, dass das visionsbasierte Navigationssystem unzuverlässig und/oder betriebsunwirksam wird.
KURZFASSUNG
Diese Offenbarung beschreibt Systeme zur visionsbasierten Navigation eines Luftfahrzeugs. Die hier beschriebene Offenbarung umfasst Operationen zum Erfassen eines ersten Bildes zu einem ersten Zeitpunkt, Erzeugen einer ersten Bildpyramide, die erste Pyramidschichten umfasst, die Kopien des ersten Bildes mit abweichenden Auflösungen sind, und Identifizieren von Merkmalen in den ersten Pyramidschichten und Erzeugen einer ersten Position und einer ersten Größe für die jeweiligen Merkmale. Die hier beschriebene Offenbarung umfasst das Erfassen eines zweiten Bildes zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, Erzeugen einer zweiten Bildpyramide, die zweite Pyramidschichten des zweiten Bildes mit den abweichenden Auflösungen umfassen, Identifizieren der Merkmale in den zweiten Pyramidschichten und Erzeugen einer zweiten Position und einer zweiten Größe für die jeweiligen Merkmale. Die hier beschriebene Offenbarung umfasst das Bestimmen von gegenwärtigen Navigationsinformationen des Luftfahrzeugs entsprechend den Änderungen von der ersten Position zur zweiten Position der jeweiligen Merkmale, was mindestens eines von gegenwärtiger Position, gegenwärtiger Geschwindigkeit, gegenwärtiger Orientierung, gegenwärtiger Orientierungsrate umfasst. Die hier beschriebene Offenbarung umfasst ferner das Vorhersagen einer dritten Position und einer dritten Größe der jeweiligen Merkmale in dritten Pyramidschichten einer dritten Bildpyramide, die einem dritten Zeitpunkt entspricht. Die dritte Position und die dritte Größe der jeweiligen Merkmale in den dritten Pyramidschichten werden entsprechend einem dynamischen Modell des Luftfahrzeugs, den gegenwärtigen Navigationsinformationen und den Benutzerfluganweisungen bestimmt, und der dritte Zeitpunkt ist ein zukünftiger Zeitpunkt, der nach dem zweiten Zeitpunkt liegt. Die hier beschriebene Offenbarung umfasst ferner das Bestimmen anhand der dritten Position und der dritten Größe der jeweiligen Merkmale, ob zur Bestimmung der zukünftigen Navigationsinformationen des Luftfahrzeugs eine ausreichende Anzahl der Merkmale in den dritten Pyramidschichten identifizierbar sein wird, und Einschränken des Flugs des Luftfahrzeugs gegenüber den Benutzerfluganweisungen, wenn vorhergesagt wird, dass eine nicht-ausreichende Anzahl der Merkmale in der dritten Bildpyramide identifizierbar sein wird.
Ein System zum Navigieren eines Luftfahrzeugs umfasst das Nachverfolgen von visuell eindeutigen Merkmalen von ersten unterabgetasteten Bildern eines ersten Bildes, das zu einem ersten Zeitpunkt aufgenommen wird, bis zu zweiten unterabgetasteten Bildern eines zweiten Bildes, das zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt aufgenommen wird, Bestimmen von Navigationsinformationen für den zweiten Zeitpunkt basierend auf der Nachverfolgung; und Vorhersagen, ob ausreichend Merkmale der visuell eindeutigen Merkmale zu einem zukünftigen Zeitpunkt identifizierbar sein werden, um Navigationsinformationen zum zukünftigen Zeitpunkt zu bestimmen.
Ein System zur visionsbasierten Navigation eines Luftfahrzeugs umfasst das Vorhersagen, ob ausreichend gegenwärtige Merkmale, die in gegenwärtigen unterabgetasteten Bildern eines gegenwärtigen Bildes identifiziert werden, in zukünftigen unterabgetasteten Einzelbildern identifizierbar sein werden, um zukünftige Navigationsinformationen zu bestimmen, und, wenn festgestellt wird, dass eine nicht-ausreichende Anzahl der gegenwärtigen Merkmale in den zukünftigen unterabgetasteten Einzelbildern identifizierbar sein wird, das Erzeugen von abgeänderten Fluganweisungen, die sich von den Benutzerfluganweisungen unterscheiden. Die Operation der Vorhersage erfolgt nach einem dynamischen Modell mit Eingaben von gegenwärtigen Navigationsinformationen und Benutzerfluganweisungen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die offenbarten Ausführungsformen weisen weitere Vorteile und Merkmale auf, die aus der detaillierten Beschreibung, den angehängten Ansprüchen und den Begleitzeichnungen noch deutlicher werden. Es folgt eine Kurzvorstellung der Figuren.

1A zeigt ein Beispiel eines unbemannten Luftfahrzeugs (UAV).
1B zeigt ein Beispiel der mit dem UAV verbundenen Bildgebungsvorrichtung.
1C zeigt ein Beispiel einer Fernbedienung und Benutzerschnittstelle für das UAV.
2 ist ein Blockschaltbild, das Komponenten einer Rechenvorrichtung abbildet.
3 ist ein Flussdiagramm, das einen visionsbasierten Navigationsprozess zeigt.
4 ist ein Flussdiagramm, das eine Operation des visionsbasierten Navigationsprozesses veranschaulicht.
5 ist ein Flussdiagramm, das weitere Operationen des visionsbasierten Navigationsprozesses veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Wie nachstehend näher erörtert, richtet sich die vorliegende Offenbarung auf ein visionsbasiertes Navigationssystem und -verfahren (z. B. Navigationsprozess) für ein unbemanntes Luftfahrzeug (UAV), das vorhersagt, ob ausreichende visuell eindeutige Merkmale über einen gewünschten Flugweg hinweg identifizierbar bleiben, und beschränkt das UAV auf einen abweichenden Flugweg, wenn die Vorhersage ergibt, dass nicht ausreichende visuell eindeutige Merkmale identifizierbar sind. Das visionsbasierte Navigationssystem und -verfahren nutzt insbesondere unterabgetastete Bildkopien eines gegenwärtigen Bildes und sagt zukünftige Positionen und Größen der in den unterabgetasteten Bildkopien identifizierten visuell eindeutigen Merkmale vorher, um zu bestimmen, ob diese visuell eindeutigen Merkmale in zukünftigen unterabgetasteten Einzelbildem weiter identifizierbar sind.
Es folgt nunmehr eine detaillierte Beschreibung der vorliegenden Technologie unter Verweis auf die Zeichnungen, die als veranschaulichende Beispiele vorgelegt werden, um Fachleute in die Lage zu versetzen, die Technologie praktisch auszuführen. Die nachfolgenden Figuren und Beispiele sollen den Umfang der vorliegenden Offenbarung nicht auf eine einzelne Realisierung oder Ausführungsform beschränken, sondern es sind auch andere Realisierungen und Ausführungsformen möglich, in denen einige oder alle der beschriebenen oder abgebildeten Elemente ausgewechselt oder kombiniert werden können. Soweit praktikabel, werden in allen Zeichnungen gleiche Bezugszeichen verwendet, um auf identische oder ähnliche Teile zu verweisen.
1A zeigt ein Beispiel eines UAV 100. In dieser Ausführungsform weist das UAV 100 die Ausgestaltung eines Quadrocopters auf, das heißt, das UAV 100 umfasst vier Rotoren 102. Jeder Rotor 102 wird durch einen separaten elektrischen Motor (nicht dargestellt) angetrieben. Das UAV 100 kann jedoch eine beliebige Form von Luftfahrzeug annehmen. Ein an oder in einem Körper des UAV 100 montierter Batteriesatz (nicht dargestellt) kann alle vier elektrischen Motoren, die mit dem Betrieb des UAV 100 verbundene Flugelektronik (nicht dargestellt) und eine Bildgebungsvorrichtung 104, die über eine Kommunikationsverbindung (nicht dargestellt) Stand- und Videobilder an einen am Boden befindlichen Benutzer liefert, mit elektrischer Energie versorgen. Die Bildgebungsvorrichtung 104 kann, beispielsweise über einen Bewegungsmechanismus 106, an einer Vorderseite des UAV 100 angekoppelt sein.
In 1A ist die Bildgebungsvorrichtung 104 über den Bewegungsmechanismus 106 abnehmbar am UAV 100 angebaut. Die Realisierungsform des in diesem Beispiel dargestellten Bewegungsmechanismus 106 ist ein dreiachsiger Gimbal, der die Drehung der Bildgebungsvorrichtung 104 um drei unabhängige Achsen gestattet. Der Bewegungsmechanismus 106 kann jedoch translatorische und/oder rotatorische Elemente beliebiger Art umfassen, die eine Dreh- und/oder Translationsbewegung in einer, zwei oder drei Dimensionen der Bildgebungsvorrichtung 104 im Verhältnis zum UAV 100 gestatten.
1B zeigt ein Beispiel der mit dem UAV 100 verbundenen Bildgebungsvorrichtung 104. In 1B ist die Bildgebungsvorrichtung 104 eine Kamera GoPro Hero4® oder Hero5®, aber es kann jede Art von Bildgebungsvorrichtung 104 verwendet werden, die sich, beispielsweise mit Hilfe des Bewegungsmechanismus 106, am UAV 100 anbauen lässt. Die Bildgebungsvorrichtung 104 kann über Standbild- und Videoaufnahmefähigkeiten verfügen. 1B zeigt ein Objektiv 108 der Bildgebungsvorrichtung 104 und einen mit der Bildgebungsvorrichtung 104 verbundenen Anzeigebildschirm 110. Kopplungsmittel für die Anbringung der Bildgebungsvorrichtung 104 am UAV 100 und/oder Bewegungsmechanismus 106 sind nicht dargestellt.
1C zeigt ein Beispiel einer Fernbedienung 112, die eine Benutzerschnittstelle 114 für das Betreiben des UAV 100 aufweist. Die Fernbedienung 112 kann eine Kommunikationsschnittstelle (nicht dargestellt), über welche die Fernbedienung 112 Befehle in Bezug auf den Betrieb des UAV 100 empfangen und senden kann, die Bildgebungsvorrichtung 104 und den Bewegungsmechanismus 106 aufweisen. Die Befehle können Bewegungsbefehle, Konfigurationsprobleme, Betriebssteuerbefehle und Bildaufnahmebefehle umfassen. In einigen Realisierungsformen kann die Fernbedienung 112 ein Smartphone, ein Tablet-Computer, ein Phablet, eine Smartwatch, ein tragbarer Computer und/oder eine andere Vorrichtung sein, die dazu ausgelegt ist, Benutzereingaben zu empfangen und Informationen mit der Bildgebungsvorrichtung 104, dem Bewegungsmechanismus 106 und/oder dem UAV 100 auszutauschen.
Beispielsweise können Flugrichtung, Flugstellung und Flughöhe des UAV 100 sämtlich durch Steuerung der Drehzahl der Motoren, welche die jeweils entsprechenden Rotoren 102 des UAV 100 antreiben, gesteuert werden. Während des Fluges kann ein GPS-Empfänger am UAV 100 die Fernbedienung 112 mit Navigationsdaten versorgen, die zur Bestimmung von Flugwegen und zur Anzeige der aktuellen Position über die Benutzerschnittstelle 114 verwendet werden. Es kann auch ein visionsbasiertes Navigationssystem realisiert werden, das visuell aussagekräftige Merkmale über die von der Bildgebungsvorrichtung 104 aufgenommenen Bilddaten nachverfolgt, um die notwendige Drehzahl und Position des UAV 100 an die Fernbedienung 112 zu liefern. Das visionsbasierte Navigationssystem (zum Beispiel Stabilisierungssystem) kann beispielsweise verwendet werden, um die Bewegung des UAV 100 vorausschauend zu steuern, wie zur Verhinderung einer unbeabsichtigten Bewegung des UAV 100 (zum Beispiel seitliches Driften und/oder Kippen).
Die Kommunikationsschnittstelle kann eine beliebige drahtlose Schnittstellenkonfiguration nutzen, zum Beispiel WiFi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, Nahfeldkommunikationsverbindung (NFC), zum Beispiel über Protokoll ISO/IEC 14443, ANT+ Verbindung und/oder eine andere drahtlose Kommunikationsverbindung. In einigen Realisierungsformen kann die Kommunikationsschnittstelle über eine drahtgebundene Schnittstelle, zum Beispiel HDMI, USB, digitale Video-Schnittstelle, Display-Port-Schnittstelle (zum Beispiel die von der Video Electronics Standards Association (VESA) entwickelte Digitalanzeigeschnittstelle, Ethernet, Thunderbolt) und/oder eine andere Schnittstelle umgesetzt werden.
Die Fernbedienung 112 kann mit einer Software-Anwendung (zum Beispiel GoPro Studio®, GoPro App® und/oder einer anderen Anwendung) arbeiten, die dazu ausgelegt ist, verschiedene Operation in Bezug auf die Kamerakonfiguration, die Positionierung des Bewegungsmechanismus 106, die Steuerung der Videoerfassung und/oder die Anzeige des von der Bildgebungsvorrichtung 104 aufgenommenen Videos über die Benutzerschnittstelle 114 auszuführen. Eine Anwendung (zum Beispiel GoPro App)® ermöglicht einem Benutzer das Erstellen von kurzen Videoclips und Übergeben der Videoclips an einen Cloud-Dienst (zum Beispiel Instagram®, Facebook®, YouTube®, Dropbox®); Ausführen einer kompletten Fernsteuerung von Funktionen der Bildgebungsvorrichtung 104; eine Live-Vorschau des aktuell in Aufnahme befindlichen Videos für das Shot-Framing; Markieren von Schlüsselmomenten während des Aufzeichnens (zum Beispiel HiLight Tag®, View HiLight Tags in GoPro Camera Roll®) für Lokalisierung und/oder Playback von Video-Highlights; drahtloses Bedienen von Kamerasoftware; und/oder Durchführen anderer Funktionen. Für die Konfigurierung der Bildgebungsvorrichtung 104 und/oder die Anzeige der erfassten Informationen können verschiedene Methodiken eingesetzt werden.
2 ist ein Blockschaltbild, das Komponenten einer Rechenvorrichtung 200 abbildet. Die Rechenvorrichtung 200 kann eine Einzelkomponente des UAV 100, der Bildgebungsvorrichtung 104, des Bewegungsmechanismus 106 oder der Fernbedienung 112 sein. Die Rechenvorrichtung 200 kann eine Mehrzahl von Rechenvorrichtungen sein, die auf verschiedene Weise auf das UAV 100, die Bildgebungsvorrichtung 104, den Bewegungsmechanismus 106 oder die Fernbedienung 112 verteilt sind. In den beschriebenen Beispielen 200 kann die Rechenvorrichtung 200 Kommunikations- und Steuerfunktionen für die verschiedenen unter Verweis auf 1A, 1B und 1C beschriebenen Komponenten bereitstellen.
Die Rechenvorrichtung 200 kann einen Prozessor 202 aufweisen. Der Prozessor 202 kann ein System-on-Chip (SOC), einen Mikrocontroller, Mikroprozessor, eine CPU, einen DSP, eine ASIC, eine GPU oder andere Prozessoren umfassen, die den Betrieb und die Funktionalität des UAV 100, der Bildgebungsvorrichtung 104, des Bewegungsmechanismus 106 und/oder der Fernbedienung 112 steuern. Der Prozessor 202 kann über Treiberschnittstellen und Software-Abstraction-Layers an mechanische, elektrische, sensorische und Leistungsmodule angebunden sein. Diese Prozesse können durch zusätzliche Verarbeitungs- und Speicherkapazität unterstützt werden. Diese Komponenten können vollständig durch den Prozessor 202 gesteuert sein. Eine oder mehrere Komponenten können in einigen Realisierungen durch einen oder mehrere andere Steuerprozesse betreibbar sein (zum Beispiel kann ein GPS-Empfänger eine Verarbeitungseinrichtung umfassen, die dazu ausgelegt ist, Positions- und Bewegungsinformationen nach einem gegebenen Plan an den Prozessor 202 zu liefern (zum Beispiel Werte für Breitengrad, Längengrad und Höhe bei 10 Hz)).
Die Rechenvorrichtung 200 kann auch einen elektronischen Speicher 204 umfassen, in dem Konfigurationsparameter, Bilddaten und/oder Code für funktionale Algorithmen abgelegt werden können. Der elektronische Speicher 204 kann einen Systemspeicherbaustein umfassen, der zum Speichern von ausführbaren Rechneranweisungen ausgelegt ist, die bei Ausführung durch den Prozessor 202 verschiedene Funktionen des UAV 100, der Bildgebungsvorrichtung 104, des Bewegungsmechanismus 106 und/oder der Fernbedienung 112 steuern. Der elektronische Speicher 204 kann auch einen Ablagespeicher umfassen, der ausgelegt ist zum Speichern von Inhalten (zum Beispiel Metadaten, Einzelbilder, Video und Audio), die durch die Bildgebungsvorrichtung 104 oder die mit dem UAV 100, dem Bewegungsmechanismus 106 und/oder der Fernbedienung 112 verbundenen Sensoren erfasst werden.
Der elektronische Speicher 204 kann ein nichtflüchtiges Speicherelement umfassen, das ausgelegt ist zum Speichern von Konfigurationsinformationen und Verarbeitungscode mit Auslegung zur Ermöglichung der Erfassung von Videoinformationen und Metadaten. Die Konfigurationsinformationen können die Art der Aufnahme (Video, Einzelbilder), Bildauflösung, Einzelbildrate, Burst-Einstellung, Weißabgleich, Aufnahmekonfiguration (zum Beispiel Loop-Modus), Tonspurkonfiguration und andere gegebenenfalls mit der Audio-, Video- und Metadatenerfassung verbundene Parameter umfassen. Zusätzlicher elektronischer Speicher 204 kann für weitere Hardware-, Firmware- oder Software-Erfordernisse des UAV 100, der Bildgebungsvorrichtung 104, des Bewegungsmechanismus 106 und/oder der Fernbedienung 112 verfügbar sein. Die Speicher- und Verarbeitungskapazität kann bei der Verwaltung der Verarbeitungskonfigurationsvorgänge (zum Beispiel Laden, Ersetzen) während einer Inbetriebnahme und/oder anderer Betriebsvorgänge hilfreich sein.
Die Rechenvorrichtung 200 kann auch eine Optik 218 aufweisen, die das Objektiv 108 (siehe 1B) als optisches Element der Bildgebungsvorrichtung 104 umfassen kann. In einigen Realisierungen kann es sich beim Objektiv 108 um ein Fischaugenobjektiv handeln, das Bilder mit einem Fischaugen- oder fischaugenähnlichen Sichtfeld (FOV) erzeugt. Auch andere Arten von Optiken 218 können verwendet werden, wie ein Standardobjektiv, Makroobjektiv, Vergrößerungsobjektiv, Spezialobjektiv, Teleobjektiv, Festbrennweitenobjektiv, achromatisches Objektiv, apochromatisches Objektiv, Reproobjektiv, Weitwinkelobjektiv, Ultraweitwinkelobjektiv, Infrarot-Objektiv, Ultraviolett-Objektiv, Objektiv mit Perspektivkorrektur, anderes Objektiv und anderes optisches Element. In einigen Realisierungen kann die Optik 218 die Funktionalität der Fokussteuerung realisieren, die dazu ausgelegt ist, den Betrieb und die Konfiguration des Kameraobjektivs zu regulieren. Die Optik 218 kann Licht von einem Objekt empfangen und empfangenes Licht an einen Bildsensor 220 senden.
Die Bildgebungsvorrichtung 104 kann einen oder mehrere Bildsensoren 220 wie einen Sensor mit ladungsgekoppeltem Baustein (CCD-Sensor), einen aktiven Pixelsensor (APS), einen Complementary Metal-Oxide Semiconductor (CMOS) Sensor, einen N-Type Metal Oxide Semiconductor (NMOS) Sensor und einen anderen Bildsensor umfassen. Der Bildsensor 220 kann ausgelegt sein zur Aufnahme der von der Optik 218 gesammelten Lichtwellen und zum Erzeugen von Bilddaten basierend auf Steuersignalen von einem Sensor-Controller 222. Der Bildsensor 220 kann so ausgelegt sein, dass er ein erstes Ausgangssignal erzeugt, das erste visuelle Informationen über ein Objekt übermittelt. Die visuellen Informationen können ein Bild, ein Video und/oder andere visuelle Informationen umfassen. Die Optik 218 und der Bildsensor 220 können in einem Gehäuse enthalten sein, das einen Stoß- und Prallschutz für das Modul und den Sensor gewährleistet.
Die Rechenvorrichtung 200 kann Metadatenquellen 206 umfassen oder mit solchen in Kommunikation stehen. Die Metadatenquellen 206 können Sensoren umfassen, die mit dem UAV 100, der Bildgebungsvorrichtung 104 und/oder dem Bewegungsmechanismus 106 verbunden sind. Die Sensoren können eine inertiale Messeinheit (IMU), einen Beschleunigungsmesser, ein Gyroskop, ein Barometer, ein Magnetometer, einen Kompass, einen LIDAR-Sensor, einen Satellitenempfänger zur globalen Positionsbestimmung (GPS-Empfänger), einen Höhenmesser, einen Umgebungslichtsensor, einen Temperatursensor, einen Drucksensor, einen Herzratensensor, einen Tiefensensor (wie einen Radar, einen Infrarot-basierten Tiefensensor, wie einen Tiefensensor vom Typ Kinect, und einen Stereo-Tiefensensor) und/oder andere Sensoren umfassen. Die Bildgebungsvorrichtung 104 kann auch Metadatenquellen 206, zum Beispiel Bildsensoren, einen Batteriewächter, Speicherparameter und andere Informationen in Bezug auf den Kamerabetrieb und die Inhaltserfassung bereitstellen. Die Metadatenquellen 206 können Informationen in Bezug auf eine Umgebung des UAV 100 und Aspekte, in denen der Inhalt erfasst wird, gewinnen.
Als nicht einschränkendes Beispiel kann ein Beschleunigungsmesser Bewegungsinformationen bereitstellen, die Beschleunigungsvektoren umfassen, aus denen Geschwindigkeitsvektoren hergeleitet werden können, und ein Barometer kann Druckinformationen bereitstellen, aus denen die Höhe hergeleitet werden kann. Ein Gyroskop kann Orientierungsinformationen bereitstellen, ein GPS-Sensor kann die GPS-Koordinaten und Zeit für eine Positionsbestimmung bereitstellen, und ein Höhenmesser kann Flughöheninformationen gewinnen. Die Metadatenquellen 206 können mit dem UAV 100, der Bildgebungsvorrichtung 104, dem Bewegungsmechanismus 106 und/oder der Fernbedienung 112 fest gekoppelt sein, so dass der Prozessor 202 so betrieben werden kann, dass er verschiedene Arten von Informationen, die von verschiedenen Arten von Metadatenquellen 206 eingehen, synchronisiert.
Beispielsweise können Metadaten mit Hilfe von Zeitpunktinformationen mit dem von einem Bildsensor erfassten Inhalt (Einzelbild oder Video) in Beziehung gesetzt werden. In einigen Realisierungen kann die Metadatenerfassung von der Video- oder Einzelbildaufnahme entkoppelt sein. Das heißt, Metadaten können vor, nach und zwischen einem oder mehreren Videoclips oder Einzelbildern gespeichert werden. In einer oder mehreren Realisierungen kann der Prozessor 202 an den empfangenen Metadaten Operationen zur Erzeugung von zusätzlichen Metadaten-Informationen ausführen. Der Prozessor 202 kann beispielsweise empfangene Beschleunigungsinformationen integrieren, um ein Geschwindigkeitsprofil der Bildgebungsvorrichtung 104 während der Aufzeichnung eines Videos zu bestimmen.
Die Rechenvorrichtung 200 kann Audioquellen 208 wie ein oder mehrere Mikrofone umfassen oder mit solchen in Kommunikation stehen, die dazu ausgelegt sind, Audioinformationen, die mit den von der Bildvorrichtung 104 erfassten Bildern verbunden sein können, oder Befehle, die über die Fernbedienung 112 ausgegeben werden, bereitzustellen. Zwei oder mehr Mikrofone können zur Bildung eines gerichteten Mikrofonsystems kombiniert werden. Ein solches gerichtetes Mikrofonsystem kann verwendet werden, um den Standort einer Klangquelle zu bestimmen und unerwünschtes Rauschen aus einer bestimmten Richtung zu eliminieren. Es können auch verschiedene Tonfilter angelegt werden. In einigen Realisierungen können Audioinformationen mittels AAC, AC3, MP3, linearer PCM, MPEG-H und anderer Audio-Kodierformate (Audio Codec) kodiert werden. In einen oder mehreren Realisierungen mit 360-Grad-Video und -Audio kann das Audio-Codec ein 3-dimensionales Audio-Codec umfassen. Beispielsweise kann ein Ambisonics-Codec ein komplettes Surround-Klangfeld einschließlich einer Höhendimension erzeugen. Bei Verwendung eines G-Format-Ambisonics-Codec kann auf einen speziellen Dekodierer verzichtet werden.
Die Rechenvorrichtung 200 kann eine Benutzerschnittstelle 210 umfassen oder mit einer solchen in Kommunikation stehen. Die Benutzerschnittstelle 210 kann ein Anzeigedisplay umfassen, das ausgelegt ist zum Bereitstellen von Informationen in Bezug auf Betriebsarten (z. B. Kamerabetriebsarten, Flugbetriebsarten), Verbindungsstatus (zum Beispiel verbunden, drahtlos, drahtgebunden), Energiemodi (zum Beispiel Standby, Sensor, Video), Metadatenquellen 206 (zum Beispiel Herzrate, GPS, barometrisch) und/oder andere Informationen in Verbindung mit dem UAV 100, der Bildgebungsvorrichtung 104, dem Bewegungsmechanismus 106 und/oder der Fernbedienung 112. In einigen Realisierungen kann die Benutzerschnittstelle 210 praktisch eine beliebige Vorrichtung mit Fähigkeit zur Registrierung von Eingaben eines Benutzers und Weiterleitung von Ausgaben an einen Benutzer umfassen. Hierzu gehören insbesondere, aber nicht ausschließlich, Anzeige-, Tast-, Gesten-, Näherungs-, Leucht-, klanggebende/klangaufnehmende, drahtgebundene/drahtlose und/oder andere Eingabe/Ausgabe-Geräte. Die Benutzerschnittstelle 210 kann ein Display, eines oder mehrere taktile Elemente (zum Beispiel Joysticks, Schalter, Taster und/oder virtuelle Touchscreen-Buttons), Leuchten (LED), Lautsprecher und/oder andere Schnittstellenelemente umfassen.
Die Benutzerschnittstelle 210 kann so ausgelegt sein, dass sie dem Benutzer die Möglichkeit gibt, Befehle an das UAV 100, die Bildgebungsvorrichtung 104 und/oder den Bewegungsmechanismus 106 bereitzustellen. Beispielsweise ist die in 1C dargestellte Benutzerschnittstelle 114 nur ein Beispiel der Benutzerschnittstelle 210. Über die Benutzerschnittstelle 210 bereitgestellte Benutzerbefehle können über verschiedene Verfahren kodiert werden, insbesondere, aber nicht ausschließlich, über die Dauer einer Tasterbetätigung (Pulsweitenmodulation), die Anzahl von Tasterbetätigungen (Puls-Code-Modulation) oder eine Kombination derselben. Zwei kurze Tasterbetätigungen über die Benutzerschnittstelle 210 können beispielsweise einen Sensorerfassungsmodus einleiten. In einem anderen Beispiel kann über einen einzelnen Knopfdruck die (i) Einleitung einer Video- oder Einzelbildaufnahme und Beendigung einer Video- oder Einzelbildaufnahme (Wechselschaltmodus) oder eine (ii) Video- oder Einzelbildaufnahme für eine gegebene Zeitdauer oder Anzahl von Einzelbildern (Burst-Erfassung) übermittelt werden. Auch andere Realisierungen der Benutzerbefehle oder Benutzerkommunikation können vorgenommen werden, wie durch eine oder mehrere kurze oder lange Tasterbetätigungen oder durch Wechselschaltung eines Joysticks.
Die Rechenvorrichtung 200 kann ein Eingabe/Ausgabe (E/A)-Modul 212 umfassen. Das E/A-Modul 212 kann dazu ausgelegt sein, die Bildgebungsvorrichtung 104 mit der Fernbedienung 112, einer zweiten Aufnahmevorrichtung, einem Smartphone und/oder einem Video-Server zu synchronisieren. Das E/A-Modul 212 kann dazu ausgelegt sein, Informationen zu und von verschiedenen E/A-Komponenten zu übermitteln. Das E/A-Modul 212 kann eine Schnittstelle für die drahtgebundene oder drahtlose Kommunikation (zum Beispiel WiFi, Bluetooth, USB, HDMI, Wireless USB, Nahfeldkommunikation (NFC), Ethernet, Hochfrequenz-Transceiver und andere Schnittstellen) umfassen, die dazu ausgelegt ist, mit einem oder mehreren externen Geräten zu kommunizieren. Das E/A-Modul 212 kann an LEDs, einem Display, einem Taster, einem Mikrofon, Lautsprechern und anderen E/A Komponenten angebunden sein. In einer oder mehreren Realisierungen kann das E/A-Modul 212 mit einer Energiequelle wie einer Batterie oder anderen elektrischen Gleichstromversorgung gekoppelt sein.
Die Rechenvorrichtung 200 kann ein mit dem E/A-Modul 212 gekoppeltes Kommunikationsmodul 214 umfassen. Das Kommunikationsmodul 214 kann ein Bauteil (zum Beispiel einen Dongle) mit einem Infrarotsensor, einen Hochfrequenz-Transceiver und eine Antenne, einen Ultraschallgeber und/oder andere Kommunikationsschnittstellen aufweisen, die zum Senden und Empfangen von Drahtloskommunikationssignalen verwendet werden. In einigen Realisierungen kann das Kommunikationsmodul 214 eine lokale (zum Beispiel Bluetooth, WiFi) oder breite (zum Beispiel Funk-LTE) Kommunikationsschnittstelle umfassen, die dazu ausgelegt ist, den Kommunikationsverkehr zwischen dem UAV 100, der Bildgebungsvorrichtung 104, dem Bewegungsmechanismus 106 und/oder der Fernbedienung 112 zu ermöglichen.
Das Kommunikationsmodul 214 kann Kommunikationstechnologien nutzen, die eines oder mehrere der Elemente Ethernet, 802.11, Worldwide Interoperability for Microwave Access (WiMAX), 3G, Long Term Evolution (LTE), Digital Subscriber Line (DSL), asynchroner Transfermodus (ATM), InfiniBand, PCI Express Advanced Switching und/oder andere Kommunikationstechnologien umfassen. Das Kommunikationsmodul 214 kann als nicht einschränkendes Beispiel Netzprotokolle einsetzen, die eines oder mehrere der Elemente Multiprotocol Label Switching (MPLS), Transmission Control Protocol/Internet Protocol (TCP/IP), User Datagram Protocol (UDP), Hypertext Transport Protocol (HTTP), Simple Mail Transfer Protocol (SMTP), File Transfer Protocol (FTP) und/oder andere Netzprotokolle umfassen.
Über das Kommunikationsmodul 214 ausgetauschte Informationen können mit Hilfe von Formaten dargestellt werden, die eines oder mehrere der Formate Hypertext Markup Language (HTML), Extensible Markup Language (XML) und/oder andere Formate umfassen. Ein oder mehrere Informationsaustausche zwischen der Bildgebungsvorrichtung 104 und außerhalb liegenden Geräten wie der Fernbedienung 112 können mit Hilfe von Encryption-Technologien verschlüsselt werden, die eines oder mehrere der Elemente Secure Sockets Layer (SSL), Transport Layer Security (TLS), Virtual Private Networks (VPNs), Internet Protocol Security (IPsec) und/oder andere Encryption-Technologien umfassen.
Die Rechenvorrichtung 200 kann ein Powersystem 216 aufweisen, das eine Energieversorgung basierend auf den Bedarfswerten des UAV 100, der Bildgebungsvorrichtung 104, des Bewegungsmechanismus 106 und/oder der Fernbedienung 112 moderieren kann. Beispielsweise können eine Batterie, eine Solarzelle, eine induktive (kontaktlose) Stromquelle, eine Gleichrichtung oder eine andere im UAV 100 untergebrachte Stromversorgung durch das Powersystem 216 gesteuert werden, um Strom für die Bildgebungsvorrichtung 104 und/oder den Bewegungsmechanismus 106 im gekoppelten Zustand gemäß Darstellung in 1A bereitzustellen.
Das UAV 100 verwendet ein visionsbasiertes Navigationssystem und ein von diesem System ausgeführtes visionsbasiertes Navigationsverfahren (z. B. Prozess), das Bilder analysiert, um Navigationsinformationen des UAV 100 zu bestimmen. Die Navigationsinformationen können aktuelle Informationen des UAV 100 wie Position, Geschwindigkeit (zum Beispiel translatorische Geschwindigkeit), Orientierung und Orientierungsrate (zum Beispiel Winkelgeschwindigkeit) umfassen. Das visionsbasierte Navigationssystem kann für die Stabilisierung des UAV 100 verwendet werden, beispielsweise durch Nachverfolgen der Position des UAV 100 und Betreiben der Rotoren 102 zur Verhinderung von Bewegungsabweichungen gegenüber einer gewünschten Flugroute oder Position des UAV 100. Die Verwendung des visionsbasierten Navigationssystems kann beispielsweise von Vorteil sein, wenn ein GPS-System des UAV 100 nicht betriebswirksam oder unzuverlässig ist (zum Beispiel in geschlossenen Räumen) oder wenn das UAV 100 kein GPS-System enthält. Das visionsbasierte Navigationssystem und das Verfahren sind darüber hinaus so ausgestaltet, dass sie den Weg oder Flug des UAV 100 auf physische Bereiche (zum Beispiel eine Flugenveloppe) einschränken (zum Beispiel begrenzen, binden, umleiten und/oder beschränken), in denen das visionsbasierte Navigationssystem zuverlässig arbeiten kann. In der folgenden Erörterung können das visionsbasierte Navigationssystem und das von diesem System eingesetzte visionsbasierte Navigationsverfahren der Einfachheit halber allgemein als das System bzw. das Verfahren (zum Beispiel Prozess) bezeichnet sein.
Die hier beschriebenen Technologien bestimmen die Navigationsinformationen des UAV durch das Nachverfolgen von Merkmalen in aufeinanderfolgenden Bildern. Durch die Bestimmung der Änderungen der Positionen verschiedener Merkmale in einem ersten Bild (zum Beispiel einem vorherigen oder vorhergehenden Bild), das zu einem ersten Zeitpunkt (zum Beispiel einem vorherigen oder vorhergehenden Zeitpunkt) aufgenommen wurde, gegenüber den gleichen Merkmalen in einem zweiten Bild (zum Beispiel einem gegenwärtigen Bild) zu einem zweiten Zeitpunkt (zum Beispiel einem gegenwärtigen Zeitpunkt) können die hier beschriebenen Systeme die Position, Geschwindigkeit, Orientierung und Orientierungsrate des UAV 100 zum gegenwärtigen Zeitpunkt bestimmen (zum Beispiel schätzen). Falls jedoch in späteren Bildern nicht-ausreichende Merkmale vorhanden sind, ist das System außerstande, die Navigationsinformationen zu späteren Zeitpunkten zu bestimmen.
Wenn sich das UAV 100 beispielsweise ausgehend von einer texturreichen Oberfläche (zum Beispiel mit hoher Merkmalsdichte) einer texturlosen (zum Beispiel merkmalsfreien) Oberfläche annähert, muss ein ausreichender Teil des Bildes (zum Beispiel des Video-Frames) eine texturreiche Oberfläche in Sicht haben, um den fortgesetzten Betrieb des visionsbasierten Navigationssystems sicherzustellen. Würde sich das UAV beim Überfliegen eines texturreichen Waldes zum Beispiel auf dem Weg zum Überfliegen eines Sees befinden, wäre der See relativ texturlos und besäße unter Umständen keine ausreichenden visuell eindeutigen Merkmale, um den weiteren Betrieb des visionsbasierten Navigationssystems zu unterstützen. Gleichermaßen kann es sein, dass, wenn das UAV 100 in die Höhe steigt, kleine Merkmale nicht mehr unterscheidbar sind und den fortgesetzten Betrieb des visionsbasierten Navigationssystems nicht mehr unterstützen.
Das hier offenbarte visionsbasierte Navigationssystem und das durch dieses System verwendete Verfahren begrenzen die Bewegung (zum Beispiel den Flug) des UAV 100 auf diejenigen physischen Gebiete, in denen das System Merkmale (zum Beispiel visuell eindeutige Merkmale) in ausreichender Menge identifizieren kann, um ausreichende Navigationsinformationen für eine sichere, zuverlässige und/oder vorhersagbare Stabilisierung oder sonstige Navigation des UAV 100 abzuleiten. Insbesondere treffen das System und das Verfahren eine Vorhersage, ob zu einem zukünftigen Zeitpunkt ausreichende Merkmale für einen zuverlässigen Betrieb des Systems identifizierbar sein werden, und können die geplante Bewegung (zum Beispiel einen Flugweg) des UAV 100 dementsprechend begrenzen. Die Bewegung (zum Beispiel Flug) wird in Richtungen parallel zu einer Ebene der Bilder (zum Beispiel horizontal) eingeschränkt, wenn vom System und Verfahren vorhergesagt wird, dass zum zukünftigen Zeitpunkt (das heißt bei einer zukünftigen Position und Orientierung des UAV 100) nicht ausreichende vorher identifizierte Merkmale in einem Sichtfeld der Bildgebungsvorrichtung 104 verbleiben werden. Die Bewegung (zum Beispiel Flug) kann auch in einer Richtung senkrecht zur Ebene der Bilder (zum Beispiel vertikal) eingeschränkt werden, wenn eine ausreichende Anzahl der Merkmale, die gemäß Vorhersage im Sichtfeld bleiben werden, laut Vorhersage nicht auch gleichzeitig noch identifizierbar (das heißt visuell unterscheidbar) bleibt. Für eine Vorhersage, ob diese Merkmale identifizierbar bleiben werden, werden vom System und Verfahren unterabgetastete Kopien des gegenwärtigen Bildes (zum Beispiel eine Bildpyramide) erzeugt, um Merkmale unterschiedlicher Größe nachzuverfolgen, die in einigen der unterabgetasteten Kopien identifizierbar sind, in anderen aber nicht.
Das visionsbasierte Navigationssystem umfasst im Allgemeinen die Bildgebungsvorrichtung 104 und die Rechenvorrichtung 200, die im Zusammenwirken das visionsbasierte Navigationsverfahren ausführen. Das visionsbasierte Navigationssystem kann darüber hinaus andere Komponenten oder Systeme, wie die Rotoren 102, den Bewegungsmechanismus 106, die Fernbedienung 112, die Metadatenquellen 206 oder andere weiter oben beschriebene Komponenten, umfassen, Eingaben von diesen empfangen und/oder Ausgaben an diese senden. Komponenten des visionsbasierten Navigationssystems sind vorzugsweise an Bord des UAV 100 angeordnet, können aber Komponenten und/oder Funktionen an anderen Standorten umfassen beziehungsweise ausführen.
3 ist ein Flussdiagramm und stellt eine Ausführungsform des vom visionsbasierten Navigationssystem genutzten visionsbasierten Navigationsverfahrens oder -prozesses 300 dar. Der Prozess 300 umfasst eine erste Operation 310 zum Bestimmen von gegenwärtigen Navigationsinformationen (zum Beispiel aktuelle Position, aktuelle Geschwindigkeit, aktuelle Orientierung und/oder aktuelle Orientierungsrate) durch Nachverfolgung von visuell eindeutigen Merkmalen in aufeinanderfolgenden Bildern, eine Operation 330 zum Vorhersagen, ob ausreichende visuell eindeutige Merkmale zu einem zukünftigen Zeitpunkt identifizierbar sein werden, und eine Operation 350 zum Steuern der Bewegung entsprechend den Benutzerbewegungsanweisungen oder abgeänderten Bewegungsanweisungen in Abhängigkeit davon, ob gemäß Vorhersage ausreichende visuell eindeutige Merkmale zum zukünftigen Zeitpunkt vorhanden sein werden. Die Operationen 310 bis 350 werden dann zu späteren Zeitpunkten in einer anderen Operation 370 wiederholt. Die Operationen 310 bis 370 werden im Folgenden unter Verweis auf 4 und 5 näher erörtert.
4 ist ein Flussdiagramm zur Veranschaulichung der ersten Operation 310 zum Bestimmen der gegenwärtigen Navigationsinformationen. Wie oben angeführt, erfolgt die Bestimmung der gegenwärtigen Navigationsinformationen durch die Nachverfolgung von visuell eindeutigen Merkmalen in aufeinanderfolgenden Bildern (zum Beispiel in einem Bild- oder Videostream). Durch Bestimmung der Positionsänderungen von gemeinsamen Merkmalen (zum Beispiel Änderungen der Pixelorte der Merkmale) in aufeinanderfolgenden Bildern können Änderungen der Position, Geschwindigkeit, Orientierung und/oder Orientierungsrate des UAV 100 bestimmt werden.
Die Operation 310 identifiziert und verfolgt visuell eindeutige Merkmale zwischen unterabgetasteten Bildkopien von nacheinander aufgenommenen Bildern, wodurch eine visionsbasierte Navigation unterstützt wird, wenn sich das UAV 100 zu unterschiedlichen Höhen bewegt. In einem gegebenen Satz von unterabgetasteten Bildern können in einigen (zum Beispiel einem), aber nicht in anderen (zum Beispiel in keinem) der unterabgetasteten Bilder unterschiedliche Merkmale identifizierbar sein. Es kann sein, dass kleinere Merkmale in einem oder mehreren der höher aufgelösten unterabgetasteten Bilder identifizierbar sind, aber in unterabgetasteten Bildern mit niedrigerer Auflösung nicht identifizierbar sind. Anders herum kann es sein, dass größere Merkmale in einem oder mehreren der niedriger aufgelösten unterabgetasteten Bilder identifizierbar sind, aber in unterabgetasteten Bildern mit einer höheren Auflösung nicht identifizierbar sind. Wenn das UAV 100 die Höhe ändert und sich Merkmale in der Größe ändern, kann es also sein, dass Merkmale, die in den vorherigen unterabgetasteten Bildern bei bestimmten Auflösungen identifiziert werden, in späteren unterabgetasteten Bildern bei anderen Auflösungen identifizierbar sind. Bei abnehmender Höhe können die bis dahin kleinen Merkmale beispielsweise zu großen Merkmalen werden und in niedriger aufgelösten Bildern identifizierbar sein. Bei zunehmender Höhe können die bis dahin großen Merkmale zu kleinen Merkmalen werden und in höher aufgelösten Bildern identifizierbar sein. Durch die Identifizierung unterschiedlicher Merkmale in unterschiedlichen unterabgetasteten Kopien des gleichen Bildes (zum Beispiel kleinere Merkmale bei höheren Auflösungen und größere Merkmale bei niedrigeren Auflösungen) ist das System somit in der Lage, diese Merkmale über verschiedene Auflösungen der unterabgetasteten Bilder nachzuverfolgen, auch wenn bei Bewegung des UAV 100 einige Merkmale bei ihrer bisherigen Auflösung nicht mehr identifizierbar sind.
In einer ersten Teiloperation 312 der Operation 300 wird ein erstes Bild I₁ (zum Beispiel anfängliches, vorhergehendes oder vorheriges Bild) von der Bildgebungsvorrichtung 104 zu einem ersten Zeitpunkt T₁ (zum Beispiel anfänglichen, vorhergehenden oder vorherigen Zeitpunkt) aufgenommen. Das erste Bild I₁ oder die das erste Bild I₁ darstellenden Daten werden an die Rechenvorrichtung 200 gesendet und von dieser gespeichert. Das erste Bild I₁ kann zum Beispiel ein Einzelbild eines Videostreams der Bildgebungsvorrichtung 104 sein.
Die Operation 310 setzt dann mit Teiloperation 314 fort, in der von der Rechenvorrichtung 200 eine Reihe von unterabgetasteten Bildkopien des ersten Bildes I₁ in unterschiedliche Auflösung erzeugt wird. Die Reihe der unterabgetasteten Bildkopien kann als unterabgetastete Bilder, Satz von unterabgetasteten Bildern oder Bildpyramide bezeichnet werden, während die einzelnen unterabgetasteten Bildkopien als unterabgetastetes Bild oder als Pyramidschicht bezeichnet werden können. Jedes der unterabgetasteten Bilder ist eine Kopie des ersten Bildes bei unterabgetasteten (subsampled, also abnehmenden) Auflösungen wie voller Auflösung, halber Auflösung (d. h. 1/4 der Pixel der vollen Auflösung), 1/4-Auflösung (d. h. 1/16 der Pixel der vollen Auflösung), 1/8-Auflösung (d. h. 1/64 der Pixel der vollen Auflösung), und/oder 1/16-Auflösung (d. h. 1/256 der Pixel der vollen Auflösung). Die Bildpyramide kann Bildkopien mit unterschiedlich vielen Auflösungen (zum Beispiel mehr oder weniger als fünf unterschiedlichen Auflösungen) und/oder mit unterschiedlichen Auflösungswerten umfassen.
Die Operation 310 setzt dann mit Teiloperation 316 fort, in der die unterabgetasteten Bilder des ersten Bildes I₁ analysiert werden. Die Analyse der unterabgetasteten Bilder erfolgt insbesondere mit dem Ziel, visuell eindeutige Merkmale (zum Beispiel erste Merkmale, erste Gruppen von Merkmalen) zu identifizieren, die in späteren Teiloperationen in späteren Bildern nachverfolgt werden können (wie weiter unten erörtert). Für jedes der Merkmale, die in jedem der unterabgetasteten Bilder identifiziert werden, werden eine Position (zum Beispiel Pixelort) und eine Beschreibung (zum Beispiel Größe, Pixelgröße, Bildpatch und/oder Identifikationsinformationen) erzeugt. Zur Identifizierung der Merkmale sowie zur Erzeugung der entsprechenden Position und Beschreibung kann vom System eine geeignete Bildbearbeitungs- und/oder optische Erkennungssoftware verwendet werden.
Nach Aufnahme des ersten Bildes sowie Erzeugung und Analyse der ersten unterabgetasteten Bilder realisiert dann die Operation 310 die Nachverfolgung der ersten visuellen Merkmale aus den ersten unterabgetasteten Bildern (d. h. der vorherigen Bildpyramide) bei einem oder mehreren zu späteren Zeitpunkten aufgenommen Bildern, um die Navigationsinformationen des UAV 100 zu bestimmen. Insbesondere geht die Operation 310 von der Teiloperation 316 zu einer Teiloperation 318 über, in der die Teiloperationen 312 und 314 zu einem gegenwärtigen Zeitpunkt Tc (zum Beispiel einem zweiten oder später nachfolgenden Zeitpunkt) wiederholt werden. Das heißt, es wird ein gegenwärtiges Bild Ic aufgenommen und es werden gegenwärtige unterabgetastete Bilder (zum Beispiel gegenwärtige Pyramidschichten, gegenwärtige Bildpyramide) für das gegenwärtige Bild Ic erzeugt. Das gegenwärtige Bild I_C kann beispielsweise ein Bild sein, das durch die Bildgebungsvorrichtung 104 unmittelbar im Anschluss an das erste Bild I₁ (zum Beispiel das nächste Einzelbild in einem Bilderstream) aufgenommen wird, oder kann ein Bild sein, das zu einem anderen Zeitpunkt nach dem ersten/vorherigen Zeitpunkt (zum Beispiel nach jeglicher Anzahl von Einzelbildern oder in einem vorherbestimmten Zeitintervall) aufgenommen wird.
Die Operation 310 geht dann zu einer Teiloperation 320 über, in der die gegenwärtigen unterabgetasteten Bilder analysiert werden, um die darin enthaltenen ersten Merkmale (d. h. vorher identifizierte oder gemeinsame Merkmale mit den ersten unterabgetasteten Bildern) zu identifizieren. Das System identifiziert in den gegenwärtigen unterabgetasteten Bildern zum Beispiel diejenigen Merkmale, die das gleiche oder ein ähnliches Bildpatch (zum Beispiel Beschreibung) wie die in den ersten unterabgetasteten Bildern identifizieren Merkmale aufweisen. Die ersten Merkmale können in den gegenwärtigen unterabgetasteten Bildern identifiziert werden, die andere Auflösungen als die ersten unterabgetasteten Bilder aufweisen, in denen die ersten Merkmale zuvor identifiziert wurden.
Mit Hilfe der Bewegungsdaten aus (zum Beispiel gemessen von) den Metadatenquellen 206 (zum Beispiel den IMU-Sensoren wie MEMS-basierten Beschleunigungsmessern und Gyroskopen) können die ersten Merkmale in den gegenwärtigen unterabgetasteten Bildern lokalisiert werden, beispielsweise durch Schätzen von Bereichen und/oder Auflösungen der gegenwärtigen unterabgetasteten Bilder, in denen das Auffinden der Merkmale erwartet wird. Es ist jedoch zu bedenken, dass die Genauigkeit solcher MEMS-Geräte aufgrund des Bias und/oder Rauschens dieser MEMS-Geräte gegebenenfalls allein nicht ausreicht, um die Position, Geschwindigkeit, Orientierung und Orientierungsrate über eine längere Zeitdauer (zum Beispiel über mehr als ein paar Sekunden) hinweg zuverlässig zu bestimmen.
Die Operation 310 wechselt dann zu einem Entscheidungsblock 322, in dem das System bestimmt, ob in den gegenwärtigen unterabgetasteten Bildern wieder eine ausreichende Anzahl der ersten Merkmale identifiziert wurde. Das heißt, es wird bestimmt, ob zum Bestimmen der gegenwärtigen Navigationsinformationen eine ausreichende Anzahl der Merkmale in und zwischen den ersten unterabgetasteten Bildern und gegenwärtigen unterabgetasteten Bildern identifiziert wurde und nachverfolgt werden kann. Durch eine Bewertung, ob eine ausreichende Anzahl der ersten Merkmale in den gegenwärtigen unterabgetasteten Bildern weiter vorhanden ist, kann das System so lange wie möglich die gleichen Merkmale nutzen, beispielsweise zur Vermeidung einer Drift bei der Bestimmung der Navigationsinformationen in nachfolgenden Operationen (wie nachstehend im Detail erörtert) und/oder zur Vermeidung einer Identifizierung und/oder Nachverfolgung von zu vielen Merkmalen (was ansonsten zum Beispiel einen unnötigen Verbrauch von Verarbeitungsleistung im Vergleich zu dem notwendigen Verbrauch für die hinlängliche und/oder zuverlässige Bestimmung von Navigationsinformationen bedeuten könnte).
Falls im Entscheidungsblock 322 (zum Beispiel durch einen Bestimmungsvorgang) festgestellt wird, dass in den gegenwärtigen unterabgetasteten Bildern eine ausreichende Anzahl der ersten Merkmale identifiziert wurde, setzt die Operation 310 dann mit einer Teiloperation 324 fort, in der die gegenwärtigen Navigationsinformationen anhand der ersten Merkmale bestimmt werden (wie nachstehend im Detail weiter beschrieben).
Falls im Entscheidungsblock 322 festgestellt wird, dass in den gegenwärtigen unterabgetasteten Bildern eine nicht-ausreichende Anzahl der ersten Merkmale identifiziert wurde, setzt die Operation 310 mit einer Teiloperation 326 fort, in der neue Merkmale (zum Beispiel zweite, zusätzliche, neu identifizierte oder nicht-gemeinsame Merkmale) in den gegenwärtigen unterabgetasteten Bildern identifiziert werden und für die eine Position und Beschreibung erzeugt werden.
Die Operation 310 wechselt dann zu einem Entscheidungsblock 328, der bestimmt, ob im gegenwärtigen Bild Ic (zum Beispiel in den gegenwärtigen unterabgetasteten Bildem oder in der gegenwärtigen unterabgetasteten Bildpyramide) eine ausreichende Anzahl der ersten und der neuen Merkmale identifiziert wurde. Die in den gegenwärtigen unterabgetasteten Bildern identifizierten Merkmale werden, unabhängig davon, ob es sich um die vorher identifizierten Merkmale oder um die neuen Merkmale handelt, im Folgenden als aktuelle Merkmale bezeichnet.
Falls im Entscheidungsblock 328 festgestellt wird, dass ausreichende aktuelle Merkmale in den gegenwärtigen unterabgetasteten Bildern identifiziert wurden, setzt die Operation 310 mit der Teiloperation 324 (wie weiter unten erörtert) fort, in der die gegenwärtigen Navigationsinformationen bestimmt werden.
Falls im Entscheidungsblock 328 festgestellt wird, dass in den gegenwärtigen unterabgetasteten Bildern nicht ausreichende aktuelle Merkmale identifiziert wurden, versagt das visionsbasierte Navigationssystem und/oder verliert seine Betriebswirksamkeit. Die Operation 310 fährt dann mit einer Teiloperation 352 der Operation 350 fort, in der die Fluganweisungen für den Ausfallmodus bestimmt werden. Im weitesten Sinne umfasst die Operation 350 verschiedene Teiloperationen (zum Beispiel 352, 354, 356, 358), in denen Fluganweisungen (zum Beispiel Flugbahnbefehle) in Reaktion auf verschiedene Entscheidungsblöcke erzeugt werden (zum Beispiel durch ein Flugbahnsteuergerät). Eine weitere Teiloperation 360 steuert den Flug des UAV 100 entsprechend den geeigneten Fluganweisungen (zum Beispiel durch die Erzeugung von Rotorbefehlen oder eine anderweitige Steuerung des Betriebs der Rotoren 102). Die in der Teiloperation 352 bestimmten Ausfallmodus-Fluganweisungen können beispielsweise ein unverzügliches Absteigen und Landen des UAV 100 oder eine Rückverfolgung des bisherigen Flugwegs (zum Beispiel anhand von IMU-Daten) umfassen.
In der Teiloperation 324 bestimmt das System die gegenwärtigen Navigationsinformationen des UAV 100. Das heißt, es werden die Position, Geschwindigkeit, Orientierung, Orientierungsrate, deren Komponenten (zum Beispiel translatorische Geschwindigkeit) und/oder deren Kombinationen des UAV 100 bestimmt. Neben anderen Kombinationen können beispielsweise die Position, Geschwindigkeit, Orientierung und Orientierungsrate bestimmt werden; die Position und Orientierung können bestimmt werden; die Änderungen der, oder die relative, Position und Orientierung können bestimmt werden; die Geschwindigkeit und Orientierungsrate können bestimmt werden; und/oder die translatorische Geschwindigkeit kann bestimmt werden. Insbesondere wird die gegenwärtige Navigation anhand von Änderungen der Positionen von gemeinsamen Merkmalen (d. h. der ersten Merkmale) zwischen dem ersten Bild I₁ (d. h. den ersten unterabgetasteten Bildern oder ersten Pyramidschichten) und dem gegenwärtigen Bild Ic (d. h. den gegenwärtigen unterabgetasteten Bildern oder gegenwärtigen Pyramidschichten) sowie anhand der Zeitdifferenz zwischen dem ersten Zeitpunkt T₁ und dem gegenwärtigen Zeitpunkt Tc bestimmt.
Änderungen der Position und der Orientierung des UAV 100 werden anhand von Änderungen der Positionen (zum Beispiel Punktentsprechungen) der gegenwärtigen Merkmale zwischen den ersten unterabgetasteten Bildern und den gegenwärtigen unterabgetasteten Bildern bestimmt. Änderungen der Pixelorte der Merkmale zwischen den ersten unterabgetasteten Bildern und den gegenwärtigen unterabgetasteten Bildern entsprechen beispielsweise einer entgegengesetzten Bewegungsrichtung des UAV 100 (ein Merkmal, das sich in den Bildern nach links bewegt hat, entspricht beispielsweise einer vom UAV 100 im realen Raum vollzogenen Bewegung nach rechts). Änderungsraten der Position (zum Beispiel Geschwindigkeit) und der Orientierung (zum Beispiel Orientierungsrate) des UAV 100 lassen sich anhand der Positions- und Orientierungsänderungen und der Zeitdifferenz zwischen dem gegenwärtigen Zeitpunkt T_c und dem ersten Zeitpunkt T₁ bestimmen. Der Maßstab der geänderten Position und Orientierung des UAV 100 im realen Raum kann sich beispielsweise auf die vorher bestimmte Entfernung (zum Beispiel den Höhenabstand) des UAV 100 zum Merkmal oder auf einen anderen Eingabewert (zum Beispiel der von einer der Metadatenquellen 206, wie einem Höhenmesser oder einem anderen Entfernungs- oder Höhenabstandsmessgerät, bestimmten Höhenlage oder Entfernung) gründen.
Dann werden die aktuelle Position und Orientierung des UAV 100 beispielsweise durch ein Bewegungsschätzglied oder -modell bestimmt. Eingaben in das Bewegungsschätzglied umfassen visionsbasierte Eingaben (d. h. aus der Nachverfolgung von Merkmalen zwischen aufeinanderfolgenden Bilderpyramiden, wie Änderungen oder Messungen der relativen Position und Orientierung des UAV 100 oder Geschwindigkeit und/oder Orientierungsrate des UAV 100) und können auch andere verfügbare Informationen aus einer oder mehreren der Metadatenquellen 206 (zum Beispiel IMU, wie MEMS-basierten Beschleunigungsmessern und/oder Gyroskopen, Höhenmesser und/oder GPS) enthalten. Das Bewegungsschätzglied kann beispielsweise ein Kalman-Filter oder ein anderes probabilistisches Modell sein, das die verschiedenen Eingangssignale kombiniert, filtert und/oder wichtet und dabei gleichzeitig das Rauschen und/oder die Unsicherheit in Verbindung mit den jeweiligen Informationsquellen (zum Beispiel visionsbasiert, IMU, Höhenmesser und/oder GPS) berücksichtigt. Die Gewichtung der verschiedenen Eingangssignale kann je nach dem erwarteten Rauschen und/oder der erwarteten Unsicherheit dynamisch sein. Die visionsbasierten Navigationsinformationen (zum Beispiel Daten in Bezug auf die translatorische Bewegung) können beispielsweise höher gewichtet werden, wenn das UAV 100 sich in niedrigeren Höhenlagen befindet und es zu erwarten ist, dass die visionsbasierten Navigationsinformationen genauer sind, und niedriger gewichtet werden, wenn sich das UAV 100 in höheren Lagen befindet.
Nach erfolgter Bestimmung der gegenwärtigen Navigationsinformationen in der Teiloperation 324 geht der Prozess 300 zur Operation 330 über, in der das System vorhersagt, ob ausreichende visuell eindeutige Merkmale identifizierbar sein werden (wie im Folgenden noch näher erörtert).
Nach der Teiloperation 324 wiederholt die Operation 310 auch die Teiloperationen 318 bis 328 zu aufeinanderfolgenden Zeiten (zum Beispiel nächstes Einzelbild oder ein anderes vorherbestimmtes Intervall, wie oben angeführt). Das zuvor gegenwärtige Bild, die zuvor gegenwärtigen unterabgetasteten Bilder und die zuvor gegenwärtigen Merkmale werden zu einem vorherigen Bild, vorherigen unterabgetasteten Bildern beziehungsweise vorher identifizierten Merkmalen. Ein jetzt gegenwärtiges Bild wird zum jetzt gegenwärtigen Zeitpunkt aufgenommen (d. h. Teiloperation 312), aus dem jetzt gegenwärtigen Bild werden jetzt gegenwärtige unterabgetastete Bilder erzeugt (d. h. Teiloperation 314), in den jetzt gegenwärtigen unterabgetasteten Bildern werden die vorher identifizierten Merkmale identifiziert (d. h. Teiloperation 320), in den jetzt gegenwärtigen unterabgetasteten Bildern werden neue Merkmale identifiziert (d. h. Teiloperation 326 basierend auf Entscheidungsblock 322), und aus den Änderungen der Positionen der vorher identifizierten Merkmale in den gegenwärtigen unterabgetasteten Bildern werden die jetzt gegenwärtigen Navigationsinformationen bestimmt (d. h. Teiloperation 324). Die Teiloperationen 318 bis 328 können als Teil der Operation 370 wiederholt werden oder können in einer höheren Rate als die Operationen 330 und 350, oder der Teiloperationen derselben, wiederholt werden.
Während die Operation 310 so dargelegt wurde, dass die Merkmale zwischen zwei aufeinanderfolgenden Bildern nachverfolgt werden, können die Merkmale auch über mehr als zwei (zum Beispiel drei, vier, fünf) aufeinanderfolgende Bilder, auch innerhalb eines kurzen Zeitfensters (zum Beispiel einer Sekunde) nachverfolgt werden. Während zudem die verschiedenen Teiloperationen so dargelegt wurden, dass sie im Allgemeinen nacheinander stattfinden, versteht es sich, dass einige der Teiloperationen gleichzeitig stattfinden können (zum Beispiel können unterabgetastete Bilder für ein Bild erzeugt werden, während ein Folgebild aufgenommen wird).
5 ist ein Flussdiagramm zur Veranschaulichung der Operationen 330 und 350. In der Operation 330 sagt das System vorher, ob ausreichende visuell eindeutige Merkmale zu einem zukünftigen Zeitpunkt T_f (zum Beispiel zu einem dritten Zeitpunkt nach dem gegenwärtigen Zeitpunkt) identifizierbar sein werden. Das System sagt zukünftige Positionen und zukünftige Größen für die gegenwärtigen Merkmale in vorhergesagten unterabgetasteten Einzelbildern (zum Beispiel vorhergesagten oder dritten Pyramidschichten) voraus. Die Vorhersage der zukünftigen Positionen und der zukünftigen Größen der aktuellen Merkmale bestimmt sich nach einem dynamischen Modell (zum Beispiel Bewegungs- oder Flugmodell) des UAV 100 anhand von Eingaben der gegenwärtigen Navigationsinformationen und Benutzerbewegungsanweisungen (zum Beispiel Benutzerfluganweisungen). Der zukünftige Zeitpunkt T_f kann der nächste Zeitpunkt sein, an dem ein Bild durch die Bildgebungsvorrichtung 104 (zum Beispiel das nächste Einzelbild eines Videostreams) aufgenommen wird, oder bei einem anderen Zeitpunkt liegen, wie bei einem vorherbestimmten Intervall (zum Beispiel einer Sekunde) oder einem dynamischen Intervall (zum Beispiel anhand der Geschwindigkeit des UAV 100 und/oder Entfernung des UAV 100 von einer abgebildeten Oberfläche, wie der Höhenlage des UAV 100).
In einem Entscheidungsblock 332 der Operation 330 wird bestimmt, ob neue Benutzerfluganweisungen empfangen wurden. Die Benutzerfluganweisungen können beispielsweise durch den Benutzer über die Fernbedienung 112 eingegeben werden. Der Benutzer kann die Fluganweisungen beispielsweise über die Benutzerschnittstelle 114 eingeben. Die Fluganweisungen können Anweisungen für die Bewegung des UAV 100 in einem oder mehreren von sechs Freiheitsgraden (zum Beispiel translatorische Bewegung vor/zurück, links/rechts und oben/unten sowie Drehbewegung um Roll-, Nick- und Gierachse) mit gewünschten translatorischen und/oder rotatorischen Geschwindigkeiten sein.
Falls keine neuen Benutzerfluganweisungen eingegangen sind, setzt der Prozess 300 mit Teiloperation 354 der Operation 350 fort, in der Stabilisierungsfluganweisungen basierend auf den gegenwärtigen Navigationsinformationen erzeugt werden, zum Beispiel zum Halten der Position des UAV 100. In der Teiloperation 360 wird dann der Flug des UAV 100 entsprechend den Stabilisierungsfluganweisungen gesteuert.
Falls neue Benutzerfluganweisungen eingegangen sind, geht dann die Operation 330 zu einer Teiloperation 334 über, in der das System die zukünftigen Orte und die zukünftigen Größen der gegenwärtigen Merkmale in vorhergesagten unterabgetasteten Einzelbildern (zum Beispiel dritten, zukünftigen oder vorhergesagten Pyramidschichten, unterabgetasteten Bildern oder Referenz-Einzelbildern einer dritten, zukünftigen oder vorhergesagten Bildpyramide) vorhersagt (zum Beispiel bestimmt, schätzt). Die vorhergesagten unterabgetasteten Einzelbilder sind Referenz-Einzelbilder (zum Beispiel ein Sichtfeld der Bildgebungsvorrichtung 104, falls ein zukünftiges Bild aufzunehmen wäre), die repräsentativ für zukünftige unterabgetastete Bilder sind, die erzeugt würden, falls ein zukünftiges Bild (zum Beispiel drittes Bild oder vorhergesagtes Bild) durch die Bildgebungsvorrichtung 104 (zum Beispiel zum zukünftigen Zeitpunkt T_f aus einer zukünftigen Position und zukünftigen Orientierung des UAV 100 heraus) aufgenommen würde. Die vorhergesagten unterabgetasteten Einzelbilder müssen keine vollständig erzeugten Bilder sein.
Die zukünftigen Orte und die zukünftigen Größen der Merkmale innerhalb der vorhergesagten unterabgetasteten Einzelbilder werden entsprechend dem dynamischen Modell anhand von Eingaben der gegenwärtigen Navigationsinformationen und Benutzerfluganweisungen bestimmt. Das dynamische Modell kann dynamische Eigenschaften des UAV 100 berücksichtigen, darunter die Fähigkeit der Rotoren 102 zur einzelnen und/oder kollektiven Beschleunigung des UAV 100 in den sechs Freiheitsgraden in Anbetracht der gegenwärtigen Geschwindigkeit und Orientierungsrate (und dadurch des Bewegungsimpulses) des UAV 100 und des gegenwärtigen Ausgabewertes (zum Beispiel Drehzahl) der Rotoren 102. In der Teiloperation 334 kann das System Bewegungsdaten von den Metadatenquellen 206 (zum Beispiel von den IMU-Sensoren wie MEMS-basierten Beschleunigungsmessern und Gyroskopen) zusätzlich als Eingabewerte verwenden.
Anhand des dynamischen Modells und der verschiedenen Eingangswerte (zum Beispiel der gegenwärtigen Navigationsinformationen, Benutzeranweisungen und/oder Bewegungsdaten) kann das System die zukünftigen Positionen und die zukünftigen Größen der gegenwärtigen Merkmale innerhalb der vorhergesagten unterabgetasteten Einzelbilder auf jede geeignete Weise berechnen. Das System kann beispielsweise Vektorvorhersagen (z. B. vorhergesagte Entsprechungen) für jedes der gegenwärtigen Merkmale berechnen und/oder kann einen zukünftigen Ort und eine zukünftige Orientierung des UAV 100 vorhersagen, aus denen die zukünftigen Positionen und die zukünftigen Größen der gegenwärtigen Merkmale hergeleitet werden.
Bei einzeln berechneten Vektorvorhersagen werden die in der Ebene liegenden Komponenten der Vektorvorhersagen (zum Beispiel die in der x- und y-Dimension in Ebene mit dem Sichtfeld der unterabgetasteten Bilder liegenden, wie die horizontalen Komponenten) verwendet, um die vorherbestimmten Orte der gegenwärtigen Merkmale in den vorhergesagten unterabgetasteten Einzelbildern zu bestimmen. Dementsprechend kann vorhergesagt werden, dass einige der gegenwärtigen Merkmale außerhalb der unterabgetasteten Einzelbilder liegen werden (zum Beispiel wenn sie zum zukünftigen Zeitpunkt T_f nicht innerhalb des Sichtfeldes der Bildbearbeitungsvorrichtung 104 wären). Die senkrechte Komponente der Vektoren (zum Beispiel in der z-Dimension, wie die vertikale Komponente) wird verwendet, um die Größe der gegenwärtigen Merkmale in den vorhergesagten unterabgetasteten Einzelbildern zu bestimmen. Mit Hilfe der vorhergesagten Größe der gegenwärtigen Merkmale kann vorhergesagt werden, in welchen der unterabgetasteten Bilder (d. h. bei welcher der Auflösungen) die gegenwärtigen Merkmale identifizierbar wären. Bei einigen der gegenwärtigen Merkmale kann die Vorhersage ergeben, dass sie für eine Identifizierbarkeit in verschiedenen (zum Beispiel allen) vorhergesagten unterabgetasteten Einzelbilder zu klein oder zu groß sind.
Die Operation 330 geht von Teiloperation 334 zu einem Entscheidungsblock 336 über, in dem das System bestimmt, ob ausreichende Merkmale der gegenwärtigen Merkmale in den vorhergesagten unterabgetasteten Einzelbildern identifizierbar wären (zum Beispiel in diesen liegen und eine für die Identifikation geeignete Größe aufweisen), um einen Betrieb des visionsbasierten Navigationssystem zu unterstützen. Das heißt, das System bestimmt, ob von den gegenwärtigen Merkmalen ausreichende Merkmale weiter verfügbar bleiben (zum Beispiel sowohl im Einzelbild als auch weder zu klein noch zu groß für eine Identifizierbarkeit in den unterabgetasteten Einzelbildern der höchsten und der niedrigeren Auflösung), um Navigationsinformationen zum zukünftigen Zeitpunkt Tf (zum Beispiel zukünftige Navigationsinformationen) zu bestimmen.
Falls im Entscheidungsblock 336 bestimmt wird, dass für ausreichende Merkmale die Identifizierbarkeit in den vorhergesagten unterabgetasteten Einzelbildern vorhergesagt wurde, setzt der Prozess 300 mit einer Teiloperation 356 der Operation 350 fort, um die Benutzerflugsteuerungen zu übernehmen (d. h. zu verwenden). In der Teiloperation 360 wird dann der Flug des UAV 100 entsprechend den Benutzerfluganweisungen gesteuert. Das heißt, die Rotoren 102 werden so gesteuert (zum Beispiel betrieben), dass sich das UAV 100 gemäß den Instruktionen des Benutzers bewegt.
Falls im Entscheidungsblock 336 festgestellt wird, dass gemäß Vorhersage keine ausreichenden Merkmale in den zukünftigen unterabgetasteten Einzelbildern vorhanden sein werden, setzt der Prozess 300 mit Teiloperation 358 fort, in der das System abgeänderte Fluganweisungen erzeugt, und der Flug des UAV 100 wird dann entsprechend den abgeänderten Fluganweisungen in einer Teiloperation 360 gesteuert.
In der Teiloperation 358 können die abgeänderten Fluganweisungen auf verschiedene Weise bestimmt werden. Allgemein gesprochen, werden die abgeänderten Fluganweisungen so ausgelegt, dass sie die Wegstrecke des UAV 100 auf physische Bereiche begrenzen, in denen die Merkmale gemäß Vorhersage in einer für den Betrieb des visionsbasierten Navigationssystems ausreichenden Zahl identifizierbar sein werden. Die abgeänderten Fluganweisungen können beispielsweise eine gegenüber den Benutzeranweisungen modifizierte translatorische Geschwindigkeit (zum Beispiel reduzierte Geschwindigkeit und/oder geänderte Richtung) und/oder modifizierte Winkelgeschwindigkeit (zum Beispiel reduzierte Drehzahl und/oder geänderte Rotationsachse) enthalten.
In einem Beispiel können die abgeänderten Fluganweisungen die Bewegung des UAV 100 auf eine Weise einschränken, bei der sichergestellt wird, dass das UAV 100 sich nicht zu Positionen bewegt (d. h. vor deren Erreichen anhalten kann), an denen von den gegenwärtigen Merkmalen gemäß Vorhersage keine ausreichenden Merkmale mehr durch das System identifizierbar (zum Beispiel nachverfolgbar) sind (zum Beispiel weil solche Merkmale sich nicht im Sichtfeld der Bildvorrichtung 104 befinden und/oder in einem der vorhergesagten unterabgetasteten Einzelbilder nicht eindeutig genug sind). Die abgeänderten Fluganweisungen können zum Beispiel die Geschwindigkeit des UAV 100 auf Grundlage eines Zeithorizonts, an dem die gegenwärtigen Merkmale gemäß Vorhersage nicht identifizierbar sein werden, und einer maximalen Geschwindigkeitsabnahme des UAV 100 (zum Beispiel basierend auf dem dynamischen Modell) begrenzen. Die Geschwindigkeit kann in niedrigeren Höhen, in denen die Bildgebungsvorrichtung 104 im realen Raum ein relativ begrenztes Sichtfeld aufweist, in einem größeren Maße beschränkt werden als in größeren Höhen, in denen die Bildgebungsvorrichtung 104 ein relativ größeres Sichtfeld aufweist. Die abgeänderten Fluganweisungen (zum Beispiel eingeschränkte Geschwindigkeit) können daher aus einem Verhältnis von Geschwindigkeit zu Höhe abgeleitet werden.
In einem anderen Beispiel enthalten die abgeänderten Fluganweisungen einen Sicherheitsbereich, mit dem sichergestellt wird, dass bei mehr als einer ausreichenden Anzahl der gegenwärtigen Merkmale die Identifizierbarkeit in den vorhergesagten unterabgetasteten Einzelbildern vorhergesagt wird. Der Sicherheitsbereich kann beispielsweise erfordern, dass für mehr gegenwärtige Merkmale die Identifizierbarkeit in größerer Anzahl vorhergesagt wird als erforderlich ist, um die Navigationsinformationen zum zukünftigen Zeitpunkt T_f zu bestimmen. Alternativ können die abgeänderten Fluganweisungen erfordern, dass die vorhergesagten unterabgetasteten Einzelbilder die gegenwärtigen unterabgetasteten Bilder überlappen (dass zum Beispiel vorhergesagt wird, dass eine Hälfte oder ein Viertel des gegenwärtigen Bildes im vorhergesagten Einzelbild verbleibt).
In einem weiteren Beispiel können die abgeänderten Fluganweisungen die Bewegung des UAV 100 auf eine Weise einschränken, die es dem UAV 100 ermöglicht, über Positionen oder Bereiche hinaus zu fliegen, in denen ausreichende Merkmale der gegenwärtigen Merkmale identifizierbar sind, aber unter Sicherstellung, dass das UAV 100 rechtzeitig anhalten kann, bei temporärer Zuhilfenahme von IMU-Daten, um das UAV 100 zu Positionen oder Bereiche zurückzuführen, in denen ausreichende Merkmale der gegenwärtigen Merkmale als identifizierbar vorhergesagt werden (zum Beispiel Rückverfolgung des Flugwegs).
Mit Beendigung der Operation 350 wird die Operation 330 zu späteren Zeitpunkten (zum Beispiel entsprechend dem Zeitintervall zwischen aufeinanderfolgender Bildaufnahmen in Teiloperation 312, dem Zeitintervall, für das Vorhersagen getroffen werden, oder zu einem anderen geeigneten Zeitpunkt) wiederholt.
Soweit bestimmte Elemente dieser Realisierungen teilweise oder vollständig mit Hilfe vorbekannter Komponenten ausgeführt werden, wurden nur solche Abschnitte dieser vorbekannten Komponenten beschrieben, die für ein Verständnis der vorliegenden Offenbarung notwendig sind. Auf detaillierte Beschreibungen anderer Abschnitte solcher vorbekannten Komponenten wurde verzichtet, um die Offenbarung nicht zu verwässern.
In der vorliegenden Patentschrift soll eine Realisierungsform, die eine einzählige Komponente zeigt, nicht als einschränkend betrachtet werden; vielmehr soll die Offenbarung andere Realisierungsformen mit erfassen, die eine Mehrzahl der gleichen Komponente aufweisen, und umgekehrt, sofern hier nicht ausdrücklich anders angegeben. In der vorliegenden Offenbarung sind zudem auch gegenwärtige und zukünftige bekannte Äquivalente der hier veranschaulichend bezeichneten Komponenten mit erfasst.
Der Ausdruck „Bus“ soll nach vorliegendem Sprachgebrauch allgemein alle Arten von wechselseitiger Verbindung oder Kommunikationsarchitektur bezeichnen, mit denen Daten zwischen zwei oder mehr Entitäten übermittelt werden können. Der „Bus“ könnte eine optische, drahtlose, Infrarot- oder andere Art von Kommunikationsmedium sein. Bei der exakten Topologie des Busses könnte es sich beispielsweise um einen Standard-„Bus“, hierarchischen Bus, Network-on-Chip, AER-Verbindung (Address-Event-Representation) oder um eine andere Art von Kommunikationstopologie handeln, die für den Zugriff zum Beispiel auf verschiedene Speicher in einem System verwendet wird.
Der Ausdruck „Rechenvorrichtung“ nach vorliegendem Sprachgebrauch soll Personalcomputer (PCs) und Minicomputer umfassen, ob Desktop, Laptop oder sonstige, Mainframe-Großrechner, Arbeitsstationen, Server, persönliche digitale Assistenten (PDAs), Handheld-Computer, eingebettete Computer, programmierbare logische Schaltungen, persönliche Kommunikationsgeräte, Tablet-Computer, tragbare Navigationshilfen, J2ME-ausgestattete Vorrichtungen, Funktelefone, Smartphones, persönliche integrierte Kommunikations- oder Unterhaltungsgeräte oder praktisch jede andere Vorrichtung mit Fähigkeit zur Ausführung eines Satzes von Anweisungen.
Der Ausdruck „Computerprogramm“ oder „Software“ nach vorliegendem Sprachgebrauch soll eine Abfolge von menschen- oder maschinenlesbaren Schritten umfassen, die eine Funktion ausführen. Ein solches Programm kann in praktisch jeder Programmiersprache oder Umgebung erbracht werden, beispielsweise in C/C++, C#, Fortran, COBOL, MATLAB™, PASCAL, Python, Assemblersprache, Markup-Sprachen (zum Beispiel HTML, SGML, XML, VoXML) sowie objektorientierten Umgebungen wie Common Object Request Broker Architecture (CORBA), Java™ (einschließlich J2ME, Java Beans), binärer Laufzeitumgebung (zum Beispiel BREW).
Die Ausdrücke „Verbindung“, „Link“, „Übertragungskanal“, „Verzögerungsleitung“ und „drahtlos“ nach vorliegendem Sprachgebrauch bedeuten eine kausale Verknüpfung zwischen zwei oder mehr (egal ob physischen oder logischen/virtuellen) Entitäten, die einen Informationsaustausch zwischen den Entitäten gestattet.
Die Ausdrücke „integrierter Schaltkreis“, „Chip“ und „IC“ nach vorliegendem Sprachgebrauch sollen eine elektronische Schaltung bezeichnen, zu deren Herstellung Spurenelemente strukturiert in die Oberfläche eines dünnen Substrats von Halbleitermaterial eindiffundiert werden. Integrierte Schaltkreise können als nicht einschränkende Beispiele umfassen: feldprogrammierbare Gate-Arrays (zum Beispiel FPGAs), eine programmierbare logische Schaltung (PLD), rekonfigurierbare Rechenstrukturen (RCFs), System-on-Chips (SoC), anwendungsspezifische integrierte Schaltungen (ASICs) und/oder andere Arten von integrierten Schaltungen.
Der Ausdruck „Speicher“ nach vorliegendem Sprachgebrauch umfasst jegliche Art von integriertem Schaltkreis oder einer anderen für die Ablage digitaler Daten eingerichteten Speichervorrichtung, insbesondere, aber nicht ausschließlich, ROM, PROM, EEPROM, DRAM, Mobile DRAM, SDRAM, DDR/2 SDRAM, EDO/FPMS, RLDRAM, SRAM, „Flash“-Speicher (um Beispiel NAND/NOR), Memristor-Speicher und PSRAM.
Die Ausdrücke „Prozessor“, „Mikroprozessor“ und „digitaler Prozessor“ nach vorliegendem Sprachgebrauch sollen allgemein digitale Verarbeitungsvorrichtungen umfassen. Als nicht einschränkende Beispiel können digitale Verarbeitungsvorrichtungen eines oder mehrere von Digitalen Signalprozessoren (DSPs), Computer mit reduziertem Befehlssatz (RISC), Allzweck-Prozessoren mit umfangreichem Befehlssatz (CISC), Mikroprozessoren, Gate-Arrays (zum Beispiel feldprogrammierbaren Gate-Arrays (FPGAs)), PLDs, rekonfigurierbaren Rechenstrukturen (RCFs), Array-Prozessoren, sicheren Mikroprozessoren, anwendungsspezifischen integrierten Schaltungen(ASICs) und/oder anderen digitalen Verarbeitungsvorrichtungen umfassen. Solche digitalen Prozessoren können auf einem einzigen einheitlichen IC-Die enthalten sein oder auf mehrere Komponenten verteilt sein.
Die Ausdrücke „Netzschnittstelle“ und „Kommunikationsschnittstelle“ nach vorliegendem Sprachgebrauch bezeichnen eine Signal-, Daten- und/oder Software-Schnittstelle mit einer Komponente, einem Netz und/oder einem Prozess. Eine Kommunikationsschnittstelle kann als nicht einschränkendes Beispiel eines oder mehrere von FireWire (zum Beispiel FW400, FW110 und/oder andere Variation), USB (zum Beispiel USB2), Ethernet (zum Beispiel 10/100, 10/100/1000 (Gigabit Ethernet), 10-Gig-E und/oder anderen Ethernet-Realisierungen), MoCA, Coaxsys (zum Beispiel TVnet™), Funkfrequenz-Tuner (zum Beispiel Inband oder OOB, Kabelmodem und/oder anderes Protokoll), Wi-Fi (802.11), WiMAX (802.16), PAN (zum Beispiel 802.15), Mobilfunk (zum Beispiel 3G, LTE/LTE-A/TD-LTE, GSM und/oder andere Mobilfunktechnologie), IrDA-Familien und/oder anderen Kommunikationsschnittstellen umfassen.
Der Ausdruck „Wi-Fi“ nach vorliegendem Sprachgebrauch umfasst eines oder mehrere von IEEE-Std. 802.11, Varianten von IEEE-Std. 802.11, verwandte Normen zu IEEE-Std. 802.11 (zum Beispiel 802.11 a/b/g/n/s/v) und/oder anderen Drahtlos-Standards.
Der Ausdruck „drahtlos“ (wireless) nach vorliegendem Sprachgebrauch bedeutet jegliche drahtlosen Signale, Daten, Kommunikation und/oder andere Drahtlos-Schnittstelle. Eine Drahtlos-Schnittstelle kann als nicht einschränkendes Beispiel eines oder mehr von Wi-Fi, Bluetooth, 3G (3GPP/3GPP2), HSDPA/HSUPA, TDMA, CDMA (zum Beispiel IS-95A, WCDMA und/oder einer anderen Drahtlos-Technologie), FHSS, DSSS, GSM, PAN/802.15, WiMAX (802.16), 802.20, Schmalband/FDMA, OFDM, PCS/DCS, LTE/LTE-A/TD-LTE, analogem Mobilfunk, CDPD, Satellitensystemen, Millimeterwellen- oder Mikrowellensystemen, akustische, Infrarot- (d. h. IrDA) und/oder anderen Drahtlos-Schnittstellen umfassen.
Die Ausdrücke „Bildgebungsvorrichtung“ und „Kamera“ können nach vorliegendem Sprachgebrauch verwendet sein, um eine bildgebende Vorrichtung oder einen bildgebenden Sensor zu bezeichnen, die bzw. der ausgelegt ist zum Aufnehmen, Aufzeichnen und/oder Übermitteln von Stand- und/oder Video-Bildmaterial, das für die sichtbaren Bereiche des elektromagnetischen Spektrums, die unsichtbaren Bereiche des elektromagnetischen Spektrums (zum Beispiel Infrarot, Ultraviolett) und/oder eine andere Energie (zum Beispiel Druckwellen) empfindlich sein kann.
Einige Aspekte der Technologie werden zwar mit einer speziellen Abfolge von Schritten eines Verfahrens beschrieben, aber diese Beschreibungen sind nur illustrativ für die breiter angelegten Verfahren der Offenbarung und können je nach Bedarfslage der besonderen Anwendung modifiziert werden. Bestimmte Schritte können unter bestimmten Umständen unnötig oder optional werden. Darüber hinaus können den offenbarten Realisierungen bestimmte Schritte oder Funktionalitäten hinzugefügt oder die Reihenfolge der Ausführung von zwei oder mehr Schritten vertauscht werden. Es ist davon auszugehen, dass all solche Abwandlungen in der Offenbarung mit erfasst sind.
Während in der obigen Beschreibung neuartige Merkmale der Offenbarung dargestellt, beschrieben und genannt wurden, wie sie bei verschiedenen Realisierungen angewendet werden, versteht es sich, dass Fachleute verschiedene Auslassungen, Ersetzungen und Änderungen bei der Form und den Details der dargestellten Vorrichtungen oder Prozesse vornehmen können, ohne von der Offenbarung abzuweichen. Die vorangehende Beschreibung soll in keiner Weise einschränkend sein, sondern ist vielmehr so zu betrachten, dass sie die allgemeinen Grundsätze der Technologien verdeutlicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15364990 [0001]

Claims

Visionsbasiertes Navigationssystem, umfassend: ein Luftfahrzeug, das eine mit ihm gekoppelte Bildgebungsvorrichtung aufweist; eine Fernbedienung zum Empfangen von Benutzerfluganweisungen von einem Benutzer; und eine Rechenvorrichtung; wobei die Rechenvorrichtung eingerichtet ist zum: Erfassen eines ersten Bildes zu einem ersten Zeitpunkt mit der Bildgebungsvorrichtung des Luftfahrzeugs; Erstellen einer ersten Bildpyramide des ersten Bildes, wobei die erste Bildpyramide erste Pyramidschichten umfasst, die Kopien des ersten Bildes mit abweichenden Auflösungen sind; Identifizieren von Merkmalen in den ersten Pyramidschichten und Erzeugen einer ersten Position und einer ersten Größe für die jeweiligen Merkmale; Erfassen eines zweiten Bildes zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, mit der Bildgebungsvorrichtung, wobei der zweite Zeitpunkt ein gegenwärtiger Zeitpunkt ist; Erstellen einer zweiten Bildpyramide des zweiten Bildes, wobei die zweite Bildpyramide zweite Pyramidschichten umfasst, die Kopien des zweiten Bildes mit den abweichenden Auflösungen sind; Identifizieren der Merkmale in den zweiten Pyramidschichten und Erzeugen einer zweiten Position und einer zweiten Größe für die jeweiligen Merkmale; Bestimmen von gegenwärtigen Navigationsinformationen des Luftfahrzeugs in Abhängigkeit von Änderungen von der ersten Position zur zweiten Position der jeweiligen Merkmale, wobei die gegenwärtigen Navigationsinformationen mindestens eines von gegenwärtiger Position, gegenwärtiger Geschwindigkeit, gegenwärtiger Orientierung oder gegenwärtiger Orientierungsrate umfassen; Vorhersagen einer dritten Position und einer dritten Größe der jeweiligen Merkmale in dritten Pyramidschichten einer dritten Bildpyramide, die einem dritten Zeitpunkt entspricht, wobei die dritte Position und die dritte Größe der jeweiligen Merkmale in den dritten Pyramidschichten entsprechend einem dynamischen Modell des Luftfahrzeugs, den gegenwärtigen Navigationsinformationen und den Benutzerfluganweisungen bestimmt werden und der dritte Zeitpunkt ein zukünftiger Zeitpunkt nach dem zweiten Zeitpunkt ist; Bestimmen anhand der dritten Position und der dritten Größe der jeweiligen Merkmale, ob für die Bestimmung zukünftiger Navigationsinformationen des Luftfahrzeugs eine ausreichende Anzahl der Merkmale in den dritten Pyramidschichten identifizierbar sein wird; und Einschränken des Flugs des Luftfahrzeugs gegenüber den Benutzerfluganweisungen bei Vorhersage, dass eine nicht-ausreichende Anzahl der Merkmale in der dritten Bildpyramide identifizierbar sein wird.
Visionsbasiertes Navigationssystem nach Anspruch 1, wobei die Operation des Identifizierens von Merkmalen in den zweiten Pyramidschichten umfasst: Identifizieren eines der Merkmale in einer der zweiten Pyramidschichten, die eine erste Auflösung aufweist, und die Operation des Vorhersagens umfasst: Vorhersagen, dass das eine Merkmal in einer der dritten Pyramidschichten, die eine zweite, von der ersten Auflösung abweichende Auflösung aufweist, identifizierbar sein wird.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 1 bis 2, wobei die Operation des Identifizierens von Merkmalen in den ersten Pyramidschichten umfasst: Identifizieren eines der Merkmale in einer der ersten Pyramidschichten, die eine erste Auflösung aufweist, und die Operation des Identifizierens der Merkmale in den zweiten Pyramidschichten umfasst: Identifizieren des einen Merkmals in einer der zweiten Pyramidschichten, die eine zweite, von der ersten Auflösung abweichende Auflösung aufweist.
Visionsbasiertes Navigationssystem, umfassend: ein Luftfahrzeug, das eine mit ihm gekoppelte Bildgebungsvorrichtung aufweist; eine Fernbedienung zum Empfangen von Benutzerfluganweisungen von einem Benutzer; und eine Rechenvorrichtung; wobei die Rechenvorrichtung eingerichtet ist zum: Nachverfolgen von visuell eindeutigen Merkmalen von ersten unterabgetasteten Bildern eines ersten Bildes, das zu einem ersten Zeitpunkt aufgenommen wird, bis zu zweiten unterabgetasteten Bildern eines zweiten Bildes, das zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt aufgenommen wird; Bestimmen von Navigationsinformationen für den zweiten Zeitpunkt basierend auf der Nachverfolgung; und Vorhersagen, ob ausreichende Merkmale der visuell eindeutigen Merkmale zu einem dritten Zeitpunkt identifizierbar sein werden, um Navigationsinformationen zum dritten Zeitpunkt zu bestimmen, wobei der dritte Zeitpunkt ein zukünftiger Zeitpunkt nach dem zweiten Zeitpunkt ist.
Visionsbasiertes Navigationssystem nach Anspruch 4, ferner umfassend: Einschränken des Fluges des Luftfahrzeugs auf einen Bereich, in dem ausreichende Merkmale der visuell eindeutigen Merkmale gemäß Vorhersage zum dritten Zeitpunkt identifizierbar sein werden.
Visionsbasiertes Navigationssystem nach Anspruch 5, wobei die Operation der Flugeinschränkung eine Geschwindigkeit des Luftfahrzeugs so begrenzt, dass das Luftfahrzeug anhalten kann, bevor es den Bereich verlässt.
Visionsbasiertes Navigationssystem nach Anspruch 5, ferner umfassend: Empfangen von Benutzerfluganweisungen, und bei Feststellung, dass gemäß Vorhersage nicht-ausreichende Merkmale der visuell eindeutigen Merkmale zum dritten Zeitpunkt identifizierbar sein werden, Erzeugen von abgeänderten Fluganweisungen, die sich von den Benutzerfluganweisungen unterscheiden, wobei die Operation der Flugeinschränkung entsprechend den abgeänderten Fluganweisungen ausgeführt wird.
Visionsbasiertes Navigationssystem nach Anspruch 7, wobei bei Feststellung, dass gemäß Vorhersage ausreichende Merkmale der visuell eindeutigen Merkmale zum dritten Zeitpunkt identifizierbar sein werden, der Flug entsprechend den Benutzerfluganweisungen ausgeführt wird.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 4 bis 8, wobei die Operation des Vorhersagens umfasst: Vorhersagen von Positionen und Größen der visuell eindeutigen Merkmale in dritten unterabgetasteten Bildern des dritten Zeitpunkts.
Visionsbasiertes Navigationssystem nach Anspruch 9, wobei die Operation der Nachverfolgung von visuell eindeutigen Merkmalen umfasst: Identifizieren eines oder mehrerer Merkmale in einem der zweiten unterabgetasteten Bilder mit einer ersten Auflösung, und die Operation des Vorhersagens umfasst: Vorhersagen, dass das eine oder die mehreren Merkmale in einem der dritten unterabgetasteten Bilder mit einer von der ersten Auflösung abweichenden zweiten Auflösung identifizierbar sein werden.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 4 bis 10, wobei die Operation der Nachverfolgung der visuell eindeutigen Merkmale umfasst: Identifizieren der visuell eindeutigen Merkmale in den ersten unterabgetasteten Bildern und, im zweiten unterabgetasteten Bild, Identifizieren derjenigen der visuell eindeutigen Merkmale, die in den ersten unterabgetasteten Bildern identifiziert wurden.
Visionsbasiertes Navigationssystem nach Anspruch 11, wobei die Operation des Bestimmens von Navigationsinformationen umfasst: Ableiten von Änderungen der Position und Orientierung des Luftfahrzeugs aus Änderungen von Positionen der visuell eindeutigen Merkmale zwischen den ersten unterabgetasteten Bildern und den zweiten unterabgetasteten Bildern.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 4 bis 12, wobei die ersten unterabgetasteten Bilder Kopien des ersten Bildes mit abweichenden Auflösungen sind und die zweiten unterabgetasteten Bilder Kopien des zweiten Bildes mit den abweichenden Auflösungen sind.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 4 bis 13, wobei die Navigationsinformationen mindestens eines von Position, Geschwindigkeit, Orientierung, Orientierungsrate, oder einer Komponente derselben, des Luftfahrzeugs sind.
Visionsbasiertes Navigationssystem, umfassend: ein Luftfahrzeug, das eine mit ihm gekoppelte Bildgebungsvorrichtung aufweist; eine Fernbedienung zum Empfangen von Benutzerfluganweisungen von einem Benutzer; und eine Rechenvorrichtung; wobei die Rechenvorrichtung eingerichtet ist zum: Vorhersagen, ob ausreichende gegenwärtige Merkmale, die in gegenwärtigen unterabgetasteten Bildern eines gegenwärtigen Bildes identifiziert werden, in zukünftigen unterabgetasteten Bildern identifizierbar sein werden, um zukünftige Navigationsinformationen zu bestimmen, wobei die Operation der Vorhersage entsprechend einem dynamischen Modell, gegenwärtigen Navigationsinformationen und Benutzerfluganweisungen ausgeführt wird, und wobei die zukünftigen unterabgetasteten Bilder einem zukünftigen Zeitpunkt entsprechen; und bei Feststellung, dass eine nicht-ausreichende Anzahl der gegenwärtigen Merkmale in den zukünftigen unterabgetasteten Bildern identifizierbar sein wird, Erzeugen von abgeänderten Fluganweisungen, die sich von den Benutzerfluganweisungen unterscheiden.
Visionsbasiertes Navigationssystem nach Anspruch 15, wobei die Operation der Vorhersage umfasst: Vorhersagen der Identifizierbarkeit eines der gegenwärtigen Merkmale in einem der zukünftigen unterabgetasteten Bilder, das eine Auflösung aufweist, die von einer anderen Auflösung eines der gegenwärtigen unterabgetasteten Bilder, in denen das eine gegenwärtige Merkmal identifiziert wird, abweicht.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 15 bis 16, wobei die Operation der Vorhersage umfasst: Vorhersagen von zukünftigen Positionen und zukünftigen Größen der gegenwärtigen Merkmale in den zukünftigen unterabgetasteten Bildern.
Visionsbasiertes Navigationssystem nach Anspruch 17, wobei die zukünftigen Größen der gegenwärtigen Merkmale verwendet werden, um zu bestimmen, in welchem der zukünftigen unterabgetasteten Bilder jedes der gegenwärtigen Merkmale in den zukünftigen unterabgetasteten Bildern identifizierbar sein wird.
Visionsbasiertes Navigationssystem nach einem der Ansprüche 15 bis 18, ferner umfassend: Bestimmen von gegenwärtigen Navigationsinformationen aus Änderungen von Positionen der gegenwärtigen Merkmale zwischen vorherigen unterabgetasteten Bildern eines vorherigen Bildes und den gegenwärtigen unterabgetasteten Bildern, wobei das vorherige Bild vor dem gegenwärtigen Bild aufgenommen wird.
Visionsbasiertes Navigationssystem nach Anspruch 19, wobei eines der gegenwärtigen Merkmale in einem der zukünftigen unterabgetasteten Einzelbilder identifiziert wird, das eine Auflösung aufweist, die von einer anderen Auflösung eines der gegenwärtigen unterabgetasteten Bilder, in denen das eine gegenwärtige Merkmal identifiziert wird, abweicht.