DE102021101877A1

DE102021101877A1 - System für die Luftbilderfassung unter Verwendung einer Drohne, die einem Zielfahrzeug folgt, auf der Grundlage von bestärkendem Lernen

Info

Publication number: DE102021101877A1
Application number: DE102021101877.3A
Authority: DE
Inventors: Mohammed H. Al Qizwini; David H. Clifford
Original assignee: GM Global Technology Operations LLC; General Motors LLC
Current assignee: GM Global Technology Operations LLC; General Motors LLC
Priority date: 2020-02-19
Filing date: 2021-01-28
Publication date: 2021-08-19
Also published as: CN113283424A; US20210256255A1; US11655028B2

Abstract

Ein Verfahren zum Vermessen von Straßen enthält das Erzeugen eines dynamischen Flugplans für eine Drohne unter Verwendung eines Fahrzeugs, das auf einer Straße fährt, als ein Ziel. Der dynamische Flugplan enthält Anweisungen für die Bewegung der Drohne. Das Verfahren enthält das Steuern der Drohne als eine Funktion der Position des Fahrzeugs auf der Grundlage des dynamischen Flugplans. Das Verfahren enthält das Aufrechterhalten der Sichtlinie mit der Drohne, während die Drohne mit der Bordkamera dem Fahrzeug folgt und unter Verwendung der Bordkamera Bilder der durch das Fahrzeug befahrenen Straße erfasst, auf der Grundlage der Steuerung.

Description

EINLEITUNG
Die in diesem Abschnitt gegebenen Informationen dienen zur allgemeinen Darstellung des Kontexts der Offenbarung. Arbeit der genannten Erfinder in dem Umfang, in dem sie in diesem Abschnitt beschrieben ist, sowie Aspekte der Beschreibung, die nicht auf andere Weise als Stand der Technik zum Zeitpunkt der Einreichung berechtigen können, sind weder explizit noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die Offenbarung betrifft ein System und ein Verfahren für die Luftbilderfassung unter Verwendung einer Drohne, die einem Zielfahrzeug folgt, auf der Grundalge von bestärkendem Lernen.
Hochauflösende Karten ermöglichen, dass autonome Fahrzeuge durch Bereitstellen einer präzisen Ortsbestimmungs- und Stellungsschätzung navigieren. Hochauflösende Karten werden von Luftbildern erhalten, die dadurch erfasst werden, dass von Menschen betriebene Flugzeuge fliegen und/oder dass mit Sensoren wie etwa Kameras, RADAR, LiDAR usw. ausgestattete Kartierungsfahrzeuge fahren. Hochauflösende Karten enthalten Straßenmerkmale wie etwa Fahrspurmarkierungen, Fahrspurbreiten, Krümmungsinformationen usw., die die autonome Navigation ermöglichen. Die Straßenmerkmale werden aus den Luftbildern und/oder aus den durch die Kartierungsfahrzeuge erhobenen Daten extrahiert.
ZUSAMMENFASSUNG
Ein Verfahren zum Vermessen von Straßen umfasst das Erzeugen eines dynamischen Flugplans für eine Drohne unter Verwendung eines Fahrzeugs, das auf einer Straße fährt, als ein Ziel. Der dynamische Flugplan enthält Anweisungen für die Bewegung der Drohne. Das Verfahren umfasst das Steuern der Drohne als eine Funktion der Position des Fahrzeugs auf der Grundlage des dynamischen Flugplans. Das Verfahren umfasst das Aufrechterhalten der Sichtlinie mit der Drohne, während die Drohne mit der Bordkamera dem Fahrzeug folgt und unter Verwendung der Bordkamera Bilder der durch das Fahrzeug befahrenen Straße erfasst, auf der Grundlage der Steuerung.
Gemäß einem anderen Merkmal enthält das Steuern das Steuern einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt.
Gemäß einem anderen Merkmal enthält das Steuern das Ändern einer Geschwindigkeit der Drohne in einer Richtung, um eine relative Entfernung der Drohne von dem Fahrzeug in der Richtung aufrechtzuerhalten, während die Drohne dem Fahrzeug folgt.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Erfassen von Bildern nur relevanter Merkmale der Straße unter Verwendung der Bordkamera auf der Grundlage des Steuerns.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Ausschließen der Erfassung der Umgebung der Straße auf der Grundlage des Steuerns.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Erzeugen zeitgestempelter und georeferenzierter Bilder der Straße auf der Grundlage der durch die Bordkamera erfassten Bilder.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Speichern von Daten hinsichtlich Positionen des Fahrzeugs und der Drohne und einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, und das Ausrichten der durch die Bordkamera der Drohne erfassten Bilder auf Bodendaten.
Gemäß einem anderen Merkmal enthält das Steuern der Drohne als eine Funktion der Position des Fahrzeugs bestärktes Lernen.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Bestimmen einer relativen Position der Drohne relativ zu dem Fahrzeug unter Verwendung kinematischer Echtzeitpositionsbestimmungsdaten des Fahrzeugs und der Drohne, die von einem globalen Positionsbestimmungssatellitensystem erhalten werden. Das Steuern enthält das Steuern der relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Erzeugen einer Karte auf der Grundlage der durch die Bordkamera erfassten Bilder und das Verwenden der Karte für die autonome Navigation eines oder mehrerer Fahrzeuge.
Gemäß nochmals anderen Merkmalen umfasst ein System zur Vermessung von Straßen ein Empfangsmodul, das dafür konfiguriert ist, von einem Fahrzeug, das auf einer Straße fährt, als einem Ziel einen dynamischen Flugplan für eine Drohne zu empfangen. Der dynamische Flugplan enthält Anweisungen für die Bewegung der Drohne. Das System umfasst ein Zielnachführungsmodul, das dafür konfiguriert ist, die Drohne auf der Grundlage des dynamischen Flugplans als eine Funktion der Position des Fahrzeugs zu steuern. Das Zielnachführungsmodul ist dafür konfiguriert, auf der Grundlage der Steuerung die Sichtlinie mit der Drohne aufrechtzuerhalten, während die Drohne mit einer Bordkamera dem Fahrzeug folgt und unter Verwendung der Bordkamera Bilder der Straße, die durch das Fahrzeug befahren wird, erfasst.
Gemäß einem anderen Merkmal ist das Zielnachführungsmodul dafür konfiguriert, die Drohne durch Steuern einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, zu steuern.
Gemäß einem anderen Merkmal ist das Zielnachführungsmodul dafür konfiguriert, die Drohne durch Ändern einer Geschwindigkeit der Drohne in einer Richtung, um eine relative Entfernung der Drohne von dem Fahrzeug in der Richtung aufrechtzuerhalten, während die Drohne dem Fahrzeug folgt, zu steuern.
Gemäß einem anderen Merkmal umfasst das System ferner ein Bilderfassungsmodul, das dafür konfiguriert ist, unter Verwendung der Bordkamera auf der Grundlage des Steuerns der Drohne durch das Zielnachführungsmodul nur Bilder relevanter Merkmale der Straße zu erfassen.
Gemäß einem anderen Merkmal umfasst das System ferner ein Bilderfassungsmodul, das dafür konfiguriert ist, die Erfassung der Umgebung der Straße auf der Grundlage des Steuerns der Drohne durch das Zielnachführungsmodul auszuschließen.
Gemäß einem anderen Merkmal umfasst das System ferner ein Bilderfassungsmodul, das dafür konfiguriert ist, auf der Grundlage der durch die Bordkamera erfassten Bilder zeitgestempelte und georeferenzierte Bilder der Straße zu erzeugen.
Gemäß anderen Merkmalen ist das Zielnachführungsmodul dafür konfiguriert, Daten hinsichtlich Positionen des Fahrzeugs und der Drohne und einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, zu speichern. Ferner umfasst das System ein Bilderfassungsmodul, das dafür konfiguriert ist, die durch die Bordkamera der Drohne erfassten Bilder auf Bodendaten auszurichten.
Gemäß einem anderen Merkmal ist das Zielnachführungsmodul dafür konfiguriert, die Drohne als eine Funktion der Position des Fahrzeugs unter Verwendung von bestärktem Lernen zu steuern.
Gemäß anderen Merkmalen ist das Zielnachführungsmodul dafür konfiguriert, eine relative Position der Drohne relativ zu dem Fahrzeug unter Verwendung kinematischer Echtzeitpositionsbestimmungsdaten des Fahrzeugs und der Drohne, die von einem globalen Positionsbestimmungssatellitensystem erhalten werden, zu bestimmen. Das Zielnachführungsmodul ist dafür konfiguriert, die relative Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, zu steuern.
Gemäß einem anderen Merkmal umfasst das System ferner ein Computersystem, das dafür konfiguriert ist, die durch die Bordkamera erfassten Bilder von der Drohne über ein Netz zu empfangen und auf der Grundlage der durch die Bordkamera erfassten Bilder eine Karte zu erzeugen. Die Karte wird für die autonome Navigation eines oder mehrerer Fahrzeuge verwendet.
Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der folgenden Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und spezifische Beispiele sind nur zur Veranschaulichung bestimmt und sollen den Schutzumfang der Offenbarung nicht einschränken.
Figurenliste
Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:

1 ein System zum Steuern einer Drohne unter Verwendung eines Zielfahrzeugs gemäß der vorliegenden Offenbarung;
2 die relevanten Elemente der Drohne und des Zielfahrzeugs in weiteren Einzelheiten;
3 Eingaben und Ausgaben eines Zielnachführungsmoduls der Drohne in weiteren Einzelheiten;
4 ein Beispiel eines Moduls für bestärkendes Lernen (RL-Moduls) der Drohne;
5 ein Beispiel des RL-Moduls in weiteren Einzelheiten;
6 ein von dem System aus 1 verwendetes Verfahren zum Steuern der Drohne unter Verwendung des Zielfahrzeugs gemäß der vorliegenden Offenbarung;
7 das Verfahren aus 6 in weiteren Einzelheiten;
8 ein Verfahren zum Steuern der Drohnengeschwindigkeit gemäß der vorliegenden Offenbarung in weiteren Einzelheiten;
9 ein Verfahren zum Erzeugen von Bildern auf der Grundlage der durch die Drohne erfassten Daten dadurch, dass dem Zielfahrzeug gefolgt wird, gemäß der vorliegenden Offenbarung; und
10 ein Verfahren zum Erzeugen von Karten bei einem fernen Computersystem auf der Grundlage von Bildern, die durch die Drohne, die einem Ziel folgt, erfasst werden, gemäß der vorliegenden Offenbarung.

In den Zeichnungen können Bezugszeichen erneut verwendet werden, um ähnliche und/oder gleiche Elemente zu identifizieren.
AUSFÜHRLICHE BESCHREIBUNG
Luftbilder, die unter Verwendung von Flugzeugen erhalten werden, besitzen keine hohe Auflösung, da die Bilder durch von Menschen betriebene Flugzeuge in großer Höhe erzeugt werden, die viele unerwünschte Bilder erfassen, die die Straßen umgeben. Die erfassten Luftbilder erfordern nicht nur erhebliche Reinigung, sondern die Luftbilder erfassen auch nicht die Einzelheiten (d. h. die Straßenmerkmale), die für die autonome Navigation notwendig sind. Alternativ kann ein Kartierungsfahrzeug, das mit Sensoren wie etwa Kameras ausgestattet ist, gefahren werden, um die Bilder zu erfassen. Allerdings können Kameras im Fahrzeug nur Teile von Kreuzungen erfassen. Ferner sind die durch die Kameras im Fahrzeug erfassten Fahrspurbreiten nicht genau und sind die Straßenkrümmungen abgeschnitten.
Im Gegensatz dazu kann eine Drohne, die mit Kameras ausgestattet ist, einem Zielfahrzeug in einer viel kleineren Höhe als ein Flugzeug folgen. Im Ergebnis sind die durch die Drohnenkamera erfassten Bilder relevanter (d. h. auf die Straßenmerkmale konzentriert) und hochauflösend. Das heißt, die Bilder, die durch eine Drohne erfasst werden, die einem Zielfahrzeug folgt, enthalten Merkmalseinzelheiten, die die Kameras im Fahrzeug nicht genau erfassen können. Genauer können die Drohnenkameras einen gesamten Straßenquerschnitt beobachten, dieselbe Perspektive für alle Fahrspurmerkmale besitzen und die volle Straßenkrümmung erfassen. Ferner erfassen die Drohnen nicht viele unerwünschte Bilder, die die Straßen umgeben, da die Drohnen in einer viel niedrigeren Höhe als Flugzeuge fliegen, was die Menge der zum Extrahieren von Merkmalen aus den durch die Drohnenkameras erfassten Daten erforderlichen Datenverarbeitung bedeutend verringert. Somit können Drohnen hochauflösende Bilder mit bedeutend verringerten Kosten bereitstellen. Allerdings erfordern Drohnen menschliche Betreiber, um die Sichtlinie aufrechtzuerhalten, und erfordern sie Flugpläne oder Steuersignale für den Dauerbetrieb.
Die vorliegende Offenbarung schafft einen Algorithmus auf der Grundlage des bestärkenden Lernens (RL) als ein Beispiel eines Steueralgorithmus zum Steuern der Geschwindigkeit einer Drohne, damit die Drohne einem Zielfahrzeug folgt. Ferner schafft die vorliegende Offenbarung Verfahren zum Aufrechterhalten der Sichtlinie zu Drohnen, die in der Landvermessung tätig sind, und zum Koordinieren von Beobachtungen relevanter Straßenmerkmale mit hoher Präzision. Genauer schafft die vorliegende Offenbarung einen RL-gestützten Algorithmus zum Steuern der Geschwindigkeit einer Drohne, um einem Steuerfahrzeug zu folgen, ein Verfahren zum Erzeugen dynamischer Flugpläne für die Drohne, ein System zum Aufrechterhalten der Sichtlinie zu der Drohne, Verfahren zum Beschränken der Vermessung auf relevante Betriebsbereiche und ein System zum Ausrichten der luft- und bodengestützten Datenerhebung.
Das Folgende sind einige der neuen Aspekte der durch die vorliegende Offenbarung geschaffenen Systeme und Verfahren. Die Verfahren der vorliegenden Offenbarung für die Drohnenflugplanung und für die Vermessung von Infrastruktur beruhen auf einem statischen Betreiber. Die Erzeugung von Flugplänen für die Luftvermessung wird durch Beschränkungen des menschlichen Betreibers und durch die Verfügbarkeit von Flugplätzen für den Start und für die Landung, nicht durch die Anwesenheit ausgeprägter Merkmale in dem interessierenden Gebiet konstruiert. Im Gegensatz dazu schafft die Verwendung eines dynamischen Ziels (eines Bodenfahrzeugs) gemäß den Systemen und Verfahren der vorliegenden Offenbarung einen Flugplan während des Betriebs der Drohne und beschränkt sie die Datenerhebung auf präzise interessierende Gebiete, was die Notwendigkeit einer wesentlichen Nachverarbeitung der erfassten Luftbilder verhindert.
Die vorliegende Offenbarung schafft eine Fähigkeit zum Verketten von Bodenfahrzeugdaten mit Luftbilddaten zur Zeit des Flugs während des Tags der Vermessung, was die Fähigkeit zum Erzeugen merkmalsreicher Karten bereichert; die Notwendigkeit der Nachverarbeitung beschränkt und Strukturen aus Bewegungsherausforderungen auflöst, Verdeckungs-, Verziehungs-, Horizontprobleme in Bodenvermessungsdaten löst; und für Luftbilder einen reicheren 3D-Leitstrahltext bereitstellt. Zusätzlich schafft die vorliegende Offenbarung eine dynamische Zielstellung über GPS-über-drahtlos-Kommunikation, die die einfache Zielnachführung für den Sichtlinienbetrieb ermöglicht, um Vorschriften einzuhalten. Diese und weitere neue Merkmale der Systeme und Verfahren der vorliegenden Offenbarung werden im Folgenden ausführlich beschrieben.
Die vorliegende Offenbarung ist wie folgt organisiert. Anfangs sind das System und das Verfahren zum Steuern der Drohne unter Verwendung eines Zielfahrzeugs beschrieben. Nachfolgend ist anhand von 1 ein System zum Steuern der Drohne unter Verwendung eines Zielfahrzeugs gemäß der vorliegenden Offenbarung gezeigt und beschrieben. Anhand von 2 sind die relevanten Elemente der Drohne und des Fahrzeugs in weiteren Einzelheiten gezeigt und beschrieben. Anhand von 3 ist ein Zielnachführungsmodul der Drohne in weiteren Einzelheiten gezeigt und beschrieben. Anhand von 4 und 5 ist ein Beispiel eines Moduls für bestärkendes Lernen der Drohne ausführlicher gezeigt und beschrieben. Anhand von 6 ist ein Verfahren zum Steuern der Drohne unter Verwendung eines Zielfahrzeugs umfassend gezeigt und beschrieben. Anhand von 7 ist das Verfahren in weiteren Einzelheiten gezeigt und beschrieben. Anhand von 8 ist ein Verfahren zum Steuern der Drohnengeschwindigkeit gezeigt und beschrieben. Anhand von 9 ist ein Verfahren zum Ausrichten der durch die Drohne erfassten Bilder gezeigt und beschrieben. Anhand von 10 ist ein Verfahren zum Erzeugen von Karten in einem fernen Computersystem unter Verwendung der Bilder gezeigt und beschrieben.
Genauer enthält ein System gemäß der vorliegenden Offenbarung eine Drohne, ein Fahrzeug und einen Algorithmus, der die Drohne steuert. Das System sendet zeitgestempelte und georeferenzierte Bilder, die von der Drohne und von dem Fahrzeug erhoben werden. Ein Back-end-Computersystem (z. B. in einer Cloud) ordnet die Drohnenbilder Straßenbildern zu. Die Drohne folgt einem Fahrzeug auf der Straße, um eine Luftvermessung der Straßen durchzuführen. Das Fahrzeug stellt den Flugplan für die Drohne bereit. Der Algorithmus ermöglicht, dass die zeitgestempelte und georeferenzierte Zuordnung auf einem feinkörnigen Niveau durchgeführt wird. Der Algorithmus ordnet die Position der Drohne zu irgendeinem gegebenen Zeitpunkt der Position des Fahrzeugs zu demselben Zeitpunkt zu, was die Kolokalisierung und die Verkettung der Bilder von der Luftbilddraufsicht mit der Bodendraufsicht zulässt. Der Algorithmus ermöglicht, dass die Kolokalisierung und die Verkettung mit einem hohen Grad an Genauigkeit und mit einem hohen Grad an Vertrauen in die Transformation ausgeführt werden. Falls die Drohne mit einem Flugweg einfach über einem Fahrzeug mit einem Fahrweg geflogen wird, wären Landmarken für die Zuordnung notwendig. Da die Drohne in dem System der vorliegenden Offenbarung durch die (d. h. auf der Grundlage der) Position des Fahrzeugs gesteuert wird, kann die Zuordnung allerdings ausgeführt werden, ohne dass irgendwelche Landmarken benötigt werden. Wie im Folgenden erläutert wird, ermöglichen die Mehrachsenentfernungen zwischen der Drohne und dem Fahrzeug und das Gieren, dass der Algorithmus die Verkettung mit einem hohen Grad an Genauigkeit ausführt.
Der Algorithmus verwendet zwei Eingaben: kinematische Fahrzeugechtzeitdaten (RTK-Daten) und Drohnen-GPS-Daten. Die RTK-Positionsbestimmung ist eine Satellitennavigationstechnik, die verwendet wird, um die Präzision von Positionsdaten, die von satellitengestützten Positionsbestimmungssystemen, die globale Navigationssatellitensysteme (GNSS) genannt werden, wie etwa GPS, abgeleitet werden, zu verbessern. Die RTK-Daten werden von einem GPS-Empfänger in dem Fahrzeug erhalten. Die Fahrzeug-GPS-Daten können Fehler wegen der Störung von Bodenniveaurauschen enthalten. Daten von einer Inertialmesseinheit (IMU) in dem Fahrzeug werden verwendet, um die Fehler zu verringern. Die IMU ist eine elektronische Vorrichtung, die die Orientierung, die Geschwindigkeit und Gravitationskräfte unter Verwendung von Beschleunigungsmessern und Gyroskopen und häufig Magnetometern misst. Da die Drohne höher als der Boden fliegt, weisen die Drohnen-GPS-Daten wegen niedriger Niveaus der Störung in der größeren Höhe als auf den Bodenniveaus kleinere Fehler als die Fehler in den Fahrzeug-GPS-Daten auf. Ferner enthält die Drohne üblicherweise ebenfalls einen Sechs-Freiheitsgrad-Beschleunigungsmesser, der in der Drohne als eine IMU wirkt.
Der Algorithmus berechnet die Entfernungen zwischen der Drohne und dem Fahrzeug im 2,5D-Raum auf der Grundlage der Fahrzeug-RTK-Daten und der Drohnen-GPS-Daten. Die Entfernungen werden als Distance_x, Distance_y und Distance_z bezeichnet. Es wird angemerkt, dass der Raum kein voller 3D-Raum ist, da Nicken und Rollen der Drohne in diesen Berechnungen nicht betrachtet werden, während das Gieren in diesen Berechnungen enthalten ist. (In der Navigation wird eine Winkelmessung in einer horizontalen Ebene relativ zur geografischen Nordrichtung Gieren (auch Azimut oder Steuerkurs) genannt; und wird eine Winkelmessung in einer vertikalen Ebene relativ zu einem lokalen Bezugssystem allgemein als Nicken oder Rollen berechnet.)
Zum Beispiel wird ein RL-gestütztes System wie etwa ein neuronales Netz dafür trainiert, die Geschwindigkeit der Drohne (als Speed_x, Speed_y und Speed_z bezeichnet) auf der Grundlage dieser Entfernungen zwischen der Drohne und dem Fahrzeug in der Weise zu steuern, dass die relative Position der Drohne innerhalb eines vorgegebenen oder gewünschten Bereichs relativ zu dem Fahrzeug aufrechterhalten wird. Zum Beispiel kann das neuronale Netz einen Wert zum Einstellen von Speed_x der Drohne ausgeben, falls sich Distance_x zwischen der Drohne und dem Fahrzeug ändert; usw.
Eine neuronale Aktor-Kritiker-Netz-Architektur ist ein Beispiel eines Verfahrens zum Steuern der Drohne als eine Funktion des Zielfahrzeugs. Stattdessen kann irgendein anderes Verfahren verwendet werden, das die relative Position und Bewegung der Drohne als eine Funktion der Position und Bewegung des Zielfahrzeugs steuern kann. Nichteinschränkende Beispiele alternativer Algorithmen enthalten einen Fly-by-Wire-Algorithmus, eine klassische Steuerarchitektur usw. Die beispielhafte Architektur enthält einen Aktor und einen Kritiker, die gemeinsam trainiert werden. Dem Aktor wird ein Ziel gegeben und er trifft eine Wahl. Der Kritiker bestimmt die Eignung der Wahl und bewertet die Wahl. Das Ziel ist es, einen Aktor zu erzeugen, der eine Bewertung erzielt, die die Konvergenz zu einem gewünschten Niveau angibt.
Der Aktor (d. h. die Drohne) empfängt in jedem Schritt in einer Zeitreihe eine Beobachtungseingabe, die eine Position des Zielfahrzeugs ist, und trifft eine Wahl über seine nächste Position als eine Eingabe (d. h., was bei vorgegebener Position des Fahrzeugs die nächste Position der Drohne sein sollte). Ein neuronales Netz, das z. B. drei Schichten vollständig verbundener Neuronen enthalten kann, gibt auf der Grundlage der empfangenen Beobachtungseingaben, die die Position des Zielfahrzeugs angeben, die x-, die y- und die z-Geschwindigkeit für die Drohne aus. Die Ausgabegeschwindigkeiten sollen die Position der Drohne innerhalb eines gewünschten Bereichs relativ zu dem Zielfahrzeug aufrechterhalten.
Der Kritiker verwendet ein neuronales Netz, das dieselben Beobachtungseingaben (d. h. die Fahrzeugposition) empfängt, die der Aktor empfangen hat, und empfängt die Ausgaben (d. h. die x-, die y- und die z-Geschwindigkeit), die der Aktor auf der Grundlage der Beobachtungseingaben erzeugt hat. Der Kritiker bewertet die Ausgaben des Aktors (d. h. die durch den Aktor auf der Grundlage der Beobachtungseingaben getroffenen Geschwindigkeitswahlen) und gibt eine Bewertung aus, die die Eignung der Ausgaben des Aktors angibt. Aus der Bewertung lernt der Aktor, Ausgaben in der Weise zu erzeugen, dass die Bewertung des Kritikers für die Ausgaben des Aktors so wertvoll wie möglich ist. Der Aktor lernt (z. B. durch Einstellen der Gewichte des neuronalen Netzes) weiter, bis der Aktor optimale Ausgaben erzeugt, was durch Konvergenz oder durch eine bestimmte gewünschte Bewertungsausgabe durch den Kritiker angegeben wird. Der Kritiker wird z. B. auf der Grundlage der x-, der y- und der z-Entfernung zwischen der Drohne und dem Zielfahrzeug belohnt oder bestraft. Diese Entfernungen können z. B. auf der Grundlage der Straßen, die kartiert werden (z. B. Innenstadtstraßen gegenüber Autobahnen, gewundene Straßen gegenüber geraden Straßen usw.) gewählt werden. Somit verwenden der Aktor und der Kritiker jeweilige neuronale Netze, die miteinander gekoppelt sind und die unter Verwendung von bestärkendem Lernen gemeinsam lernen (d. h. trainieren).
Zusammengefasst wird unter Verwendung eines Zielfahrzeugs ein dynamischer Flugplan für eine Drohne erzeugt. Der Flugplan ist derart, dass er nur die Straßen vermisst und Zusatzbilder, die die Straßen umgeben, vermeidet. Der unter Verwendung des Zielfahrzeugs erzeugte dynamische Flugplan beschränkt die unter Verwendung der Drohne durchgeführte Vermessung sinnvoll auf relevante Betriebsbereiche. Gemäß einer Implementierung wird z. B. ein RL-gestützter Algorithmus verwendet, um die Drohne dafür zu steuern, dass sie dem Zielfahrzeug folgt, wobei die Drohne den Flugplan auf der Grundlage der Position des Zielfahrzeugs in jedem Zeitschritt lernt, so dass die Drohne dem Zielfahrzeug treu folgt oder es treu nachführt. Die Kopplung zwischen dem Flugplan der Drohne und der Bewegung des Zielfahrzeugs ermöglicht, die luft- und die bodengestützten Daten auszurichten. Die Ausrichtung ist möglich, da der Algorithmus in jedem Schritt des Vermessungsprozesses die Position des Fahrzeugs, die Position der Drohne und die relative Position zwischen der Drohne und dem Fahrzeug speichert, weswegen die Bildausrichtung mit einem höheren granulären Einzelheitsniveau vorgenommen werden kann. Zusätzlich ermöglicht das System, dass der Betreiber die Sichtlinie zu der Drohne, wie es von Vorschriften gefordert wird, aufrechterhält.
Dementsprechend enthalten das System und das Verfahren gemäß der vorliegenden Offenbarung das Erzeugen eines dynamischen Flugplans für eine Drohne unter Verwendung eines vom Menschen betriebenen Bodenfahrzeugs als Ziel. Der Flugplan weist die Drohne durch Bereitstellung von Orts- und Orientierungsanweisungen an die Drohne an, wie die Straßen zu vermessen sind. Das System und das Verfahren schaffen eine spezifische Art der Bereitstellung von Anweisungen an die Drohne unter Verwendung des Bodenfahrzeugs als Ziel. Die Drohne wird unter Verwendung des Bodenfahrzeugs dafür gesteuert, die durch die Drohne durchgeführte Vermessung zu beschränken, wobei die Steuerung die Vermessung auf der Grundlage des Kriteriums, dass die Drohne nur die Straßen und keine die Straßen umgebenden Zusatzbilder vermisst, funktional beschränkt. Ein Beispiel der Verwendung des Bodenfahrzeugs als Ziel (d. h. zum Steuern der Drohne, damit sie dem Bodenfahrzeug folgt) ist die Verwendung eines RL-Algorithmus. Der RL-Algorithmus wird aus zwei Gründen verwendet. Zunächst ermöglicht er die Bestimmung der Drohnenposition relativ zu dem Bodenfahrzeug auf einem sehr granulären Niveau und stellt er eine stabile Steuerrichtlinie bereit, dass die Drohne innerhalb einer bestimmten relativen Position von dem Fahrzeug sein sollte und dass die Drohne ihre relative Position zu dem Fahrzeug zu jeder gegebenen Epoche der Bewegung kennen sollte. Dies ermöglicht, die Luft- und Bodenbilder bei der Nachverarbeitung auszurichten. Zweitens ermöglicht der RL-Algorithmus ebenfalls das Aufrechterhalten einer strengen Entfernungssteuerung (d. h. Sichtlinie) zu der Drohne durch Aufnehmen der Sichtlinienentfernung als Teil der Belohnungsfunktion der Steuerrichtlinie.
1 zeigt ein System 100 zum Steuern einer Drohne unter Verwendung eines Zielfahrzeugs gemäß der vorliegenden Offenbarung. Das System 100 umfasst eine Drohne 102, ein Fahrzeug 104, ein verteiltes Kommunikationssystem 106 und ein Computersystem 108. Die Drohne 102 wird als eine Funktion der Position des Fahrzeugs 104 gesteuert und folgt, wie im Folgenden beschrieben ist, dem Fahrzeug 104 oder führt es nach. Die Drohne 102 erfasst unter Verwendung einer Bordkamera nur relevante Straßenmerkmale, während sie dem Fahrzeug 104 folgt. Die Drohne 102 erzeugt zeitgestempelte und georeferenzierte Bilder der Straßen, die durch das Fahrzeug 104 befahren werden. Die Drohne 102 sendet die zeitgestempelten und georeferenzierten Bilder über das verteilte Kommunikationssystem 106 an das Computersystem 108.
Zum Beispiel kann das verteilte Kommunikationssystem 106 ein Zellennetz, ein lokales und/oder ein Weitverkehrsnetz, ein satellitengestütztes Kommunikationsnetz und/oder das Internet enthalten, ist darauf aber nicht beschränkt. Zum Beispiel kann sich das Computersystem 108 in einer Cloud befinden und kann es eine oder mehrere Computervorrichtungen wie etwa Server, die einen oder mehrere Prozessoren, Speicher, Netzschnittstellen usw. umfassen, enthalten. Das Computersystem 108 extrahiert die Straßenmerkmale aus den von der Drohne 102 empfangenen zeitgestempelten und georeferenzierten Bildern und erzeugt Karten z. B. zur Verwendung in der autonomen Navigation.
2 zeigt relevante Elemente der Drohne 102 und des Fahrzeugs 104 in weiteren Einzelheiten. Zum Beispiel enthält das Fahrzeug 104 ein GPS-Modul 150, ein Flugplanmodul 152 und ein Sendemodul 154. Obwohl das nicht gezeigt ist, enthält das Fahrzeug 104 selbstverständlich ebenfalls ein Empfangsmodul. Das Empfangsmodul kann z. B. ein Abschnitt eines Transceivers sein, der ebenfalls das Sendemodul 154 enthält. Ferner enthält das Fahrzeug 104, obwohl das nicht gezeigt ist, eine oder mehrere geeignete Antennen zum Kommunizieren mit GPS-Satelliten und mit der Drohne 102.
Das GPS-Modul 150 stellt Positionsbestimmungsdaten des Fahrzeugs 104 bereit. Die Positionsbestimmungsdaten können durch ein IMU-Modul (nicht gezeigt) korrigiert werden. Zum Beispiel können die Positionsbestimmungsdaten RTK-Daten enthalten. Das Flugplanmodul 152 erzeugt dynamisch einen Flugplan für die Drohne 102, um dem Fahrzeug 104 zu folgen. Zum Beispiel enthält der Flugplan Anweisungen für die Drohne 102, die angeben, welches der Ort und die Orientierung der Drohne 102 sein sollten, um die durch das Fahrzeug 104 befahrenen Straßen zu vermessen. Wie im Folgenden erläutert wird, wird der Flugplan dynamisch aktualisiert, so dass die Drohne 102 dem Fahrzeug 104 folgen oder es nachführen kann. Das Sendemodul 154 sendet die Positionsbestimmungsdaten des Fahrzeugs 104 und den Flugplan über einen drahtlosen Kommunikationskanal 160 an die Drohne 102. Der drahtlose Kommunikationskanal 160 kann z. B. ein Zellennetz enthalten, auf das durch die Drohne 102 und durch das Fahrzeug 104 zugegriffen werden kann.
Die Drohne 102 umfasst ein GPS-Modul 170, ein Empfangsmodul 172, ein Zielnachführungsmodul 174, ein Bilderfassungsmodul 176 und ein Sendemodul 178. Obwohl das Empfangsmodul 172 und das Sendemodul 178 getrennt gezeigt sind, können sie in einem einzelnen Transceiver integriert sein. Obwohl dies nicht gezeigt ist, können das Empfangsmodul 172 und das Sendemodul 178 ferner über eine oder mehrere in der Drohne 102 enthaltene geeignete Antennen mit dem drahtlosen Kommunikationskanal 160 und mit dem verteilten Kommunikationssystem 106 kommunizieren.
Das GPS-Modul 170 stellt Positionsbestimmungsdaten der Drohne 102 für das Empfangsmodul 172 bereit. Das Empfangsmodul 172 empfängt die Positionsbestimmungsdaten des Fahrzeugs 104 und den Flugplan von dem Fahrzeug 104. Das Empfangsmodul 172 gibt die Positionsbestimmungsdaten des Fahrzeugs 104 und der Drohne 102 und den Flugplan an das Zielnachführungsmodul 174 aus.
Das Zielnachführungsmodul 174 umfasst ein Entfernungsbestimmungsmodul 180, ein Modul 182 für bestärkendes Lernen (RL-Modul) und ein Geschwindigkeitssteuermodul 184. Das Entfernungsbestimmungsmodul 180 bestimmt auf der Grundlage der Positionsbestimmungsdaten des Fahrzeugs 104 und der Drohne 102 eine Entfernung (d. h. eine relative Position in 3 Dimensionen, siehe 3) der Drohne 102 von dem Fahrzeug 104. Wie im Folgenden ausführlich beschrieben wird, bestimmt das RL-Modul 182 auf der Grundlage der Entfernung zwischen der Drohne 102 und dem Fahrzeug 104 (d. h. der relativen Position der Drohne 102 relativ zu dem Fahrzeug 104 in 3 Dimensionen) Änderungen, die an der Geschwindigkeit der Drohne 102 (in 3 Dimensionen, siehe 3) vorgenommen werden sollen. Das RL-Modul 182 gibt die Änderungen an der Geschwindigkeit oder einfach die aktualisierte Geschwindigkeit für die Drohne 102 (in 3 Dimensionen) an das Geschwindigkeitssteuermodul 184 aus. Das Geschwindigkeitssteuermodul 184 steuert auf der Grundlage der Ausgabe des RL-Moduls 182 die Geschwindigkeit der Drohne 102 (in 3 Dimensionen). Das Geschwindigkeitssteuermodul 184 steuert auf der Grundlage der Ausgabe des RL-Moduls 182 ein Flugsteuersystem (z. B. Motoren, Propeller und andere Komponenten; alle nicht gezeigt) der Drohne 102. Das Bilderfassungsmodul 176 erfasst unter Verwendung einer Kamera (nicht gezeigt) Bilder, während die Drohne 102 dem Fahrzeug 104 gemäß der Steuerung des Zielnachführungsmoduls 174 folgt.
3 zeigt die Eingaben und Ausgaben jedes Elements des Zielnachführungsmoduls 174. Zum Beispiel empfängt das Entfernungsbestimmungsmodul 180 die RTK-Daten des Fahrzeugs 104 und die Positionsbestimmungsdaten der Drohne 102. Das Entfernungsbestimmungsmodul 180 gibt Distance_x, Distance_y und Distance_y der Drohne 102 relativ zu dem Fahrzeug 104 aus. Das RL-Modul 182 empfängt die RTK-Daten des Fahrzeugs und die Entfernungen entlang der x-, der y- und der z-Achse zwischen der Drohne 102 und dem Fahrzeug 104 (d. h. die relative Position der Drohne 102 relativ zu dem Fahrzeug 104). Das RL-Modul 182 gibt die Änderungen der Geschwindigkeiten oder einfach die aktualisierten Geschwindigkeiten Speed_x, Speed_y und Speed_z für die Drohne 102 aus. Das Geschwindigkeitssteuermodul 184 steuert das Flugsteuersystem der Drohne 102 auf der Grundlage der Ausgabe des RL-Moduls 182.
4 zeigt ein Beispiel des RL-Moduls 182 in weiteren Einzelheiten. Das RL-Modul 182 kann z. B. ein neuronales Aktor-Kritiker-Netz umfassen, das als ein neuronales Aktornetz 190 und als ein neuronales Kritikernetz 192 gezeigt ist. Das neuronale Aktornetz 190 empfängt Beobachtungseingaben für die Drohne 102. Die Beobachtungseingaben enthalten die Position des Ziels, d. h. des Fahrzeugs 104. Das neuronale Aktornetz 190 bestimmt auf der Grundlage der Beobachtungseingaben Aktionen, die der Aktor, d. h. die Drohne 102, ausführen sollte, um dem Ziel, d. h. dem Fahrzeug 104, zu folgen. Zum Beispiel enthalten die Aktionen die x-, die y- und die z-Geschwindigkeit der Drohne 102 als eine Funktion der Position des Fahrzeugs 104.
Das neuronale Kritikernetz 192 empfängt dieselben Beobachtungseingaben, die das neuronale Aktornetz 190 empfängt. Das neuronale Kritikernetz 192 empfängt außerdem die durch das neuronale Aktornetz 190 bestimmten Aktionen, die durch den Aktor (d. h. durch die Drohne 102) auf der Grundlage der Beobachtungseingaben ausgeführt werden sollen. Das neuronale Kritikernetz 192 bestimmt eine Bewertung, die die Eignung der durch das neuronale Aktornetz 190 bestimmten Aktionen angibt.
Das neuronale Aktornetz 190 verfeinert seine Aktionen auf der Grundlage der Bewertung. Das heißt, das neuronale Aktornetz 190 lernt aus der Bewertung, Ausgaben (d. h. x-, y-, z-Geschwindigkeit) in der Weise zu erzeugen, dass die Bewertung des Kritikers für die Ausgaben des Aktors so wertvoll wie möglich ist. Das neuronale Aktornetz 190 lernt (z. B. durch Einstellen von Gewichten des neuronalen Aktornetzes 190) weiter, bis das neuronale Aktornetz 190 optimale Ausgaben (d. h. x-, y-, z-Geschwindigkeit) erzeugt, was durch Konvergenz oder durch eine durch das neuronale Kritikernetz 192 ausgegebene bestimmte gewünschte Bewertung angegeben wird. Das neuronale Kritikernetz 192 wird z. B. auf der Grundlage der x-, der y- und der z-Entfernung zwischen der Drohne 102 und dem Fahrzeug 104 belohnt oder bestraft. Somit sind das neuronale Aktornetz 190 und das neuronale Kritikernetz 192 miteinander gekoppelt und lernen (d. h. trainieren) sie gemeinsam unter Verwendung von bestärkendem Lernen.
5 zeigt ein Beispiel des RL-Moduls 182 in weiteren Einzelheiten. Die Anzahl der Schichten und die Anzahl der Neuronen sind nur beispielhaft gezeigt und es können stattdessen andere Konfigurationen verwendet werden. Nur beispielhaft umfasst das neuronale Aktornetz 190 ein neuronales 3-Schicht-Netz vollständig verbundener (FC-) Neuronen, die als FC1 200, FC2 202 und FC3 204 gezeigt sind. Nur beispielhaft enthält die erste Schicht FC1 200 256 vollständig verbundene Neuronen, enthält die zweite Schicht FC2 202 128 vollständig verbundene Neuronen und enthält die dritte Schicht FC3 204 3 vollständig verbundene Neuronen. Die erste Schicht FC1 200 empfängt die Beobachtungseingaben (d. h. die Position des Ziels, d. h. des Fahrzeugs 104). Die dritte Schicht FC3 204 gibt auf der Grundlage der empfangenen Beobachtungseingaben die durch das neuronale Aktornetz 190 bestimmten Aktionen (d. h. die x-, die y-, die z-Geschwindigkeit für den Aktor, d. h. die Drohne 102) aus.
Nur beispielhaft umfasst das neuronale Kritikernetz 192 zwei Eingangszweige. Nur beispielhaft enthält ein erster Zweig eine einzelne Schicht vollständig verbundener Neuronen FC1 B 210, die 128 vollständig verbundene Neuronen enthält. Der erste Zweig des neuronalen Kritikernetzes 192 empfängt auf der Grundlage der durch das neuronale Aktornetz 190 empfangenen Beobachtungseingaben als Eingaben die Ausgaben des neuronalen Aktionsnetzes 190 (d. h. die durch dieses bestimmten Aktionen) (d. h. die x-, die y-, die z-Geschwindigkeit für den Aktor, d. h. die Drohne 102).
Nur beispielhaft enthält ein zweiter Zweig zwei Schichten vollständig verbundener Neuronen: z. B. enthält eine erste Schicht FC1A 212 128 vollständig verbundene Neuronen; und enthält eine zweite Schicht FC2A 214 256 vollständig verbundene Neuronen. Der zweite Zweig empfängt dieselben Beobachtungseingaben (d. h. die Position des Ziels, d. h. des Fahrzeugs 104), die das neuronale Aktornetz 190 empfängt. Die Ausgaben des ersten und des zweiten Zweigs werden bei 216 verkettet.
Die verketteten Ausgaben werden der dritten, der vierten und der fünften Schicht vollständig verbundener (FC-) Neuronen zugeführt, die als FC3 218, FC4 220 und FC5 222 gezeigt sind. Nur beispielhaft enthält die dritte Schicht FC3 218 256 vollständig verbundene Neuronen, enthält die vierte Schicht FC4 220 128 vollständig verbundene Neuronen und enthält die fünfte Schicht FC5 222 3 vollständig verbundene Neuronen. Die dritte Schicht FC3 218 empfängt die verketteten Ausgaben und die fünfte Schicht FC5 222 gibt die Bewertungen des neuronalen Kritikernetzes 192 aus, die oben beschrieben sind und somit zur Kürze nicht noch einmal beschrieben sind.
6 zeigt ein Verfahren 300 zum Steuern einer Drohne unter Verwendung eines Zielfahrzeugs gemäß der vorliegenden Offenbarung. Bei 302 erzeugt das Verfahren 300 unter Verwendung eines Bodenfahrzeugs als ein Ziel einen Flugplan für die Drohne. Bei 304 steuert das Verfahren 300 die Drohne als eine Funktion der Position des Ziels. Bei 306 hält das Verfahren 300 die Sichtlinie mit der Drohne aufrecht, während die Drohne die von dem Zielfahrzeug befahrenen Straßen vermisst.
7 zeigt ein Verfahren 310, das das Verfahren 300 in weiteren Einzelheiten zeigt, gemäß der vorliegenden Offenbarung. Bei 312 stellt das Verfahren 310 für die Drohne Positionsinformationen des Zielfahrzeugs bereit. Bei 314 aktualisiert das Verfahren 310 die Geschwindigkeit der Drohne unter Verwendung von bestärkendem Lernen, um die relative Position der Drohne relativ zu dem Zielfahrzeug aufrechtzuerhalten. Bei 316 hält das Verfahren 310 die Sichtlinie mit der Drohne unter Verwendung von bestärkendem Lernen aufrecht, während die Drohne die durch das Zielfahrzeug befahrenen Straßen vermisst. Bei 318 erzeugt das Verfahren 310 auf der Grundlage der durch eine Kamera an Bord der Drohne erfassten Daten zeitgestempelte und georeferenzierte Bilder, die nur relevante Straßenmerkmale enthalten, und sendet sie an ein fernes Computersystem, das auf der Grundlage der Bilder Karten erzeugt.
8 zeigt ein Verfahren 320 zum Steuern der Drohnengeschwindigkeiten gemäß der vorliegenden Offenbarung in weiteren Einzelheiten. Bei 322 bestimmt das Verfahren 320 unter Verwendung von Fahrzeug-RTK-Daten und Drohnen-GPS-Daten, wie oben ausführlich beschrieben ist, die Entfernungen zwischen dem Fahrzeug und der Drohne. Bei 324 steuert das Verfahren 320 auf der Grundlage der Entfernungen unter Verwendung von bestärkendem Lernen, wie oben ausführlich beschrieben wurde, die Drohnengeschwindigkeiten.
9 zeigt ein Verfahren 330 zum Erzeugen von Bildern auf der Grundlage der durch die Drohne erfassten Daten dadurch, dass dem Zielfahrzeug gefolgt wird, gemäß der vorliegenden Offenbarung. Bei 332 richtet das Verfahren 330 die durch die Drohne erfassten Bilder unter Verwendung der Fahrzeugposition, der Drohnenposition und der relativen Position der Drohne relativ zu dem Fahrzeug, die in jedem Schritt der Messung, die durch die Drohne dadurch durchgeführt wird, dass sie dem Fahrzeug folgt, gespeichert werden, auf die Bodendaten aus. Bei 334 sendet das Verfahren 300 die durch die Drohne erfassten zeitgestempelten und georeferenzierten Bilder, die nur relevante Straßenmerkmale enthalten, an ein fernes Computersystem, das auf der Grundlage der Bilder Karten erzeugt.
10 zeigt ein Verfahren 340 des Erzeugens von Karten bei einem fernen Computersystem auf der Grundlage von durch die Drohne, die einem Zielfahrzeug folgt, erfassten Bildern gemäß der vorliegenden Offenbarung. Bei 342 empfängt das Verfahren 340 die durch die Drohne erfassten zeitgestempelten und georeferenzierten Bilder, die nur relevante Straßenmerkmale enthalten, bei dem fernen Computersystem. Bei 344 extrahiert das Verfahren 340 die Straßenmerkmale aus den empfangenen Bildern. Bei 346 erzeugt das Verfahren 340 auf der Grundlage der extrahierten Merkmale Karten, z. B. zur Verwendung in der autonomen Navigation.
Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Obwohl diese Offenbarung bestimmte Beispiele enthält, soll der wahre Schutzumfang der Offenbarung somit nicht darauf beschränkt sein, da andere Änderungen beim Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche hervorgehen. Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner eines oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in irgendeiner und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen durch eine andere bleiben im Schutzumfang der Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf“, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind. Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chipplättchen, mehrere Prozessorschaltungen auf einem einzelnen Chipplättchen, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagespeichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

Verfahren zum Vermessen von Straßen, wobei das Verfahren umfasst: Erzeugen eines dynamischen Flugplans für eine Drohne unter Verwendung eines Fahrzeugs, das auf einer Straße fährt, als ein Ziel, wobei der dynamische Flugplan Anweisungen für die Bewegung der Drohne enthält; Steuern der Drohne als eine Funktion der Position des Fahrzeugs auf der Grundlage des dynamischen Flugplans; und Aufrechterhalten der Sichtlinie mit der Drohne, während die Drohne mit der Bordkamera dem Fahrzeug folgt und unter Verwendung der Bordkamera Bilder der durch das Fahrzeug befahrenen Straße erfasst, auf der Grundlage der Steuerung.
Verfahren nach Anspruch 1, wobei das Steuern das Steuern einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, enthält.
Verfahren nach Anspruch 1, wobei das Steuern das Ändern einer Geschwindigkeit der Drohne in einer Richtung, um eine relative Entfernung der Drohne von dem Fahrzeug in der Richtung aufrechtzuerhalten, während die Drohne dem Fahrzeug folgt, enthält.
Verfahren nach Anspruch 1, das ferner das Erfassen von Bildern nur relevanter Merkmale der Straße unter Verwendung der Bordkamera auf der Grundlage des Steuerns umfasst.
Verfahren nach Anspruch 1, das ferner das Ausschließen der Erfassung der Umgebung der Straße auf der Grundlage des Steuerns umfasst.
Verfahren nach Anspruch 1, das ferner das Erzeugen zeitgestempelter und georeferenzierter Bilder der Straße auf der Grundlage der durch die Bordkamera erfassten Bilder umfasst.
Verfahren nach Anspruch 1, das ferner umfasst: Speichern von Daten hinsichtlich Positionen des Fahrzeugs und der Drohne und einer relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt; und Ausrichten der durch die Bordkamera der Drohne erfassten Bilder auf Bodendaten.
Verfahren nach Anspruch 1, wobei das Steuern der Drohne als eine Funktion der Position des Fahrzeugs bestärktes Lernen enthält.
Verfahren nach Anspruch 1, das ferner umfasst: Bestimmen einer relativen Position der Drohne relativ zu dem Fahrzeug unter Verwendung kinematischer Echtzeitpositionsbestimmungsdaten des Fahrzeugs und der Drohne, die von einem globalen Positionsbestimmungssatellitensystem erhalten werden, wobei das Steuern das Steuern der relativen Position der Drohne relativ zu dem Fahrzeug, während die Drohne dem Fahrzeug folgt, enthält.
Verfahren nach Anspruch 1, das ferner umfasst: Erzeugen einer Karte auf der Grundlage der durch die Bordkamera erfassten Bilder; und Verwenden der Karte für die autonome Navigation eines oder mehrerer Fahrzeuge.