DE102018211905A1

DE102018211905A1 - Steuereinrichtung für ein unbemanntes Luftfahrzeug

Info

Publication number: DE102018211905A1
Application number: DE102018211905.8A
Authority: DE
Inventors: Adam Hussein Adwan
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2017-08-30
Filing date: 2018-07-17
Publication date: 2019-02-28
Also published as: GB201713849D0; GB2566023B; GB2566023A; US20190064797A1; US11573565B2

Abstract

Eine Steuereinrichtung (80) für ein unbemanntes Luftfahrzeug (60), UAV (60), das eine Bilderfassungseinrichtung (100) umfasst, wobei die Steuereinrichtung umfasst: Eingänge (82), die dafür ausgelegt sind, Folgendes zu empfangen: Positionsdaten, die auf das UAV (60), ein Fahrzeug (40) und eine Benutzervorrichtung (70) bezogen sind; Bilddaten, die von der Bilderfassungseinrichtung erfasst werden; einen Prozessor (84), der dafür ausgelegt ist, die empfangenen Positionsdaten zu verarbeiten, um die relative Position des UAV, des Fahrzeugs und der Benutzervorrichtung zu bestimmen; einen Ausgang (86), der dafür ausgelegt ist, ein Steuersignal zum Steuern des UAV auszugeben und ein Bildsignal auszugeben, das erfasste Bilddaten umfasst; wobei der Prozessor für Folgendes ausgelegt ist: Erzeugen des Steuersignals für das UAV (60) auf solche Weise, dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest ein Bild eines nicht sichtbaren Abschnitts (104) des Fahrzeugs (40), der in einem Blickfeld (73) eines Benutzers der Benutzervorrichtung nicht sichtbar ist, umfassen.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft eine Steuereinrichtung für ein unbemanntes Luftfahrzeug und insbesondere, aber nicht ausschließlich, eine Steuereinrichtung für eine Drohne. Aspekte der Erfindung betreffen eine Steuereinrichtung, ein unbemanntes Luftfahrzeug, eine Fernsteuervorrichtung, eine Benutzervorrichtung, ein Fahrzeug und ein Verfahren zum Steuern eines unbemannten Luftfahrzeugs.
HINTERGRUND
Unter bestimmten Umständen werden Benutzer von Fahrzeugen mit schwierigen Umgebungen konfrontiert, in denen sie ihr Fahrzeug manövrieren müssen, beispielsweise während Parkmanövern oder wenn sie mit schwierigem Gelände fertig werden müssen. Ein bekanntes Fernsteuersystem, wie es in 1 gezeigt ist, ermöglicht es dem Benutzer 10 des Fahrzeugs, die Lenk-, Brems-, und Gas/Drosselsteuerungssysteme eines Fahrzeugs 20 von einer Steuervorrichtung 30 wie etwa einem Smartphone aus zu steuern. Diese Fernsteuervorrichtung ermöglicht dem Benutzer des Fahrzeugs somit die Überprüfung der genauen Positionierung des Fahrzeugs während solcher Manöver, indem er um das ferngesteuerte Fahrzeug herum geht. Als Folge der Verwendung solch eines Fernsteuersystems kann die Wahrscheinlichkeit dafür, dass das Fahrzeug eine Kollision oder einen Schaden erleidet, verringert werden im Vergleich zu einem Fahrzeug, das von einem Benutzer des Fahrzeugs unter Verwendung der herkömmlichen Steuersysteme gesteuert wird.
In manchen Umgebungen kann es jedoch sein, dass der Benutzer des Fahrzeugs die Umgebung des Fahrzeugs gleichzeitig von einer Anzahl von Blickpunkten aus überwachen muss.
Ziel der vorliegenden Erfindung ist die Überwindung von Nachteilen, die mit dem Stand der Technik verbunden sind.
KURZFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Steuereinrichtung für ein unbemanntes Luftfahrzeug, UAV (unmanned aerial vehicle), angegeben, das eine Bilderfassungseinrichtung umfasst, wobei die Steuereinrichtung umfasst: Eingänge, die dafür ausgelegt sind, Folgendes zu empfangen: Positionsdaten, die auf das UAV, ein Fahrzeug und eine Benutzervorrichtung bezogen sind; Bilddaten, die von der Bilderfassungseinrichtung erfasst werden; einen Prozessor, der dafür ausgelegt ist, die empfangenen Positionsdaten zu verarbeiten, um die relative Position des UAV, des Fahrzeugs und der Benutzervorrichtung zu bestimmen; einen Ausgang, der dafür ausgelegt ist, ein Steuersignal zum Steuern des UAV auszugeben und ein Bildsignal auszugeben, das erfasste Bilddaten umfasst; wobei der Prozessor für Folgendes ausgelegt ist: Erzeugen des Steuersignals für das UAV auf solche Weise, dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest ein Bild eines nicht sichtbaren Abschnitts des Fahrzeugs, der in einem Blickfeld eines Benutzers der Benutzervorrichtung nicht sichtbar ist, umfassen.
Die vorliegende Erfindung stellt eine Steuereinrichtung bereit zum Steuern eines unbemannten Luftfahrzeugs (UAV) oder einer Drohne relativ zu einem Fahrzeug und eine Benutzervorrichtung, wobei die Benutzervorrichtung den Ort darstellt, wo sich ein Benutzer befindet (z.B. ein Benutzer, der die Benutzervorrichtung trägt). Um ein Fahrzeug zu steuern und um sicherzustellen, dass das Fahrzeug während seines Manövers Hindernissen ausweicht, ist die Steuereinrichtung dafür ausgelegt, eine Drohne zu steuern, die mit einer Kamera ausgestattet ist, und Bilder von nicht sichtbaren Abschnitten des Fahrzeugs abzurufen, um sie dem Benutzer anzuzeigen.
Optional ist der Prozessor dafür ausgelegt, nicht sichtbare Abschnitte des Fahrzeugs, die im Blickfeld des Benutzers der Benutzervorrichtung nicht sichtbar sind, abhängig von der bestimmten relativen Position des Fahrzeugs und der Benutzervorrichtung zu bestimmen. Optional umfassen Positionsdaten GPS-Daten. Positionsdaten können differentielle GPS-Daten umfassen.
Optional umfassen UAV-Positionsdaten Daten von einem Trägheitsnavigationssystem des UAV. Man beachte, dass das UAV vom Fahrzeug (oder einem bekannten Ort am Fahrzeug) aus gestartet werden kann, so dass der Steuereinrichtung der Ausgangspunkt des UAV-Flugwegs bekannt ist. Der Prozessor kann dafür ausgelegt sein, Positionsdaten vom UAV-Trägheitsnavigationssystem zu verwenden, um GPS-Positionsbestimmungsfehler zu korrigieren.
Optional umfassen Positionsdaten Messdaten einer Flugzeit zwischen einem oder mehreren von: dem UAV/dem Fahrzeug; dem UAV/der Benutzervorrichtung; dem Fahrzeug/der Benutzervorrichtung. Flugzeit- bzw. Time-of-Flight(ToF)-Messdaten können vom Prozessor verwendet werden, um GPS-Positionsbestimmungsfehler zu korrigieren. Die ToF-Messdaten können von einem auf Bluetooth^® basierenden Flugzeitsystem oder einem auf Ultrabreitband (UWB) basierenden Flugzeitsystem erhalten bzw. abgerufen werden.
Die Eingänge können dafür ausgelegt sein, Fahrzeugsensordaten zu empfangen, und der Prozessor kann dafür ausgelegt sein, relative Positionen des UAV, des Fahrzeugs und des Benutzers oder der Benutzervorrichtung aus den Fahrzeugsensordaten und den Flugzeitmessdaten zu bestimmen.
Optional ist der Prozessor dafür ausgelegt, relative Positionen des UAV, des Fahrzeugs und des Benutzers oder der Benutzervorrichtung unter Verwendung eines Algorithmus für eine gleichzeitige Lokalisierung und Kartenerstellung (Simultaneous Localisation and Mapping, SLAM) zu bestimmen.
Optional umfassen die Positionsdaten, die an den Eingängen empfangen werden, Daten aus einem Fahrzeugzugangsberechtigungssystem, wie einem Passive-Entry-Passive-Start(PEPS)- oder einem Enhanced-Passive-Entry-Passive-Start(ePEPS)-System.
Der Prozessor kann dafür ausgelegt sein, einen Bilderkennungsalgorithmus zu verwenden, um die relative Position zwischen dem Benutzer des Fahrzeugs und dem Fahrzeug aus Bilddaten zu bestimmen, die von der Bilderfassungseinrichtung erhalten werden. Man beachte, dass der Prozessor dafür ausgelegt sein kann, den Benutzer des Fahrzeugs direkt zu erkennen oder alternativ die Position der Benutzervorrichtung zu bestimmen und die Position der Benutzervorrichtung anstelle der Position des Benutzers des Fahrzeugs zu verwenden.
Der Prozessor kann dafür ausgelegt sein, ein Steuersignal zu erzeugen, um die UAV-Position auf solche Weise zu steuern, dass die Bilderfassungseinrichtung zumindest auf manche von den nicht sichtbaren Abschnitten des Fahrzeugs gerichtet ist, die von der Blickachse des Benutzers des Fahrzeugs aus nicht sichtbar sind. Bei einer solchen Auslegung kann die Bilderfassungseinrichtung eine feste Position in Bezug auf das UAV aufrechterhalten, an dem sie montiert ist (oder die Bilderfassungseinrichtung kann nicht in der Lage sein, ihre Position in Bezug auf das UAV, an dem sie montiert ist, zu ändern), und das Steuersignal kann dafür ausgelegt sein, das UAV zu bewegen, um das Blickfeld der Bilderfassungseinrichtung effektiv zu ändern.
Der Prozessor kann dafür ausgelegt sein, ein Steuersignal zu erzeugen, das die Ausrichtung der Bilderfassungseinrichtung in Bezug auf das UAV ändert, um die Bilderfassungseinrichtung auf zumindest manche von den nicht sichtbaren Abschnitten des Fahrzeugs auszurichten, die von der Blickachse des Benutzers des Fahrzeugs aus nicht sichtbar sind.
Optional ist der Prozessor dafür ausgelegt, ein Steuersignal zu erzeugen, um die Position des UAV zu steuern.
Optional ist der Prozessor dafür ausgelegt, ein Steuersignal zu erzeugen, um das UAV in Bezug auf den Benutzer des Fahrzeugs auf einer entgegengesetzten Seite des Fahrzeugs zu halten. Die Steuereinrichtung kann dafür ausgelegt sein, eine Bewegung der Benutzervorrichtung nachzuverfolgen und ein Steuersignal zu erzeugen, um das UAV zu einer Position zu fliegen, die im Wesentlichen auf einer in Bezug auf den Benutzer des Fahrzeugs entgegengesetzten Seite des Fahrzeugs liegt.
Optional sind die Eingänge dafür ausgelegt, Fahrzeugsensordaten in Bezug auf die Nähe des Fahrzeugs zu einem Objekt zu empfangen, und ist der Prozessor dafür ausgelegt, ein Steuersignal für das UAV zu erzeugen, so dass die von der Bilderfassungseinrichtung erfassten Bilddaten einen Abschnitt des Fahrzeugs umfassen, der dem Objekt nahe ist. Auf diese Weise können Bilder von Abschnitten des Fahrzeugs erfasst werden, die nicht im Blickfeld des Benutzers sind, einschließlich potenzieller Objekte, mit denen das Fahrzeug kollidieren könnte.
Der Prozessor kann dafür ausgelegt sein, ein Steuersignal zu erzeugen, um das UAV so zu steuern, dass dessen Position innerhalb eines vorgegebenen Bereichs des Fahrzeugs beibehalten wird.
Der Prozessor kann dafür ausgelegt sein, ein Steuersignal zu erzeugen, um das UAV so zu steuern, dass dessen Höhe ab dem Boden innerhalb eines vorgegebenen Bereichs gehalten wird. Die Steuereinrichtung kann dafür ausgelegt sein, ein Steuersignal zu erzeugen, um das UAV so zu steuern, dass Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, eine „Sicht aus der Vogelperspektive“ in Bezug auf das Fahrzeug liefern. Das UAV kann seine Höhe/seinen Abstand in dem Falle variieren, dass eine potenzielle Kollision bestimmt wird (d.h. Bordprozessoren innerhalb des UAV können die Höhe/den Abstand, der von der Steuereinrichtung befohlen wird, variieren, falls das UAV eine potenzielle Kollision detektiert).
Der Prozessor kann dafür ausgelegt sein, einen Ortskalibrierungsprozess durchzuführen, um Fehler in Positionsdaten, die von der Benutzervorrichtung, dem Fahrzeug oder dem UAV empfangen werden, zu korrigieren oder zu minimieren. Der Ortskalibrierungsprozess kann umfassen, dass der Benutzer des Fahrzeugs instruiert wird, die Benutzervorrichtung an einer bestimmten Stelle in Bezug auf das Fahrzeug zu positionieren. Zum Beispiel könnte die Steuereinrichtung den Benutzer informieren, dass er sich vor das Fahrzeug und zwischen die Scheinwerfer stellen soll, und dann die empfangenen Positionsdaten von der Benutzervorrichtung mit der bekannten Stelle vergleichen soll, an der die Benutzervorrichtung positioniert worden ist. Auf diese Weise können GPS-Fehler korrigiert werden. Die UAV-Position kann unter Verwendung von INS-Verfahren korrigiert werden, wie oben beschrieben.
Der Ortskalibrierungsprozess kann auch/alternativ dazu umfassen, dass dem UAV befohlen wird, sich selbst an einer bestimmten Stelle in Bezug auf das Fahrzeug zu positionieren. Zum Beispiel kann die Steuereinrichtung dem UAV befehlen, zu einem bestimmten Punkt in einer bestimmten Höhe und einem bestimmten Abstand vom Fahrzeug zu fliegen, der beispielsweise an einem Mittelpunkt eines hinteren Nummernschilds ausgerichtet ist, und dann kann die Steuereinrichtung die Stelle, wo sich das UAV tatsächlich befindet, aus den Fahrzeugsensordaten bestimmen, um Fehler in den Positionsdaten zu bestimmen.
Optional werden Bilddaten an die Benutzervorrichtung ausgegeben, um sie auf einem Anzeigebildschirm der Benutzervorrichtung anzuzeigen.
Optional ist der Prozessor dafür ausgelegt, ein Fahrsteuersignal zum Manövrieren des Fahrzeugs zu erzeugen, und ist der Ausgang dafür ausgelegt, das Fahrsteuersignal an das Fahrzeug auszugeben.
Die vorliegende Erfindung erstreckt sich auf ein unbemanntes Luftfahrzeug, das eine Steuereinrichtung umfasst, wie sie im obigen Aspekt der Erfindung beschrieben ist, und erstreckt sich außerdem auf ein Fahrzeug, das eine Steuereinrichtung umfasst, wie sie im obigen Aspekt der Erfindung beschrieben ist.
Die vorliegende Erfindung erstreckt sich auf eine Fernsteuervorrichtung zum Fernsteuern des Fahrzeugs, das eine Steuereinrichtung umfasst wie sie oben beschrieben ist. Die vorliegende Erfindung erstreckt sich auf eine Benutzervorrichtung, die eine solche Fernsteuervorrichtung umfasst.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren zum Steuern eines unbemannten Luftfahrzeugs, UAV, das eine Bilderfassungseinrichtung umfasst, bereitgestellt, wobei das Verfahren umfasst: Empfangen von Positionsdaten, die auf das UAV, ein Fahrzeug und eine Benutzervorrichtung bezogen sind; Bilddaten, die von der Bilderfassungseinrichtung erfasst werden; Verarbeiten der empfangenen Positionsdaten an einem Prozessor, um die relative Position des UAV, des Fahrzeugs und der Benutzervorrichtung zu bestimmen; Ausgeben eines Steuersignals zum Steuern des UAV und Ausgeben eines Bildsignals, das erfasste Bilddaten umfasst; wobei der Prozessor das Steuersignal für das UAV auf solche Weise erzeugt, dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest manche von den nicht sichtbaren Abschnitten des Fahrzeugs, die von einer Blickachse des Benutzers des Fahrzeugs nicht sichtbar sind, umfassen.
Die Erfindung erstreckt sich auf ein Computerprogrammprodukt, das Befehle umfasst, die bei Ausführung des Programms durch einen Computer bewirken, dass der Computer das oben genannte Verfahren ausführt, und auf ein computerlesbares Speichermedium, das Befehle umfasst, die bei Ausführung durch einen Computer bewirken, dass der Computer das oben genannte Verfahren ausführt.
Ein System wie oben beschrieben, bei dem der Eingang zum Empfangen von Positionsdaten und Bilddaten einen elektronischen Prozessor umfasst, der einen elektrischen Eingang aufweist zum Empfangen eines oder mehrerer Signale, welche die Daten transportieren, und bei dem der Prozessor dafür ausgelegt ist, auf die Speichervorrichtung zuzugreifen und die darin gespeicherten Befehle auszuführen, so dass er betätigbar ist, um ein Steuersignal zum Steuern des unbemannten Luftfahrzeugs zu erzeugen.
Innerhalb des Umfangs dieser Anmeldung ist ausdrücklich vorgesehen, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorangehenden Abschnitten, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen angegeben sind, und insbesondere deren einzelne Merkmale unabhängig oder in Kombination genommen werden können. Das heißt, alle Ausführungsformen und/oder Merkmale irgendwelcher Ausführungsformen können in jeder Weise und/oder Kombination kombiniert werden, solange solche Merkmale nicht inkompatibel sind. Der Anmelder behält sich das Recht vor, jeden ursprünglich eingereichten Anspruch zu ändern oder dementsprechend beliebige neue Ansprüche einzureichen, einschließlich des Rechtes, ursprünglich eingereichte Ansprüche so zu ändern, dass sie von irgendeinem anderen Anspruch abhängen und/oder irgendwelche Merkmale eines solchen einschließen, auch wenn dies ursprünglich nicht auf diese Weise beansprucht worden ist.
Figurenliste
Nun werden eine oder mehrere Ausführungsformen der Erfindung, lediglich als Beispiele, unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, für die gilt:

1 zeigt ein bekanntes Fernsteuersystem für ein Fahrzeug;
2 zeigt ein Fernsteuersystem gemäß einer Ausführungsform der vorliegenden Erfindung;
3 zeigt eine Steuervorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
4 zeigt ein Verfahren zum Betätigen einer Steuereinrichtung gemäß 3;
5 zeigt ein Fahrzeug, einen Benutzer des Fahrzeugs und ein UAV gemäß einer Ausführungsform der vorliegenden Erfindung;
6 zeigt eine weitere Ansicht eines Fahrzeugs, eines Benutzers des Fahrzeugs und eines UAV gemäß einer Ausführungsform der vorliegenden Erfindung;
7 zeigt eine noch andere Ansicht eines Fahrzeugs, eines Benutzers des Fahrzeugs und eines UAV gemäß einer Ausführungsform der vorliegenden Erfindung;
8 zeigt Daten, die zwischen einem Fahrzeug, einer Benutzervorrichtung und einem UAV gemäß einer Ausführungsform der vorliegenden Erfindung ausgetauscht werden;
9 zeigt Positionsbestimmungsfehler für ein Fahrzeug, eine Benutzervorrichtung und ein UAV.

AUSFÜHRLICHE BESCHREIBUNG
2 zeigt ein Fernsteuersystem für ein Fahrzeug 40 gemäß einer Ausführungsform der vorliegenden Erfindung, in dem einem Benutzer 50 des Fahrzeugs Bilder von einem unbemannten Luftfahrzeug/einer Drohne 60 geliefert werden. Man beachte, dass die Begriffe unbemanntes Luftfahrzeug (UAV) und Drohne als austauschbar betrachtet werden.
Die Drohne 60 umfasst eine eingebettete Bilderzeugungsvorrichtung, wie etwa eine Kamera (in 2 nicht gezeigt), die verwendet werden kann, um Bilder an eine Benutzervorrichtung 70, wie etwa ein Smartphone, zu senden. Die Benutzervorrichtung 70 ist dafür ausgelegt, den Benutzer 50 in die Lage zu versetzen, die Lenk-, Gas-/Drosselsteuerungs- und Bremssysteme des Fahrzeugs 40 zu steuern, so dass das Fahrzeug ferngesteuert werden kann.
Wie nachstehend beschrieben, kann die Drohne so gesteuert werden, dass sie um das Fahrzeug 40 herum fliegt und eine Schwebeposition beibehält, die der Position des Benutzers des Fahrzeugs allgemein entgegengesetzt ist, so dass die eingebettete Kamera Bilder von den Abschnitten des Fahrzeugs 40, die der Fahrer nicht sehen kann, weil das Fahrzeug diese verdeckt, liefern kann (an die Vorrichtung 70).
Eine Blickachse 72 des Benutzers 50 des Fahrzeugs ist in 2 gezeigt. Eine Benutzerbewegung 74 und eine Drohnenbewegung 76 sind in 2 angegeben, und man sieht, dass die Drohne 60 eine Position beibehält, die allgemein auf der dem Benutzer 50 entgegengesetzten Seite des Fahrzeugs 40 liegt.
3 zeigt eine Steuereinrichtung 80 gemäß einer Ausführungsform der vorliegenden Erfindung für ein unbemanntes Luftfahrzeug 60, wobei die Steuereinrichtung Eingänge 82 umfasst zum Empfangen von Positionsdaten in Bezug auf das Fahrzeug 40, den Benutzer des Fahrzeugs 70 und die Drohne 60 und auch zum Empfangen von Bilddaten, die von der Bilderfassungseinrichtung der Drohne 60 erfasst werden. Die Steuereinrichtung 80 umfasst ferner einen Prozessor 84 zum Bestimmen, aus den empfangenen Positionsdaten, der relativen Positionen des Fahrzeugs, des Benutzers und der Drohne, und zum Erzeugen eines Steuersignals für die Drohne 60. Die Ausgänge 86 geben ein Steuersignal an die Drohne 60 und Bilddaten an die Benutzervorrichtung 70 aus.
Der Prozessor ist dafür ausgelegt, das Drohnensteuersignal so zu erzeugen, dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest manche von den nicht sichtbaren Abschnitten des Fahrzeugs 40 umfassen, die von der Blickachse 72 aus/dem Blickfeld 73 des Benutzers 50 des Fahrzeugs nicht sichtbar sind.
Man beachte, dass die Bilderfassungsvorrichtung in Bezug auf die Drohne 60 ortsfest sein kann, in welchem Fall das Steuersignal 60 nur ein flugbezogenes Steuersignal umfassen kann. Alternativ dazu kann die Bilderfassungseinrichtung in Bezug auf die Drohne 60 bewegbar sein, in welchem Fall das Steuersignal für die Drohne 60, zusätzlich zu einem flugbezogenen Steuersignal, ein Richtungssteuersignal für die Bilderfassungseinrichtung umfassen kann.
Die Steuereinrichtung 80 ist eine Rechenvorrichtung, die eine Steuereinheit umfassen kann, oder eine Rechenvorrichtung, die einen oder mehrere elektronische Prozessoren (z.B. einen Mikroprozessor, einen Mikrocontroller, eine anwendungsspezifische integrierte Schaltung (ASIC), usw.) aufweist, und kann eine einzige Vorrichtung oder mehrere Vorrichtungen, die gemeinsam als Steuereinrichtung 80 betätigt werden, umfassen. Der Begriff „Steuereinrichtung“, „Steuereinheit“ oder „Rechenvorrichtung“ kann eine einzelne Steuereinrichtung, Steuereinheit oder Rechenvorrichtung und mehrere Steuereinrichtungen, Steuereinheiten oder Rechenvorrichtungen, die gemeinsam betätigt werden, um die geforderten Steuerfunktionen zu liefern, bedeuten. In manchen Ausführungsformen wird ein Satz von Befehlen geliefert, die bei ihrer Ausführung bewirken, dass die Steuereinrichtung die in dieser Beschreibung genannten Steuertechniken implementiert (einschließlich mancher oder aller Funktionen, die für das beschriebene Verfahren erforderlich sind). Der Befehlssatz könnte in einem oder mehreren elektronischen Prozessoren der Recheneinrichtung eingebettet sein; oder alternativ dazu könnte der Befehlssatz als Software geliefert werden, die in der Rechenvorrichtung auszuführen ist. Anhand dieser Beschreibung wird der Fachmann erkennen, welche Art von Hardware, Software, Firmware oder Kombination davon am besten für seine jeweiligen Bedürfnisse geeignet ist. Man beachte, dass in Ausführungsformen der vorliegenden Erfindung die Steuereinrichtung 80 innerhalb des Fahrzeugs, der Drohne oder der Benutzervorrichtung liegen kann. Zum Beispiel kann die Steuereinrichtung in der Benutzervorrichtung liegen und Eingaben von der Drohne und dem Fahrzeug empfangen und dann Steuersignale erzeugen, die an die Drohne zu senden sind. Alternativ dazu könnte die Steuereinrichtung 80 innerhalb des Fahrzeugs (oder der Drohne) liegen und Eingaben von der Benutzervorrichtung empfangen (die Benutzervorrichtung wird in diesem Fall im Wesentlichen als zur Steuereinrichtung periphere Vorrichtung betätigt).
4 zeigt ein Verfahren zum Betätigen der Steuereinrichtung von 3 gemäß einer Ausführungsform der vorliegenden Erfindung;
In Schritt 90 werden Positions- und Bilddaten an den Eingängen 82 der Steuereinrichtung empfangen. In Schritt 92 bestimmt der Prozessor 84 die relative Position des Benutzers 50, des Fahrzeugs 40 und der Drohne 60. In Schritt 94 ist der Prozessor dafür ausgelegt, ein Steuersignal für die Drohne 60 zu erzeugen, so dass der Drohne befohlen wird, eine solche Position einzunehmen, dass sich das Fahrzeug 40 zwischen der Drohne 60 und dem Benutzer 50 befindet. In Schritt 96 wird das Steuersignal an die Drohne 60 ausgegeben, und Bilddaten werden über die Ausgänge 86 an die Benutzervorrichtung 70 ausgegeben.
5 zeigt eine weitere Ansicht der in 2 gezeigten Anordnung. Die Bilderfassungseinrichtung 100 der Drohne 60 ist in 5 zusammen mit dem Blickfeld 102 der Bilderfassungseinrichtung 100 zu sehen. Man sieht, dass die Region 104 des Fahrzeugs 40 für den Benutzer 50 nicht sichtbar ist, da das Fahrzeug 40 seine Blickachse 72 blockiert. Die Drohne 60 kann jedoch Bilddaten von zumindest einem Teil des nicht sichtbaren Teils des Fahrzeugs 4 erfassen, und diese können über die Steuereinrichtung 80 an die Benutzervorrichtung 70 weitergegeben werden. Auf diese Weise kann der Benutzer 50 die nicht sichtbare Region 104 des Fahrzeugs 40 überwachen, während er das Fahrzeug steuert.
Für die Betrachtung von 6 sei darauf hingewiesen, dass das Fahrzeug 40 eine Anzahl von Sensoreinrichtungen 106, wie etwa Ultraschallsensoren, Umgebungsbilderfassungseinrichtungen usw. umfassen kann. Solche Sensoreinrichtungen 106 können von einer elektronischen Steuereinheit 108 innerhalb des Fahrzeugs 50 verwendet werden, um potenzielle Kollisionen mit Objekten 110 in der Nähe des Fahrzeugs 50 zu detektieren. Solche auf Kollisionen bezogenen Daten können an die Steuereinrichtung 80 weitergegeben werden, so dass die Drohne 60 so gesteuert werden kann, dass sie die Bilderfassungseinrichtung 100 so lenkt, dass das Objekt 110 in das Blickfeld der Kamera 100 kommt. Das von den Ausgängen 86 ausgegebene Steuersignal kann daher die Drohne 60 so steuern, dass diese sich selbst so ausrichtet, dass das Objekt 110 im Blickfeld der Kamera 100 ist. Außerdem oder alternativ dazu kann die Kamera 100 das Objekt 110 heranzoomen, so dass die Daten des herangezoomten Bildes an die Benutzervorrichtung 70 geliefert werden können, um den Benutzer 50 bei der Steuerung des Fahrzeugs 40 zu unterstützen.
Man beachte, dass das Fahrzeug 40 außerdem Bilddaten von der Bilderfassungseinrichtung 106 an die Eingänge 82 der Steuereinrichtung 80 liefern kann. Die Steuereinrichtung kann die Bilddaten von der Bilderfassungseinrichtung 106 entweder an die Benutzervorrichtung 70 ausgeben oder dem Benutzer 50 zusätzlich die Wahl ermöglichen, solche Bilddaten zu betrachten. Bilddaten vom Fahrzeug 50 können neben oder über/unter den Bilddaten von der Drohne 60 angezeigt werden oder können in einem „Bild-im-Bild“-Format angezeigt werden. In alternativen Ausführungsformen könnten die Bilddaten von der Drohne 60 an eine am Körper tragbare Vorrichtung wie etwa eine Virtual-Reality-Brille ausgegeben werden, um dem Benutzer 50 des Fahrzeugs eine Egoperspektive zu ermöglichen.
Wie in 7 gezeigt ist, kann die Drohne so konfiguriert sein, dass sie einen voreingestellten Wert für die Höhe 112, in der sie über Bodenniveau 114 fliegen soll, und einen voreingestellten Wert für den Abstand 116, in dem sie in Bezug auf das Fahrzeug 40 fliegen soll, aufweist. Die voreingestellten Werte für die Höhe 112 und den Abstand 116 können entweder von der Benutzervorrichtung 70 oder von einer Steuerungsschnittstelle innerhalb des Fahrzeugs 40 in die Steuereinrichtung 80 eingegeben werden. Die Steuereinrichtung kann auch dafür ausgelegt sein, dem Benutzer 50 geeignete voreingestellte Werte 112, 116 vorzuschlagen.
In dem Fall, dass die Drohne 60 ein Hindernis 120 wahrnimmt 118, während sie mit den voreingestellten Werten für die Höhe 112 und den Abstand 116 betätigt wird, kann die Drohne dann die voreingestellten Werte modifizieren, um eine Kollision zu vermeiden. Solche modifizierten Werte können an die Steuereinrichtung 80 weitergegeben werden.
8 zeigt ein mögliches Ablaufschema für den Austausch von Daten zwischen dem Fahrzeug 40, der Drohne 60 und der Benutzervorrichtung 70. Man beachte, dass nicht jeder Datenaustausch, der in 8 gezeigt ist, notwendig sein muss, und dass die Daten, die jeweils erforderlich sind, von der jeweiligen Umgebung abhängen, in der die Drohne 60 eingesetzt wird. Daten können zwischen den Vorrichtungen gemäß einer beliebigen geeigneten Kommunikationstechnik 128, wie etwa Wi-Fi^®, Bluetooth^®, Funkübertragungen, mobiler Kommunikationssignale usw.) übertragen werden.
In 8 liegt die Steuereinrichtung 80 innerhalb der Benutzervorrichtung 70. Man beachte jedoch, dass die Steuereinrichtung alternativ dazu in das Fahrzeug 40 oder in die Drohne 60 selbst eingebettet sein kann. Für den Fall, dass die Steuereinrichtung in das Fahrzeug 40 oder die Drohne 60 eingebettet ist, sei darauf hingewiesen, dass die Richtung bestimmter Datenaustauschvorgänge unterschiedlich sein kann, dass aber die Funktionalität des Systems insgesamt die gleiche sein würde.
Betrachtet man erneut 8, so ist zu beachten, dass jede Vorrichtung (40, 60, 70) eine Kommunikationseinrichtung 128, 130, 132 umfasst. Man beachte, dass in der Praxis jede Vorrichtung eine Anzahl unterschiedlicher Kommunikationsoptionen, z.B. ein Wi-Fi^®-Modul, ein Bluetooth^®-Modul, Funk usw. aufweisen kann. Man beachte, dass die jeweilige Kommunikationstechnik, die verwendet wird, um mit der Steuereinrichtung 80 zu kommunizieren, abhängig von den Umständen variieren kann. Man beachte ferner, dass verschiedene Vorrichtungen unterschiedliche Kommunikationstechniken verwenden können; z.B. kann das Fahrzeug 40 über Bluetooth^® mit der Steuereinrichtung 80 kommunizieren, während die Drohne 60 über eine Wi-Fi^®-Verbindung mit der Steuereinrichtung 80 kommunizieren kann.
Das Fahrzeug 40 umfasst eine Ortsbestimmungseinrichtung 134. In der Praxis kann das Fahrzeug eine Anzahl von Verfahren umfassen, um seine Position zu bestimmen, z.B. über ein GPS-System, einen Simultaneous-Localisation-and-Mapping(SLAM)-Algorithmus und/oder ein Trägheitsnavigationssystem. Mindestens eines von diesen Systemen kann dafür ausgelegt sein, Positionsdaten 135 über die Kommunikationseinrichtung 130 des Fahrzeugs an die Steuereinrichtung 80 auszugeben (wobei diese Daten über die Kommunikationseinrichtung 128 der Benutzervorrichtung 70 an den Eingängen 82 der Steuereinrichtung empfangen werden).
Das Fahrzeug 40 umfasst eine Reihe von Sensoren 136, wie beispielsweise Radar, Ultraschallsensoren, Lidar, Bilderfassungsvorrichtungen usw. Das Fahrzeug 40 kann ferner auf den Sensor bezogene Daten 137 über die Kommunikationsvorrichtung 130 des Fahrzeugs an der Steuereinrichtung 80 bereitstellen.
Die Drohne 60 umfasst eine Ortsbestimmungseinrichtung 138. In der Praxis kann die Drohne eine Anzahl von Verfahren umfassen, um ihre Position zu bestimmen, z.B. über ein GPS-System, einen Simultaneous-Localisation-and-Mapping(SLAM)-Algorithmus und/oder ein Trägheitsnavigationssystem. Mindestens eines von diesen Systemen kann dafür ausgelegt sein, Positionsdaten 139 über die Kommunikationseinrichtung 132 der Drohne an die Steuereinrichtung 80 auszugeben (wobei diese Daten über die Kommunikationseinrichtung 128 der Benutzervorrichtung 70 an den Eingängen 82 der Steuereinrichtung empfangen werden).
Die Drohne 60 umfasst eine Reihe von Sensoren 140, wie beispielsweise Radar, Ultraschallsensoren, Lidar, Bilderfassungsvorrichtungen usw. Die Drohne 60 kann ferner auf den Sensor bezogene Daten 141 über die Kommunikationsvorrichtung 132 der Drohne an der Steuereinrichtung 80 bereitstellen. Insbesondere kann die Drohne 60 Bilddaten von einer Bilderfassungseinrichtung 100 an der Steuereinrichtung 80 bereitstellen.
Die Benutzervorrichtung 70 umfasst auch eine Ortsbestimmungseinrichtung 142. In der Praxis kann die Benutzervorrichtung eine Anzahl von Verfahren umfassen, um ihre Position zu bestimmen, z.B. über ein GPS-System, einen Simultaneous-Localisation-and-Mapping(SLAM)-Algorithmus und/oder ein Trägheitsnavigationssystem. Eines oder mehrere dieser Systeme sind dafür ausgelegt, Positionsdaten 143 an die Steuereinrichtung 80 auszugeben. Die Benutzervorrichtung kann auch eine Bilderfassungseinrichtung 144 umfassen, die Bilddaten 146 an die Steuereinrichtung 80 senden kann.
Die Daten, die an der Steuereinrichtung 80 empfangen werden, können verwendet werden, um ein Steuersignal 148 für die Drohne 60 zu erzeugen, wie oben mit Bezug auf 4 beschrieben wurde. Das Steuersignal kann über die Ausgänge 86 an die Drohne ausgegeben werden.
Die Benutzervorrichtung 70 umfasst ferner einen Anzeigebildschirm 150, und die Steuereinrichtung 80 gibt zusätzlich ein Steuersignal 152 an den Anzeigebildschirm aus, wobei das Steuersignal 152 Bilddaten einschließt, die von der Bilderfassungseinrichtung 100 der Drohne 60 empfangen werden.
Die Steuereinrichtung kann ferner dafür ausgelegt sein, dem Benutzer des Fahrzeugs (durch Ausgeben geeigneter Fahrsteuersignale) über eine geeignete Steuerungsschnittstelle an der Benutzervorrichtung die Manövrierung des Fahrzeugs zu ermöglichen, während er sich außerhalb des Fahrzeugs befindet. Dadurch, dass Bilddaten von der Drohne 60 an den Anzeigebildschirm der Benutzervorrichtung 70 geliefert werden, ist der Benutzer in der Lage, sowohl das Fahrzeug zu manövrieren als auch Hindernisse, die sich außerhalb seines Blickfelds 73/seiner Blickachse 72 befinden, festzustellen und zu vermeiden.
9 zeigt die Positionsbestimmungsfehler, die mit den verschiedenen Vorrichtungen (40, 60, 70) assoziiert sein können, und die Korrektur dieser Positionsbestimmungsfehler gemäß einer Ausführungsform der vorliegenden Erfindung.
In 9 sind sowohl die Benutzervorrichtung 70 als auch das Fahrzeug 40 und die Drohne 60 mit einem GPS-System ausgestattet. Die Benutzervorrichtung 70 ist mit einem GPS-Positionsbestimmungsfehler assoziiert, wie von einem Kreis 160 angegeben wird. Das Fahrzeug 40 ist mit einem GPS-Positionsbestimmungsfehler assoziiert, wie von einem Kreis 162 angegeben wird, und die Drohne 60 ist mit einem GPS-Positionsbestimmungsfehler assoziiert, wie von einem Kreis 164 angegeben wird.
Die Steuereinrichtung 80 kann ein Steuersignal 148 an die Drohne 60 senden, damit diese eine Position 166 direkt hinter dem Fahrzeug 40 einnimmt. Aufgrund des GPS-Positionsbestimmungsfehlers kann es jedoch sein, dass die Drohne 60 eine Position an einer Stelle 168 einnimmt, wie in 9 angegeben ist.
Die Drohne 60 kann dafür ausgelegt sein, den Positionsbestimmungsfehler zwischen den Orten 166 und 168 auf verschiedene Weise zu detektieren und zu korrigieren. Falls die Drohne von einem Ort im oder am Fahrzeug 40 aus startet, kann ein Trägheitsnavigationssystem innerhalb der Drohne 60 den Positionsbestimmungsfehler zwischen den Orten 166 und 168 detektieren. Außerdem oder alternativ dazu kann eine Flugzeitmessung zwischen dem Fahrzeug 40 und der Drohne 60 vorgenommen werden, anhand derer die Drohne den Positionsbestimmungsfehler bestimmen kann. Außerdem oder alternativ dazu kann ein Musterabgleichverfahren an Bilddaten verwendet werden, die von der Bilderfassungseinrichtung 100 der Drohne 60 erfasst werden, um Merkmale am Fahrzeug 40 zu identifizieren. Der Positionsbestimmungsfehler kann durch Identifizieren bestimmter Merkmale am Fahrzeug, wie etwa des Daches des Fahrzeugs oder der Räder des Fahrzeugs, und durch Justieren der Position der Drohne 60 bestimmt werden.
Die Steuereinrichtung 80 kann einen Positionskalibrierungsschritt initiieren, in dem der Benutzer 50 angewiesen werden kann, eine bestimmte Position in Bezug auf das Fahrzeug 40 einzunehmen. Zum Beispiel kann der Benutzer aufgefordert werden, sich mit der Benutzervorrichtung 70 direkt vor das Fahrzeug 40 zu stellen. Auf Basis der GPS-Daten, die von der Drohne 60 empfangen werden, kann dann ein Steuersignal 148 an die Drohne 60 gesendet werden, damit diese eine Position direkt hinter dem Fahrzeug 40 einnimmt. Dann kann ein Kalibrierungsprozess initiiert werden, in dem etwaige GPS-Positionsbestimmungsfehler anhand irgendeines der oben beschriebenen Verfahren kompensiert werden, z.B. unter Verwendung von Trägheitsnavigationssystemdaten von der Drohne 60, unter Verwendung von Flugzeitmessungen zwischen der Drohne 60 und dem Fahrzeug 40, unter Verwendung von Musterabgleichsverfahren, um eine relative Position zwischen der Drohne und dem Fahrzeug zu bestimmen.
Sobald der Positionsbestimmungsfehler bekannt ist, kann die Drohne 60 den Fehler dadurch korrigieren, dass sie sich an eine Position 166 bewegt. Die Korrektur, die an ihre Position angelegt wird, kann sowohl der Benutzervorrichtung 70 als auch dem Fahrzeug 40 mitgeteilt werden, so dass diese ähnliche GPS-Positionsbestimmungsfehler korrigieren können. Die Korrektur der Position der Drohne 60 kann direkt zwischen der Benutzervorrichtung 70, der Drohne 60 und dem Fahrzeug 40 mitgeteilt werden. Alternativ dazu kann die Drohne die Steuereinrichtung 80 darüber informieren, die dann die Positionen der Benutzervorrichtung 70 und des Fahrzeugs 40 aktualisiert.
An den obigen Beispielen können Modifikationen vorgenommen werden, ohne dabei vom Umfang der vorliegenden Erfindung abzuweichen, wie er in den begleitenden Ansprüchen definiert ist.

Claims

Steuereinrichtung (80) für ein unbemanntes Luftfahrzeug (60), UAV (60), das eine Bilderfassungseinrichtung (100) umfasst, wobei die Steuereinrichtung umfasst: Eingänge (82), die dafür ausgelegt sind, Folgendes zu empfangen: Positionsdaten in Bezug auf das UAV (60), ein Fahrzeug (40) und eine Benutzervorrichtung (70); Bilddaten, die von der Bilderfassungseinrichtung erfasst werden; einen Prozessor (84), der dafür ausgelegt ist, die empfangenen Positionsdaten zu verarbeiten, um die relative Position des UAV, des Fahrzeugs und der Benutzervorrichtung zu bestimmen; einen Ausgang (86), der dafür ausgelegt ist, ein Steuersignal (148) zum Steuern des UAV auszugeben und ein Bildsignal (152) auszugeben, das erfasste Bilddaten umfasst; wobei der Prozessor für Folgendes ausgelegt ist: Erzeugen des Steuersignals (148) für das UAV (60) auf solche Weise, dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest ein Bild eines nicht sichtbaren Abschnitts (104) des Fahrzeugs (40) umfassen, der in einem Blickfeld (73) des Benutzers der Benutzervorrichtung nicht sichtbar ist.
Steuereinrichtung nach Anspruch 1, wobei der Prozessor (84) dafür ausgelegt ist, nicht sichtbare Abschnitte des Fahrzeugs (40), die im Blickfeld des Benutzers der Benutzervorrichtung nicht sichtbar sind, abhängig von der bestimmten relative Position des Fahrzeugs und der Benutzervorrichtung zu bestimmen.
Steuereinrichtung nach Anspruch 5, wobei der Prozessor (84) dafür ausgelegt ist, Positionsdaten vom UAV-Trägheitsnavigationssystem zu verwenden, um GPS-Positionsbestimmungsfehler zu korrigieren.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei Positionsdaten Messdaten über eine Flugzeit zwischen einem oder mehreren der Folgenden umfassen: dem UAV (60) und dem Fahrzeug (40); dem UAV (60) und der Benutzervorrichtung (70); dem Fahrzeug (40) und der Benutzervorrichtung (70).
Steuereinrichtung nach Anspruch 4, wobei die Eingänge (82) dafür ausgelegt sind, Fahrzeugsensordaten zu empfangen, und der Prozessor (84) dafür ausgelegt ist, relative Positionen des UAV, des Fahrzeugs und des Benutzers oder der Benutzervorrichtung aus den Fahrzeugsensordaten und den Flugzeit-Messdaten zu bestimmen.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei die Positionsdaten, die an den Eingängen empfangen werden, Daten von einem Fahrzeugzugangsberechtigungssystem umfassen.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei der Prozessor (84) dafür ausgelegt ist, einen Bilderkennungsalgorithmus zu verwenden, um die relative Position zwischen dem Benutzer des Fahrzeugs und dem Fahrzeug aus Bilddaten zu bestimmen, die von der Bilderfassungseinrichtung (100) erhalten werden.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei der Prozessor dafür ausgelegt ist, ein Steuersignal (86) zu erzeugen, um die UAV-Position auf solche Weise zu steuern, dass die Bilderfassungseinrichtung (100) zumindest auf manche von den nicht sichtbaren Abschnitten (104) des Fahrzeugs (40) gerichtet wird, die von der Blickachse (72) des Benutzers (50) des Fahrzeugs aus nicht sichtbar sind.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei der Prozessor dafür ausgelegt ist, ein Steuersignal zu erzeugen, das die Ausrichtung der Bilderfassungseinrichtung in Bezug auf das UAV ändert, um die Bilderfassungseinrichtung auf zumindest manche von den nicht sichtbaren Abschnitten des Fahrzeugs auszurichten, die von der Blickachse des Benutzers des Fahrzeugs aus nicht sichtbar sind.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei der Prozessor (84) dafür ausgelegt ist, ein Steuersignal zu erzeugen, um die Position des UAV zu steuern.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei die Eingänge (82) dafür ausgelegt sind, Fahrzeugsensordaten in Bezug auf die Nähe des Fahrzeugs (40) zu einem Objekt (110) zu empfangen, und der Prozessor (84) dafür ausgelegt ist, ein Steuersignal für das UAV zu erzeugen, so dass die von der Bilderfassungseinrichtung erfassten Bilddaten einen Abschnitt des Fahrzeugs umfassen, der dem Objekt nahe ist.
Steuereinrichtung nach einem der vorangehenden Ansprüche, wobei der Prozessor dafür ausgelegt ist, ein Fahrsteuersignal zum Manövrieren des Fahrzeugs zu erzeugen, und der Ausgang dafür ausgelegt ist, das Fahrsteuersignal an das Fahrzeug auszugeben.
Unbemanntes Flugfahrzeug, eine Steuereinrichtung nach einem der Ansprüche 1 bis 12 umfassend.
Fahrzeug (40), eine Steuereinrichtung nach einem der Ansprüche 1 bis 12 umfassend.
Verfahren zum Steuern eines unbemannten Luftfahrzeugs, UAV, das eine Bilderfassungseinrichtung umfasst, wobei das Verfahren umfasst: Empfangen (90) von Positionsdaten in Bezug auf das UAV, ein Fahrzeug und eine Benutzervorrichtung; Bilddaten, die von der Bilderfassungseinrichtung erfasst werden; Verarbeiten (92) der empfangenen Positionsdaten an einem Prozessor, um die relative Position des UAV, des Fahrzeugs und der Benutzervorrichtung zu bestimmen; Ausgeben (96) eines Steuersignals zum Steuern des UAV und Ausgeben eines Bildsignals, das erfasste Bilddaten umfasst; wobei der Prozessor das Steuersignal für das UAV so erzeugt (94), dass die Bilddaten, die von der Bilderfassungseinrichtung erfasst werden, zumindest manche von den nicht sichtbaren Abschnitten des Fahrzeugs umfassen, die von der Blickachse des Benutzers des Fahrzeugs aus nicht sichtbar sind.