-
Die
vorliegende Erfindung betrifft ein Verfahren zum Leiten eines Flugzeugs
in der Endphase der Landung sowie eine Vorrichtung zur Durchführung dieses
Verfahrens.
-
Es
gibt mehrere Leitsysteme, die für
die Navigation und das Leiten eines Flugzeugs eine Hilfe leisten.
Die zurzeit bekannten Systeme heißen ILS, MLS, GPS, APALS.
-
Das
ILS-System (Instrument Landing System oder Instrumentenlandesystem)
arbeitet mit Hilfe von entlang des Landeanflugswegs eines Flughafens angeordneten
Funkfeuern und entsprechenden, an Bord des Flugzeugs angeordneten
Empfängern.
Diese Empfänger
wirken mit Bordindikatoren zusammen, die den Piloten über seine
Position in Bezug auf eine ideale Flugbahn informieren. Diese Indikatoren weisen
eine horizontale und eine vertikale Nadel auf, und wenn diese beide
Nadeln zentriert gehalten werden, kann der Pilot sein Flugzeug auf
die zentrale Linie der Landebahn ausgerichtet halten und dabei eine
bis zur Landung möglichst
konstante Abwärtsstrecke
beibehalten.
-
Das
MLS-System (Microwave Landing System oder Mikrowellen-Landesystem) arbeitet
im Wesentlichen wie das ILS-System, verwendet jedoch Mikrowellen
und keine funkelektrischen Bündel.
Dadurch weist das MLS-System gegenüber dem ILS-System eine größere Immunität gegen
Signale, die auf die Landebahn umgebende Gebäude reflektiert werden.
-
Mehrere
Systeme verwenden die GPS-Technologie (Global Positioning System
oder Satellitennavigationssystem). Diese Systeme arbeiten mit Hilfe
einer Konstellation von Satelliten, die die Erde umkreisen. Ein
Gerät an
Bord des Flugzeugs bestimmt dessen Position, indem er die Messung
der Entfernungen verwendet, die es von mehreren Satelliten trennen,
deren Positionen bekannt sind. Durch Korrelation der Position des
Flugzeugs und derjenigen der Landebahn kann dem Pilot eine Hilfe
vermittelt werden. Zahlreiche Flugzeuge verwenden bereits die GPS-Information
als zusätzliche
Hilfe (gegenüber der
herkömmlichen
Systemen wie Trägheitsnavigations-Leitwerken),
um im Himmel ihre Bahn zu finden. Dennoch sind die Systeme vom Typ
GPS nicht genau genug, um das Leiten eines Flugzeugs bis in seine Endphase
der Landung zu ermöglichen.
Die Genauigkeit der GPS-Systeme ist nämlich in der Größenordnung
von etwa 10 Metern, was nicht ausreicht, um einem Flugzeug eine
Landung auf einer Landebahn und nicht neben dieser zu gewährleisten.
-
Das
APALS-System (Autonomous Precision Approach Landing System oder
Genaues autonomes Anflug- und Landesystem) ist in seiner Basisversion ein
autonomes System. Dessen Prinzip beruht auf die Verwendung von feststehenden
Antennen und dem Wetterradar. Dieses System verwendet die Bilder
des Wetterradars gemeinsam mit seinen eigenen Bodenkenntnissen,
um die Position und die Höhe
des Flugzeugs zu ermitteln. Dieses System kann mit einem ILS- und/oder
GPS-System kombiniert werden. Grundsätzlich ist ein solches APALS-System
unter Betriebsbedingungen noch nie an Bord eines Flugzeugs mitgeführt worden.
-
Der
Hauptnachteil dieser Vorrichtungen liegt daran, das sie das Vorhandensein
von Bodenanlagen erfordern. Auch im Falle von APALS, das ein autonomes
System ist, sind feststehende Außenantennen notwendig.
-
Ziel
der vorliegenden Erfindung ist es somit, ein Verfahren zum Leiten
in der Endphase der Landung bereitzustellen, das vollkommen autonom
ist und keine spezifische Bodenanlage erfordert, um eine Flugzeuglandung
auszuführen.
-
Zu
diesem Zweck schlägt
sie ein Verfahren zum Leiten eines Flugzeugs während der Endphase der Landung,
das folgende Schritte aufweist:
- a) Aufnahme
des Bodens mittels einer an Bord des Flugzeugs mitgeführten Bildaufnahmevorrichtung
und Erlangung eines Bildes,
- b) Analyse des Bildes, um einen Flughafenbereich zu erfassen,
- c) Erfassung eines Flughafenbereichs und Auswahl einer Landebahn,
- d) Verfolgung der gewählten
Landebahn während des
Anflugs des Flugzeugs durch Sichtverfolgung der gewählten Landebahn
auf den von der Bildaufnahmevorrichtung gelieferten Bildern,
- e) Verfolgung der Landebahn, wenn das Flugzeug sehr nah am Boden
ist, durch Analyse der von der Bildaufnahmevorrichtung gelieferten
Bilder, um die Position des Flugzeugs zur Landebahn zu bestimmen.
-
Ein
solches Leitverfahren ermöglicht
es, den Pilot ohne Mittel außerhalb
des Flugzeugs während der
Endphase der Landung zu begleiten oder sogar einem Autopilotsystem
Informationen zu liefern, um eine automatische Landung durchzuführen.
-
In
diesem Leitverfahren laufen die Schritte vorzugsweise in der angegebenen
Reihenfolge von a) bis e) ab. Im Ablauf dieser Schritte sind jedoch
Veränderungen
möglich.
Wenn beispielsweise die Landebahn bei der Verfolgung des Schritts
d) verloren geht, ist eine Reinitialisierung möglich, die darin besteht, zum
Schritt b) zurückzukehren.
-
Es
wird eine originelle Art für
das Ausführen des
Schritts b) des oben beschriebenen Leitverfahrens vorgeschlagen.
Bei diesem Schritt geht es darum. auf einem 2D-Bild Segmente zu
erkennen, die im dargestellten 3D-Raum parallel sind. Es ist bekannt, dass
zwei im 3D-Raum parallele Linien, die fotografiert werden, auf dem
erzielten 2D-Bild meistens nicht parallel bleiben. Es wird hier
eine originelle Art vorgeschlagen, Linien, die im Raum parallel
sind, auf einem ebenen Bild anzupeilen. Beim Schritt b) des oben
beschrieben Leitverfahrens kann in origineller Weise vorgesehen
werden, dass die Analyse dadurch erfolgt, dass auf dem Bild Segmente
von Geraden gesucht werden, die im Wesentlichen parallel sind, und
dass das Erfassen einer Landebahn dadurch erfolgt, dass solche Segmente
von Geraden gepaart werden. Diese Vorgehensweise, um eine Landebahn
anzupeilen, könnte
selbstverständlich zum
Orten weiterer Objekte angepasst werden, die im Raum parallele Linien
aufweisen.
-
Das
Suchen von parallelen Segmenten erfolgt vorzugsweise, indem das
Intervall der möglichen
Richtungen [–π/2; π2] in N Klassen
gleichmäßig zugeschnitten
wird und jedes Segment einer Klasse zugeordnet wird, wobei zwei
Segmente dann als parallel betrachtet werden, wenn sie ein und derselben Klasse
angehören.
Zusätzliche
Bedingungen können dann
definiert werden, um in Betracht zu ziehen, dass zwei "parallele" Segmente des Bilds
zwei parallelen Segmenten im Raum entsprechen. Somit werden beispielsweise
zwei "parallele" Segmente festgehalten,
wenn folgende Bedingungen erfüllt
sind:
- – diese
Segmente gehören
ein und derselben Richtungsklasse,
- – jeder
dieser Segmente weist eine Mindestlänge auf,
- – diese
beiden Segmente stehen mit einer Mindestüberlappung einander gegenüber,
- – der
Abstand zwischen dieser beiden Segmente ist kleiner als ein vorgegebener
Wert.
-
Diese
Bedingungen eignen sich insbesondere für das Suchen eines Flughafenbereichs
auf einem vom Flugzeug aus in Abstand zu dieser Zone aufgenommenen
2D-Bild. Um weitere Objekte zu suchen, die im 3D-Raum parallele
charakteristische Segmente aufweisen, können weitere Bedingungen gewählt werden.
-
Um
die Suche nach einem Flughafenbereich (oder eines weiteren Objekts)
zu vervollkommnen, kann vorgesehen werden, für jedes Paar von parallelen
Segmenten einen Fluchtpunkt als der theoretische Schnittpunkt der
beiden in Wesentlichen parallelen Segmente zu bestimmen, wobei zwei
Paare von Segmenten dann zusammengeführt werden, insofern der Abstand
zwischen der beiden entsprechenden Fluchtpunkten kleiner ist als
eine vorgegebenen Schwelle.
-
Im
oben beschriebenen Leitverfahren wird beim Schritt d) der Verfolgung
der Landebahn beispielsweise ein Verfahren der Sichtverfolgung durchgeführt, das
die folgende elementare Schritte aufweist:
- d1)
Initialisierung: die ausgewählte
Landebahn wird aus dem Bild extrahiert und modelliert, und ein Fenster,
in welchem die Landebahn gefunden wurde, wird definiert,
- d2) Voraussage: die Position der Landebahn im laufenden Bild
wird abhängig
von der im vorhergehenden Bild eingenommenen Position vorausgesagt,
und ein entsprechendes Fenster wird definiert,
- d3) Extrahierung von Charakteristiken: es wird eine den Konturen
und/oder den Interessenpunkten angepasste Darstellung des Fensters
bereitgestellt,
- d4) Anpassung: die Landebahn wird abhängig von der Voraussage im
Fenster gesucht, und
- d5) Aktualisierung, wenn nötig,
der Darstellung der Landebahn und/oder der Geschwindigkeit der scheinbaren
Bewegung dieser Landebahn,
wobei die Schritte d2) bis
d5) iterative Schritte sind.
-
Der
Schritt der Vorhersage, im vorliegenden Fall der Verfolgung der
Landebahn während
der Endphase des Anflugs eines Flugzeugs, kann gegebenenfalls weggelassen
werden.
-
Die
Verfolgung der Landebahn beim Schritt e) erfolgt beispielsweise,
indem die Farbe und die Textur seiner Pixel auf dem laufenden Bild
analysiert werden, um diese Pixel als zur Landebahn gehörend oder
nicht zu klassifizieren.
-
Gemäß einer
weiteren Ausführungsform
des erfindungsgemäßen Leitverfahrens
kann die Verfolgung der Landebahn beim Schritt e) erfolgen, indem der
Rand der Landebahn und/oder eine Markierung auf der Landebahn auf
dem Bild gesucht wird.
-
Der Übergang
vom Schritt d) zum Schritt e) kann der Verwirklichung einer vorgegebenen
Bedingung unterworfen sein. Der Übergang
vom Schritt d) zum Schritt e) kann beispielsweise verwirklicht werden,
wenn die Schwelle der Landebahn auf den Bildern nicht mehr sichtbar
ist. Es wird hier angenommen, dass die Landebahn zwei parallele
Längsseiten aufweist,
die an einem Ende durch eine Schwelle verbunden sind.
-
Die
vorliegende Erfindung betriff auch eine Leitvorrichtung in der Endphase
der Landung eines Flugzeugs, mit mindestens einem Rechner und einer im
Cockpit angeordneten Anzeige, dadurch gekennzeichnet, dass sie eine
mit dem Rechner verbundenen Kamera aufweist, dass der Rechner Mittel
zum Erfassen und Verarbeiten von Videobildern aufweist und mit der
im Cockpit angeordneten Anzeige verbunden ist.
-
Die
verwendete Kamera ist eine Kamera vom Typ CCD (Charge Coupled Device
oder ladungsgekoppelter Speicher).
-
Gemäß einer
bevorzugten Ausführungsform weist
die Leitvorrichtung mindestens zwei Videokameras auf.
-
Vorzugsweise
ist jede Kamera mit dem Rechner über
eine Lichtwellenleiter-Verbindung
verbunden.
-
Um
automatische Landungen durchführen zu
können,
ist die Leitvorrichtung vorteilhafterweise so ausgeführt, dass
der Rechner mit einer Autopilotvorrichtung verbunden ist.
-
Die
vorliegende Erfindung betrifft schließlich auch ein Flugzeug, dadurch
gekennzeichnet, dass es eine wie oben beschriebene Leitvorrichtung
aufweist.
-
Die
Einzelheiten und Vorteile der vorliegenden Erfindung ergeben sich
besser aus der folgenden Beschreibung, die auf die beigefügten schematischen
Zeichnungen Bezug nimmt, in welchen:
-
1 ein
allgemeines Ablaufdiagramm eines erfindungsgemäßen Verfahrens ist,
-
2 eine
schematische Ansicht einer Vorrichtung zum Durchführen des
in 1 schematisch dargestellten Verfahrens darstellt,
-
3 ein
Bild darstellt, auf welchem eine Landebahn schematisch zu sehen
ist,
-
4 als
Beispiel ein Bild eines charakteristischen Segments als Auszug eines
mit einer Kamera aufgenommenen Bilds zeigt,
-
5 mögliche Richtungsintervalle
für das Suchen
von Paaren von parallelen Segmenten darstellt,
-
6 die
Bildung von Gruppierungen von Paaren von parallelen Segmenten veranschaulicht,
-
7 den
Begriff von Fluchtpunkt veranschaulicht,
-
8 ein
Bild darstellt, das demjenigen der 4 nach Verarbeitung
entspricht,
-
9 ein
Ablaufdiagramm für
die erste Phase des Verfahrens von 1 ist,
-
10 ein
Ablaufdiagramm für
die zweite Phase des Verfahrens von 1 ist, und
-
11 ein
Ablaufdiagramm darstellt, das für die
dritte Phase des Verfahrens von 1 verwendet werden
kann.
-
Die
folgende Beschreibung betrifft die Wahrnehmung durch eine Videokamera,
die auf eine automatische Landefunktion von Flugzeugen, beispielsweise
von Zivilflugzeugen angewandt wird. Das Verfahren und die Vorrichtung,
die nachfolgend beschrieben sind, stellen einem Flugzeugpilot ein
System für
einen automatischen Endanflug bereit, das sein Flugzeug gegenüber der
Außenumgebung
des Flugzeugs so autonom wie möglich
macht. Im Folgenden wird aus Videobildern, die von einer Kamera erfasst
und von einem Rechner verarbeitet wurden, eine seitliche und senkrechte
Abweichung des Flugzeug ausgewählt,
um diese Informationen beispielsweise einem System zum automatischen
Kontrollieren und Steuern des Flugzeugs zu senden. Die vorliegende
Erfindung betrifft insbesondere die Aspekte der Wahrnehmung, d.h.
die Erfassung und Verarbeitung des Bildes eher als die Aspekte der
Steuerung und Regelung, für
die mehrere Möglichkeiten
denkbar sind. Nach einer ersten Möglichkeit spielt der Pilot
des Flugzeugs die Rolle des Vergleichers und wirkt auf das Lenken
des Flugzeugs in Abhängigkeit von
den visuellen Informationen, die vom Landehilfesystem erhalten werden.
Eine zweite Möglichkeit
betrifft eine vollständige
automatische Lösung,
bei welcher das Landehilfesystem mit einem Autopilotsystem gekoppelt
ist. Diese beiden Möglichkeiten
gibt es bereits bei ILS-Systemen
(Instrumentenlandesystem) des Stands der Technik.
-
Eine
erfindungsgemäße Vorrichtung,
um den Pilot in der Endphase zu helfen, weist in einer bevorzugten
Ausführungsform
(2) eine Kamera 2, einen Rechner 4,
mehrere Anzeigen 6 und eine Autopilotvorrichtung 8 auf.
-
Eine
einzige Kamera ist in der vorliegenden Erfindung notwendig. Wie
in den aeronautischen Systemen üblich,
ist es jedoch ratsamer, eine zweite Kamera für den Fall zu haben, dass die
erste ausfällt. Diese
zweite Kamera ist in 2 gestrichelt dargestellt. Jede
Kamera 2 ist eine Kamera vom Typ CCD (Charge Coupled Device – ladungsgekoppelter
Speicher). Eine optische Faser verbindet jede Kamera 2 mit
dem Rechner 4. Es handelt sich beispielsweise um einen
Rechner vom Typ CIU (Camera Interface Unit). Die Kamera weist Mittel
auf, um die Videobilder, die sie auf den Rechner 4 überträgt, auf
den Standard MJPEG zu komprimieren. Jede Kamera 2 arbeitet
im Bereich des Sichtbaren. Es wird vorzugsweise eine Kamera ausgewählt, die
gegenüber
den Beleuchtungsänderungen
aufgrund von Wetter, Tageszeit, Nebel, Regen, usw. so unempfindlich
wie möglich
ist. Je nach Qualität
der Kamera kann die Vorrichtung bei jedem Wetter funktionieren oder nicht.
-
Der
Rechner vom Typ CIU hat zur Aufgabe, die Erfassung der von der (den)
Kameras) 2 stammenden Videosignale im Format MJEPG sowie
die Dekomprimierung und Bearbeitung dieser Bilder durchzuführen, wie
weiter unten beschrieben. Dieser Rechner hat auch Bilder an die
Anzeigen 6 und Informationen an die Autopilotvorrichtung 8 zu übertragen.
Links in 2 zeigen die gestrichelten Pfeile, dass
der Rechner auch mit weiteren Komponenten des Flugzeugs wie beispielsweise
einem Trägheitsnavigations-Leitwerk
oder funkelektrischen Sonden verbunden ist.
-
Die
Anzeigen 6 sind vom gleichen Typ wie diejenigen, die üblicherweise
in einem Flugzeugcockpit zu finden sind. Diese Anzeigen sind normalerweise
dazu vorgesehen, das Flugzeug betreffende Daten (Höhe, Navigation,
Alarm, System) zu empfangen. In der vorliegenden Vorrichtung sind
diese Anzeigen auch dazu vorgesehen, Videobilder zu empfangen. 2 stellt
drei Anzeigen 6 dar, die solche Bilder empfangen können. Es
wird dann angenommen, dass im mit der erfindungsgemäßen Vorrichtung
ausgestatteten Flugzeug mindestens drei der sechs üblicherweise
in einem Flugzeug verfügbaren Anzeigen
in der Lage sind, Videobilder anzuzeigen. Die Anzeigen sind jeweils über eine
Leitung vom Typ Avionik-Bus mit dem Rechner 4 verbunden.
-
Die
Autopilotvorrichtung berechnet und wendet auf das Flugzeug die geeigneten
Steuerungsgesetze ausgehend von dem vom Rechner 4 gemessenen
Abstand an, so dass jede Abweichung gegenüber dem anvisierten Punkt korrigiert
wird, der den Auftreffpunkt des Flugzeugs auf der Landebahn bildet,
falls die vom Navigationshilfssystem gelieferten Informationen eine
vollständig
automatische Landung erlauben.
-
1 gibt
das Schaltbild an, das das Grundprinzip des Zuschneidens der erfindungsgemäßen Landungsendphase
in drei Phasen zeigt. Die erste Phase wird initialisiert, während das
Flugzeug sich noch einige Kilometer, beispielsweise 4 bis 5 km,
von der Landebahn entfernt befindet. Diese erste Phase P1 ist dazu
vorgesehen, einen Flughafenbereich auf einem von einer Kamera 2 aufgenommenen
Bild anzupeilen. Sobald dieser Flughafenbereich geortet wird, beginnt
eine zweite Phase P2. Es geht hier darum, auf den folgenden Bildern
den während
der Phase P1 georteten Flughafenbereich anzupeilen. Wenn sich das
Flugzeug dem Flughafenbereich nähert,
vergrößert sich
dieser zunehmend auf den von der Kamera 2 gelieferten Bildern,
bis er aus dem Rahmen dieser Bilder austritt. Es wird dann zu einer dritten
Phase P3 übergegangen,
in der die Position des Flugzeugs in Bezug auf die sehr nahe Landebahn
bestimmt wird. Während
dieser letzten Phase rollt das Flugzeug auf der Landebahn oder ist
nur noch einige Meter über
diese.
-
Ein
gestrichelter Pfeil 10 in 1 deutet
an, dass eine Rückstellung
von der Phase P2 zur Phase P1 möglich
ist. Wenn nämlich
die Vorrichtung bei der Phase P2 nicht mehr in der Lage ist, die
Landebahn zu verfolgen, kann eine neue Ortung des Flughafenbereichs
erfolgen. Ein gestrichelter Pfeil 12 deutet auch eine Rückstellung
von der Phase P3 zur Phase P2 an. Eine solche Rückstellung ist sehr schwierig und
sollte vermieden werden. In diesem Augenblick ist das Flugzeug sehr
nah an der Landebahn, und aus Sicherheitsgründen ist es nämlich wichtig,
dass die Landehilfsvorrichtung die Spur der Landebahn nicht verliert.
-
Wie
oben angegeben, erfolgt der Übergang 14 von
der Phase P1 zur Phase P2, wenn der Flughafenbereich geortet worden
ist. Der Übergang 16 von
der Phase P2 zur Phase P3 erfolgt beispielsweise, wenn eine Übergangsbedingung
erfüllt
ist. Es sind mehrere Übergangsbedingungen
möglich.
Eine erste Bedingung entspricht beispielsweise dem Verschwinden
der Schwelle der Landebahn im von der Kamera 2 gelieferten
Bild. Man kann auch beispielsweise angeben, dass die Phase P3 initialisiert
ist, wenn sich das Flugzeug weniger als fünf Meter über der Landebahn befindet.
Weitere Bedingungen können
definiert werden.
-
Die 3 veranschaulicht
das Prinzip der von der erfindungsgemäßen Vorrichtung und vom erfindungsgemäßen Verfahren
vorgeschlagenen Landehilfe. Diese Figur stellt ein Bild dar, auf
welchem nur eine Landebahn 18 dargestellt wurde. Diese
Landebahn 18 weist zwei in der Wirklichkeit parallele Ränder 20 auf,
die aber auf dem von der Kamera 2 gelieferten Bild zu einem
Fluchtpunkt konvergieren. Diese beide Ränder 20 sind an ihrer
Basis mit einem Streifen verbunden, der Landebahnschwelle 22 genannt
wird. Die Landebahn 18 weist eine Längsachse 24 auf, die
Bahnachse genannt wird. Je nach der Position des Ränder der
Landebahn 20 und der Schwelle 22 wird ein Referenzpunkt 26 definiert,
der den theoretischen Auftreffpunkt des Flugzeugs auf der Landebahn 18 ist.
Dieser Bezugspunkt 26 befindet sich auf der Achse der Bahn 24.
Die Mitte des Bildes 28 entspricht dem von der Kamera 2 anvisierten
Punkt. Wie durch das Bezugszeichen 30 in 3 angegeben,
wird ein Festpunkt (0, x, y, z) definiert. Die Achsen y und z sind
in der Ebene des Bildes, während die
Achse der x senkrecht zu dieser Bildebene ist. Die Landehilfsvorrichtung
bestimmt die horizontale Abweichung Δy sowie die vertikale Abweichung Δz zwischen
dem Bezugspunkt 26 und der Mitte des Bildes 28.
Bei einer "halbautomatischen" Landung zeigt der
Pilot des Flugzeugs auf einer Anzeige 6 die vertikale Abweichung Δz und die
horizontale Abweichung Δy
optisch an und wirkt auf das Leiten des Flugzeugs in Abhängigkeit
dieser von der Landehilfsvorrichtung gelieferten Informationen ein.
Bei einer automatischen Landung werden diese Informationen der Autopilotvorrichtung 8 geliefert,
die dann auf das Leiten des Flugzeugs einwirkt, um zu versuchen,
beispielsweise diese horizontale und vertikale Abweichung so nah
wie möglich
am Wert Null zu halten.
-
Zum
Orten des Flughafenbereichs (Schritt P1) macht die Kamera 2 zunächst eine
Aufnahme und sendet das entsprechende Bild im komprimierten Format
MJPEG dem Rechner 4. Die Umgebung des Flughafenbereichs
kann sehr vielfältig
sein. Der Flughafen kann von Gebäuden
umgeben sein oder sich mitten in Feldern, in einer Wüste, an
der Küste,
usw. befinden. Es wird dennoch festgestellt, dass die Flughafenbereiche
sehr strukturierte charakteristische Elemente aufweisen, die von
den Start- und Landebahnen vom Rollfeld gebildet sind, wobei diese
Elemente meist auf einem einheitlichen Hintergrund (grasbewachsen
oder wüstenartig)
liegen. Von einem Flugzeug aus gesehen weist somit ein Flughafenbereich
(leicht konvergierende) parallele Segmente auf, die als Basis für das Orten
eines interessanten Bereichs im von der Kamera 2 aufgenommenen
Bild dienen können.
Es muss jedoch zwischen den parallelen Segmenten, die einem Flughafenbereich
entsprechen, und den parallelen Segmenten unterschieden werden,
die durch weitere Elemente geliefert werden könnten, die auf einem Bild erscheinen:
Straße,
Gebäude,
usw.
-
Ein
erster Schritt bei der Ortung eines Flughafenbereichs auf einem
von der Kamera 2 gelieferten Bild besteht darin, aus diesem
Bild die für
dieses Bild charakteristischen 2D-Segmente zu extrahieren. Diese
können
nach Anwendung beispielsweise eines Sobelfilters auf das Bild extrahiert
werden. Ein nach einer solchen Filtrierung erhaltene Bild ist beispielhaft
in 4 dargestellt.
-
Die
im vorhergehenden Schritt definierten Segmente werden anschließend in
Abhängigkeit
von ihrer Orientierung im Bild klassifiziert. Nun wird gleichmäßig das
Intervall der möglichen
Richtungen [–π/2; π/2] in eine
beliebige Anzahl von N Klassen zugeschnitten. Es werden somit N
Richtungen erhalten, die einen Winkel von 2π/N (5) abtasten.
Die in 5 mit 32 bezeichnete schraffierte Zone veranschaulicht
die Richtungsklasse [–2π/N; 0].
-
Um
zu bestimmen, ob zwei Segmente als in der Bildebene örtlich parallel
ermessen werden können,
werden dann Regeln gewählt.
Diese Regeln sind beispielsweise folgende:
- – die beiden
Segmente müssen
ein und derselben Richtungsklasse angehören. Der Parameter N ist zu
bestimmen. Es wird beispielsweise N = 20 gewählt.
- – Jeder
Segment muss eine Mindestlänge
Imin (beispielsweise 25 Pixel) besitzen.
- – Beide
Segmente müssen
mit einem Mindestüberdeckungsfaktor
einander gegenüberliegen.
Dieser Faktor sollte größer als
ein Mindestfaktor Tmin (beispielsweise 30%)
bleiben.
- – Beide
Segmente müssen
einander benachbart sein. Der Abstand zwischen ihnen muss kleiner sein
als ein Schwellenabstandswert, der beispielsweise Abstandmax (beispielsweise 40 Pixel) genannt wird.
-
Der
Parameter N und die Schwellenwerte Imin,
Tmin und Abstandmax müssen dem
jeweiligen Typ angepasst werden und werden empirisch bestimmt. Diese Werte
hängen
von der Kamera und Anwendung (hier Identifizierung einer Landebahn)
ab.
-
Nach
dem Extrahieren der Paare von parallelen Segmente wird transitiv
das der beiden Paare von Segmenten verbindende Verhältnis geschlossen,
indem sie verschmolzen werden (6). So werden
Gruppen von Paaren von parallelen Segmenten gebildet, wobei jedes
Paar von Segmenten einer Gruppe mindestens einen den beiden Paaren von
Segmenten dieser Gruppe gemeinsamen Segment aufweist. In 6 wurden
somit drei Paare 34, 36 und 38 von Segmenten
in eine Gruppierung 40 von parallelen Paaren zusammengeführt. Es
wird angemerkt, dass das Paar 34 von Segmenten mit dem Paar 36 von
Segmenten einen Segment gemeinsam hat, dass das Paar 36 von
Segmenten mit dem Paar 34 einen Segment und mit dem Paar 38 seinen
weiteren Segment gemeinsam hat, und dass das Paar 38 mit
dem Paar 36 einen Segment gemeinsam hat.
-
Es
ist bekannt, dass, wenn zwei parallele Linien fotografiert werden,
ohne dass die Aufnahmeachse senkrecht zur Ebene ist, die diese beiden
parallelen Linien enthält,
das von diesen beiden parallelen Linien gebildete Bild diesen Parallelismus
nicht mehr aufweist, sondern zwei zu einem Fluchtpunkt genannten
Punkt konvergierende Linien bildet. Um zu bestimmen, ob parallele
Segmente einer Gruppierung 40 von Paaren 34, 36, 38 von
Segmenten parallelen Linien des fotografierten Gegenstands entsprechen,
werden alle Segmente der Gruppierungen paarweise in Betracht gezogen,
und es wird somit jeweils ein entsprechender Fluchtpunkt (7)
bestimmt. Anschließend
werden die Fluchtpunkte unter einander verglichen, indem der euklidische
Abstand AbstandFlucht, der sie trennt, berechnet
wird. Wenn der Wert AbstandFlucht.kleiner
ist als die SchwelleFlucht genannte vorgegebene
Schwelle ist, wird dann eine FLUCHT-Gruppierung gebildet, die aus
vier Segmenten besteht. Wenn, wie in 7 dargestellt,
der Fluchtpunkt sehr weit entfernt oder unendlich ist, können die
entsprechenden Segmente nicht festgehalten werden.
-
In 8,
die der 4 entspricht, wurden lediglich
die Gruppierung von Paaren von parallelen Segmenten wie die Gruppierung 40 der 6 festgehalten.
Im ganzen Bild erscheinen nur sieben Gruppierungen dieser Art, die
die Bezugszeichen 42, 44, 46, 48, 50, 52 und 54 tragen.
-
So
wie Gruppierungen von Paaren von parallelen Segmenten realisiert
wurden, wird die Umgruppierung der Gruppierungen von Paaren von
parallelen Segmenten realisiert, wenn in zwei unterschiedlichen
Gruppierungen (wie in der Gruppierung 40 der 6)
zwei Segmente derselben FLUCHT-Gruppierung auftreten. In dem Fall,
der in den 4 und 8 dargestellt
ist, wird dann die Umgruppierung der Gruppierungen 42, 44 und 46 realisiert.
-
9 ist
ein Ablaufdiagramm, der die verschiedenen Schritte der Phase P1
zusammenfasst, wie sie oben beschrieben ist. In dieser 9 ist
ein Bild 56 zu sehen, das mit der Kamera 2 erhalten
wurde. Dieses Bild ist digitalisiert und zum Rechner 4 gesendet.
Ein erster Schritt 58 besteht darin, charakteristische
Segmente zu extrahieren, indem ein Sobel-Grandientfilter, das mit
einem Verdünnungsoperator
gekoppelt ist, und ein Operator zur polygonalen Interpolation verwendet
wird. Der folgende Schritt 60 besteht darin, unter allen
im Schritt 58 bestimmten charakteristischen Segmenten diejenigen
zu erfassen, die untereinander parallel sind, und dann Gruppierungen
von Paaren von parallelen Segmenten zu bilden. Alle Segmente, die
einer beliebigen Gruppierung von Paaren von parallelen Segmenten
angehören,
werden dann paarweise verglichen, um beim Schritt 62 deren
Fluchtpunkt festzustellen. Dann werden diejenigen Paare von Segmenten
umgruppiert, deren Fluchtpunkte benachbart sind, um FLUCHT-Gruppierungen
zu realisieren. Bei letzten Schritt 64 wird schließlich die
Umgruppierung der Gruppierungen von Paaren von parallelen Segmenten
realisiert, die beim Schritt 60 erfasst worden sind. Zwei
unterschiedliche Gruppierungen werden umgruppiert, wenn eine FLUCHT-Gruppierung Segmente
in der einen und der anderen dieser Gruppierungen von Paaren von
parallelen Segmenten besitzt. Nach dem Ablauf dieses Algorithmus
wird ein Bild 66 erhalten, auf welchem nur diejenigen Segmente
zu sehen sind, die dreidimensionalen parallelen Segmenten entsprechen.
Wenn die Schwellenwerte Imin, Tmin und
Abstandmax geschickt ausgewählt worden sind,
bleiben auf dem Bild 66 nur noch Segmente, die einem Flughafenbereich
entsprechen. Mehrere Start- und Landebahnen sind eventuell auf diesem
Bild 66 dargestellt. Mann sollte später feststellen, auf welcher
dieser Bahnen das Flugzeug landen soll. Die Auswahl der Bahn kann
automatisch in Abhängigkeit von
zuvor in den Rechner 4 eingegebenen Befehlen erfolgen oder
vom Pilot getroffen werden. Im letzteren Fall kann es vorstellbar
sein, das Bild 66 gegebenenfalls in Überlagerung des Bildes 56 auf
einer Anzeige 6 vor den Augen des Piloten anzuzeigen.
-
Sobald
die Landebahn ausgewählt
ist, sollte diese Bahn in den folgenden, von der Kamera 2 aufgenommenen
Bildern erkannt werden. Das ist der Gegenstand der Phase P2 des
hier beschriebenen Verfahrens.
-
10 zeigt
ein Prozessablaufdiagramm der Sichtverfolgung. Dieses Diagramm weist
ein erstes Initialisierungsmodul 68 und vier Modulen auf,
die sich iterativ wiederholen.
-
Das
Initialisierungsmodul 68 ermöglicht es, aus dem laufenden
Bild das in den folgenden Bildern zu verfolgende Sichtmotiv zu extrahieren.
Im vorliegenden Fall ist die Ausgangsposition dieser Landebahn durch
die Ortungsphase P1 gegeben. Das Ergebnis dieses Initialisierungsmoduls 68 besteht
darin,
- – ein
Ausgangsmodell des Targets, hier der Landebahn mit einer dem Verfolgungsverfahren
angepassten Darstellung (Konturen oder Punkte) und
- – ein
Fenster bereitzustellen, in welchem das zu verfolgende Objekt, nämlich die
Landebahn, gefunden worden ist.
-
Das
erste Modul der Schleife, das in 10 dargestellt
ist, ist ein Voraussage-Modul 70. Dieses Modul, das bei
jeder Iteration durchgeführt
wird, soll die vorausgesagte Position der Landebahn im laufenden
Bild In in Abhängigkeit der Position der Frequenz
der Erfassung der Bilder und der Verarbeitung dieser Bilder, welche
das Modul im vorangehenden Bild In-1 hatte,
und vor allem in Abhängigkeit
eines Modells der scheinbaren Dynamik der Landebahn in der Sequenz
erzeugen. Dieses Modell wird im Allgemeinen durch Kalman-Filtrierung
geschätzt.
Im vorliegenden Fall sind die Bilder 2D-Bilder, und die scheinbare
Bewegung der Landebahn auf dem Bild ist durch die Bewegung der Kamera 2 im
Bezug auf die feste Landebahn verursacht.
-
Das
Ergebnis dieses Voraussage-Modul 70 ist eine vorausgesagte
Position der Landebahn auf dem Bild in der Form eines Fensters oder
eines Unterbildes, in welchem die folgenden Verarbeitungen erfolgen.
Die Größe des Fensters
oder des Unterbilds hängt
von der Genauigkeit der Voraussage ab. Diese Genauigkeit ist beispielsweise
durch ein Schätzverfahren
im Stand des Systems für
die Kalman-Filtrierung mit Hilfe einer Varianzmatrix gegeben.
-
Das
nachfolgende Modul ist das Modul zum Extrahieren der Charakteristiken 72.
Dieses Modul hat zum Zweck, eine angepasste Darstellung des Unterbilds
bereitzustellen, in welcher der Gegenstand gesucht wird. Diese Darstellung
muss schnell aufgebaut sein und unterscheidend genug sein, damit
die Suche nach der verfolgten Landebahn schnell erfolgt. Die Darstellung
erfolgt beispielsweise anhand von Interessepunkten und/oder Konturen
und/oder Segmenten, usw.
-
Das
dritte auf der Schleife der 10 dargestellte
Modul ist ein Anpassungsmodul 74. Dieses Modul sucht nach
der Landebahn im interessanten Bereich, der vom Voraussagemodul 70 bestimmt wurde.
Es gibt mehrere Anpassungsverfahren: eine erschöpfendes Verfahren, ein Verfahren
zur Arboreszenz-Suche, ein Relaxationsverfahren, ein Verfahren zur
Voraussage-Überprüfung, usw.
In allen Fällen
ist es notwendig, eine Messung der Ähnlichkeit zwischen einer Untergruppe
von Charakteristiken, die aus dem Bild extrahiert ist, und dem Modell
des Targets vorzuführen.
Das Ergebnis dieses Moduls besteht in einer Gruppe von Anpassungen
(Bild, Modell) und einer Messung des Vertrauens in diesen Anpassungen.
-
Das
letzte Modul der in 10 dargestellten Schleife ist
ein Modul 76 zur Aktualisierung des Modells des Targets.
Dieses Modul ermöglicht
es, die Darstellung der Landebahn und deren Dynamikmodell (Geschwindigkeit
der scheinbaren Bewegung, usw.) zu aktualisieren.
-
Oberhalb
dieser Schleife für
die Sichtverfolgung muss eine Kontrollschleife durchgeführt werden,
um die Kohärenz
der Verfolgung zu überprüfen und
eventuelle Fehler oder Abdrifte zu korrigieren. Diese Kontrollfunktion
hat dann zum Ziel, das Initialisierungsmodul zu reinitialisieren,
in dem Fall dass die Bahn in der Sequenz verloren geht. Diese Kontrollfunktion
gewährleistet
auch den Übergang
von der Phase P2 zur Phase P3.
-
Eine
solche Sichtverfolgung kann auch für andere Anwendungen durchgeführt werden.
In der Anwendung bei der Verfolgung einer Landebahn in der Endphase
der Landung wird das Initialisierungsmodul 68 teilweise
während
der Phase P1 ausgeführt,
die eine Baugruppe von konvergierenden Segmenten bereitstellt. Das
Modul zum Extrahieren der Charakteristiken 72 wird seinerseits
auf dem Unterbild ausgeführt,
das diese Segmente beinhaltet, um ein erstes Modell der Landebahn
(Gesamtheit von Punkten, aktive Konturen, usw.,) zu geben. Das Voraussagemodul 70 kann
im vorliegenden Fall weggelassen werden. Es genügt, im folgenden Bild In+1 die Bahn da zu suchen, wo sie sich im
vorangehenden Bild In befand.
-
Je
nach der zum Durchführen
der verschiedenen Schritte der in 10 dargestellten
Schleife notwendigen Zeit, werden nicht alle Bilder der Videosequenz
analysiert. Die Landebahn wird nur auf einem von n Bildern der Sequenz,
beispielsweise auf jedem dritten Bild gesucht. Je größer n ist,
desto notwendiger wird es sein, ein Voraussagemodul 70 einzusetzen.
-
Hinsichtlich
der Module zum Extrahieren 72 der Charakteristiken, zum
Anpassen 74 und zum Aktualisieren 76 des Modells
können
mehrere Techniken eingesetzt werden. Diese Techniken sind von Fachmann
bekannt, und auf die wird hier nicht näher eingegangen. Es wird lediglich
beispielhaft die Technik der Verfolgung (Tracking) der polygonalen
Konturen durch 1D-Korrelation entlang der Konturen und die Technik
der Konturverfolgung mit Hilfe von aktiven Konturen (oder snakes),
die die Silhouette des verfolgten Objekts verwendet, genannt. Weitere
Verfahren sind in dieser Verfolgungsphase auch denkbar.
-
Die
letzte Phase P3 kommt dem sehr nahe, was im Zusammenhang mit dem
Straßenverkehr
bereits besteht, insofern als das Flugzeug auf der Landebahn rollt
oder sich nur wenige Meter oberhalb dieser befindet. Die seitlichen
und mittleren weißen
Linien der Landebahn erscheinen deutlich auf dem Bild, die Unvollkommenheiten
des Rollfeldes sind sichtbar, und die Textur der verschiedenen Elemente,
die den Schauplatz bilden (Gras, Beton, Erde, usw.) wird unterscheidbar.
-
Im
Zusammenhang mit dem Straßenverkehr werden
Bildsequenzen bewertet, die aus in einem sich bewegenden Fahrzeug
montierten Kameras stammen. Diese Bildsequenzen liefern Informationen über die
Umgebung des Fahrzeugs, welche mit dem Ziel analysiert werden, dem
Fahrer, der sich in reellen Verkehrssituationen befindet, eine Hilfe
zu bringen. Im Zusammenhang mit dem Straßenverkehr ist das Ziel der
Analyse der Bilder, die Position des Fahrzeug bezüglich der
Strasse zu ermitteln. Das Gleiche gilt im Falle des Flugzeugs auf
der Landebahn: seine Position zu dieser Landebahn muss gefunden
werden.
-
Es
werden üblicherweise
zwei Anflugarten eingesetzt. Einer erste Art des Anflugs basiert
auf die Klassifizierung der Bildpixel, um die Regionen (Gras, Beton,
...) zu erfassen, und eine zweite Art des Anflugs basiert auf ein
geometrisches Straßenmodell ausgehend
von der aus dem Bild extrahierten Diskontinuitäten.
-
Als
Beispiel wird folgend ein auf der Analyse der Regionen basierender
Algorithmus für
die Durchführung
der Phase P3 beschrieben. Es handelt sich um einen Algorithmus zum
Segmentieren und Charakterisieren der Regionen des Bildes 56'. Er besteht aus
vier großen
Schritten, die nachfolgend beschrieben sind.
-
Der
erste Schritt 78 soll zügig
eine synthetische Beschreibung des Schauplatzes bereitstellen. Er
erfolgt auf einem Bild 56' von
geringer Auflösung. Eine
erste Partition des Bildes erfolgt durch Aufteilung dieses Bildes
in quadratische Zellen mit einer Größe von 2 × 2 Pixel erhalten. Mehrere
Klassen werden durch Analyse der Histogramme der chromatischen Attribute
definiert. Jeder Zelle ist eine Klasse zugeordnet, die aus einer
Teilung des Farbenraums hervorgeht. Die Verschmelzung der elementaren
Zellen wird durch Verwendung eines Adjazenzgraphs (mit Verbindung
4) durchgeführt.
Schließlich
werden die Regionen, deren Größe unter
einem vorgegebenen Schwellenwert liegt, mit der anliegenden Region verschmolzen,
das den nächstliegenden
Wert des Homogenitätskriteriums
hat.
-
Jede
Region, die aus dem ersten Schritt hervorgeht (Farbsegmentierung),
wird anschließend durch
ihre Farbe und ihre Textur (Schritt 80) charakterisiert.
Die Messung der Texturattribute basiert auf Summen- und Differenzhistogramme,
während
zum Kennzeichnen einer Region nach ihren kolometrischen Attributen
der statistische Durchschnitt der Pixel verwendet wird, aus welchen
sie besteht. Die durch diese Histogramme erzeugten Attribute sind der
Durchschnitt, die Varianz, die Energie, die Entropie, der Kontrast
und schließlich
die Homogenität.
-
Um
die im Bild vorhandenen Elemente (Regionen) zu identifizieren (Schritt 82),
werden zwei Techniken eingesetzt: die bayesianische Technik, die die
Klassifizierung durch Verwendung der Gesamtheit der Attribute realisiert,
ohne eine Partition des Charakterisierungsraums zu erstellen, und
die hierarchische Technik, die auf einem Algorithmus basiert, der
eine effektive Partition des Charakterisierungsraums (intrinsische
Kapazität
zur Attributselektion) erstellt. Für diese Identifizierung wird
eine Lernbasis 84 verwendet, die auf die Anwendung des
vorliegenden Algorithmus aufgebaut ist.
-
Im
letzten Schritt 86 ist jede Region des Bildes mit ihrem
Typ versehen (Etikettieren). Obwohl die Farbsegmentierung große Regionen
liefert, entsprechen diese nicht zwangsläufig den großen Komponenten
des Schauplatzes. Ein Schritt der Verschmelzung ist somit notwendig,
um alle verbundenen Regionen des Schauplatzes zu gruppieren.
-
Am
Ende dieses Algorithmus erhält
man ein Namensmodell 88 der verschiedenen Regionen, das im
Bild 56' erscheint
und während
dieser Phase erkannt wurde. Dies ermöglicht dann, die Positionierung
des Flugzeugs zur Landebahn zu bestimmen.
-
Die
oben beschriebenen Vorrichtung und Verfahren ermöglichen es, ein Leitsystem
während der
Endphase der Landung eines autonomen Flugzeugs bezüglich jeglicher
Art von Anlage außerhalb des
Flugzeugs zu erhalten. In origineller Weise misst dieses System
Abweichungen gegenüber
einem idealen Landeweg ausgehend von der perzeptuellen Verarbeitung
von Bildern, die von einem System aus einer oder mehreren an Bord
des Flugzeugs mitgenommenen Kameras) übertragen sind. Perzeptionsalgorithmen
für die
drei Phasen des in 1 dargestellten Algorithmus
sind weiter oben beschrieben worden.
-
Hinsichtlich
der Ortung des Flughafenbereichs in der Phase P1 wurde ein neuer
und origineller Algorithmus auf der Basis des Extrahierens der perzeptuellen
Gruppierungen vorgestellt. Dieser Algorithmus wurde auch getestet
und gibt gute Ergebnisse. Dieser Algorithmus ermöglicht es, auf einem 2D-Bild
eines 3D-Objekts Segmente zu bestimmen, die räumlich parallele Linien entsprechen.
-
Die
Phasen der Verfolgung der Landebahn (Phasen P2 und P3) wurden ebenfalls
getestet. Hinsichtlich der Phase P2 haben zwei getestete und beispielhaft
oben beschriebene Algorithmen gute Ergebnisse geliefert. Für die letzte
Phase des erfindungsgemäßen Verfahrens
wurde der Test mit einer Lernbasis durchgeführt, die für eine andere Anwendung vorgesehen
ist. Dennoch ist das erhaltene Ergebnis ermutigend. Hier ist anzumerken,
dass der verwendete und beschriebene Algorithmus aus dem Gebiet
der Robotik kommt. Weitere Algorithmen aus dem Gebiet der Verfolgung
einer Strasse durch ein Fahrzeug, die sich bereits bewährt haben,
können ebenfalls
beim Schritt P3 angewendet werden.
-
Die
vorliegende Erfindung beschränkt
sich nicht auf die verschiedenen, oben beschriebenen und beispielhaft
und nicht einschränkend
angegebenen Ausführungsformen,
sondern erstreckt sich im Rahmen der folgenden Patentansprüche auf
alle dem Fachmann zugänglichen
Ausführungsvarianten.