DE10065180A1 - Sensorsystem mit optischen sensoren zur Kollisionsvermeidung von Flugzeugen sowie ein Verfahren zu deren Durchführung - Google Patents

Abstract

Verfahren und Vorrichtung zur Durchführung einer Kollisionsvermeidung mittels eines optischen Systems (11), einem diesem zugeordneten Fokalebenen-Sensor (15), einer ersten (17) und einer zweiten (19) Bildverarbeitungsschaltung und einer Steuereinheit (20), mit der Erfassung eines vorbestimmten Gesichtsfeldes des Luftraums mittels eines optischen Systems (11) und eines Fokalebenen-Sensors (15) und Erstellung von Eingangsbildern (21), der Durchführung einer Kontrastanhebung (63) und einer Kanten- und Objekt-Extraktion (64) an den Eingangsbildern (21) mittels zumindest einer Bildverarbeitungsschaltung (16, 17) und daraufhin Erstellung von Ausgangsbildern (23), dem Zusammenfassen einer Gruppe mehrerer nach bekannten Zeitabständen aufeinanderfolgenden Ausgangsbilder (23) in eine Bildfolge (30) in einem Bilddatenspeicher (67) und Ermittlung des Verlaufs (68) der Kanteninformationen der Bilder über die Zeit, der Ermittlung der Eigenbewegung des messenden Luftfahrzeugs mittels einer Sensorik (81, 82) und Ermittelung einer Vorhersage (40) der möglichen dreidimensionalen Bahnen der erkannten Objekte im Verhältnis zur Eigenbewegung in einer Steuereinheit (20), der bedarfsweisen Generierung einer Warnung oder eines Ausweichsmanövers (50) und Weiterleitung derselben bzw. desselben an eine Steuerung (70) des Luftfahrzeugs oder eine Bodenstation.

Description

Die Erfindung betrifft ein Sensorsystem mit optischen Sensoren zur Kollisionsvermeidung von bemannten oder unbemannten Luftfahrzeugen sowie ein Verfahren zur Durchführung der Kollisionsvermeidung.

Aus dem allgemeinen Stand der Technik sind Kollisionsvermeidungs-Systeme bekannt, bei denen jedes mit einem solchen ausgerüstete Luftfahrzeug, das sich in einem vorgegebenen Luftraum befindet, Sensoren zur Bestimmung der Position und des Geschwindigkeitsvektors mitführt. Zwischen den mit solchen Sensoren ausgerüsteten, Luftfahrzeugen werden diese Daten ausgetauscht, um dadurch Bahnextrapolationen für jedes Luftfahrzeug zu erzeugen. Aufgrund der prognostizierten Flugbahn kann für jedes Luftfahrzeug die Kollisionsgefahr ermittelt werden.

Derartige Verfahren haben den Nachteil, daß sie aktuelle Daten des jeweils erfaßten Luftfahrzeugs benötigen, was zu den relevanten Zeitpunkten nicht immer gewährleistet werden kann.

Es ist daher die Aufgabe der Erfindung, ein System zur Kollisionsvermeidung sowie ein Verfahren zu deren Durchführung zu schaffen, das autonom erfolgt und einen möglichst geringen Geräteaufwand erforderlich macht.

Diese Aufgabe wird mit den Merkmalen der unabhängigen Ansprüche gelöst.

Ein Vorteil der Erfindung ist, daß erfindungsgemäß mögliche Kollisionen mittels optischer Sensoren erkannt werden, wodurch sich ein kompaktes, integriertes und somit kostengünstiges Sensorsystem ergibt, mit dem sich der Sichtlinienwinkel zu einem Luftfahrzeug, gegebenenfalls der Abstand und die Relativbewegung der beiden Luftfahrzeuge zueinander bestimmen lassen.

Es lassen sich aber auch andere bildgebende Sensoren wie z. B. Radar einsetzen. Insbesondere wird durch die Erfindung die autonome Fähigkeit zur Einhaltung von Ausweichregeln insbesondere für unbemannte Luftfahrzeuge gewährleistet. Bei bemannten Luftfahrzeugen kann das erfindungsgemäße Sensorsystem auch zur Pilotenunterstützung herangezogen werden.

Im folgenden wird die Erfindung anhand der beiliegenden Figuren beschrieben, die zeigen:

Fig. 1 eine Darstellung des Ablaufs des Systems bzw. Verfahrens nach der Fig. 1,

Fig. 2 ein Funktionsschema des Systems bzw. des Verfahrens zur Kollisionsvermeidung,

Fig. 3 eine bevorzugte Anordnung der Kameras für das erfindungsgemäße Kollistionsvermeidungs-System bzw. -Verfahren in der horizontalen Ebene,

Fig. 4 eine schematische Darstellung der Kamera-Anordnung nach der Fig. 3 von der Seite gesehen.

Erfindungsgemäß wird mit einem optischen System 11, das eine Kamera-Anordnung sein kann, wie sie beispielhaft in den Fig. 3 und 4 dargestellt ist, der Luftraum eines Luftfahrzeugs in vorbestimmten Grenzen erfaßt. Die durch das optische System 11 erfaßten elektromagnetischen Strahlen 13 werden mittels des optischen Systems auf eine Sensorfläche oder einen Fokalebenen-Sensor 15 fokussiert. Dem Fokalebenen-Sensor 15 ist eine erste analoge Bildverarbeitungsschaltung 17 sowie eine zweite analoge Bildverarbeitungsschaltung 19 zugeordnet. Die Bildverabeitungsschaltungen 17, 19 sind bezüglich ihres Taktes sowie zur Gewährleistung einheitlicher Zeitinformationen zu steuern, was durch eine zentrale Steuereinheit 20 erfolgen kann. Die erste analoge Bildverarbeitungsschaltung 17 verarbeitet bildweise jedes von dem Fokalebenen-Sensor 15 empfangene Bild, um eine Dynamikkompression und eine lokale Kontrast-Adaption zu bewerkstelligen. Bei der zweiten analogen Bildverarbeitungsschaltung 19 erfolgt für jedes von der ersten Bildverarbeitungsschaltung 17 bearbeitete Bild eine Kantenextraktion sowie eine Objektextraktion. Die Bildverarbeitungsschaltungen 17 sind nach einem Verfahren nach dem Stand der Technik gebildet.

Die jeweils als Zwischenergebnis erhaltenen Eigenschaften jedes aufgenommenen Bildes werden anhand der schematischen Bilddarstellungen 21, 22, 23 beschrieben. Dabei ist das vom Fokalebenen-Sensor 15 erstellte Bild ein Bild mit vielen Graustufen und möglicherweise undeutlichen Konturlinien. Typischerweise hat jede Kamera 31, 32, 33 des optischen Systems 11 ein lichtempfindliches Element mit z. B. 512 × 512 Bild- oder Pixel-Punkten, die ein Raster von Helligkeitsinformationen liefern. Diese werden mit einem Takt von vorzugsweise bis zu 25 Hertz ausgelesen und an die erste analoge Bildverarbeitungsschaltung 17 geleitet. Dieser verstärkt die Kontraste zwischen den Bildpunkten, was schematisch mit dem Bild 22 gezeigt ist. Das Bild 22 wird wiederum in der zweiten Bildverarbeitungsschaltung 19 der Kantenextraktion unterzogen, indem benachbarte Gruppen von Bildpunkten verglichen werden, um Linien zu isolieren, entlang denen sich die Helligkeit ändert. Diese Funktion ermöglicht es, eine beliebige Zahl von Objekten aus dem Hintergrund zu isolieren, die als zusammenhängende Gruppen von Bildpunkten mit geringer Helligkeit im Sensor erscheinen (Objektextraktion). Anstelle einer ersten und einer zweiten Bildverarbeitungsschaltung 17, 19 kann auch nur eine solche vorgesehen sein, die beide Schritte kombiniert oder gleichwertig ersetzt.

In einem weiteren Schritt, der in einer eigenen Rechnereinheit oder in der Steuereinheit 20 abläuft, werden mehrere von der zweiten Bildverarbeitungsschaltung 19 empfangene Bilder im Zusammenhang weiterverarbeitet. Dabei wird zunächst durch einfache Schwellwertbildung die Ausdehnung und der Schwerpunkt der Intensitätsverteilung der Bildpunkte bei einer Gruppe von zeitlich nach bekannten Zeitabständen aufeinanderfolgenden Bildern 23 sowie der Sichtlinienwinkel des Schwerpunkts der Helligkeit bei jeder Gruppe von Bildern 23 relativ zum optischen System 11 bestimmt. Durch die periodische Auslesung ist es möglich, den zeitlichen Verlauf des Sichtlinienwinkels und der Ausdehnung jeder Gruppe festzustellen. Dadurch wird aufgrund eines Vergleichs mit zeitlich früheren Bildern eine dreidimensionale Bahn des Schwerpunkts berechnet. Aus dem Wachstum der Ausdehnung wird eine Abschätzung der relativen Annährungsgeschwindigkeit des erfassten Luftfahrzeugs erhalten. Da sich das jeweils messende Luftfahrzeug selbst bewegt, weisen auch stationäre Objekte, wie zum Beispiel Wolken oder Bodenmerkmale, eine Relativbewegung auf, die über eine Vorhersage dieser scheinbaren Bewegung erkannt werden können. Diese Vorhersage wird aufgrund von Informationen gemacht, die die Steuereinheit 20 oder die Rechnereinheit über die Geschwindigkeit und den Kurs des messenden Luftfahrzeugs von seinem Luftdatensystem und seinem Inertialsystem 25 mit einer zugeordneten Auswerteelektronik 27 erhält. Dabei wird die Annahme getroffen, daß alle Objekte, die diese Scheinbewegung aufweisen, sehr weit entfernt sind. Die unterschiedliche Scheinbewegung zwischen Horizontalmerkmalen und anderen Luftfahrzeugen bzw. Vögeln kann zu deren Detektion herangezogen werden.

Mit dem erfindungsgemäßen Verfahren läßt sich nicht die absolute Entfernung messen, sondern ihr relativer Verlauf über der Zeit. Mittels einer Plausibilitätsanalyse ist auch ein oberer und ein unterer Grenzwert der Entfernung abzuschätzen, indem man annimmt, daß andere Objekte einen minimalen und einen maximalen Wert des Durchmessers des von ihnen erzeugten Punktmusters haben. Für eine Kollisionsdetektion ist allerdings der Verlauf des Sichtlinienwinkels die entscheidende Größe. Wenn eine Extrapolation des Verlaufs des Sichtlinienwinkels ergibt, daß die Bahn des Luftfahrzeugs nie die des beobachteten Objekts schneidet, ist eine Messung der Entfernung nicht erforderlich.

Da die absolute Entfernung nicht bekannt ist, ist die Extrapolation aller möglichen Aufenthaltsorte des beobachteten Objekts für verschiedene Zeitpunkte eine Ebene im Raum, die sich durch die Aufnahme einer minimalen und einer maximalen Größe des beobachteten Objekts weiter zu einem Band eingrenzen läßt. Erst wenn der Vektor der Eigenbewegung des Luftfahrzeugs dieses Band schneidet und das beobachtete Objekt auf diesen Punkt hinstrebt, wird eine Kollisionswarnung ausgelöst. Diese wird so lange aufrecht erhalten, bis durch ein Ausweichsmanöver des Luftfahrzeugs dessen Bewegungsvektor das Band der möglichen Aufenthaltsorte des beobachteten Objekts nicht mehr schneidet.

Aus einer sich aus der Gruppe von Bildern ergebenden Bildfolge 30 wird die dreidimensionale Trajektorie oder das Band jedes erfassten Luftfahrzeugs ermittelt, wobei die mittels der Luftdaten- und Inertialsensorik 25 ermittelte dreidimensionale Eigenbewegung mitberücksichtigt werden muß. Daraus ergibt sich dann eine Vorhersage 40 für die Bahn des erkannten Objekts relativ zur Eigenbewegung bzw. die Annäherung des erkannten Objekts an das messende Luftfahrzeug. Aufgrund der Vorhersage 40 ist es nach dem Stand der Technik möglich, eine Warnung und optional ein Ausweichmanöver zu erzeugen, das in Abhängigkeit der Flugsituation und bzw. des Flugzustands des messenden Luftfahrzeugs zum erreichen einer sicheren Flugposition oder eines sicheren Flugzustandes erforderlich ist. Die Warnung und auch das erzeugte Ausweichmanöver kann zur Kontrolle auch an eine Bodenstation übermittelt werden.

Der Ablauf des erfindungsgemäßen Kollisionsvermeidungs-Systems beginnt also mit der optischen Erfassung 61 eines vorbestimmten Sichtbereichs mittels des optischen Systems 11, woraus Bildinformationen 62 mit verhältnismäßig vielen Graustufen (z. B. 256 Graustufen) Bildweise erhalten werden. Typischerweise werden derartige Bilder in einer vorbestimmten konstanten Frequenz, z. B. 25 Bilder pro Sekunde erhalten. Durch die Kontrastanhebung 63 und die Kantenextraktion 64 mittels der ersten Bildverarbeitungschaltung 17 bzw. der zweiten Bildverarbeitungsschaltung 19 wird jedes Bild 21 der Bildinformation 62 in ein Bild 23 mit Kanteninformationen 65 umgeformt. Die Kanteninformationen 65 und scheinbaren Ausdehnungen als Ausgang der Bildverarbeitungschaltungen b3, 64 liefern vor allem die Umrisse und scheinbaren Ausdehnungen aller im Sichtfeld erfassten Objekte. Die Kanteninformation 65 je Bild gelangt zu einem Bilddatenspeicher 67, in dem Bildfolgen 30 verarbeiten werden und der einen Verlauf der Kanteninformation 68 über die Zeit erstellt. In der Steuereinheit 20 oder einer Rechnereinheit wird in beschriebener Weise die Vorhersage 40 der zeitabhängigen (t-Achse) Bahn (s-Achse) bzw. des genannten Bands jedes erkannten Objekts relativ zur Eigenbewegung ermittelt. Auf der Basis der Daten 40 wird in einer Rechnereinheit eine Warnung oder auch ein Ausweichmanöver 50 erzeugt und an die Steuerung 70 des Luftfahrzeugs oder einer Bodenstation gesandt.

In der Fig. 2 ist auch dargestellt, wie in der Steuereinheit 20 die Luftdaten sowie die Inertialdaten zur Ermittlung der Eigenbewegung berücksichtigt werden. Dabei werden die in einem Luftdatensensor 81 und einem Inertialsensor 82 ermittelten Zustandsgrößen für das messende Luftfahrzeug, zum Beispiel statischer Luftdruck, Gesamtdruck, Anstellwinkel, Schiebewinkel, Drehraten in allen drei Raumrichtungen ermittelt und einem Luftdatenrechner 83 zugeführt. Dieser ermittelt die Daten 80 zur Bestimmung der Eigenbewegung, d. h. die Fluggeschwindigkeit, die Flugrichtung und die räumlichen Koordinaten. Der Luftdatenrechner 83 kann auch Bestandteil einer anderen Rechnereinheit, insbesondere der Steuereinheit 20, sein.

Die Steuereinheit 20, oder wenn die dieser zugeordneten Funktionen in einer anderen Rechnereinheit ablaufen, eine weitere Rechnereinheit liefern Daten an eine Steuerelektronik 85 für das optische System 11 sowie die Bildverarbeitungsschaltungen 17, 19. Die Steuerelektronik 85 bewirkt das Takten des optischen Systems 11 sowie der Bildverarbeitungsschaltungen 17,19. Dadurch kann die erfasste Information bildweise aufgebaut werden und jedes Bild mit einer Zeitinformation versehen werden. Auch kann mittels der Steuerelektronik 85 das optische System an die Umgebungsbedingungen angepasst werden, z. B. eine Helligkeitsregelung erzeugen. Diese kann jedoch auch entfallen, wenn der Fokalebenen-Sensor genügend Dynamik aufweist und die Bildverarbeitungschaltungen 17, 19 in entsprechenderweise mit dem Fokalebenen-Sensor 15 integriert sind.

Für den Fall, daß das optische System 11 eine Kameraanordnung ist, ist eine solche in einer bevorzugten Ausführungsform in den Fig. 3 und 4 dargestellt. Diese zeigen 3 Kameras 31, 32, 33, die in der Horizontalebene (XY-Ebene) ein Gesichtsfeld von 3 × 80°, d. h. 240° aufspannen (Fig. 3). In der Vertikalebene (Fig. 4) spannen sich ein Gesichtsfeld jeweils von insgesamt 60° auf, wobei sich dieses vertikale Gesichtsfeld vorzugsweise von +40° in positiver Z-Richtung bis -20° in negativer Z-Richtung erstreckt, wobei die positive Z-Richtung die Hochachse des Luftfahrzeugs darstellt. Es sind jedoch auch andere Kamera-Anordnungen 31, 32, 33 möglich, die sich aus dem Anwendungsfall des jeweiligen Luftfahrzeugs ergeben. Die Zahl der Kameras richtet sich nach dem jeweiligen Anwendungsfall.

Erfindungsgemäß handelt es sich um ein Verfahren und eine Vorrichtung zur Durchführung einer Kollisionsvermeidung mittels eines optischen Systems (11) einem diesem zugeordneten Fokalebenen-Sensor (15), einer ersten (17) und einer zweiten (19) Bildverarbeitungsschaltung und einer Steuereinheit (20), mit der Erfassung eines vorbestimmten Gesichtsfeldes des Luftraums mittels eines optischen Systems (11) und eines Fokalebenen-Sensors (15) und Erstellung von Eingangsbildern (21), der Durchführung einer Kontrastanhebung (63) und einer Kanten- und Objekt-Extraktion (64) an den Eingangsbildern (21) mittels zumindest einer Bildverarbeitungsschaltung (16, 17) und daraufhin Erstellung von Ausgangsbildern (23), dem Zusammenfassen einer Gruppe mehrerer nach bekannten Zeitabständen aufeinanderfolgenden Ausgangsbilder (23) in eine Bildfolge (30) in einem Bilddatenspeicher (67) und Ermittlung des Verlaufs (68) der Kanteninformationen der Bilder über die Zeit, der Ermittlung der Eigenbewegung des messenden Luftfahrzeugs mittels einer Sensorik (81, 82) und Ermittlung einer Vorhersage (40) der dreidimensionalen Bahn der erkannten Objekte im Verhältnis zur Eigenbewegung in einer Steuereinheit (20), der Generierung einer Warnung oder eines Ausweichmanövers (50) und Weiterleitung derselben bzw. desselben an eine Steuerung (70) des Luftfahrzeugs oder eine Bodenstation.

Claims (2)

1. Verfahren zur Durchführung einer Kollisionsvermeidung mittels zumindest eines optischen Systems (11), einem diesem zugeordneten Fokalebenen-Sensor (15), einer ersten (17) und einer zweiten (19) Bildverarbeitungsschaltung und einer Steuereinheit (20), mit den folgenden Schritten:

• - Erfassung eines vorbestimmten Gesichtsfeldes des Luftraums mittels eines optischen Systems (11) und eines Fokalebenen-Sensors (15) und Erstellung von Eingangsbildern (21),
• - Durchführung einer Kontrastanhebung (63) und einer Kanten- und Objekt- Extraktion (64) an den Eingangsbildern (21) mittels zumindest einer Bildverarbeitungsschaltung (16, 17) und daraufhin Erstellung von Ausgangsbildern (23), wobei eine Steuerelektronik (85) Daten an das optische System (11) sowie an die Bildverarbeitungsschaltungen (17, 19) schickt, um das Takten des optischen Systems (11) und der Bildverarbeitungsschaltungen (17, 19) zu bewirken, wodurch die erfasste Information bildweise aufgebaut und jedes Bild mit einer Zeitinformation versehen wird,
• - Zusammenfassen einer Gruppe mehrerer nach bekannten Zeitabständen aufeinanderfolgenden Ausgangsbilder (23) in eine Bildfolge (30) in einem Bilddatenspeicher (67) und Ermittlung des Verlaufs (68) der Kanteninformationen der Bilder über die Zeit,
• - Ermittlung des Verlaufs der Schwerpunkte der detektierten Objekte über der Zeit, Extrapolation des Verlaufs und Vorhersage möglicher Bahnen,
• - Ermittlung der Eigenbewegung des messenden Luftfahrzeugs mittels einer Sensorik (81, 82) und Ermittlung einer Vorhersage (40) der dreidimensionalen Bahn der erkannten Objekte im Verhältnis zur Eigenbewegung in einer Steuereinheit (20),
• - Bestimmung der Existenz eines Schnittpunktes, und bei Bedarf Generierung einer Warnung oder eines Ausweichmanövers (50) und Weiterleitung derselben bzw. desselben an eine Steuerung (70) des Luftfahrzeugs oder eine Bodenstation.

2. Vorrichtung zur Durchführung des Verfahrens nach dem Anspruch 1 mit einem optischen System (11), einen Fokalebenen-Sensor (15), einer Bildverarbeitungsschaltung (16, 17), einem Bilddatenspeicher (67), einer Sensorik (81, 82) und einer Steuerung (70) des Luftfahrzeugs oder einer Bodenstation.