EP2511894B1 - Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug - Google Patents

Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug Download PDF

Info

Publication number
EP2511894B1
EP2511894B1 EP20120002568 EP12002568A EP2511894B1 EP 2511894 B1 EP2511894 B1 EP 2511894B1 EP 20120002568 EP20120002568 EP 20120002568 EP 12002568 A EP12002568 A EP 12002568A EP 2511894 B1 EP2511894 B1 EP 2511894B1
Authority
EP
European Patent Office
Prior art keywords
image
aircraft
modules
flying object
image modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP20120002568
Other languages
English (en)
French (fr)
Other versions
EP2511894A1 (de
Inventor
René Dr. Koch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diehl BGT Defence GmbH and Co KG
Original Assignee
Diehl BGT Defence GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl BGT Defence GmbH and Co KG filed Critical Diehl BGT Defence GmbH and Co KG
Publication of EP2511894A1 publication Critical patent/EP2511894A1/de
Application granted granted Critical
Publication of EP2511894B1 publication Critical patent/EP2511894B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft

Definitions

  • the invention relates to a method for monitoring an airspace around an aircraft, which is equipped with a plurality of image modules each having at least one imaging optics and an image sensor, wherein the image sensors each record a partial image of the environment and an image processing means imaged the environment using the partial images examined other flying objects.
  • each image module comprises its own image processing means, which carries out the flight object recognition on the basis of the partial images recorded by the image module and outputs a recognition result, and the airspace is monitored using the recognition results of the image modules.
  • the invention is based on the consideration that small aircraft are often not equipped with standard airspace monitoring that meets the requirements of an order, for example, if for a particular mission a panoramic view is required or special cameras must be used, a special reconnaissance technique is necessary or similar.
  • the aircraft would have to be equipped or retrofitted with special systems that work together with a central monitoring unit for image processing, flight object recognition and airspace monitoring.
  • the effort of tuning the central monitoring unit with the image modules is high here.
  • a corresponding wiring is expensive, since special and shielded cables are necessary because of the highssenkorauertragsrate, which are not laid by default, especially in a small aircraft.
  • the recognition results of the individual image modules can be forwarded to a central monitoring unit of the aircraft, which carries out the airspace monitoring and, for example, outputs data for carrying out a flight control, for warding off an attack or for warning a pilot, in particular on the ground.
  • the central monitoring unit is expediently prepared to output the corresponding signals, for example for controlling actuators for flight control, defense and / or Warning output.
  • a plurality of units can assume these tasks, wherein these units can also be the image modules themselves, so that together they perform the monitoring of the airspace in the network.
  • an image module can assume a central role, such as a coordination of a data flow, the eventual cases of decisions for flying object recognition or the like.
  • the image modules are advantageously arranged distributed on the aircraft, for example, distributed over the fuselage of the aircraft.
  • at least one image module is aligned to the front and an image module to the rear. In any case, they are spatially separated from each other, so housed in any common housing, apart from a common fuselage.
  • Each image module has its own housing with expediently a fastening means for attachment to or in the aircraft, for example on or in the fuselage.
  • the flight object recognition takes place on the basis of the sub-images recorded by the image module, which are examined for the presence of imaged flying objects.
  • the image processing means will fall back on the partial images recorded by the own image module.
  • Each image module thus advantageously uses only the partial images recorded by its own image sensor.
  • the recognition result can be forwarded directly or indirectly to a central monitoring unit. This can derive consequences for the behavior of the aircraft.
  • the central monitoring unit may be a computer present in the aircraft by default, for example a control computer for controlling flight operations. It is also possible for the central monitoring unit to be a central computer belonging to the system of the several image modules and to be prepared for carrying out monitoring tasks. In any case, he is prepared to communicate with the multiple image modules and receive the recognition results. The recognition results can be obtained from image processing performed by the corresponding image module.
  • a particularly simple and modular airspace surveillance system can be created if the data transmission from the image modules to a central monitoring unit is wireless.
  • the image modules can be freely arranged on or in the aircraft without the need for cabling by the aircraft.
  • the wireless data transmission is also made possible by the fact that the transmission of the recognition results with a relatively low data transmission rate is possible, since not the entire image content must be transmitted to the central monitoring unit.
  • the flying object detection includes detecting a flying object imaged in the partial image and determining its angular coordinates.
  • the flying object is classified as such and can be filled with appropriate data.
  • the angular coordinates may be determined relatively in the field of view of the image module or with respect to a direction of the aircraft.
  • the forwarded recognition result may include the detected flying object or acquisition data for the flying object, in particular its angular coordinates.
  • the line of sight rotation rate is at rest from one aircraft to another.
  • the approaching flying object thus remains essentially stationary with respect to the direction of flight of the aircraft.
  • the flight object recognition expediently takes place from a single partial image, so that it is possible to dispense with an aircraft motion analysis, that is to say an analysis of the movement of the visual line rotational rate of the approaching aircraft object. Recognizing a movement from one field to the next is not necessary, but the flying object can be recognized purely from image data of a single field, for example, a lift off against a background.
  • the flight object recognition - or the forwarded recognition result - includes an assessment of a flying object depicted in the sub-picture to a hazard potential. This can be done from the shape and / or size of the flying object, from detecting its flight track, in particular against an image background, from recognizing a Greater or Lesser being in the image or the like.
  • a further embodiment of the invention proposes that the image modules are arranged in different positions on the aircraft and that a sensor control of the individual image modules takes place depending on their position and thus different.
  • the sensor control is expediently carried out by the image modules themselves. It may include exposure control, lens adjustment, and the like.
  • the sensor control can be adapted to a position-dependent image processing or flight object recognition.
  • a further advantageous embodiment provides that the image modules are arranged in different positions on the aircraft and the flight object recognition of the individual image modules in dependence on their position and thus takes place differently. For example, flying objects are slower from the back than from the front and from the side with a faster track to a background than from the front or the back.
  • the flight object recognition can be set accordingly, so that the position of the image module on the aircraft is taken into account when performing the flight object recognition.
  • the setting of the flight object recognition is expediently carried out directly on the image module, so that the image module is preset to its position and mounted accordingly.
  • a pre-setting is also possible after mounting the image module in the aircraft.
  • the invention is directed to a system for monitoring a system around an aircraft having a plurality of image modules each including an imaging optics and an image sensor in a housing.
  • a simple modular integration in the aircraft can be achieved if in the housing of the image module, an image processing means is arranged, which is prepared to perform a Flugobjereskennung based on captured by the image sensor sub-images of the environment.
  • the image module is prepared to forward a recognition result to a central monitoring unit of the aircraft.
  • the invention is directed to an aircraft having a plurality of image modules as described above and a central monitoring unit prepared to output flight control signals using recognition results of the image modules.
  • the flight control can be a control of a Flight course, the control of defensive measures to defend the flying object, the control of audible warnings and the like.
  • the central monitoring unit comprises an image module detection means, which is prepared for cooperation with a different number of image modules and to detect the number of image modules currently used for airspace monitoring and work together with them.
  • the image modules can independently report to the central monitoring unit, so that it sets up a communication with the image modules corresponding to the number of registered image modules.
  • a simple modular design with the desired number of image modules can be performed.
  • the aircraft is advantageously prepared with a plurality of prepared recordings for receiving and operating one image module at a time.
  • the aircraft can be equipped with image modules depending on use, without having to make extensive installations for this purpose.
  • Such a receptacle can be a slot for inserting an image module.
  • FIG. 1 shows an unmanned aerial vehicle 2 with a length of about eight meters.
  • the aircraft 2 is equipped with a central control means 4 in the form of an electronic data processing system which is in communication with a ground station via a transmitter and receiver (not shown). Through this data exchange, the aircraft 2 is controlled by a pilot from the ground station, so that the aircraft 2 remotely flies its mission. A control room for a flying pilot is not present in aircraft 2.
  • the aircraft 2 is equipped with eight image modules 6a-6h.
  • the two control modules 6a and 6b are directed to the front left and front right and cover a solid angle range of 220 ° in the horizontal and 60 ° in the vertical.
  • Oriented upward are the two image modules 6c and 6d, wherein the image module 6c is oriented more towards the front and the image module 6d more toward the rear.
  • the image modules 6g, 6h wherein the image module 6h to the rear left and the image module 6g aligned to the rear right in analogy and mirrored to the image modules 6a, 6b.
  • the image modules 6b, 6g are in the view FIG. 1 behind the aircraft 2 and thus not visible and thus drawn by dashed lines. With the eight image modules 6, the entire air space around the aircraft 2 is imaged without a gap in eight partial images. In place of the eight image modules 6, any other suitable arrangement and number of image modules 6 is conceivable.
  • the eight image modules 6 are in FIG. 2 shown in more detail schematically. They all contain in a housing 8 an imaging optics 10, by means of which the subsection of the surroundings is imaged onto an image sensor 12 and thus results in the sub-image of the surrounding airspace.
  • the image sensor 12 is connected in terms of data technology to an image memory 14 in which the partial images recorded by the image sensor 12 can be stored.
  • an image processing means 16 On the image memory 14, an image processing means 16 has access, which in turn signal technology with a communication unit 18 connected, which leads to a communication with the control means 4.
  • the communication takes place wirelessly via a radio interface 20 of the image modules 6 and a radio interface 22 of the control means 4.
  • the radio interface 22 is prepared to communicate simultaneously with a maximum of 16 image modules 6 wirelessly. Accordingly, it comprises 16 radio channels, of which only eight are used in the embodiment shown in the figures.
  • the control means 4 in turn contains a communication unit 24, which is connected to an image module detection means 26. This automatically recognizes the communicating image modules 6 and establishes the radio channels of the radio interface 22 and the communication method of the communication unit 24.
  • the image module detection means 26 may be separate or part of a central monitoring unit 28 of the control means 4, which is connected to a control unit 30 for controlling the flight of the aircraft 2.
  • the control unit 30 is wired to a number of actuators 32, which are prepared for directional control, speed control and altitude control of the flight of the aircraft 2, to a defense of a classified as dangerous flying object, for issuing warning signals to the ground pilots, etc.
  • the monitoring unit 28 and the control unit 30 may be separate from one another and in particular two independent elements.
  • the aircraft 2 is equipped with receptacles 36, of which the clarity only one shot 36 in FIG. 1 is indicated.
  • this receptacle 36 an image module 6 can be inserted with its housing 8 and locked there.
  • the receptacles 36 hold the image module 6 fastened therein in a predetermined orientation to a longitudinal axis of the aircraft 2, so that the partial image recorded by the image module 6 can be assigned in its direction in space.
  • the receptacle 36 can be equipped with prefabricated, wired signal lines which connect the attached image module 6 to the control means 4 or the central monitoring unit 28 by way of signal.
  • the approaching flying object 34 is detected by the two image modules 6b and 6c. These two image modules 6b, 6c thus send this recognition result to the monitoring unit 28, which can draw further conclusions therefrom, for example a possible threat to the aircraft 2 by the approaching flying object 34 and possible flight modification steps or the like.
  • the image modules or their image processing means 16 are designed to determine a hazard potential by the flying object 34 independently. This determination result can also be transmitted as a recognition result to the central monitoring unit 28.
  • the data sent by the image modules 6 to the monitoring unit 28 are so small in their amount per time that they can be transmitted without problems via the wireless radio communication. A transmission of the partial images or image data of the partial images of the image modules 6 both with each other and to the central monitoring unit 28 is not necessary.
  • the eight image modules 6 are arranged in different positions on the aircraft 2 as in FIG. 1 is indicated.
  • the eight image modules 6 are preset in this case so that their sensor control is different and also the flight object recognition is carried out differently.
  • the image modules 6 are divided into three groups, namely as a first group, the two front image modules 6a, 6b, as a second group, the four middle image modules 6c - 6f and the third group, the two rear image modules 6g, 6h.
  • the front image modules 6a, 6b are aligned in their Kliobjfernkennung on faster flying objects 34
  • the two rear image modules 6g, 6h aligned to slower flying objects 2, so both in their movement relative to the background and in their relative movement to the aircraft 2 in the Usually move slower.
  • the middle image modules 6c-6f are for a particularly fast movement of the line of sight 38 optimized for object 34. Accordingly, the sensor control is advantageously set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug, das mit mehreren Bildmodulen mit jeweils zumindest einer Abbildungsoptik und einem Bildsensor ausgerüstet ist, bei dem die Bildsensoren jeweils ein Teilbild der Umgebung aufnehmen und ein Bildverarbeitungsmittel die Umgebung unter der Verwendung der Teilbilder auf abgebildete andere Flugobjekte untersucht.
  • Zur Steuerung von Luftfahrzeugen, insbesondere unbemannten Luftfahrzeugen, werden Kameras verwendet, mit deren Hilfe der Luftraum um das Luftfahrzeug überwacht wird. Um eine weiträumige Sicht um das Luftfahrzeug zu erreichen, werden Bildmodule mit mehreren nebeneinander angeordneten Bildsensoren verwendet, die in der Regel einen Raumwinkel von 220° x 30° abbilden. Eine solche Luftraumüberwachung ist aus der EP 2 159 779 A1 bekannt.
  • Ist ein weiteres Gesichtsfeld gewünscht, beispielsweise nach oben, unten oder nach hinten hin erweitert, ist in der WO 2008/020889 A2 vorgeschlagen, mehrere Kameras am Rumpf des Luftfahrzeugs zu verteilen. Durch eine zentrale Auswertung der Bilder aller Kameras kann der komplette Luftraum um das Luftfahrzeug überwacht werden.
  • Aus der WO 2007/144 386 A1 ist es bekannt, zur Analyse kinetischer Vorgänge in biologischen Systemen eine Kamera zu verwenden, die eine Bildsequenz zur zellulären Kinetik über eine in der Kamera vorhandene Logikeinheit selbst verarbeitet.
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug anzugeben, das auch bei kleineren Luftfahrzeugen einfach und effizient anwendbar ist.
  • Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei der erfingdungsgemäß jedes Bildmodul ein eigenes Bildverarbeitungsmittel umfasst, das die Flugobjekterkennung anhand der vom Bildmodul aufgenommenen Teilbilder durchführt und ein Erkennungsergebnis ausgibt und der Luftraum unter Verwendung der Erkennungsergebnisse der Bildmodule überwacht wird.
  • Die Erfindung geht hierbei von der Überlegung aus, dass kleine Luftfahrzeuge häufig nicht standardmäßig mit einer Luftraumüberwachung ausgerüstet sind, die den Anforderungen eines Auftrags genügt, beispielsweise wenn für eine bestimmte Mission eine Rundumsicht erforderlich ist oder besondere Kameras verwendet werden müssen, eine besondere Aufklärungstechnik notwendig ist oder dergleichen. Hierzu müsste das Luftfahrzeug jeweils mit speziellen Systemen aus- bzw. nachgerüstet werden, die mit einer zentralen Überwachungseinheit zur Bildverarbeitung, Flugobjekterkennung und Luftraumüberwachung zusammenarbeiten. Der Aufwand der Abstimmung der zentralen Überwachungseinheit mit den Bildmodulen ist hierbei hoch. Außerdem ist eine entsprechende Verkabelung aufwendig, da wegen der hohen Bilddatenübertragsrate besondere und abgeschirmte Kabel notwendig sind, die insbesondere in einem kleinen Luftfahrzeug nicht standardmäßig verlegt sind.
  • Durch die erfindungsgemäße Flugobjekterkennung bereits im Bildmodul, also an Ort und Stelle des den Teilluftraum abbildenden Bildsensors, ist es ausreichend, nur einfache Erkennungsergebnisse weiterzuleiten, beispielsweise an die zentrale Überwachungseinheit. Eine Verkabelung kann einfach gehalten sein, da die Erkennungsergebnisse üblicherweise eine erhebliche geringere Datenrate als die Übertragung von Bilddaten erfordern. Außerdem kann eine spezielle Flugobjekterkennung am Bildmodul selbst durchgeführt werden, sodass die zentrale Überwachungseinheit des Luftfahrzeugs einfacher konzipiert werden kann und somit standardisiert ausgeführt sein kann. Auf eine Bildauswertung in einer zentralen Überwachungseinheit kann somit verzichtet werden. Ein einfaches und kleines Luftfahrzeug kann hierdurch mit geringem Aufwand so ausgerüstet oder nachgerüstet werden, dass eine sehr spezielle Luftraumüberwachung entsprechend den Anforderungen eines aktuellen Einsatzes möglich ist.
  • Die Erkennungsergebnisse der einzelnen Bildmodule können an eine zentrale Überwachungseinheit des Luftfahrzeugs weitergeleitet werden, das die Luftraumüberwachung durchführt und beispielsweise Daten zur Durchführung einer Flugsteuerung, zur Abwehr eines Angriffs oder zur Warnung eines Piloten, insbesondere am Boden, ausgibt. Hierzu ist die zentrale Überwachungseinheit zweckmäßigerweise dazu vorbereitet, die entsprechenden Signale auszugeben, beispielsweise zur Steuerung von Aktuatoren zur Flugsteuerung, Verteidigung und/oder Warnausgabe. Alternativ zu einer einzigen zentralen Überwachungseinheit können mehrere Einheiten diese Aufgaben übernehmen, wobei diese Einheiten auch die Bildmodule selbst sein können, so dass diese im Netzwerk zusammen die Überwachung des Luftraums durchführen. Hierbei kann ein Bildmodul eine zentrale Rolle übernehmen, wie eine Koordination eines Datenflusses, das letztendliche Fällen von Entscheidungen zur Flugobjekterkennung oder dergleichen.
  • Die Bildmodule sind vorteilhafterweise am Luftfahrzeug verteilt angeordnet, beispielsweise über dem Rumpf des Luftfahrzeugs verteilt. Zweckmäßigerweise ist zumindest ein Bildmodul nach vorne und ein Bildmodul nach hinten ausgerichtet. Auf jeden Fall sind sie räumlich voneinander getrennt angeordnet, also in keinem gemeinsamen Gehäuse untergebracht, abgesehen von einem gemeinsamen Flugzeugrumpf. Jedes Bildmodul verfügt über ein eigenes Gehäuse mit zweckmäßigerweise einem Befestigungsmittel zum Befestigen am oder im Luftfahrzeug, beispielsweise am oder im Rumpf.
  • Die Abbildung des Teilluftraums auf den Bildsensor erfolgt über die Abbildungsoptik, beispielsweise ein Objektiv. Vorteilhafterweise erfolgt die Flugobjekterkennung anhand der vom Bildmodul aufgenommenen Teilbilder, die auf das Vorhandensein von abgebildeten Flugobjekten untersucht werden. Hierbei wird das Bildverarbeitungsmittel auf die vom eigenen Bildmodul aufgenommenen Teilbilder zurückgreifen. Jedes Bildmodul verwendet somit vorteilhafterweise nur die vom eigenen Bildsensor aufgenommenen Teilbilder. Das Erkennungsergebnis kann direkt oder indirekt an eine zentrale Überwachungseinheit weitergeleitet werden. Diese kann daraus Konsequenzen für das Verhalten des Luftfahrzeugs ableiten.
  • Die zentrale Überwachungseinheit kann ein standardmäßig im Luftfahrzeug vorhandener Rechner sein, beispielsweise ein Steuerrechner zur Steuerung von Flugvorgängen. Es ist auch möglich, dass die zentrale Überwachungseinheit ein zum System der mehreren Bildmodule zugehöriger zentraler Rechner ist, der zur Bewerkstelligung von Überwachungsaufgaben vorbereitet ist. In jedem Fall ist er dazu vorbereitet, mit den mehreren Bildmodulen zu kommunizieren und die Erkennungsergebnisse in Empfang zu nehmen. Die Erkennungsergebnisse können aus einer Bildverarbeitung gewonnen werden, die von dem entsprechenden Bildmodul durchgeführt wird.
  • Ein besonders einfaches und modular aufbaubares Luftraumüberwachungssystem kann geschaffen werden, wenn die Datenübertragung von den Bildmodulen an eine zentrale Überwachungseinheit drahtlos erfolgt. Die Bildmodule können am oder im Luftfahrzeug sehr frei angeordnet werden, ohne dass eine Verkabelung durch das Luftfahrzeug notwendig ist. Die drahtlose Datenübertragung wird auch dadurch ermöglicht, dass die Übertragung der Erkennungsergebnisse mit einer relativ geringen Datenübertragungsrate möglich ist, da nicht die gesamten Bildinhalte an die zentrale Überwachungseinheit übertragen werden müssen.
  • In einer weiteren vorteilhaften Ausführungsform der Erfindung beinhaltet die Flugobjekterkennung ein Erfassen eines im Teilbild abgebildeten Flugobjekts und ein Ermitteln von dessen Winkelkoordinaten. Das Flugobjekt wird insofern als solches klassifiziert und kann mit entsprechenden Daten belegt werden. Die Winkelkoordinaten können relativ im Gesichtsfeld des Bildmoduls oder mit Bezug auf eine Richtung des Luftfahrzeugs ermittelt werden.
  • Dass weitergeleitete Erkennungsergebnis kann das erfasste Flugobjekt beziehungsweise Erfassungsdaten zum Flugobjekt beinhalten, insbesondere dessen Winkelkoordinaten.
  • Bewegen sich zwei Luftfahrzeuge auf einem Kollisionskurs aufeinander zu, so ist die Sichtliniendrehrate von einem Luftfahrzeug zum anderen ruhend. Das herannahende Flugobjekt verharrt also im Wesentlichen ruhend mit Bezug auf die Flugrichtung des Luftfahrzeugs. Dies berücksichtigend erfolgt die Flugobjekterkennung zweckmäßigerweise aus einem einzigen Teilbild, so dass auf eine Flugbewegungsanalyse, also eine Analyse der Bewegung der Sichtliniendrehrate des herannahenden Flugobjekts verzichtet werden kann. Ein Erkennen einer Bewegung von einem Teilbild zum nächsten ist nicht notwendig, sondern das Flugobjekt kann rein aus Bilddaten eines einzigen Teilbilds erkannt werden, beispielweise aus einem Abheben vor einem Hintergrund.
  • Weiter wird vorgeschlagen, dass die Flugobjekterkennung - bzw. das weitergeleitete Erkennungsergebnis - eine Bewertung eines im Teilbild abgebildeten Flugobjekts auf ein Gefahrenpotential beinhaltet. Dies kann aus der Form und/ oder Größe des Flugobjekts erfolgen, aus einem Erfassen von dessen Flugspur, insbesondere vor einem Bildhintergrund, aus einem Erkennen eines Größer- oder Kleinerwerdens im Bild oder dergleichen.
  • Eine weitere Ausführungsform der Erfindung schlägt vor, dass die Bildmodule in unterschiedlichen Positionen am Luftfahrzeug angeordnet sind und eine Sensorsteuerung der einzelnen Bildmodule in Abhängigkeit von ihrer Position und somit unterschiedlich erfolgt. Die Sensorsteuerung wird hierbei zweckmäßigerweise durch die Bildmodule selbst durchgeführt. Sie kann eine Belichtungssteuerung, eine Objektiveinstellung und dergleichen beinhalten. Die Sensorsteuerung kann hierbei an eine positionsabhängige Bildverarbeitung beziehungsweise Flugobjekterkennung angepasst werden.
  • Eine weitere vorteilhafte Ausführungsvariante sieht vor, dass die Bildmodule in unterschiedlichen Positionen am Luftfahrzeug angeordnet sind und die Flugobjekterkennung der einzelnen Bildmodule in Abhängigkeit von ihrer Position und somit unterschiedlich erfolgt. So kommen beispielsweise Flugobjekte von hinten langsamer als von vorne und von der Seite mit einer schnelleren Spur gegenüber einem Hintergrund als von vorne oder hinten. Entsprechend der Position des Bildmoduls am Luftfahrzeug kann die Flugobjekterkennung entsprechend eingestellt werden, so dass die Position des Bildmoduls am Luftfahrzeug bei der Durchführung der Flugobjekterkennung berücksichtigt wird. Die Einstellung der Flugobjekterkennung wird zweckmäßigerweise am Bildmodul direkt durchgeführt, so dass das Bildmodul auf seine Position voreingestellt und entsprechend montiert wird. Möglich ist eine Voreinstellung selbstverständlich auch nach einer Montage des Bildmoduls im Luftfahrzeug.
  • Außerdem ist die Erfindung gerichtet auf ein System zum Überwachen eines System um ein Luftfahrzeug mit mehreren Bildmodulen, die jeweils in einem Gehäuse eine Abbildungsoptik und einen Bildsensor enthalten. Eine einfache modulare Integration im Luftfahrzeug kann erreicht werden, wenn im Gehäuse des Bildmoduls ein Bildverarbeitungsmittel angeordnet ist, das dazu vorbereitet ist, eine Flugobjekterkennung anhand von vom Bildsensor aufgenommenen Teilbildern der Umgebung durchzuführen. Zweckmäßigerweise ist das Bildmodul dazu vorbereitet, ein Erkennungsergebnis an eine zentrale Überwachungseinheit des Luftfahrzeugs weiterzuleiten.
  • Außerdem ist die Erfindung gerichtet auf ein Luftfahrzeug mit mehreren wie oben beschriebenen Bildmodulen und einer zentralen Überwachungseinheit, die dazu vorbereitet ist, unter Verwendung von Erkennungsergebnissen der Bildmodule Flugsteuersignale auszugeben. Die Flugsteuerung kann eine Steuerung eines Flugkurses, die Steuerung von Abwehrmaßnahmen zur Abwehr des Flugobjekts, die Steuerung von akustischen Warnungen und dergleichen beinhalten.
  • Vorteilhafterweise umfasst die zentrale Überwachungseinheit ein Bildmodulerfassungsmittel, das zur Zusammenarbeit mit unterschiedlich vielen Bildmodulen vorbereitet ist und dazu, die Anzahl der momentan zur Luftraumüberwachung verwendeten Bildmodule zu erfassen und mit diesen zusammenarbeiten. So können sich beispielsweise die Bildmodule selbstständig bei der zentralen Überwachungseinheit melden, so dass diese eine Kommunikation mit den Bildmodulen einrichtet entsprechend der Anzahl der angemeldeten Bildmodule. Es kann ein einfacher modularer Aufbau mit der gewünschten Anzahl von Bildmodulen durchgeführt werden.
  • Ferner ist das Luftfahrzeug vorteilhafterweise mit mehreren vorbereiteten Aufnahmen zur Aufnahme und zum Betreiben von jeweils einem Bildmodul vorbereitet. Auf diese Weise kann das Luftfahrzeug einsatzabhängig mit Bildmodulen ausgerüstet werden, ohne hierfür umfangreiche Installationen vornehmen zu müssen. Eine solche Aufnahme kann ein Steckplatz zum Einstecken eines Bildmoduls sein.
  • Weiter wird vorgeschlagen, dass unterschiedliche Typen von Bildmodulen in geometrisch unterschiedlichen Positionen am Rumpf verteilt sind. Auf diese Weise kann der Luftraum einsatzabhängig optimiert überwacht werden.
  • Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung sind Ausführungsbeispiele der Erfindung dargestellt. Die Erfindung ist nicht auf die in der Zeichnung dargestellten Ausführungsbeispiele beschränkt - auch nicht in Bezug auf funktionale Merkmale. Die bisherige Beschreibung wie auch die nachfolgende Figurenbeschreibung enthalten zahlreiche Merkmale, die in den abhängigen Unteransprüchen teilweise zu mehren zusammengefasst wiedergegeben sind. Diese Merkmale wie auch alle übrigen oben oder in der nachfolgenden Figurenbeschreibung offenbarten Merkmale wird der Fachmann jedoch auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfügen. Insbesondere sind diese Merkmale jeweils einzeln und beliebiger geeigneter Kombination mit dem Verfahren und der Vorrichtung gemäß der unabhängigen Ansprüche kombinierbar.
  • Es zeigen:
    • Fig. 1
    ein unbemanntes Luftfahrzeug mit acht Bildmodulen zur Rundumüberwachung des Luftraums rund um das Luftfahrzeug und
    Fig. 2
    die acht Bildmodule drahtlos verbunden mit einer zentralen Überwachungseinheit.
  • Figur 1 zeigt ein unbemanntes Luftfahrzeug 2 mit einer Länge von etwa acht Metern. Das Luftfahrzeug 2 ist mit einem zentralen Steuermittel 4 in Form einer elektronischen Datenverarbeitungsanlage ausgestattet, die über einen nicht dargestellten Sender und Empfänger mit einer Bodenstation in einem Datenaustausch steht. Über diesen Datenaustausch wird das Luftfahrzeug 2 von einem Piloten von der Bodenstation gesteuert, so dass das Luftfahrzeug 2 ferngesteuert seine Mission fliegt. Ein Steuerraum für einen mitfliegenden Piloten ist in Luftfahrzeug 2 nicht vorhanden.
  • Zur Steuerung des Luftfahrzeugs 2 und zur Überwachung des umgebenden Luftraums ist das Luftfahrzeug 2 mit acht Bildmodulen 6a - 6h ausgestattet. Hierbei sind die beiden Steuermodule 6a und 6b nach vorne links und vorne rechts gerichtet und decken einen Raumwinkelbereich von 220° in der Horizontalen und 60° in der Vertikalen ab. Nach oben ausgerichtet sind die beiden Bildmodule 6c und 6d, wobei das Bildmodul 6c mehr nach vorne und das Bildmodul 6d mehr nach hinten ausgerichtet ist. Dazu spiegelverkehrt nach unten sind die beiden Bildmodule 6e, 6f ausgerichtet. Nach hinten schauen die Bildmodule 6g, 6h, wobei das Bildmodul 6h nach hinten links und das Bildmodul 6g nach hinten rechts ausgerichtet ist in Analogie und spiegelverkehrt zu den Bildmodulen 6a, 6b. Die Bildmodule 6b, 6g sind in der Ansicht aus Figur 1 hinter dem Luftfahrzeug 2 und damit an sich nicht sichtbar und somit gestrichelt gezeichnet. Mit den acht Bildmodulen 6 wird der gesamte Luftraum rund um das Luftfahrzeug 2 ohne eine Lücke in acht Teilbildern abgebildet. An Stelle der acht Bildmodule 6 ist auch jede geeignete andere Anordnung und Anzahl von Bildmodulen 6 denkbar.
  • Die acht Bildmodule 6 sind in Figur 2 detaillierter schematisch dargestellt. Sie alle enthalten in einem Gehäuse 8 eine Abbildungsoptik 10, durch die der Teilausschnitt der Umgebung auf einen Bildsensor 12 abgebildet wird und somit das Teilbild des umgebenden Luftraums ergibt. Der Bildsensor 12 ist datentechnisch mit einem Bildspeicher 14 verbunden, in dem die vom Bildsensor 12 aufgenommenen Teilbilder abgespeichert werden können. Auf den Bildspeicher 14 hat ein Bildverarbeitungsmittel 16 Zugriff, das seinerseits wieder mit einer Kommunikationseinheit 18 signaltechnisch verbunden ist, das eine Kommunikation mit dem Steuermittel 4 führt. Die Kommunikation geschieht drahtlos über eine Funkschnittstelle 20 der Bildmodule 6 und eine Funkschnittstelle 22 des Steuermittels 4. Die Funkschnittstelle 22 ist dazu vorbereitet, mit maximal 16 Bildmodulen 6 gleichzeitig drahtlos kommunizieren zu können. Entsprechend umfasst sie 16 Funkkanäle, von denen bei dem in den Figuren dargestellten Ausführungsbeispiel nur acht genutzt sind.
  • Das Steuermittel 4 enthält wiederum eine Kommunikationseinheit 24, die mit einem Bildmodulerfassungsmittel 26 verbunden ist. Dieses erkennt die kommunizierenden Bildmodule 6 automatisch und richtet die Funkkanäle der Funkschnittstelle 22 und das Kommunikationsverfahren der Kommunikationseinheit 24 ein. Das Bildmodulerfassungsmittel 26 kann separat oder Teil einer zentralen Überwachungseinheit 28 des Steuermittels 4 sein, die mit einer Steuereinheit 30 zum Steuern des Flugs des Luftfahrzeugs 2 verbunden ist. Hierzu ist die Steuereinheit 30 drahtgebunden mit einer Anzahl von Aktuatoren 32 verbunden, die zur Richtungssteuerung, zur Geschwindigkeitssteuerung und Höhensteuerung des Flugs des Luftfahrzeugs 2, zu einer Abwehr eines als gefährlich eingestuften Flugobjekts, zur Ausgabe von Warnsignalen an den Bodenpiloten, usw. vorbereitet sind. Alternativ können die Überwachungseinheit 28 und die Steuereinheit 30 getrennt voneinander und insbesondere zwei unabhängige Elemente sein.
  • Zur einfachen Montage der Bildmodule 6 im Luftfahrzeug 2 ist das Luftfahrzeug 2 mit Aufnahmen 36 ausgestattet, von denen der Übersichtlichkeit nur eine Aufnahme 36 in Figur 1 angedeutet ist. In dieser Aufnahme 36 kann ein Bildmodul 6 mit seinem Gehäuse 8 eingesteckt und dort verriegelt werden. Die Aufnahmen 36 halten das darin befestigte Bildmodul 6 in einer vorbestimmten Ausrichtung zu einer Längsachse des Luftfahrzeugs 2, so dass das vom Bildmodul 6 aufgenommene Teilbild in seiner Richtung im Raum zugeordnet werden kann. In einer anderen Ausführungsvariante kann die Aufnahme 36 mit vorgefertigten drahtgebundenen Signalleitungen ausgestattet sein, die das befestigte Bildmodul 6 signaltechnisch mit dem Steuermittel 4 beziehungsweise der zentralen Überwachungseinheit 28 verbinden.
  • Während des Flugs des Luftfahrzeugs 2 werden von den acht Bildmodulen 6 Teilbilder des umgebenden Luftraums aufgenommen und auf das Vorhandensein eines Flugobjekts 34 durch jeweils die Bildverarbeitungsmittel 16 untersucht. Bei dieser Flugobjekterkennung wird das eventuell im Teilbild aufgenommene Flugobjekt 34 zunächst als solches vom Bildverarbeitungsmittel 16 erfasst. Außerdem wird die Winkellage der Sichtlinie 38 vom entsprechenden Bildmodul 6 zum Flugobjekt 34 vom Bildverarbeitungsmittel 16 festgestellt. Dieses Erfassen und die Winkellagenerkennung kann aus einem einzigen Teilbild erfolgen, da eine Bewegungserfassung des Flugobjekts 34 beziehungsweise dessen Sichtlinie 38 nicht erforderlich ist. Sowohl die Flugobjekterfassung als auch die Winkellagenerkennung werden als zwei getrennte Erkennungsergebnisse an die zentrale Überwachungseinheit 28 gegeben.
  • Bei dem in Figur 1 dargestellten Ausführungsbeispiel wird das herannahende Flugobjekt 34 von den beiden Bildmodulen 6b und 6c erfasst. Diese beiden Bildmodule 6b, 6c senden also dieses Erkennungsergebnis an die Überwachungseinheit 28, die daraus weitere Schlussfolgerungen ziehen kann, beispielsweise eine mögliche Gefährdung des Luftfahrzeugs 2 durch das herannahende Flugobjekt 34 und mögliche Flugänderungsschritte oder dergleichen. Alternativ sind die Bildmodule beziehungsweise deren Bildverarbeitungsmittel 16 dazu ausgeführt, auch ein Gefahrenpotential durch das Flugobjekt 34 selbstständig festzustellen. Auch dieses Feststellungsergebnis kann als Erkennungsergebnis an die zentrale Überwachungseinheit 28 übermittelt werden.
  • Auch bei dieser umfangreicheren Flugobjekterkennung sind die von den Bildmodulen 6 an die Überwachungseinheit 28 gesendeten Daten von ihrem Umfang pro Zeit so gering, dass sie problemlos über die drahtlose Funkkommunikation übermittelt werden können. Eine Übermittlung der Teilbilder beziehungsweise von Bilddaten der Teilbilder von den Bildmodulen 6 sowohl untereinander als auch zur zentralen Überwachungseinheit 28 ist nicht notwendig.
  • Die acht Bildmodule 6 sind in unterschiedlichen Positionen am Luftfahrzeug 2 angeordnet wie in Figur 1 angedeutet ist. Die acht Bildmodule 6 sind hierbei so voreingestellt, dass ihre Sensorsteuerung unterschiedlich ist und auch die Flugobjekterkennung unterschiedlich durchgeführt wird. Hierbei sind die Bildmodule 6 in drei Gruppen unterteilt, nämlich als erste Gruppe die beiden vorderen Bildmodule 6a, 6b, als zweite Gruppe die vier mittleren Bildmodule 6c - 6f und als dritte Gruppe die beiden hinteren Bildmodule 6g, 6h. Während die vorderen Bildmodule 6a, 6b in ihrer Flugobjekterkennung auf schnellere Flugobjekte 34 ausgerichtet sind, sind die beiden hinteren Bildmodule 6g, 6h auf langsamere Flugobjekte 2 ausgerichtet, die also sowohl in ihrer Bewegung gegenüber dem Hintergrund als auch in ihrer Relativbewegung zum Luftfahrzeug 2 in der Regel sich langsamer bewegen. Die mittleren Bildmodule 6c - 6f sind auf eine besonders schnelle Bewegung der Sichtlinie 38 zum Objekt 34 optimiert. Entsprechend ist die Sensorsteuerung vorteilhaft eingestellt.
    • Bezugszeichenliste
    • 2
    Luftfahrzeug
    4
    Steuermittel
    6a
    Bildmodul
    6b
    Bildmodul
    6c
    Bildmodul
    6d
    Bildmodul
    6e
    Bildmodul
    6f
    Bildmodul
    6g
    Bildmodul
    6h
    Bildmodul
    8
    Gehäuse
    10
    Abbildungsoptik
    12
    Bildsensor
    14
    Bildspeicher
    16
    Bildverarbeitungsmittel
    18
    Kommunikationseinheit
    20
    Funkschnittstelle
    22
    Funkschnittstelle
    24
    Kommunikationseinheit
    26
    Bildmodulerfassungsmittel
    28
    Überwachungseinheit
    30
    Steuereinheit
    32
    Aktuator
    34
    Flugobjekt
    36
    Aufnahme
    38
    Sichtlinie

Claims (12)

  1. Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug (2), das mit mehreren Bildmodulen (6a-6h) mit jeweils zumindest einer Abbildungsoptik (10) und einem Bildsensor (12) ausgerüstet ist, bei dem die Bildsensoren (12) jeweils ein Teilbild der Umgebung aufnehmen und ein Bildverarbeitungsmittel (16) die Umgebung unter Verwendung der Teilbilder auf abgebildete andere Flugobjekte (34) untersucht,
    dadurch gekennzeichnet,
    dass jedes Bildmodul (6a-6h) ein eigenes Bildverarbeitungsmittel umfasst, das die Flugobjekterkennung anhand der vom Bildmodul (6a-6h) aufgenommenen Teilbilder durchführt und ein Erkennungsergebnis ausgibt, und der Luftraum unter Verwendung der Erkennungsergebnisse der Bildmodule (6a-6h) überwacht wird.
  2. Verfahren nach Anspruch 1,
    dadurch gekennzeichnet,
    dass die Datenübertragung von den Bildmodulen (6a-6h) an eine zentrale Überwachungseinheit (28) drahtlos erfolgt.
  3. Verfahren nach Anspruch 1 oder 2,
    dadurch gekennzeichnet,
    dass die Flugobjekterkennung ein Erfassen eines im Teilbild abgebildeten Flugobjekts (34) und ein Ermitteln von dessen Winkelkoordinaten beinhaltet.
  4. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Flugobjekterkennung ein Erfassen des Flugobjekts (34) aus einem einzigen Teilbild beinhaltet.
  5. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Flugobjekterkennung eine Bewertung eines im Teilbild abgebildeten Flugobjekts (34) auf ein Gefahrenpotential beinhaltet.
  6. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Bildmodule (6a-6h) in unterschiedlichen Positionen am Luftfahrzeug (2) angeordnet sind und eine Sensorsteuerung der einzelnen Bildmodule (6a-6h) in Abhängigkeit von ihrer Position und somit unterschiedlich erfolgt.
  7. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Bildmodule (6a-6h) in unterschiedlichen Positionen am Luftfahrzeug (2) angeordnet sind und die Flugobjekterkennung der einzelnen Bildmodule (6a-6h) in Abhängigkeit von ihrer Position und somit unterschiedlich erfolgt.
  8. System zum Überwachen eines Luftraums um ein Luftfahrzeug (2) mit mehreren Bildmodulen (6a-6h), die jeweils in einem Gehäuse (8) eine Abbildungsoptik (10) und einen Bildsensor (12) enthalten,
    dadurch gekennzeichnet,
    dass im Gehäuse (8) jeweils ein Bildverarbeitungsmittel (16) angeordnet ist, das dazu vorbereitet ist, eine Flugobjekterkennung anhand von vom Bildsensor (12) aufgenommenen Teilbildern der Umgebung durchzuführen.
  9. Luftfahrzeug (2) mit einem System nach Anspruch 8 und einer zentralen Überwachungseinheit (28), die dazu vorbereitet ist, unter Verwendung von Erkennungsergebnissen der Bildmodule (6a-6h) Flugsteuersignale auszugeben.
  10. Luftfahrzeug nach Anspruch 9,
    dadurch gekennzeichnet,
    dass die zentrale Überwachungseinheit (28) ein Bildmodulerfassungsmittel (24) umfasst, das zur Zusammenarbeit mit verschieden vielen Bildmodulen (6a-6h) vorbereitet ist und dazu, die Anzahl der momentan zur Luftraumüberwachung verwendeten Bildmodule (6a-6h) zu erfassen und mit diesen zusammenzuarbeiten.
  11. Luftfahrzeug nach Anspruch 9 oder 10,
    gekennzeichnet
    durch mehrere vorbereitete Aufnahmen (36) zum Aufnehmen und Betreiben von jeweils einem Bildmodul (6a-6h).
  12. Luftfahrzeug nach einem der Ansprüche 9 bis 11,
    dadurch gekennzeichnet,
    dass unterschiedliche Typen von Bildmodulen (6a-6h) in geometrisch unterschiedlichen Positionen am Rumpf des Luftfahrzeugs (2) verteilt sind.
EP20120002568 2011-04-13 2012-04-11 Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug Active EP2511894B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011016964A DE102011016964A1 (de) 2011-04-13 2011-04-13 Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug

Publications (2)

Publication Number Publication Date
EP2511894A1 EP2511894A1 (de) 2012-10-17
EP2511894B1 true EP2511894B1 (de) 2014-03-12

Family

ID=45992020

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20120002568 Active EP2511894B1 (de) 2011-04-13 2012-04-11 Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug

Country Status (3)

Country Link
EP (1) EP2511894B1 (de)
DE (1) DE102011016964A1 (de)
ES (1) ES2462980T3 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105206116B (zh) * 2015-10-10 2017-09-22 杨珊珊 无人飞行器飞行区域验证装置及其验证方法
CN105225540A (zh) * 2015-10-21 2016-01-06 杨珊珊 无人飞行器的飞行区域监控装置及其监控方法
CN106647355B (zh) * 2016-11-09 2023-11-07 中国民用航空飞行学院 一种飞行情景环境评价的数据处理方法和***
CN111611897A (zh) * 2020-05-15 2020-09-01 航迅信息技术有限公司 一种基于相机网络的无人机侦测***及方法
CN112414224A (zh) * 2020-12-10 2021-02-26 成都微精控科技有限公司 一种针对特定目标的空域安防方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
US7061401B2 (en) 2003-08-07 2006-06-13 BODENSEEWERK GERäTETECHNIK GMBH Method and apparatus for detecting a flight obstacle
US7876258B2 (en) 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
WO2007144386A1 (de) * 2006-06-14 2007-12-21 Evotec Technologies Gmbh Verfahren zur aufnahme und auswertung von bildsequenzen
EP2159779B1 (de) * 2008-08-27 2013-01-16 Saab Ab Verwendung von Bildsensor und Nachlauffilter für verbleibende Zeit, um Kollisionen in der Luft zu vermeiden

Also Published As

Publication number Publication date
ES2462980T3 (es) 2014-05-27
DE102011016964A1 (de) 2012-10-18
EP2511894A1 (de) 2012-10-17

Similar Documents

Publication Publication Date Title
EP1505556B1 (de) Verfahren und Vorrichtung zur Erkennung eines Flughindernisses
EP2511894B1 (de) Verfahren zum Überwachen eines Luftraums um ein Luftfahrzeug
DE102012101654B3 (de) Militärisches Fahrzeug
DE102007051196B4 (de) Vorrichtung zur Bilddarstellung des Flugzeuginnenraumes
EP2195796B1 (de) Verfahren zur bereitstellung von fahrbetriebsdaten
DE102017201639A1 (de) Vorrichtung zum Untersuchen eines Fahrerassistenzsystems eines Fahrzeugs und Verfahen zum Steuern von diesem
AT16013U1 (de) Unbemanntes Luftfahrzeug mit einer modularen Schwarmsteuereinheit
DE102015122090A1 (de) Fahrzeugfernsteuerung und -Betrieb
DE102008063973A1 (de) Verfahren und ein System zum Überwachen der Temperatur der Oberfläche eines Flugzeugs
DE102020203054B4 (de) Verfahren zur Steuerung einer Formation eines zusammenwirkenden Schwarms von unbemannten mobilen Einheiten
EP1273516A1 (de) Einrichtung zum Erfassen optischer Informationen
DE102018105045A1 (de) Luftlageinformations- und Verkehrsmanagementsystem für unbemannte und bemannte Luftfahrzeuge
AT516789A1 (de) Verfahren zum Fernsteuern eines Fahrzeugs
EP4116790B1 (de) Steuer- und navigationsvorrichtung für ein autonom bewegtes system und autonom bewegtes system
DE102018131104A1 (de) Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, Computerprogrammprodukt, Fernsteuereinrichtung und Fahrerassistenzsystem für ein Kraftfahrzeug
DE102015006233A1 (de) Verfahren zur Bestimmung der Flugbahn einer Fremddrohne
EP3499175A1 (de) Verfahren zum steuern eines drohnenabwehrsystems
EP2485064A1 (de) Lasersysteme und Steuerung eines Lasersystems
DE102019206083A1 (de) Verfahren zur optischen Inspektion, Kamerasystem und Fahrzeug
DE102017214994B4 (de) Fahrzeug mit Unterbodenerfassungssystem
DE102019114354A1 (de) Verfahren und System zur Vermeidung von Kollisionen zwischen Fluggeräten und anderen fliegenden Objekten
DE102021115139B4 (de) Verfahren zum Steuern einer Flugbewegung eines Fluggeräts sowie Fluggerät
DE102019201011A1 (de) Autonomes Transportsystem
DE102021115140B4 (de) Verfahren zum Steuern einer Flugbewegung eines Fluggeräts zum Landen oder zum Abwerfen einer Ladung sowie Fluggerät
DE102020106703B4 (de) Objekterkennungseinheit mit Sensoreingaben in verschiedenen Spektralbereichen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20130315

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20131106

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 656746

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140315

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012000398

Country of ref document: DE

Effective date: 20140424

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2462980

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20140527

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140612

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140612

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140712

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012000398

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140714

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

26N No opposition filed

Effective date: 20141215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140903

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012000398

Country of ref document: DE

Effective date: 20141215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140430

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20120411

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140411

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502012000398

Country of ref document: DE

Owner name: DIEHL DEFENCE GMBH & CO. KG, DE

Free format text: FORMER OWNER: DIEHL BGT DEFENCE GMBH & CO. KG, 88662 UEBERLINGEN, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 656746

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140312

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230419

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230426

Year of fee payment: 12

Ref country code: FR

Payment date: 20230420

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20230412

Year of fee payment: 12

Ref country code: SE

Payment date: 20230420

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240419

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240613

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20240524

Year of fee payment: 13