DE69021354T2

DE69021354T2 - System zur Detektion eines Hindernisses.

Info

Publication number: DE69021354T2
Application number: DE69021354T
Authority: DE
Inventors: Bir Bhanu; Barry A Roberts
Original assignee: Honeywell Inc
Current assignee: Honeywell Inc
Priority date: 1990-01-02
Filing date: 1990-12-24
Publication date: 1996-03-28
Anticipated expiration: 2010-12-25
Also published as: EP0436213B1; EP0436213A3; US5128874A; DE69021354D1; EP0436213A2

Description

Gebiet der Erfindung

Die Erfindung bezieht sich auf ein Hindernis-Feststellsystem gemäß dem Gattungsbegriff des Patentanspruches 1. Insbesondere bezieht sich die Erfindung auf passive Hindernis- Feststellsysteme, welche passive Sensoren (TV, FLIR) verwenden und selektiv einen aktiven Sensor (Laser) benutzen. Ein solches System kann der GB-A-2 115 633 entnommen werden. Dieses System bezieht sich auf eine niedrig fliegende Hilfseinrichtung und umfaßt eine passiven FLIR-Sensor, ein inertiales Navigationssystem, weitere Sensoren und eine kartographische Datenbank, die alle an einen Darstellungscomputer angeschlossen sind, welcher Hindernisdaten erzeugt, die auf einer Kathodenstrahlröhre dargestellt werden.

Hintergrund der Erfindung

Die Feststellung und Umgehung von Hindernissen ist sehr wichtig bei der Navigation von Land- und Luftfahrzeugen. Ein System, das eine autonome Hindernis-Feststellung und Umgehung vorgeben kann, wird für solche Fahrzeuge benötigt. Die Entwicklung eines autonomen Systemes kann erzielt werden durch die Verwendung von aktiven Sensoren (Millimeterwellen-Radar (MMW), Laser-Radar), durch passive Sensoren (Fernsehen oder vorwärtsschauende Infrarotsysteme (FLIR)) oder eine Kombination von aktiven und passiven Sensoren.
Ein aktives System (MMW oder Laser) erfordert ein sehr spezialisiertes und teueres Sensorsystem. Das aktive System riskiert die Feststellung durch den Feind beim Einsatz in einer Schlacht. Derartige Systeme maximieren nicht den Nutzen der passiven Sensortechnologie.
Verschiedene aktive Systeme sind höchst vorteilhatt bei bestimmten Einsatzarten. Bei Allwetter-Bedingungen ist MMW-Radar besser geeignet als Laser-Radar. Für die Terrainverfolgung und Umgehung und die Hindernis-Feststellung und Umgehung ist jedoch Laser-Radar bevorzugt, da es weniger empfänglich für die Feststellung durch den Feind ist und die nötige Auflösung aufweist, um Drahte festzustellen (z.B. einen Draht mit 3mm Durchmesser in einer Entfernung von 40 Metern), während ein MMW-Radar, das mit 94 Gigahertz (GHz) betrieben wird, eine Wellenlänge von ungefähr 3mm aufweist und nur bedingt befriedigend ist. Ein Laser-Sensor ist ebenfalls besser als ein MMW-Sensor bei der Feststellung von Objekten, wie z.B. dünnen Drähten unter schiefen Winkeln. Für einen Tag/Nacht-Betrieb und im Hinblick auf den Widerstand gegen Gegenmaßnahmen sind Laser- und MMW-Sensoren gleich gut. Im Hinblick auf die obigen Kompromisse zwischen MMW- und Laser-Radar ist ein Laser-Entfernungsmeßsystem vorzuziehen. Viele Laser- Abtasteinrichtungen sind jedoch nicht geeignet für solche Systeme aufgrund ihrer langsamen Abtastrate und des Fehlens eines großen Gesichtsfeldes (benötigt für die Vorgabe einer ausreichenden Anzahl von unterschiedlichen Fahrtrichtungen für ein Fahrzeug, wenn ein Hindernis festgestellt wird) für eine erfolgreiche Fahrzeugnavigation.
Verglichen mit aktiven Systemen besitzt ein passives System den Nutzen des Schutzes, der Einfachheit, der verminderten Kosten und der einfachen Herstellung. Die Hindernis-Feststellung unter Verwendung passiver Sensoren gestattet die Verwendung von zwei grundsätzlichen Techniken für die Entfernungsmessung - binokulare Stereo-Messung und Bewegungs-Stereo-Messung (optischer Fluß). Mit der binokularen Stereo-Technik ist die Entfernungsmeßleistung eine Funktion der Sensorauflösung und des seitlichen Versatzes zwischen den zwei Sensoren; ein vergrößerter Abstand erhöht die maximale Entfernungsmessung und verbessert die Entfernungsauflösung. Bei Fahrzeugen ist der Sensorabstand durch die Abmessung des Fahrzeuges begrenzt. Die Bewegungs- Stereotechnik verwendet einen Sensor, von dem Bilder in regelmäßigen Zeitintervallen gesammelt werden, während sich der Sensor in Bewegung befindet. Durch Beobachtung des Bewegungsbetrages (auf einer Bildebene), den ein Gegenstandspunkt zwischen Abtastrahmen erfährt und durch Verwendung der Kenntnis über die Sensorbewegung kann die Entfernung zu dem Gegenstandspunkt berechnet werden. Die Auflösung der Bewegungs-Stereotechnik ist nur durch die Auflösung des Sensors begrenzt.
Es ist die Aufgabe der vorliegenden Erfindung, ein verbessertes Hindernis-Feststellsystem mit hoher Leistung vorzugeben.
Diese Aufgabe wird gelöst durch die kennzeichnenden Merkmale des Patentanspruches 1. Vorteilhafte Ausgestaltungen dieses Systems können den abhängigen Ansprüchen entnommen werden.

Zusammenfassung der Erfindung

Die vorliegende Erfindung verwendet einen aktiven Laser zusammen mit passiven Einrichtungen. Die Erfindung ist ein maximal-passives System, genannt ODIN (Obstacle Detection using Inertial Navigation = Hindernis-Feststellung unter Verwendung von Inertialnavigation), zur Hindernis-Feststellung und Umgehung. Sie basiert auf einem inertialen Navigationssensor mit integriertem optischen Fließverfahren und einer selektiven Anwendung von binokularer Stereo- und Laserradar-Entfernungsmessung.
Die Erfindung ist gerichtet auf das Problem der Informationsintegration eines inertialen Navigationssensors (INS) mit optischen Fließmessungen, die über mehrere Bildrahmen erfolgen, um die Entfernung zu Gegenstandspunkten zu berechnen, die innerhalb des Gesichtsfeldes der Sensoren liegen. Eine zugehörige abhängige Szenenanalyse (verwendet, um die Bildbereiche zu charakterisieren) und eine Mehrrahmen-Filterung (verwendet, um Entfernungswerte vorherzusagen und zu glätten) führt zu einer verbesserten Entfernungskarte. Die integrierte INS-Bewegung und die Szenenanalyse führt zu einer robusten passiven Entfernungsmeßtechnik, die für die Hindernis-Feststellung und Umgehung bei der Land- und Luft-Fahrzeugnavigation nützlich ist.
Das Hindernis-Feststellsystem integriert Inertial-Sensorinformation mit optischen Fluß- und Bild-Kennzeichnungskomponenten, um Hindernisse festzustellen und einen sicheren Weg für die Navigation vorzugeben. Das System umfaßt den inertialen Navigationssensor, das optische Fließkomponentensystem, die Sensorreihe bestehend aus passiven und aktiven Sensoren, das von dem Zusammenhang abhängige Bild-Charakterisier-Komponentensystem und ein qualitatives Szenemnodell für die Entfernungsberechnungen und Interpolation.
Die Art der Information des inertialen Navigationssensors, die in dem Hindernis- Feststellsystem verwendet wird, umfaßt die tatsächliche Ausrichtung (Gierwinkel), den Neigungswinkel, den Rollwinkel, die inertiale Vertikalgeschwindigkeit, die Nord-Süd- Geschwindigkeit, und die Ost-West-Geschwindigkeit, welche in dem optischen Fließkomponentensystem und in dem Bildcharakterisier-Komponentensystem verwendet werden. Zusätzlich können die geographische Breite und Länge der Position, die Grundgeschwindigkeit, der tatsächliche Kurswinkel, die Körper-Rollgeschwindigkeit, die Körper-Giergeschwindigkeit, die Körper-Längsbeschleunigung, die Körper- Seitenbeschleunigung, die Körper Normalbeschleunigung, die Kurswinkelgeschwindigkeit und die inertiale Höhe ebenfalls verwendet werden, um unterschiedliche Datengeschwindigkeiten zu synchronisieren und eine erhöhte Genauigkeit zu erzielen.
Die Technik, mit der Daten des inertialen Navigationssensors in dem Hindernis-Feststellsystem verwendet werden, umfaßt die Integration der Daten des inertialen Navigationssensors mit der optischen Fließkomponente des Systems, um die momentane Richtung der Fahrzeugausrichtung (Expansionsfokus) zu erhalten und die Rotation (Rollen, Neigung und Gierung) des laufenden Bildrahmens in bezug auf den vorangegangenen Bildrahmen zu kompensieren. Hierdurch verbleibt nur noch die Translationsbewegung zwischen den Bildrahmen, was zu der Bestimmung der Entfernungswerte führt. Die Technik umfaßt ferner die Integration der Daten des inertialen Navigationssensors, mit dem vom Zusammenhang abhängigen Bildcharakterisier-Komponentensystem, um eine genaue Segmentierung von Bildrahmen zu Bildrahmen zu erzielen durch Kompensation der Rotation (Rollen, Neigung und Gierung) und der Translation zwischen den Bildrahmen.
Das optische Fließkomponentensystem umfaßt eine Interessenpunktextraktion, eine Derotation und eine Anpassung zwischen Bildrahmen, eine Berechnung des Expansionsfokus aus inertialen Navigationsdaten, eine Berechnung von Entfernungswerten zu Objektpunkten basierend auf einem Kameramodell, eine Anpassung von Interessenpunkten unter Verwendung von inertialen Navigationsdaten und Bildcharakteristiken und eine Filterung von Entfernungswerten über mehrere Bildrahmen, um Rauscheffekte zu vermindern und übereinstimmende Entfernungswerte zu erhalten.

Kurze Beschreibung der Zeichnungen

Figur 1 ist ein Blockdiagramm des Hindernis-Feststell- und Umgehungs- Systems.
Figur 2 veranschaulicht die Hauptteile der optischen Fließeinheit mit integriertem Inertialsensor.
Figur 3 zeigt ein dreidimensionales Koordinatensystem im Zusammenhang mit einer zweidimensionalen Bildebene und ihrem eigenen Koordinatensystem.
Figur 4a veranschaulicht überlappende Gesichtsfelder für verschiedene Erfassungsarten.
Figur 4b zeigt die Größe des erfaßten Gesichtsfeldes, welches erforderlich ist, um die Hindernisse in einer vorgegebenen Entfernung zu erfassen.
Figur 4c zeigt das Gesichtsfeld und die Strahlabdeckung eines Laserstrahles in einer vorgegebenen Entfernung auf
Figur 5 zeigt die Sensorgeometrie für zwei perspektivische Ansichten der Szene in zwei Positionen, die durch einen vorgegebenen Abstand getrennt sind.
Figuren 6a und 6b zeigen zwei Arten der Berechnung der Abstände von interessierenden Objektpunkten vom Expansionsfokus auf.
Figur 7 zeigt die Geometrie für die Berechnung der Entfernung von einem interessierenden Objektpunkt auf, wie sie von zwei verschiedenen Bildrahmen betrachtet wird.
Figur 8 zeigt eine alternative Lösung für die Entfernungsberechnung von einem interessierenden Objektpunkt aus zwei Bildrahmen auf.
Figuren 9a, b, c und d zeigen optische Fließergebnisse von synthetischen Daten für die Erfindung.
Figuren 10a, b, c und d zeigen optische Fließergebnisse unter Verwendung von wirklichen Daten für die Erfindung.
Figur 11 zeigt das Hardwaresystem für die Datensammlung für die Erfindung.
Figur 12 zeigt eine Computerverwirklichung der Erfindung.

Kurze Beschreibung der Tabellen

Tabelle 1 gibt die Parameter für die Sensorreihe der Erfindung vor.
Tabelle 2 gibt die Koordinaten der synthetischen Interessenpunkte bzw. Objektpunkte vor, die bei der Anwendung der Erfindung benutzt werden.
Tabelle 3 gibt den Ort, den Roll-, Neigungs- und Gierwinkel der Kamera bzw. des Sensors für zwei synthetische Bildrahmen vor, wie sie bei der Anwendung der Erfindung benutzt werden.
Tabelle 4 gibt den Ort, den Roll-, Neigungs- und Gierwinkel der Kamera bzw. des Sensors für zwei Bildrahinen bei der realen Abbildung in der Erfindung vor.

Beschreibung der bevorzugen Ausführungsbeispiele

Die vorliegende Erfindung, das Hindernisfeststell- und Umgehungssystem 10, ist insofern maximal passiv als es Daten, die von einem inertialen Navigationssensor (INS) 26 erhalten werden, mit optischen Fließberechnungen einer optischen Fließeinheit 18 in Figur 1 kombiniert, in die ein inertialer Sensor integriert ist. Die Verwendung von INS-Daten gestattet eine genaue Berechnung der Entfernung zu jedem Gegenstandspunkt basierend alleine auf der Bewegung (zwischen den Bildrahmen) einer jeden Gegenstandsprojektion auf die Bildebene. Figur 1 veranschaulicht eine optische Fließeinheit 18 mit integriertem Inertialsensor und eine Szenen-Analysiereinheit 20, die eine Einheit 12 für eine vom Zusammenhang abhängige Bildcharakterisierung und die Erkennung ihrer Komponenten enthält, die eine Einheit 14 für die Entfernungshervorsage und Glättung (unter Verwendung von Mehrfachbildrahmen) enthält und eine Einheit 16 für die qualitative Szenenmodell- und Bereichsberechnungen (von Bildpixeln/Symbolen) enthält und die selektiv in der Einheit 24 ein binokulares Stereo 54 (passiv), ein Laserradar 52 (aktiv), ein Bewegungsstereo 56 und variable Gesichtsfelder 57 verwendet. Der Ausgang erfolgt von der Entfernungs-Interpolationseinheit 28, die an die Einheit 16 angeschlossen ist.
Der Einschluß von Inertialdaten von der Einheit 26 in das Bewegungsstereo 56 der Einheit 18 gibt eine robuste Lösung vor. Traditionelle Techniken leiden in großem Umfang an Fehlern in der Abschätzung des Ortes des Expansionsfokus (FOE) und an Fehlern bei der Anpassung zwischen Gegenstandspunkten in den Bildrahmen. Die Inertialdaten ermöglichen der Einheit 18 die exakte Berechnung des Ortes des FOE und sie entfernen den Einfluß, den die Sensorbewegung (d.h. das Rollen, Nicken und Gieren) auf die Abbildung besitzt; somit wird die Bewegung effektiv auf eine reine Translationsbewegung reduziert. Wenn die Bewegung alleine aus einer Translation besteht, wird die Aufgabe der Anpassung der Gegenstandspunkte in großem Umfang vereinfacht. Als Endergebnis ergibt sich, daß mehr Gegenstandspunkten von Bildrahmen zu Bildrahmen Übereinstimmungen zugeordnet werden können und daß die Entfernungsmessungen eine verbesserte Genauigkeit besitzen.
Für ein Paar von Bildrahmen beginnen die Hauptschritte des optischen Fließverfahrens 30, wie es in Figur 2 gezeigt ist, mit Eingangs-Bildrahmen, dem Bildrahmen N-1 und dem Bildrahmen N, welche digitalisierte Videobilder oder FLIR-Bilder sind, die von den passiven Sensoren 22 über die Einheiten 32 und 34 eingelesen werden, in denen Interessenpunkte aus den Eingangsbildrahmen N-1 und N herausgezogen werden. Die herausgezogenen Interessenpunkte werden zu einer Interessenpunkt-Anpaßeinheit 38 und zu einer Interessenpunkte-Rotationseinheit 40 entsprechend gesendet. Der Ort des Expansionsfokus (FOE) (in beiden Bildrahmen N-1 und N) wird in der FOE-Berechnungseinheit 36 berechnet. Der Ausgang der Berechnungseinheit 36 geht zu der Interessenpunkt-Anpaßeinheit 38. Die inertiale Meßeinheit 26 gibt Rotations- Geschwindigkeitsinformation an die Rotationseinheit 40 und Translations- Geschwindigkeitsinformation an die FOE-Berechnungseinheit 36, an die die Entfernung zu interessierenden Punkten messende Einheit 42 und an die die Entfernungsinterpolation über den gesamten Bereich ausführende Einheit 44. Der FOE und die interessierenden Punkte im Bildrahmen N werden auf eine Bildebene projiziert, die parallel zu der Bildebene ist, die der Bildrahmen N-1 einnahm (Drehung des Bildrahmens N). Interessenpunkte im Bildrahmen N werden an jene des Bildrahmens N-1 basierend auf vier Kriterien angepaßt. Die Entfernung wird zu jedem Interessenpunkt im Bildrahmen N berechnet, der eine Übereinstimmung im Bildrahmen N-1 hat. Eine dichte Entfernungskarte wird gebildet unter Verwendung der vom Zusammenhang abhängigen Szenenanalyse und durch Interpolation zwischen den berechneten Entfernungswerten.
Die Abbildung zu dem System 30 ist digitalisiert und enthält Pixel, die durch Zeilen und Spalten mit dem Ursprung des zweidimensionalen Koordinatensystems 48 von Figur 3 adressiert werden, das in der oberen linken Ecke des Bildes angeordnet ist. Die horizontale Achse c verweist nach rechts, und die vertikale Achse r verweist in die Abwärtsrichtung. Diese Bildebene 46 ist senkrecht zu der x-Achse des dreidimensionalen Koordinatensystems 50 und ist in einem Abstand von der Brennweite F vom Ursprung angeordnet, wobei die z-Achse in der Abwärtsrichtung verläuft. Daher können die Pixel in der Bildebene 46 in dem zweidimensionalen Koordinatenrahmen 48 als (c, r) und im dreidimensionalen Koordinatenrahmen 50 durch den Vektor (F, y, z) beschrieben werden. Die zuvor beschriebene Geometrie ist graphisch in Figur 3 veranschaulicht.
Wie in Figur 2 gezeigt, besteht der Dateneingang für das Hindernis-Feststellverfahren 30 aus einer Folge von digitalisierten Video-Bildrahmen oder FLIR-Bildrahmen, die durch Inertialdaten begleitet sind, welche aus Rotations- und Translationsgeschwindigkeiten bestehen. Diese Information, gekoppelt mit dem zeitlichen Abtastintervall zwischen den Bildrahmen, wird verwendet, um den Abstandsvektor zwischen jedem Paar von Bildrahmen und den Roll-, Neigungs- und Gierwinkel (φ,θ,ψ) eines jeden Bildrahmens zu berechnen. Sowohl als auch (φ,θ,ψ) sind wichtig für das Verfahren 30.
Die Bewegung der perspektivischen Projektion (auf die Bildebene 46) der Objektpunkte (d.h. der interessierenden Punkte) ist bei einem Minimum in der Nähe des FOE und infolgedessen besitzt die Entfernung der Objektpunkte, die am nächsten zu FOE liegen, den größten zugeordneten Betrag an Unsicherheit. Die passive Entfernungsmeßtechnik des binokularen Stereos 54 ist am genauesten in der Nähe des Zentrums des Gesichtsfeldes (wo FOE die meiste Zeit angeordnet ist) und ist weniger genau an den Kanten des Gesichtsfeldes. Zusätzlich kann die Lösung mit dem binokularen Stereo 54 sogar noch funktionieren, wenn das Fahrzeug angehalten ist oder schwebt.
Drähte oder andere kleine Hindernisse werden durch den aktiven Sensor 52 und die passiven Techniken 54 und 56 erfaßt aufgrund der größeren Auflösung 57 (Figur 1) und 64 (Figur 4a), die erforderlich ist, um solche Hindernisse in einer Entfernung festzustellen, die ausreichend für die Hindernisumgehung ist. Ein Kompromiß erfolgt zwischen dem Gesichtsfeld und der Auflösung des Sensors. Da das Gesichtsfeld des Systems groß genug sein muß so daß das Fahrzeug genügend (zuvor abgetastete) Richtungen besitzt, in die es steuern kann, wenn Hindernisse festgestellt werden, kann das Gesichtsfeld der passiven Sensoren nicht verringert werden; daher arbeiten der Laser-Entfernungsabtaster 52 und eine passive Sensorfunktion für ein schmales FOV zusammen mit den passiven Sensoren 54 und 56 des Systems 10. Die Verwendung eines einfachen (d.h. kreisförmig abtastenden) Laser- Entfernungssensors 52, dessen Abtastmuster um den FOE zentriert ist, dient dem Zweck der Feststellung von nur kleinen Hindernissen, die innerhalb der Bewegungsrichtung des Fahrzeugs liegen.
Eine Darstellung der überlappenden Gesichtsfelder 58, 60 und 62 entsprechend der drei Arten von Erfassung (optischer Fluß 56, binokulares Stereo 54, und Lasersensor 52) erfolgt in Figur 4a. Eine Kombination dieser Arten von Sensoren führt zu einem robusten Hindernis-Feststell- und Umgehungssystem. Der Lasersensor 52 liefert eine hinreichend hohe Auflösung, die durch die passiven Einrichtungen 54 und 56 nicht vorgegeben wird. Das begrenzte Gesichtsfeld 62 des Laserstrahlsensors 52 beeinträchtigt nur wenig die Abdeckung und die Einfachheit seines Abtastmusters, hält die Erfassungszeit kurz und den Aufwand an Hardware gering. Der kardanisch aufgehängte Laserabtaster 52 kann ebenfalls verwendet werden, um Straßen der sicheren Durchfahrt schnell zu überprüfen, wenn Hindernisse angetroffen werden, die die momentane Wegstrecke des Fahrzeuges blockieren. Der passive Mehrzweck-Sensor FOV 64 umfaßt den Lasersensor 62.
Figur 4b veranschaulicht die Größe des Sensors FOV 66, welcher erforderlich ist, um Hindernisse in einem Bereich von 40 Metern in der Flugstrecke des Drehflüglers 68 festzustellen. In Figur 4c tastet ein Laserstrahl mit einer Breite von 0,5 Milliradiant (mrad) und einem FOV 62 in einem kreisförmigen Muster 70 ab. Die verwendete Schrittgröße S bei der Abtastung beträgt 0,70 mrad (in der Ebene des Abtastkreises 70) und führt zu 8.900 Entfernungsabtastungen in 2p Radiant. In einer Entfernung von 40 Metern besitzt der Laserstrahl einen Durchmesser von 2 cm, was zu einer Überlappung des Strahles zwischen den Abtastungen führt. Diese Überlappung und die geringe Schrittgröße S führen zu der Gewinnung von vier Entfernungsabtastungen bei einem Draht von 3 mm Durchmesser in einer Entfernung von 40 Metern, wenn diese senkrecht zu der Tangente zu dem Abtastkreis 70 liegt. Die Laser-Entfernungsabtastungen führen zu Hindernisfeststellungen. Die Entfernungswerte werden mit einem minimalen akzeptierbaren Entfernungsschwellwert verglichen. Objektpunkte mit einer Entfernung geringer als dieser Schwellwert sind eine Gefahr für das Fahrzeug.
Die Tabelle 1 listet Sensortypen und typische Parameter für FOV, die Feldgröße, den momentanen FOV und die Auflösung auf.
Jeder Sensor und seine Funktion kann unter Betonung der Hindernisfeststellung und Umgehung im Zusammenhang mit der Navigation eines Drehflüglers beschrieben werden. Zunächst sei vermerkt, daß es zwei Arten von Sensorlagerungen gibt, jene mit kardangesteuerter Ausrichtung und jene mit fester Ausrichtung.
Der Bewegungs-Stereosensor 56, der eine feste Ausrichtung aufweist, wird verwendet, um eine spärliche Entfernungskarte von Objekten über das FOV 58 zu erzeugen. Das weite FOV 58 ist für die spärliche Entfernungskarte erforderlich, um geeignete Optionen für das Manöver des Drehflüglers 68 vorzugeben, wenn ein Hindernis angetroffen wird. Der binokulare Stereosensor 54 wird verwendet, um Entfernungsmessungen über ein mittleres FOV 60 vorzugeben, das innerhalb des weiten FOV 58 des Bewegungs-Stereosensors 56 zentriert ist. Der Zweck des binokularen Stereosensors 54 liegt in der Vorgabe von Entfernungsabtastungen innerhalb des Bereiches, wo die Messungen des Bewegungsstereos 56 am anfälligsten für Fehler sind, was um die momentane Richtung der Fahrzeugausrichtung (d.h. Fokuserweiterung) der Fall ist, die hauptsächlich innerhalb des Zentrums von FOV 58 liegt. Zusätzlich können die Messungen des binokularen Stereos 54 erfolgen, wenn ein Fahrzeug stationär ist (z.B. wenn der Drehflügler 68 schwebt oder wenn er sich um seine Vertikalachse ohne Vorwärtsbewegung dreht), wodurch eine Entfernungskarte vorgegeben wird, die verwendet werden kann, um eine Hindernisfeststellung durchzuführen. Sowohl die binokularen als auch die Bewegungs- Stereosensoren 54 und 56 verwenden eine TV- oder FLIR-Abbildung, um diese Messungen bei Tag und bei Nacht durchzuführen.
Zwei Arten von Sensoren sind auf einer Kardanplattform angeordnet - ein passives Sensor (TV oder FLIR) 22 für ein variables FOV und ein Abtastlaser-Entfernungsmesser 52. Die Anordnung der Sensoren auf einer Kardanplattform gestattet eine konstante Fokussierung ihrer FOV's in Bewegungsrichtung des Drehflüglers, was notwendig, da die Sensoren in der Lage sein müssen, große und kleine Hindernisse (wie beispielsweise Drähte) feststellen zu können, die in der unmittelbaren Bewegungsstrecke des Drehflüglers liegen. Der Laser- Entfernungsmesser 52 tastet Aktivhindernisse ab, und die passiven Sensordaten werden benutzt, um Messungen des Bewegungsstereos 56 auszuführen oder um einfach zweidimensionale (2-D)-Merkmale herauszuziehen, die eine hohe Wahrscheinlichkeit besitzen, Hindernisse zu sein (z.B. lineare Merkmale von Polen, Drähten, usw.).
Ein zusätzlicher Nutzen von kardanisch aufgehängten Sensoren liegt darin, daß die FOV's der Sensoren auf einen anderen Flugkorridor gerichtet werden können, wenn Hindernisse in dem laufenden Korridor des Fahrzeuges festgestellt werden. Die Drehung der Sensoren auf den anderen Korridor ist notwendig, um die Eignung des Korridors vor der Ausführung einer Flugstreckenänderung als Teil der Aufgabe der Hindernisvermeidung auszuführen. Der andere Flugkorridor wird festgelegt durch die Entfernungsmessungen, die durch die fest angeordneten Sensoren 56 und 54 mit weitem FOV ausgeführt werden. Zusätzlich können die kardanisch aufgehängten Sensoren auf einen möglichen Landeplatz zum Zwecke der Hindernisfeststellung vor der Landung ausgerichtet werden. Bei dem Szenarium eines Luftfahrzeuges können die kardanisch aufgehängten Sensoren ebenfalls durch an einem Helm angeordnete Sensoren gesteuert werden.
Das weite FOV 58 des Bewegungs-Stereosensors 56 wird gewählt, um einen breiten abgeklärten Bereich vorzugeben, in welchem ein seitliches Manöver ausgeführt werden kann, wenn ein Hindernis festgestellt wird. Das vertikale FOV ist halb so groß wie das horizontale FOV aufgrund des Fluges dicht an der Erde (bei dem Szenarium eines Drehflüglers-Luftfahrzeuges), bei welchem vertikale Manöver nicht erwünscht sind und seitliche Manöver besonders auftreten.
Der binokulare Stereosensor 54 besitzt ein kleineres konventionelleres FOV 60, welches innerhalb des FOV 58 des Bewegungs-Stereosensors zentriert ist, um den Entfernungs-Meßfehler zu kompensieren, der in der Nähe des FOE bei Bewegungs-Stereomessungen auftritt und um Entfernungsmessungen vorzugeben, wenn der Drehflügler keine Vorwärtsbewegung aufweist.
Die kardanisch gelagerten Sensoren sind so aufgebaut, daß sie den FOE der Fahrzeugbewegung verfolgen. Die Nachführung des FOE mit den hoch auflösenden passiven Sensoren und Lasersensoren liefert die genaueste Entfernungsmeßtechnik dort, wo es am meisten benötigt wird. Der FOE ist nicht der einzige Ort, der durch die kardanisch aufgehängten Sensoren erfaßt werden muß. Um eine Hindernisumgehung durchzuführen, d.h. einen neuen Flugkorridor auszuwählen und um einen Landeplatz vor der Landung aufzuklären, müssen die kardanisch augehängten Sensoren automatisch durch Hindernis- Feststellsignale der Einheit 44 von Figur 2 ausgerichtet werden oder manuell durch den Piloten oder Copiloten. Die Feststellung eines Hindernisses durch den Laser 52 kann mit Daten von dem passiven, kardanisch aufgehängten Sensor bestätigt werden, dessen Sichtlinie parallel mit der des Lasersensors verläuft.
Wenn einmal Entfernungsabtastungen von den verschiedenen Sensoren erhalten werden, so beinhaltet der nächste Schritt die Hindernisfeststellung, gefolgt von einer Hindernisumgehung. Dies erfordert, daß die berechnete Entfernungskarte für die Szene hinreichend dicht ist (um die Diskontinuitäten in der Entfernungskarte herauszuziehen; diese Diskontinuitäten entsprechen der Gegenwart von Hindernissen) oder es muß ein Modell für die Szene verfügbar sein. Ein Modell bedeutet eine Segmentierung des erfaßten Bildes, in welchem die verschiedenen Segmente entsprechend ihrer Art des Terrains bezeichnet sind (Himmel, Straße Gras, usw.). Eine vom Zusammenhang abhängige Bildcharakterisierung, die ebenfalls als "Szenenanalyse" bezeichnet wird, wird mit jedem Bildrahmen durchgeführt und führt zu einem Modell der Szene, welches bei der Identifizierung von sicheren Wegstrecken und bei dem Verfahren der Erhöhung der Dichte der Entfernungskarte hilft.
Die Interpolation der Entfernungswerte, die durch die optische Fließmethode des Systems 30 in Figur 2 erhalten werden, wird durch Ergebnisse der Szenenanalyse unterstützt. Information über die Szene gestattet eine intelligente Interpolation zwischen den Entfernungswerten. Wenn beispielsweise Entfernungswerte auf zwei Bäume entfallen, die durch 25 Meter ohne Hindernisse voneinander getrennt sind, so kann das Szenenmodell verwendet werden, um die Entfernungsinterpolation daran zu hindern, die Bäume miteinander zu verbinden und den Raum dazwischen zu blockieren. Das Ergebnis ist eine dichtere und genauere Entfernungskarte, welche nachfolgend für die Hindernisumgehung verwendet werden kann.
Die Merkmale innerhalb der Abbildung (TV oder FLIR), die am bedeutendsten und am unterscheidbarsten sind, markieren die Objektpunkte, zu denen Entfernungsmessungen durchgeführt werden. Diese hervorgehobenen Objektpunkte, die als Interessenpunkte bekannt sind, sind leicht aus der Abbildung herauszuziehen, und sie besitzen die höchste Wahrscheinlichkeit der wiederholten Ausziehung aus mehrfachem Bildrahmen. Die Interessenpunkte innerhalb des Gesichtsfeldes des monokularen Sensors sind von fündamentaler und kritischer Bedeutung für die optischen Fließberechnungen. Die Herausziehung und die nachfolgende Verwendung von Interessenpunkten wird nachstehend beschrieben.
Die Interessenpunkt-Auswahl beinhaltet die Berechnung von unterscheidbaren Punkten, welche verwirklicht wird durch das Anlegen eines Moravecs-Operators über jeden Abbildungsrahmen. Der Operator wird an jedes Bildpixel (innerhalb einer gewünschten Verschiebung von der Bildgrenze) angelegt, welches als ein starkes Kantenpixel durch einen Sobel-Kantenoperator identifiziert wurde. Der interessierende Operator prüft alle Pixel innerhalb eines quadratischen Fensters der Seitenlänge L, das jedes Kantenpixel umgibt und er berechnet die relative Änderung zwischen den Pixelwerten. Da jedes Pixel innerhalb des Fensters geprüft wird, wird das Quadrat der Differenz zwischen seinem Wert und den Werten seiner Nachbarpixel berechnet und aufsummiert. Tatsächlich werden vier verschiedene Summen aufgezeichnet, welche den gleichen vier Nachbarn bezogen auf jedes Pixel innerhalb des Fensters entsprechen; es gibt eine Summe für das Quadrat der Differenz zwischen dem laufenden Pixel und seinem rechten Nachbar und in gleicher Weise für die drei anderen Nachbarn (unten, unten und rechts, unten und links). Nachdem jedes Pixel unterhalb des Fensters zu den vier Summen beigetragen hat, wird die kleinste Summe S ausgewählt und als Pixelwert gespeichert. Ein Pixel wird als Interessenpunkt angenommen, wenn sein zugeordneter Wert von S größer als die entsprechende Summe ist, die an jedem Pixel innerhalb eines quadratischen Fensters mit der Seitenlänge K und zentriert um das in Frage kommende Pixel erzeugt wird. In der folgenden Erläuterung wird ein Pixelwert von S für seine Bedeutung herangezogen.
Die Verwirklichung des Moravecs-Operators reiht die festgestellten Interessenpunkte (Pixel mit einem Wert von S, der ein lokales Maximum bildet) in der Reihenfolge ihrer berechneten Bedeutung auf. Die Auszugsroutine für den Interessenpunkt arbeitet mit dem segmentierten Bild, wie es durch die vom Zusammenhang abhängige Szenenanalyse 12 (Figur 1) erhalten wird. Die Segmentierung teilt das Bild in M-gleichförmige Bereiche. Die Interessenpunkt-Routine führt nur die Punkte N innerhalb jedes Bereiches zurück, die den höchsten Wert von S aufweisen, wobei N und M Eingänge für das Programm sind. Das Ergebnis der Rückführung von nur den besten Interessenpunkten (bezüglich S) in jedem Bereich ist dies, daß die verarbeitete Szene intelligent mit Interessenpunkten abgedeckt wird. Wenn dies nicht der Fall wäre, würde eine kleine Anzahl von zufälligen benachbarten Bereichen den Hauptteil der Interessenpunkte beanspruchen.
Es sei vermerkt, daß nicht alle Bereiche innerhalb einer Szene zuverlässige Interessenpunkte enthalten können (z.B. Wellenerhöhungen auf einer Wasserfläche sind keine guten Interessenpunkte). Wie zuvor erwähnt, wird die Bildcharakterisierung 12 verwendet, um die Güte von Bereichen vor der Interessenpunktauswahl sicherzustellen. Die Interessenpunktauswahl kann weiter verbessert werden durch den Einschluß von Kalman- Filtertechniken, welche Inertial-Sensordaten verwenden, um Interessenpunktmerkmale zu verfolgen und vorherzusagen.
Die Interessenpunktdrehung hilft bei dem Verfahren der Interessenpunktanpassung. Man muß dies so gestalten, daß die Bildebene B parallel zu der Bildebene A zu verlaufen scheint. Wenn dies erfolgt ist, so sind der FOE und die Paare von Interessenpunkten in den Bildrahmen A und B, die einander angepaßt sind, idealerweise kolinear, wenn die Bildebenen überlagert würden (siehe Figur 5). Figur 5 ist eine Darstellung der Sensorgeometrie, die die perspektivischen Ansichten einer Szene an zwei Positionen aufzeichnet, die um einen Abstand Δt = (mit keiner Drehung des Sensors zwischen den Positionen) beabstandet sind. Wenn keine Rotationsveränderung zwischen den Bildrahmen vorhanden ist, gibt es eine spezielle Eigenschaft der perspektivischen Projektion eines Objektpunktes auf die zwei Bildebenen; der FOE und die Projektionen des Objektpunktes sind alle kolinear.
Um die Bildebenen parallel zu machen, wird eine Drehung für jeden Vektor (F, y&sub1;, z&sub1;) ausgeführt, der jedem Interessenpunkt im Bildrahmen B entspricht. Die Gleichung für die Drehtransformation und Projektion (in homogenen Koordinaten) ist folgende:
wobei:
und wobei NED (Nord, Ost, abwärts) der Koordinatenrahmen ist, in dem die inertialen Messungen ausgeführt werden. Die Verwendung des NED-Rahmens setzt voraus, daß die Fahrzeugbewegung "lokal" zu einem Erdflecken ist.
Die Matrix P projiziert einen Objektpunkt auf eine Bildebene und wird verwendet, um den FOE zu berechnen, FOE = P d, wobei d = vvt. Die Matrix CANED wandelt Punkte, die in dem NED-Koordinatenrahmen beschrieben werden, in eine äquivalente Beschreibung innerhalb eines Koordinatenrahmens parallel zu dem A-Koordinatenrahmen um. In gleicher Weise wandelt die matrix CBNED die Beschreibung der Punkte in dem B-Koordinatenrahmen in Beschreibungen in einem Koordinatenrahmen parallel zu NED um.
Die Anpassung der Interessenpunkte wird in zwei Durchläufen ausgeführt. Das Ziel des ersten Durchlaufes liegt in der Identifizierung und Speicherung der drei möglichen höchsten Anpassungen für jeden Interessenpunkt in dem Rahmen B (F, yBj . ZBj).
Der zweite Durchlauf betrachtet Mehrfach-Interessenpunkte, die an einen einzigen Punkt im Rahmen A angepaßt sind. Somit ist das Ergebnis des zweiten Durchlaufes eine 1-zu-1-Anpassung zwischen Interessenpunkten in zwei aufeinanderfolgenden Rahmen. Für das vorliegende Ausführungsbeispiel ist eine 1-zu-1-Anpassung von Interessenpunkten notwendig. Die Projektion auf die Bildebene des Sensors von einem Objekt wächst in der Größe an, wenn sich der Sensor in Richtung auf das Objekt bewegt. Diese Situation kann beinhalten, daß eine 1-zu-1-Anpassung keinen Sinn macht, da ein Pixel in der Größe im Rahmen A zu zwei oder mehr Pixeln in der Größe im Rahmen B werden kann. Es wird davon ausgegangen, daß das Anwachsen von Objekten bezüglich der Pixelgröße bei der passiven Entfernungsmessung im Szenarium der Hindernisfeststellung vernachlaßigbar ist. Alle Objekte werden in bestimmten sicheren Entfernungen für das Fahrzeugmanöver angenommen und ein Pixel (von Interessenpunktqualität) in zwei Rahmen ist alles, was für die Oberfläche eines Objektes erforderlich ist, um die Entfernung zu dem Objekt zu berechnen
Der erste Durchlauf wird nachfolgend beschrieben. Um die möglichen Anpassungen (F, yBj, zBj) zu bestimmen, wird jeder Interessenpunkt im Rahmen A durch die aufeinanderfolgende Verwendung von vier Maßstäben geprüft. Der erste Maßstab stellt sicher, daß mögliche Anpassungen innerhalb eines konusförmigen Bereiches liegen, der durch die Linie unterteilt wird, der den FOE und den Interessenpunkt im Rahmen B verbindet. Dieser Maßstab begrenzt mögliche Anpassungen, so daß sie innerhalb des Konus mit dem Scheitelpunkt in FOE liegen, wie dies in Figur 6(a) gezeigt ist. Wenn ein Interessenpunkt im Rahmen A (F, yA1, zA1) den ersten Maßstab durchlaufen hat, so wird sodann der zweite Maßstab an ihn angelegt. Der zweite Maßstab erfordert, daß die Bedeutung von möglichen Anpassungen nahe an der Bedeutung des Punktes liegt, für den die Anpassung versucht wird. (Figuren 6(a) und 6(b) zeigen Einschränkungen, die verwendet werden, um den Prozeß der Anpassung von Interessenpunkten zwischen Rahmen zu unterstützen).
Der dritte Maßstab beschränkt alle möglichen Anpassungen in dem Rahmen A, so daß sie enger an dem FOE als die Punkte des Rahmens B liegen (wie es physikalische Gesetze für stationäre Objekte vorschreiben). Dieser Maßstab beinhaltet die Berechnung von Abständen der Interessenpunkte von dem FOE, die auf zwei Weisen berechnet werden können. Die erste Weise ist durch die direkte euklidische Entfernung d&sub1; zwischen (F, yAi, zai) und (F) Ybj, Zbj) vorgegeben, und die zweite Weise ist durch den Abstand d&sub2; vorgegeben, der die Projektion von d&sub1; auf die Linie ist, die (F, yBj, zBj) und den FOE verbindet. Die Abstandsmessungen sind graphisch und Figur 6(b) veranschaulicht. Unabhängig von der Art und Weise, wie die Abstandsmessung berechnet wird, kann sie benutzt werden, um die dichtestmöglichen Anpassungen an (F, yBj, zBj) zu identifizieren.
Der vierte Maßstab begrenzt den Abstand zwischen einem Interessenpunkt und seinen möglichen Anpassungen. Für einen Interessenpunkt im Rahmen A, Aj, der eine mögliche Anpassung an den Punkt Bj sein kann, muß dieser in dem schattierten Bereich von Figur 6(a) liegen. Die Tiefe des Bereiches wird durch diesen vierten Maßstab festgelegt, während die Breite des Bereiches durch einen vorangehenden Maßstab festgelegt wird. Durch Beschränkung der Interessenpunkte Aj, auf den schraffierten Bereich wird der berechnete Bereich von sich ergebenden Anpassungen wirksam auf den Bereich zwischen Rmax und Rmin eingeschränkt. Der Grund für diese Beschränkung liegt darin, daß Objekte mit einer Entfernung geringer als Rmin nicht auftreten sollten aufgrund der autonomen bzw. manuellen Navigation des Fahrzeuges, um somit mögliche Kollisionen zu vermeiden. In gleicher Weise sind Objekte mit einer Entfernung größer als Rmax nicht von Bedeutung für das Fahrzeug.
Das Ergebnis des ersten Durchlaufes der Interessenpunktanpassung ist eine Liste für jeden (F, yBj, zBj) von drei oder weniger möglichen Anpassungen, die alle Maßstäbe erfüllen und die kleinsten Abstandsabmessungen von allen möglichen Anpassungen aufweisen.
Das Ziel des zweiten Durchlaufes des Anpaßprozesses liegt darin, die durch den ersten Durchlauf vorgegebenen Anpassungen zu nehmen und eine 1-zu-1-Abbildung zwischen den Interessenpunkten in den Rahmen A und B zu erzeugen. Anfänglich kann angenommen werden, daß die beste Anpassung an (F, YBj, ZBj) die gespeicherte mögliche Anpassung sein wird, die die kleinste Abstandsmessung aufweist. Es können jedoch Mehrfachpunkte (F, yBj, zBj) vorliegen, die an einen Einzelpunkt (F, yAi, zAi) angepaßt sind. Daher wird die aufgezeichnete Liste der besten Anpassungen auf Mehrfachauftritte irgendeines der Interessenpunkte im Rahmen A abgesucht. Wenn Mehrfach-Interessenpunkte im Rahmen B die gleiche beste Anpassung aufweisen, so wird der Punkt B*, der sich im minimalen Abstand von A&sub1; befindet, diese Anpassung beibehalten und wird aus dem Anpaßprozeß entfernt. Die verbleibenden Bj's werden in den Anpaßprozeß für eine weitere Überprüfüng zurückgeführt, nachdem A&sub1; aus der Liste der besten Anpassung entfernt worden ist. Dieser Prozeß setzt sich fort bis alle interessierenden Puntke in dem Rahmen B entweder eine Anpassung aufweisen oder als nicht-anpaßbar aufgrund einer leeren möglichen Anpaßliste festgestellt worden sind. Somit ist das endgültige Ergebnis des Anpaßprozesses eine 1-zu-1-Abbildung zwischen Interessenpunkten in den Rahmen A und B.
Mit dem Ergebnis der Interessenpunkt-Anpassung, welche den optischen Fluß vorgibt, kann zu jeder Anpassung die Entfernung berechnet werden. Unter Vorgabe dieser spärlichen Entfernungsmessungen kann eine Entfernungs- oder Hinderniskarte aufgebaut werden. Die Hinderniskarte kann verschiedene Formen aufweisen, wobei die einfachste aus einer Darstellung der Lage über der Entfernung besteht. Der nächste Schritt ist die Entfernungsberechnung und Interpolation.
Durch Vorgabe von Paaren von Interessenpunkt-Anpassungen zwischen zwei aufeinanderfolgenden Bildrahmen und die Translationsgeschwindigkeit zwischen den Rahmen wird es möglich, die Entfernung zu dem Objekt zu berechnen, auf dem die Interessenpunkte liegen. Eine Lösung für die Berechnung der Entfernung R wird beschrieben durch die Gleichung:
wobei:
xf = Abstand zwischen dem FOE und dem Zentrum der Bildebene,
x = Abstand zwischen dem Pixel im Rahmen A und dem Zentrum der Bildebene,
x' = Abstand zwischen dem Pixel im Rahmen B und dem Zentrum der Bildebene,
ΔZ = Δt cosα = durchquerter Abstand in einer Rahmenzeit, Δt gemessen entlang der Achse der Sichtlinie,
α = Winkel zwischen dem Geschwindigkeitsvektor und der Sichtlinie,
x' - xf = Abstand in der Bildebene zwischen (F, yBj, zBj) und dem FOE, und
x' - x = Abstand in der Bildebene zwischen (F, yBj, zBj) und (F, yAi, zAi).
Diese Variablen sind in Figur 7 veranschaulicht, wobei die bei der ersten Lösung der Entfernungsberechnung beteiligte Geometrie ebenfalls veranschaulicht ist. Figur 7 zeigt den abgebildeten Objektpunkt in Bewegung anstelle des Sensors, wodurch die Geometrie vereinfacht wird.
Eine alternative Lösung beinhaltet die Berechnung der Winkel aa und ab zwischen dem Translations-Geschwindigkeitsvektor und den Vektoren, die das angepaßte Paar von Interessenpunkten in den Rahmen A und B beschreiben:
Wie dies in Figur 8 angezeigt ist, wobei die Entfernungsberechnung die Berechnung von Winkeln zwischen dem linearen Geschwindigkeitsvektor und den Vektoren erfordern, die das angepaßte Paar von Interessenpunkten beschreiben. Beide Entfernungs- Berechnungstechniken berechnen den Abstand eines Objektpunktes relativ zu dem Linsenzentrum des Rahmens A (ähnliche Gleichungen würden den Abstand von dem Linsenzentrum des Rahmens B berechnen). Die Genauigkeit der Entfernungsmessungen, die sich aus jeder Lösung ergeben, ist sehr wichtig für die Genauigkeit des Anpassungsprozesses, ebenso wie die Genauigkeit der Daten der inertialen Meßeinheit (IMU).
Die Aufgabe der Entfernungsinterpolation ist der letzte Verarbeitungsschritt, der in dem passiven Entfernungs-Meßsystem erforderlich ist (ausschließlich irgendeiner Nachverarbeitung der Entfernung, die erforderlich sein kann, bevor die verarbeiteten Daten das automatische Fahrzeug-Steuer- und Darstellungssystem erreichen). Mittels der Entfernungsinterpolation zwischen den spärlichen Entfernungsabtastungen, die aus den optischen Fließmessungen erzeugt werden, wird eine dichte Entfernungskarte gebildet, die die Objekte innerhalb des Gesichtsfeldes repräsentiert. Im wesentlichen besteht diese Aufgabe aus der Oberflächenanpassung an eine spärliche nicht-gleichförmige Gruppe von Datenpunkten. Um eine genaue Oberflächenanpassung zu erzielen, die physikalisch der Szene innerhalb des Gesichtsfeldes entspricht, ist es erforderlich, daß die spärliche Gruppe von Entfernungsabtastungen den Ergebnissen entspricht, die aus der Szenenanalyse erhalten werden. Wie zuvor erwähnt, werden eine Bildsegmentierung, eine vom Zusammenhang abhängige Bildcharakterisierung und Erkennung der Komponenten 12 (Figur 1) verwendet, um Bereiche zu bilden, aus denen eine gewünschte Anzahl von Interessenpunkten herausgezogen werden.
Die Art der verwendeten Oberflächenanpassung ist von Bedeutung, da die sich ergebende Oberfläche (d.h. die Entfernungskarte) durch jede der Entfernungsabtastungen verlaufen muß. Es wäre besonders störend, wenn sich die Oberfläche unter irgendwelchen Entfernungsabtastungen verändern würde. Viele Techniken der Oberflächenanpassung sind bei der vorliegenden Aufgabe anwendbar.
Eine Art der Entfernungsintepolation besteht aus einer Anpassung der Ebenen an die verfügbaren Entfernungsabtastungen. Diese Lösung löst die Aufgabe effizient und ist beim Durchlauf durch jede Entfernungsabtastung erfolgreich. Jede Technik der Entfernungsinterpolation muß eine Interpolation über Diskontinuitäten vermeiden, die zwischen Entfernungsabtastungen auf der betroffenen Oberfläche auftreten können. Mit der Szenenanalyse/Segmentierung wird die Glättung von Diskontinuitäten vermieden, indem nur über glatte Bereiche oder Segmente der Szene interpoliert wird.
Die Entfernungsberechnung (basierend auf zwei Rahmen) wird weiter verbessert durch Abschätzung der Entfernung über mehrfache Rahmen. Das Verfahren zur Vorhersage und Glättung der Entfernung unter Verwendung von mehrfachen Rahmen 14 (Figur 1) besteht darin, daß für alle Interessenpunkte in einem Paar von Bildern, den berechneten Anpaß- Vertrauensbereich, die gemessenen und vorhergesagten Entfernungen ein Vertrauensbereich für die Entfernung und ein Schwellwert für das Ergebnis berechnet werden, um die endgültige Entfernung zu erhalten.
Die Vertrauensanpassung des Punktes i im Rahmen n ist vorgegeben durch:
wobei ω1, ω2 ≥ 0 und ω1 + ω2 = 1. Iix ist die Bedeutung des Punktes i im Rahmen X. di ist die Projektion des Puntkes i (Punkt A in Figur 6b) auf die Linie, die den FOE mit seiner Anpassung (Punkt B in Figur 6b) verbindet. Der Entfernungs-Vertrauensbereich des Punktes im Rahmen n ist durch die folgende Gruppe von Gleichungen vorgegeben.
Das optische Fließverfahren mit integriertem inertialem Navigationssensor ist verwendet worden, um Entfernungsabtastungen sowohl unter Verwendung von synthetischen Daten als auch von wirklichen Daten (Abbildung und INS-Information) zu erzeugen, die von einem sich bewegenden Fahrzeug erhalten werden. Im folgenden werden Ergebnisse veranschaulicht unter Verwendung eines Paares von Rahmen. Synthetische Interessenpunkte wurden aus einer Datei erzeugt, die die dreidimensionalen Koordinaten von 15 Objektpunkten enthält. Die Tabelle 2 zeigt die dreidimensionalen Orte dieser Objektpunkte. In dem gleichen Koordinatensystem, wo die Interessenpunkte angeordnet sind, listet die Tabelle 3 den Ort, den Roll-, Neigungs- und Gierwinkel der Kamera in zwei Zeitpunkten auf, an denen die synthetischen Rahmen A und B erfaßt werden. Die Zeit zwischen der Rahmenerfassung beträgt 0,2 Sekunden. Die Figuren 9a, b, c und d zeigen optische Fließresultate der synthetischen Daten. Figur 9a zeigt die Orte (Kreise) der Projektion der Objekt (oder Interessen-)-Punkte auf den ersten Ort (d.h. das erste Bild) der Bildebene, wo das Gesichtsfeld des synthetischen Kameramodelles 52º x 48,75º bei einer Brennweite von 9mm beträgt. Figur 9b zeigt die Orte (Quadrate) der Projektionen der Objekt (oder Interessen-)-Punkte auf den zweiten Ort (d.h. das zweite Bild) der Bildebene und zeigt die neuen Orte (Rauten) jener Projektionen nach der Drehung. Figur 9c zeigt die Ergebnisse des Anpaßprozesses, in welchem Kreise mit ihren entsprechenden Rauten durch eine gerade Linie verbunden sind und der FOE mit X bezeichnet und markiert ist. Mit anderen Worten resultiert der Anpaßprozeß in Verschiebevektoren zwischen den Kreisen und Rauten. Der endgültige Rahmen in Figur 9d zeigt den berechneten Entfernungswert zu jedem Punkt, der aus jeder der Anpassungen resultiert.
Ein Paar von wirklichen Bildern wurde ausgewählt, um die Fähigkeiten des optischen Fließverfahrens zu testen, das eine reale Abbildung verwendet. Tabelle 4 zeigt den Ort, den Roll-, Neigungs-, und Gierwinkel der Kamera, die jedem Paar von realen Bildrahmen zugeordnet sind, die verwendet werden. Das Gesichtsfeld der Kamera für die realen Bilder beträgt 52,1º x 40,3º und die Brennweite beträgt 9mm. Die zwischen den zwei Rahmen verstrichene Zeit für dieses Experiment betrug 0,2 Sekunden. Die Figuren 10a, b, c und d zeigen optische Fließergebnisse unter Verwendung von realen Daten. Figur 10a zeigt die Orte der herausgezogenen Interessenpunkte, die aus dem ersten Rahmen erhalten werden und als Kreise gezeichnet sind. In gleicher Weise zeigt Figur 10b den Ort der herausgezogenen Interessenpunkte (Quadrate) und die entsprechenden rotierten Interessenpunktorte (Rauten). Da das Fahrzeug nur eine sehr geringe Rotation zwischen den Rahmen ausführt, sind die rotierten Orte nahezu übereinstimmend mit den ursprünglichen Punktorten. Die Ergebnisse (d.h. die Verschiebevektoren zwischen Kreisen und Rauten) des Punkt-Anpassungsprozesses für die reale Abbildung, wobei FOE mit einem X bezeichnet ist, sind in Figur 10c gezeigt. Schließlich ist der berechnete Entfernungswert zu jedem der angepaßten Punkte in Figur 10d dargestellt.
Die Figuren 11 und 12 zeigen das Hardwaresystem, welches für die Datensammlung durch ein Erdfahrzeug verwendet wird und die Verwirklichung des ODIN-Systems. Figur 11 ist ein Diagramm des Hardwaresystems 80 für die Datensammlung bei der Bewegung des Gesichtsfeldes für das Hindernis-Feststellsystem 10 von Figur 1. Das VME-Chassis 82 (VME ist ein internationaler Standardbus) umfaßt die zentrale Verarbeitungseinheit (CPU) 84 (Modell 68020) mit einem seriellen Anschluß 86 und einem an die CPU 84 angeschlossenen Systemtakt 88, eine Ein/Ausgangs-Platine 90, die an den seriellen Anschluß 86 und den Systemtakt 88 der CPU 84 angeschlossen ist, und eine Hardware 92 der Firma DataCube (Boston, MA), die eine Digimax-Platine 94 und eine MaxGraph- Platine 96 umfaßt, die an den Systemtakt 88 angeschlossen sind. Ein Ringlaserkreisel (RLG) des Modells 1050 der Firma Honeywell ist als inertiale Referenzeinheit (IRU) an die E/A-Platine 90 angeschlossen und liefert Inertialdaten mit Zeitmarkierung, welche mit 50Hz gesammelt werden. Der Sensor 100, der eine Panasonic-Fernsehkamera des Modells WV- 1850 ist, besitzt eine Brennweite von 25mm und ein FOV von 20º x 15º und ist an die Platine 96 angeschlossen und liefert Abbildungsdaten. Ein Ausgang des Chassis 82 geht zu dem optischen Panasonic-Diskettenrecorder 102 des Modells TQ-2023F. Der Recorder 102 ist an den seriellen Anschluß 86 und die Platine 96 angeschlossen. Video-Bildrahmen für den Recorder 102 besitzen eine Zeitmarkierung und werden mit 5Hz synchron mit IRU-Daten von der Inertialeinheit 98 aufgezeichnet und zu dem Chassis 82 geliefert. Die Daten in dem Recorder 102 sind für die optische Fließeinheit 18 in Figur 1 vorgesehen.
Figur 12 zeigt eine Hardware-Verwirklichung 110 des Hindernis-Feststellsystems 10 von Figur 1. Der Computer 112 (Modell Sun 3/280) empfängt Fernsehbilddaten und INS-Daten. Die Daten des Recorders 102 in Figur 11 gehen zu der Diskette 114 des Computers 112. Die Daten besitzen die Form von Bildern mit 500 x 480 Pixeln, die mit einer Frequenz von 5Hz abgetastet werden. Die INS-Daten von der Einheit 98 (inertiale Meßeinheit (IMU) des Typs RLG 1050 von Honeywell) werden in Form von geographischer Breite und Länge ausgegeben. Die Parameter sind: = (ax, ay, az)ft/s² (50hz); = (vx, vy vz)ft/S (20Hz); und = (φ,θ,ψ) Grad (20Hz),
wobei φ der Gierwinkel, θ der Neigungswinkel und ψ der Rollwinkel ist.
Der Computer 12 ist an den Computer 116 (Modell Sun 3/60) über eine Ethernet- Verbindung 118 angeschlossen. Der Computer 116 besitzt eine CPU, einen mathematischen Co-Prozessor und zugeordnete Speicher. Er arbeitet in der Sprache C in 4,2 BSD Unix- Software (Release 3.5). Der Computer 116 führt Funktionen des Systems 10 aus und insbesondere Funktionen der Einheiten 18, 20, 24 und 28 in Figur 1.

Claims

1. Hindernis-Detektionssystem aufweisend:

wenigstens einen passiven Sensor (22), eine Inertial-Navigationseinheit (26) und eine Szenen-Analysiereinheit (20), die an die Intertial-Navigationseinheit angeschlossen ist, gekennzeichnet durch eine optische Fließeinheit (18), die an den passiven Sensor (22) angeschlossen ist, um Bildrahmen in regelmäßigen Zeitintervallen zu sammeln während der Sensor in Bewegung ist und die ferner an die Inertial- Navigationseinheit (26) angeschlossen ist, um eine Drehung des laufenden Bildrahmens gegenüber dem vorhergehenden Bildrahmen zu kompensieren und die ferner an die Szenen-Analysiereinheit (20) angeschlossen ist, um Entfernungswerte für Punkte in der Szene aus der Translationsbewegung zwischen den Bildrahmen zu bestimmen.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die optische Fließeinheit (18) umfaßt:

einen ersten Interessenpunkt-Extraktor (32) zum Extrahieren interessierender Punkte aus einem ersten Rahmen der Abbildung;

einen zweiten Interessenpunkt-Extraktor (34) zum Extrahieren interessierender Punkte aus einem zweiten Rahmen der Abbildung;

eine Interessenpunkt-Rotationseinheit (40), die an den zweiten Interessenpunkt- Extraktor (34) und an die Inertial-Navigationseinheit (26) angeschlossen ist;

eine Fokusexpansions-Berechnungseinheit (36), die an die Inertial-Navigationseinheit (26) angeschlossen ist;

eine Interessenpunkt-Anpaßeinheit (38), die an den ersten Interessenpunkt-Extraktor (32), an die Interessenpunkt-Rotationseinheit (40), an die Inertial-Navigationseinheit (26) und an die Fokusexpansions-Berechnungseinheit (36) angeschlossen ist; und

eine die Entfernung zu angepaßten Interessenpunkten messende Meßeinrichtung (42), die an die Interessenpunkt-Anpaßeinheit (38) und an die Inertial-Navigationseinheit (26) angeschlossen ist.

3. System nach Anspruch 2, dadurch gekennzeichnet, daß eine Entfernungs-Interpolationseinheit (28) an die Meßeinheit (42) für die angepaßten Interessenpunkte angeschlossen ist, um Hindernisfeststell- und Vermeidungsinformation in den Entfernungsdaten für die Szene auszugeben.

4. System nach einem der Ansprüche 1 bis 3, gekennzeichnet durch:

eine Auswahleinheit (24), die an die Szenen-Analysiereinheit (20) und die Inertial- Navigationseinheit (26) angeschlossen ist und die Möglichkeit einer aktiven Abtastung (52), einer binokularen Stereoabbildung (54), einer Bewegungs-Stereoabbildung (56) und eines variablen Gesichtsfeldes (57) einer Szene, in der ein Hindernis festgestellt werden kann, besitzt, und wobei eine alternative Wegstrecke zur Vermeidung eines Hindernisses gefunden werden kann mit selektiver Hilfe der aktiven Abtastung (52), der binokularen Stereoabbildung (54), der Bewegungs-Stereoabbildung (56) oder des variablen Gesichtsfeldes (57).

5. System nach Anspruch4, dadurch gekennzeichnet, daß die Szenen- Analysiereinheit umfaßt:

eine vom Zusammenhang abhängige Bild-Charakterisiereinheit (12), die an den passiven Sensor (22), die Inertial-Navigationseinheit (26), die optische Fließeinheit (18) und an die Auswahleinheit (24) angeschlossen ist;

eine Entfernungs-Vorhersage und Glättungseinheit (14), die mehrfache Rahmen verwendet und die an die optische Fließeinheit (18) und an die Inertial- Navigationseinheit (26) angeschlossen ist; und

eine qualitative Szenenmodell- und Entfernungs-Berechnungseinheit (16), die an die optische Fließeinheit (18), an die Entfernungs-Interpolationseinheit (28), an die Entfernungs-Vorhersage- und Glättungseinheit (14) und an die Auswahleinheit (24) angeschlossen ist.