DE3486295T2

DE3486295T2 - Bildverzerrungskorrektursystem für elektro-optische Bildsensoren.

Info

Publication number: DE3486295T2
Application number: DE3486295T
Authority: DE
Inventors: William Blain; Alexander Mckeand; William Hector Mckendrick
Original assignee: GEC Marconi Avionics Holdings Ltd
Current assignee: Leonardo UK Ltd
Priority date: 1983-11-04
Filing date: 1984-11-02
Publication date: 1994-07-28
Anticipated expiration: 2004-11-03
Also published as: US4630111A; EP0145249A2; EP0145249A3; EP0145249B1; GB2149258A; DE3486295D1; CA1223060A; GB2149258B

Description

Die Erfindung betrifft ein Bildkorrektursystem zur Verwendung mit elektro-optischen Rahmensensoren.
Elektro-optische Rahmensensoren können eine Anzahl von Formen annehmen, wobei die gebräuchlichsten Fernsehkameras und thermische Bildgeber sind. Diese können in einem großen Anwendungsbereich verwendet werden. Eine besondere Anwendung, bei der Probleme auftreten, ist, wenn Bilder von einem großen Bereich erzeugt werden. Es ist möglich, einen Sensor zu verwenden, der ein weites Blickfeld hat, aber dann ist die Auflösung innerhalb des Blickfeldes häufig nicht gut genug für viele Zwecke. Die Alternative dazu ist, einen Sensor mit einem engen Blickfeld und daher größerer Auflösung vorzusehen. Der zu betrachtende Bereich kann dann abgedeckt werden, indem der Sensor bewegt wird, um ein Bild aus einer Anzahl von sich überlappenden Bereichen in Aufeinanderfolge zu erzeugen. Dieser Situation kann beispielsweise genügt werden, wenn der Sensor in einem Flugzeug montiert ist und in einer Richtung senkrecht zu der Flugrichtung bewegt wird. Solche Bereiche, die in einem schrägeren Winkel betrachtet werden, werden gegenüber denjenigen, die weniger schräg betrachtet werden, verzerrt, und es wird nicht möglich sein, die erzeugten Bilder einfach zu kombinieren. Ein gewisses Maß an Bildverzerrungskorrektur wird notwendig sein.
Es ist eine Aufgabe der Erfindung, ein Bildkorrektursystem zur Verwendung mit einem elektro-optischen Sensor anzugeben. Die Erfindung ist in den Ansprüchen 1 und 7 angegeben.
T. R. Berry offenbart in einem Artikel mit dem Titel "Image Generation and Display", Seiten 4-1 bis 4-25 in "Image Processing Techniques", AGARD lecture series no. 119, June 1982, eine Mehrzahl von Typen von Sensorsystemen mit Rahmensensoren und auch Linie-für-Linie- Sensoren. Dort gibt es jedoch keinen Hinweis, daß ein Rahmensensor in der durch die Erfindung vorgeschlagenen Weise verwendet werden könnte. In derselben Veröffentlichung offenbart Klaus A. Ulbricht auf den Seiten 6-1 bis 6-12 in einem Artikel mit dem Titel "DFLR's DIBIAS, Design and Implementation of a Digital Interactive Image Processing System" die mosaikartige Zusammenstellung von digitalen Satellitenbildern, um die Abdeckung eines weiten Bereiches zu erzielen. Aufgrund der Höhe, in der Satelliten arbeiten, besteht keine Notwendigkeit für eine Verzerrungskorrektur, da die erzeugte Ansicht im wesentlichen eine Draufsicht ist. Auf den Seiten 147-156 von AFIPS conference proceedings 1979 national computer conference, New York 4th-7th June 1979 volume 48 ist in einem Artikel mit dem Titel "a generalised zooming technique for pictorial data base system" von S. K. Chang et al die allgemeine Verwendung von Rahmen- und Bildspeichern offenbart, aber nicht in der durch die Erfindung vorgeschlagenen Art.
Die Erfindung wird nun unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen:
Fig. 1 eine schematische Ansicht ist, die eine Anwendung des Systems darstellt;
Fig. 2 die Weise darstellt, in der aufeinanderfolgende Rahmen kombiniert werden können;
Fig. 3 ein schematisches Blockschaltbild einer Ausführungsform der Erfindung ist;
Fig. 4 und 5 das Betriebsprinzip des Bildumformungs- Schaltungsmittels darstellen; und
Fig. 6 ein Flußdiagramm ist, das den Betrieb des Bildumformungs-Schaltungsmittels darstellt.
Bezugnehmend auf Fig. 1 ist dies eine schematische Ansicht einer Anwendung der Erfindung. Diese zeigt ein Flugzeug 10, das entlang eines Flugweges 11 in einer Höhe h oberhalb des Bodens fliegt. Das Flugzeug trägt einen elektro-optischen Sensor, der in der Lage ist, sich in einer Richtung senkrecht zu dem Flugweg 11 zu bewegen, wie durch den Pfeil 12 gezeigt ist. Die Kombination der Vorwärtsbewegung des Flugzeuges mit einer Geschwindigkeit VA und des Seitwärtsabtastens des Sensors in einer Reihe von diskreten Schritten erlaubt es, daß ein Bereich des Bodens 13 durch den Sensor abgetastet wird. Der Sensor wird in eine Anzahl von vorbestimmten Positionen bewegt, die einfacherweise durch den Höhenwinkel α der Mitte des Blickfeldes identifiziert sind. Fig. 2 stellt den Effekt einer solchen Prozedur dar, unter der Annahme, daß der Scanner in der Lage ist, sich in drei Positionen auf jeder Seite der Mittellinie des Flugzeuges zu bewegen, zeigt Fig. 2, wie jeder Bereich, der durch den Sensor gesehen wird, oder "Rahmen" in Abhängigkeit von dem Höhenwinkel von unterschiedlicher Größe ist. Neun aufeinanderfolgende Rahmen sind gezeigt, und die quergestreiften Bereiche in jedem zeigen, wie die Bilder miteinander kombiniert werden sollen, um ein Mosaik zu ergeben, das den gesamten abzutastenden Bereich abdeckt. Klarerweise stellen Rahmen, die unter unterschiedlichen Höhenwinkeln gesehen werden, unterschiedliche Ansichten des abgedeckten Bereichs dar, und dies ist insbesondere bemerkbar, wenn das Flugzeug in niedriger Höhe fliegt. Das Erfordernis besteht darin, eine gleichmäßige Ansicht des Bereiches, häufig eine Draufsicht, zu schaffen, und damit müssen die Informationen, die durch den Sensor gewonnen werden, korrigiert werden.
Fig. 3 ist ein schematisches Blockschaltbild einer Form des Bildkorrektursystems. Der Bildsensor 30 stellt ein analoges Ausgangssignal bereit, das zu einer Konditionier- und Digitalisiereinheit 31 geführt wird. Jeder aufeinanderfolgende Rahmen von digitalisierten Informationen wird in einem separaten einer Anzahl von Rahmenspeicher 32 gespeichert.
Informationen werden aus jedem Rahmenspeicher 32 reihum herausgezogen und zu einer Umformungseinheit 33 Zugeführt, die die geeigneten Korrekturen für die Position eines jeden Informationspixels in dem Speicher durchführt. Die umgeformten Informationen werden zu einem hochauflösenden Bildspeicher 34 geführt, der eine Anzahl von Rahmen hält, um eine vollständige Ansicht herzustellen. Die Inhalte der Bildspeicher 34 werden durch eine D/A-Wandler 35 geführt, um ein Videosignal zur Darstellung oder zu anderen Zwecken bereitzustellen.
Die Umformungseinheit 33 kann einfacherweise ein Mikroprozessor sein, der eine Anzahl von Algorithmen verwendet, um die Pixel-Umformung auszuführen. Die Informationen müssen einer Steuereinheit 36 von Meßwertgebern in der Sensorsteuerung und einer Meßwertgebereinheit 37, die den Höhenwinkel des Sensors anzeigt, und von einer Flugzeugausrüstung 38, die die Höhenlage über dem Meeresspiegel, die Höhe und die Geschwindigkeit des Flugzeugs anzeigt, zugeführt werden. Die Steuereinheit führt die notwendigen Steuersignale der Umformungseinheit 33, der Sensorsteuerung und der Meßwertgebereinheit 37 und anderen Elementen des Systems zu.
Die Bestimmung der Umformungsalgorithmen für einen besonderen Zustandssatz wird nun beschrieben. Es wird angenommen, daß eine Draufsicht eines Bodenbereiches dargestellt werden soll, in welchem Fall Linien von gleicher Länge auf dem Boden in Linien gleicher Länge auf der Anzeige übersetzt werden müssen. Zum Zwecke dieser Erklärung werden eine Anzahl anderer Annahmen getroffen und werden ausgeführt, wenn sie auftreten. Die erste Annahme ist, daß der Sensor ein Blickfeld von 20º in Azimuth und 15º der Höhe hat, wobei der Höhenwinkel des Sensors drei vorbestimmte Werte von 7,5º, 22,5º und 37,5º hat. Somit ist der abgetastete Bereich von einer Linie vertikal unterhalb des Sensors bis zu einem Höhenwinkel von 45º. Wenn der Sensor sich in einer Höhe von 1000 m über dem Boden befindet, dann deckt der Sensor einen Bereich von 1 km Breite ab. Fig. 4 zeigt die drei Rahmen F1, F2 und F3, die in Aufeinanderfolge durch den Sensor gesehen werden, wobei die vorbestimmten Höhenwinkel durch unterbrochene Linien dargestellt sind.
In Fig. 4 sind auch die Positionen von einigen der Abtastlinien gezeigt. Jede wird von der nächsten durch ein Ansteigen des Höhenwinkels Δu getrennt, und damit werden die Bildlinien IL auf dem Boden durch unterschiedliche Abstände getrennt, wie gezeigt ist.
Die Ausgangslinien OL auf der Anzeige müssen jedoch gleich beabstandet sein, weshalb die Linienauswahl nur diejenigen Bildlinien IL auswählt, die mit den Ausgangslinien OL übereinstimmen oder am nächsten zu diesen liegen. Dies kann-beispielsweise erfolgen, indem jeweils gleichzeitig nur eine Position einer jeden Ausgangslinie gleichzeitig bestimmt wird. Dies kann durch die Tiefe des Rahmens multipliziert mit der Ausgangslinienanzahl dividiert durch die Gesamtanzahl der Ausgangslinien in dem Rahmen definiert werden. Die Position jeder Bildlinie wird mit der Stromausgangslinienposition verglichen, und wenn die Position einer Bildlinie die Ausgangslinienposition kreuzt, dann wird jene Bildlinie ausgewählt. Die Ausgangslinienposition wird dann inkrementiert und die Prozedur für jede nachfolgende Ausgangslinie wiederholt.
Wenn der Einfachheit halber auch angenommen wird, daß der Sensor stationär ist, dann wird die Form des erfaßten Bereiches wie in Fig. 5 und nicht wie zuvor unter Bezug auf Fig. 2 beschrieben wurde sein. Die schraffierten Bereiche in Fig. 5 werden diejenigen sein, die bei der Endanzeige verwendet werden. Es wird erkannt werden, daß während die Linie lo, die von dem Rahmen F1 direkt unterhalb des Weges des Sensors dargestellt werden soll, dieselbe Länge hat wie die Breite des darzustellenden Bereiches, an dem anderen Extrem, der Außenkante des Rahmens F3, die darzustellende Linie lo nur ein Teil der Breite lm des abgetasteten Bereichs ist. Die Länge L einer Rahmensensorlinie, die auf den Boden projeziert ist, wird durch
L = 2H secu tan α/2
gegeben, wobei H die Höhe des Sensors oberhalb des Bodens ist, u der Höhenwinkel zu der Mitte des Blickfeldes ist, und α die Winkelbreite des Blickfeldes ist.
Damit gilt für die kürzeste Linie lo
L = 2H sec 0º tan 20º/2
= 0,352 H,
während für die längste Linie lm gilt
L = 2H sec 45º tan 10º
= 0,498 H.
Jede dieser Linien und alle diejenigen dazwischen enthalten dieselbe Anzahl von Pixeln p. In dem Fall der kürzesten Linie werden alle Pixel dargestellt. Bei der längsten Linie lm sind jedoch nur diejenigen Pixel an dem Mittelbereich der Linie der Länge lo erforderlich. Wenn die erforderliche Anzahl von Pixeln in irgendeiner Linie pc ist, dann
pc = p,2H sec 0º tan 10º
2H sec α tan 10º
= p cos α,
und wenn damit beispielsweise α = 37,5º ist, dann ist pc = 0,793 p.
Die Pixelwahl wird daher wie folgt ausgeführt:
Für den Rahmen, der verarbeitet wird, wird der obige Ausdruck verwendet, um die Anzahl von Pixeln in der mittigen Abtastlinie des Rahmens zu bestimmen. Eine Beziehung existiert zwischen der Anzahl von Pixeln in jeder Abtastlinie des Rahmens, und eine Korrektur wird bei jeder Linie ausgeführt, um die Anzahl von Pixeln, die für die Anzeige verwendet werden soll, zu bestimmen. Nicht erforderliche Pixeln werden diejenigen an den Enden der Abtastlinien sein. Diese Prozedur wird für jede ausgewählte Linie aus dem Rahmen wiederholt, wobei die lineare Beziehung für jeden Rahmen unterschiedlich ist.
Die vereinfachende Annahme eines stationären Sensors, die oben getroffen wurde, hält nicht notwendigerweise in der Praxis. Es ist klar, daß bei einem sich über den Boden bewegenden Sensor die Rahmen nicht von der in Fig. 5 gezeigten symmetrischen Form sondern wie in Fig. 2 dargestellt sind. Die Techniken, die verwendet werden, um Abtastlinien und Pixel auszuwählen, gelten noch, obwohl die Geometrie eines solchen Auswahlvorgangs sich ändern kann.
Im Betrieb ist das Abtasten des Sensors und die Verarbeitung der Bilddaten ein kontinuierlicher Vorgang. Der Sensor wird zu den gewünschten Höhenwinkeln durch in Figur 3 nicht gezeigte Steuermittel bewegt. Dies beinhaltet, daß der Sensor schnell zwischen einer Position und der nächsten bewegt wird und die Richtung der Rahmenabtastinformationen zu dem geeigneten Rahmenspeicher gesteuert wird.
Fig. 6 ist ein Flußdiagramm, das die Ereignisabfolge, die bei der Verarbeitung der in jedem Rahmenspeicher 32 gespeicherten Informationen aufeinanderfolgen, darstellt. Nach der Bestimmung, daß Bildinformationen in einem Rahmenspeicher verfügbar sind, wird die Bildaktualisierungsgeschwindigkeit aus Daten einschließlich der Höhe über dem Boden und der Geschwindigkeit des Flugzeugs, das den Sensor trägt, bestimmt. Wenn Informationen verfügbar sind, dann wird der geeignete Rahmenspeicher durch den Prozessor zugänglich gemacht. Nach der Initialisierung der Linien- und Pixelposition wird die nächste erforderliche Abtastlinie wie zuvor erläutert bestimmt. Wenn einmal diese Linie identifiziert ist, wird jedes erforderliche Pixel auf der Linie identifiziert und dem Bildspeicher zugeführt. An dem Ende der Abtastlinie wird die nächste Linie identifiziert und der Pixelauswahlvorgang wiederholt. Dies wiederholt sich, bis alle erforderlichen Bildinformationen von dem Rahmenspeicher verwendet worden sind. Der nächste Rahmenspeicher wird dann identifiziert und der Vorgang wird wiederholt.
Wie schon festgestellt worden ist, können die Informationen in dem Bildspeicher dargestellt oder einem anderen Ort zur Darstellung oder Weiterverarbeitung zugeführt werden. Alternativ kann der Grundsensorausgang beispielweise an eine Bodenstation übertragen werden, wo eine Verarbeitung durchgeführt wird.
Die oben erfolgte Beschreibung hat die Umformung der Bildinformationen von einem schräg-sehenden Sensor in eine Anzeige, die eine Draufsicht des Bereiches, der abgetastet wird, darstellt, betroffen. Klarerweise kann der Bereich aus anderen Winkeln betrachtet werden, was perspektivische Effekte ergibt. Dies kann andere Verarbeitungstechniken oder Modifikationen der zuvor beschriebenen Techniken mit sich bringen.
Es kann möglich sein, den Scanner für andere Zwecke während seines Betriebs zu verwenden, wenn Zeit während des normalen Abtastens zur Verfügung steht. Beispielsweise kann es möglich sein, einen speziellen Bodenbereich in größerem Detail zu studieren, als es während des normalen Betriebs möglich ist.
Die Verfügbarkeit von allen ursprünglichen Bildinformationen in gespeicherter Form erlaubt die Anwendung von einer Anzahl von gut bekannten Bildverarbeitungstechniken. Es können Standardbildverarbeitungstechniken wie Walsh-Hadamard verwendet werden, um den erforderlichen Speicher zu verringern. Da der zuvor beschriebene Grundauswahlprozeß einen beträchtlichen Anteil der zur Verfügung stehenden Informationen ausrangiert, kann eine Gruppendurchschnittsbildung oder Spitzenermittlung als Beispiele der Verbesserung des schließlich anzeigten Bildes verwendet werden.
Andere Modifikationen können an dem System vorgenommen werden, ohne von den wesentlichen Merkmalen der Erfindung abzuweichen.

Claims

1. Ein Bildkorrektursystem zur Schaffung einer Ansicht einer Szene (13), die durch einen elektro-optischen Rahmensensor (30) abgetastet wird, gekennzeichnet durch ein Steuermittel (36), das betätigbar ist, um zu bewirken, daß der Sensor (30) die Szene in einer Anzahl von separaten Rahmen (F1-F9) abtastet, von denen jeder unter einem unterschiedlichen Blickwinkel (α) gegenüber einem Satz von Datumachsen betrachtet wird, ein Meßwertgebermittel (37), das dem Sensor (30) zugeordnet ist, um Signale zu erzeugen, die den Blickwinkel (α) eines jeden Rahmens (F1-F9) darstellen, ein Speichermittel (32), das betätigbar ist, um die Bildinformationen, die von jedem der Rahmen stammen, zu speichern, Schaltungsmittel (33), die betätigbar sind, um die in jedem Speichermittel (32) enthaltenen Bildinformationen umzuformen und so Verzerrungen, die durch die unterschiedlichen Blickwinkel verursacht werden, zu beseitigen, und einen Bildspeicher (34), der betätigbar ist, um die umgeformten Bildinformationen von jedem Rahmen (F1-F9) der Abtastung so zu speichern, daß die Inhalte des Bildspeichers (34) eine Ansicht der Szene aus einem bestimmten Blickwinkel darstellen.

2. Ein System wie in Anspruch 1 beansprucht, gekennzeichnet durch Sensorsteuermittel (37), die betätigbar sind, um die Stellung des Sensors unter der Steuerung des Steuermittels (36) zu steuern.

3. Ein System wie in Anspruch 2 beansprucht, dadurch gekennzeichnet, daß das Steuermittel (36) Signale von dem Meßwertgebermittel (37) erhält und diese dem Schaltungsmittel (33) zuführt.

4. Ein System wie in Anspruch 3 beansprucht, dadurch gekennzeichnet, daß der Sensor in einer Plattform montiert ist, die relativ zu der betrachteten Szene um ein Referenzachsensystem der Plattform bewegbar ist, wobei das Steuermittel (36) auch Signale erhält, die indikativ für die Höhe und Geschwindigkeit der Plattform relativ zu der betrachteten Szene (13) und die Signale von dem Meßwertgebermittel (37), die die Stellung des Sensors relativ zu der Plattform anzeigen, erhält.

5. Ein System wie in einem der Ansprüche 1-4 beansprucht dadurch gekennzeichnet, daß das Speichermittel (32) einen separaten Speicher zum Speichern der Bildinformationen für jeden einer bestimmten Anzahl von Rahmen von (F1-F9) enthält.

6. Ein System wie in einem der vorhergehenden Ansprüche beansprucht, dadurch gekennzeichnet, daß das Schaltungsmittel (33) betätigbar ist, um für jeden Rahmen (F1-F9) jene Abtastlinien (IL), welche die Bildinformationen enthalten, die erforderlich sind, um dem Bildspeicher (34) zugeführt zu werden, auszuwählen und für jede solche Abtastlinie (IL) die Bildinformation auszuwählen, die dem Bildspeicher (34) zugeführt wird.

7. Ein Bildkorrektursystem zur Herstellung einer Ansicht einer Szene (13), die durch einen elektrooptischen Rahmensensor (30) abgetastet wird, gekennzeichnet durch ein Steuermittel (36), das betätigbar ist, um zu bewirken, daß der Sensor (30) die Szene (13) in einer Anzahl von separaten Rahmen (F1-F9) abtastet, von denen jeder unter einem unterschiedlichen Blickwinkel (α) relativ zu einem Satz von Datumachsen betrachtet wird, wobei jeder Rahmen Linien (IL) und Pixel (p) enthält, ein Meßwertgebermittel (37), das dem Sensor (30) zugeordnet ist, um Signale zu erzeugen, die den Blickwinkel (α) eines jeden Rahmens (F1-F9) darstellen, ein Speichermittel (32), das betätigbar ist, um die Bildinformationen, die von jedem der Rahmen stammen, zu speichern, ein Speichermittel (33), das betätigbar ist, um Linien (IL) und Pixel von jedem Rahmenspeichermittel (32) auszuwählen und so Verzerrungen, die durch die unterschiedlichen Blickwinkel (α) entstehen, zu beseitigen, und einen Bildspeicher (34), der betätigbar ist, um die umgeformten Bildinformationen von jedem Rahmen (F1-F9) der Abtastung so zu speichern, daß die Inhalte des Bildspeichers (34) eine Draufsicht der Szene von einer durch den Sensor (30) zur Verfügung gestellten perspektivischen Ansicht darstellen.