DE19600670B3

DE19600670B3 - Verfahren zum Anpassen eines Bildes und eines Modells

Info

Publication number: DE19600670B3
Application number: DE19600670.8A
Authority: DE
Inventors: Jean-Louis Canaud; Olivier Frouin
Original assignee: Airbus Group SAS
Current assignee: Airbus Group SAS
Priority date: 1995-01-11
Filing date: 1996-01-10
Publication date: 2014-03-13
Anticipated expiration: 2016-01-11
Also published as: GB9600599D0; ITMI952613A0; GB2504051A; GB2504051B; ITMI952613A1

Abstract

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Anpassen eines Modells und eines Bildes der gleichen Szene durch Bestimmen der affinen Transformation zwischen einem mit dem Modell verbundenen Bezugssystem und einem mit dem Bild verbundenen Bezugssystem. Nach der Erfindung enthält die Vorrichtung (1) folgendes: – Mittel (2, 3) zum Definieren von Basisgrößen und von Meßpunkten im Bild und im Modell; – Mittel (5) zum Definieren von Nähelisten, die von Meßpunkten gebildet sind; und – Mittel (7, 10, 12) zum Bestimmen von möglichen Transformationshypothesen, zum Filtern dieser Hypothesen und zum Bestimmen der gesuchten affinen Transformation.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Anpassen eines Bildes und eines Modells der gleichen Szene.
Eine solche Anpassung, mit deren Hilfe die affine Transformation zwischen einem mit dem Modell verbundenen festen Bezugssystem und einem mit dem Bild verbundenen festen Bezugssystem bestimmt werden kann, besteht darin, charakteristische Elemente des Bildes und des Modells einander zuzuordnen, d. h. Basisgrößen, die zusammenhängenden Geradensegmenten entsprechen.
Die Erfindung eignet sich insbesondere, jedoch nicht ausschließlich, für die Anpassung eines mittels eines Radargeräts mit synthetischer Strahlöffnung erhaltenen Radarbildes an ein anderes Bild, das auf andere Weise erhalten werden kann und die gleiche Szene repräsentiert, wobei dieses Bild im Rahmen der vorliegenden Erfindung als Modell bezeichnet wird.
Eine solche Anpassung kann insbesondere in einem Navigations- oder Landehilfssystem verwirklicht werden, das an Bord eines Flugkörpers wie eines Flugzeugs oder einer Rakete untergebracht ist.
Ein Landehilfssystem, wie es in dem Dokument EP-0 586 302 beschrieben ist, kann von einer solchen Anpassung Gebrauch machen, um die Navigationsparameter des Flugkörpers neu einzustellen, indem zu diesem Zweck eine Anpassung der vom Flugkörper im Verlauf seines Flugs aufgenommene Bilder des überflogenen Geländes an Modelle angepaßt werden, die an Bord des Flugkörpers gespeichert sind und die zuvor erstellten Karten des Geländes entsprechen.
Ferner kann ein Landehilfssystem seinerseits die Anpassung von vorher erzeugten und in einem Speicher abgespeicherten Modellen der benutzten Landepiste an im Zeitpunkt der Landung aufgenommenen Bildern der Piste anwenden. Eine solche Anpassung ermöglicht daher eine genauere Angabe der Position des Flugkörpers bezüglich der Piste in der Weise, daß, falls notwendig, Steuerbefehle zum Modifizieren dieser Position bestimmt werden können.
Ein solches Anpassungsverfahren ist insbesondere vorteilhaft, wenn es von Radarbildern Gebrauch macht, da es besonders bei schlechtem Wetter angewendet werden kann, wenn die Piste nicht sichtbar ist.
Ein Radargerät, insbesondere ein Radargerät mit synthetischer Strahlöffnung, hat nämlich den Vorteil, daß es genaue Bilder mit einer relativ gleichmäßigen Qualität bei jedem Wetter, insbesondere bei Regenwetter oder bei Nebel, sowie jederzeit, insbesondere bei Nacht, erzeugt.
Die von einem solchen Radargerät erzeugten Bilder haben jedoch folgenden Hauptnachteil: sie sind durch ein starkes multiplikatives Rauschen gekennzeichnet. Dieses multiplikative Rauschen hat zur Folge, daß die in den Bildern erhaltenen Basisgrößen nach einer sogenannten Segmentierungsoperation sehr klein und sehr zerstückelt sind, was es sehr schwierig, wenn nicht unmöglich macht, eine Anpassung der auf diese Weise erzeugten Bilder untereinander oder eines solchen Bildes und eines vorher existierenden Modells durchzuführen, weil eine sehr große Anzahl von zu berücksichtigenden Basisgrößen vorhanden ist.
Als Abhilfe für diesen Nachteil ist vorgeschlagen worden, die Bilder zur Verringerung der Wirkung des multiplikativen Rauschens zu filtern. Durch eine solche Filterung werden jedoch auch die als nützlich für die Durchführung der Anpassung betrachteten Basisgrößen unterdrückt.
Aus der DE 31 09 702 A1 ist bereits ein Verfahren zur Anpassung eines Modells und eines Bildes mittels einer analytischen Auswertung von mit einem Sensor aufgenommenen und errechneten Linienparametern in Bezug auf vorgegebene lineare Konturen eines Bildes bekannt.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Anpassen eines Bildes und eines Modells anzugeben, mit dessen Hilfe eine exakte Anpassung durchgeführt werden kann und das insbesondere mit einem Bild durchgeführt werden kann, das von einem Radargerät mit synthetischer Strahlöffnung und einem kartographischen Modell durchgeführt werden kann.
Nach der Erfindung ist das Verfahren zum Anpassen eines Modells und eines Bildes der gleichen Szene, wobei mit Hilfe dieses Verfahrens die affine Transformation zwischen einem mit dem Modell verbundenen festen Bezugssystem und einem mit dem Bild verbundenen festen Bezugssystem bestimmt werden kann, dadurch gekennzeichnet:

a) daß an dem Modell längs charakteristischer Linien der reproduzierten Szene Basisgrößen aus zusammenhängenden Geradensegmenten gebildet werden;
b) daß mehrere auf den Basisgrößen liegende Meßpunkte gebildet werden, indem für jeden dieser Meßpunkte seine Position in dem mit dem Modell verbundenen Bezugssystems sowie der Winkel bezüglich einer festen Richtung des Geradensegments, auf dem der Meßpunkt liegt, bestimmt werden;
c) daß jedem der auf diese Weise bestimmten Meßpunkte eine Näheliste zugeordnet wird, die aus Meßpunkten gebildet ist, die nahe dem betrachteten Meßpunkt liegen;
d) daß in dem Bild Basisgrößen in der gleichen Weise wie in der Stufe a) gebildet werden;
e) daß in dem Bild in der gleichen Weise wie in der Stufe b) mehrere Meßpunkte definiert werden;
f) daß als Transformationshypothesen die Transformationen bestimmt werden, die durch alle möglichen Zuordnungen zwischen den Meßpunkten des Modells und den Meßpunkten des Bildes definiert sind;
g) daß unter den auf diese Weise bestimmten Transformationshypothesen die Hypothesen eliminiert werden, die sich auf zwei Meßpunkte, einen Meßpunkt des Bildes und einen Meßpunkt des Modells, beziehen, deren charakteristische Werte zuvor definierte allgemeine Bedingungen nicht erfüllen;
h) daß für jeden Meßpunkt des Modells eine lokale Selektion durchgeführt wird, indem unter den fallweise nicht eliminierten Transformationshypothesen diejenige Transformationshypothese beibehalten wird, die durch die größte Anzahl der Punkte der Näheliste, die dem betrachteten Meßpunkt zugeordnet ist, erfüllt; und
i) daß durch Suchen unter den beibehaltenen Hypothesen eine globale Selektion der Transformationshypothese durchgeführt wird, die durch die größte Anzahl der Meßpunkte des Modells erfüllt wird, wobei diese Transformationshypothese die gesuchte affine Transformation zwischen dem mit dem Modell verbundenen Bezugssystem und dem mit dem Bild verbundenen Bezugssystem definiert.

Das erfindungsgemäße Anpassungsverfahren erfordert für seine Durchführung lediglich die Analyse von Meßpunkten des Bildes und des Modells, die an genau definierten Basisgrößen gebildet sind, was ermöglicht, insbesondere der Zerstückelung der Basisgrößen des Bilds abzuhelfen, die auf das vorgenannte multiplikative Rauschen zurückzuführen ist.
Ferner wird nach der Erfindung vor der globalen Selektion der Hypothesen, die in der Stufe i) durchgeführt wird:

– einerseits in der Stufe g) eine Vorselektion anhand allgemeiner Überlegungen ausgeführt; und
– andererseits in der Stufe h) eine lokale Selektion mit Hilfe von Meßpunkten der Nähelisten durchgeführt, was eine Vereinfachung der Anpassung und eine Reduzierung ihrer Durchführungsdauer ermöglicht.

Für den Fall, daß das Modell anfänglich bekannt ist, beispielsweise vor dem Flug bei einem an Bord eines Flugkörpers befindlichen System, wobei das Modell beispielsweise einer örtlichen Karte eines Teils des überflogenen Geländes entspricht, und das Bild später, beispielsweise im Verlauf des Flugs, erfaßt wird, werden in vorteilhafter Weise die Stufen a) bis c) des erfindungsgemäßen Verfahrens in einer Vorbereitungsphase vor dem Erfassen des Bildes beispielsweise dann durchgeführt, wenn sich der Flugkörper noch am Boden befindet, und die Stufen d) bis i) werden nach der Erfassung des Bildes durchgeführt. Diese Stufen d) bis i) können im Verlauf des Flugs durchgeführt werden, wenn es nötig ist, die Ergebnisse einer Anpassung zu kennen, um beispielsweise die Navigationsdaten neu einzustellen oder bei den vorgenannten Beispielen eine Landung durchzuführen.
Es sei bemerkt, daß aus Gründen der Einfachheit der Durchführung das Modell und das Bild allgemein jeweils mehrere Basisgrößen aufweisen.
Dazu ist vorteilhafterweise vorgesehen, daß die längs unterschiedlicher charakteristischer Linien der reproduzierten Szene im Bild und im Modell erzeugten Basisgrößen voneinander unterschieden werden und alle längs ähnlicher charakteristischer Linien der Szene erzeugten Basisgrößen in identischer Weise gebildet werden, und daß bei den Stufen f) bis i) ausschließlich diejenigen möglichen Transformationen zwischen Meßpunkten des Bildes und des Modells berücksichtigt werden, die von längs ähnlicher charakteristischer Linien der Szene gebildeten Basisgrößen unterstützt werden, was eine Vereinfachung der Durchführung der Erfindung ermöglicht.
Wenn die Szene eine Landschaft repräsentiert, wird vorzugsweise eine Unterscheidung zwischen wenigstens gewissen der folgenden verschiedenen Elemente der Landschaft getroffen: den Eisenbahnlinien, den Straßen, den Flüssen und den Waldrändern.
Vorteilhafterweise sind die Meßpunkte längs der sie tragenden Basisgröße gleichmäßig weit voneinander entfernt.
Vorteilhafterweise ist ferner vorgesehen, daß jede der Nähelisten höchstens eine vorbestimmte Anzahl n von Meßpunkten enthält und daß die einem Meßpunkt Pi zugeordnete Näheliste von Meßpunkten gebildet ist,

– die ein einem Abstand vom Punkt Pi zwischen einem vordefinierten Minimalwert und einem vordefinierten Maximalwert liegen, und
– für die der Winkel zwischen dem sie tragenden Geradensegment und dem den Punkt Pi tragenden Geradensegment größer als ein vorbestimmter Wert ist, wobei die Näheliste gegebenenfalls auf die dem Punkt Pi am nächsten liegenden n Meßpunkte begrenzt ist.

Zur Vereinfachung der Durchführung der Erfindung ist vorteilhafterweise vorgesehen, daß zwischen den Stufen e) und f) für jeden Meßpunkt des Bildes die Position sowie der Abstand von dem den Meßpunkt tragenden Geradensegment aller markierten und in einem auf den Meßpunkt zentrierten Viereck mit vordefinierten Abmessungen liegenden Pixel des Bildes notiert werden, wobei der Abstand ein Anpassungssegment definiert, das dem Pixel zugeordnet ist, und daß die auf diese Weise dotierten Daten bei der Überprüfung der Transformationshypothesen bei den Stufen h) und i) benutzt werden.
Ferner ist vorteilhafterweise vorgesehen, daß die allgemeinen vordefinierten Bedingungen, die durch zwei zugeordnete und in der Stufe g) verwendete Meßpunkte geprüft werden müssen, die folgenden sind:

– einerseits die maximale zugelassene Translation zwischen einem Meßpunkt des Modells und einem Meßpunkt des Bildes; und
– andererseits der maximale zugelassene Winkel zwischen dem einen Meßpunkt des Modells tragenden Geradensegment und dem einen Meßpunkt des Bildes tragenden Geradensegment.

Vorzugsweise ist das Viereck ein Quadrat mit einer Seitenlänge, die gleich dem Abstand zwischen zwei Meßpunkten ist, wobei zwei gegenüberliegende Seiten des Quadrats parallel zu dem Geradensegment verlaufen, das den in der Mitte des Quadrats liegenden Meßpunkt trägt.
Die Erfindung ermöglicht zwar das Suchen nach einer beliebigen affinen Transformation zwischen dem Modell und dem Bild, jedoch ist sie besonders für den Fall geeignet, daß diese Transformation einer Translation entspricht.
Eine Weiterbildung der Erfindung besteht darin, daß zur Prüfung bei der Stufe h), ob ein Punkt Pn der Näheliste, die einem Meßpunkt Pi des Modells zugeordnet ist, eine dem Meßpunkt Pi zugeordnete Transformationshypothese erfüllt:

– als Referenz die Position des Punkts Pn genommen wird;
– anhand dieser definierten Position im Bild die zugeordnete Transformation auf die betrachtete Hypothese so angewendet wird, daß eine dem Punkt Pn zugeordnete Transformationsposition erhalten wird;
– geprüft wird, ob das bei der Transformation im Bild liegende Pixel markiert ist; und
– die Schlußfolgerung gezogen wird:
– wenn das Pixel markiert ist, daß der Punkt Pn die betrachtete Transformationshypothese erfüllt; und
– wenn das Pixel nicht markiert ist, daß der Punkt Pn diese betrachtete Transformationshyothese nicht erfüllt.

Es ist zu erkennen, daß die vorhergehende Operation in der Stufe i) für alle Meßpunkte des Modells und nicht nur für die Meßpunkte der Näheliste durchgeführt wird, jedoch bezieht sie sich auf die noch während dieser Stufe i) noch zu überprüfenden Hypothesen.
Vorteilhafterweise ist ferner vorgesehen, daß zur Verfeinerung der einem Meßpunkt Pi zugeordneten Translation die folgenden Operationen ausgeführt werden:

– für alle Punkte der dem Meßpunkt Pi zugeordneten Näheliste wird geprüft, ob das bei der entsprechenden Transformationsposition liegende Pixel markiert ist;
– für jedes der markierten Pixel wird das entsprechende Anpassungssegment bestimmt;
– diese Anpassungssegmente werden auf das den Meßpunkt Pi tragende Geradensegement bzw. parallel zu den die entsprechenden Punkte der Näheliste tragenden Geradensegmente projiziert; und
– es wird eine Abstandsmittelung der projizierten Segmente durchgeführt, wobei die Translation des auf diese Weise erhaltenen mittleren Abstandes (Fi) längs des Geradensegments (Ri) die dem Punkt Pi zugeordnete Translation definiert.

Dies ermöglicht es, die bestmögliche Translation zu erzielen, indem die Unterschiede betreffend die Größe und die Form der Szene berücksichtigt werden, die zwischen dem Bild und dem Modell beispielsweise aufgrund einer leichten Homothetie oder einer leichten Drehung zwischen dem Bild und dem Modell aufgrund einer mehr oder weniger weit entfernten Erfassung der betrachteten Szene oder einer längs einer geringfügig unterschiedlichen Peillinie erfolgten Erfassung vorhanden sind.
Zur Verbesserung der lokalen Selektion, di ein der Stufe h) durchgeführt wird, ist vorzugsweise vorgesehen, daß

– für jede betrachtete Transformationshypothese ein Anpassungsindex I berechnet wird, der für die Hypothese charakteristisch ist und durch die folgende Gleichung definiert ist:
in der:
– i = 1 bis n, wobei n die Anzahl der markierten Pixel bei den zugeordneten Transformationspositionen ist,
– D den maximalen Abstand zwischen zwei Meßpunkten repräsentiert, und
– li der Länge des dem entsprechenden Pixel zugeordneten Anpassungssegments entspricht;
– alle auf diese Weise berechneten Anpassungsindizes miteinander verglichen werden; und
– die Transformationshypothese beibehalten wird, deren Anpassungsindex am größten ist.

Die Vorrichtung zur Durchführung des Verfahrens enthält

– Mittel zum Definieren von Basisgrößen im Modell und im Bild;
– Mittel zum Definieren von Meßpunkten im Modell und im Bild;
– Mittel zum Bestimmen der Nähelisten;
– Mittel zum Bestimmen der möglichen Transformationshypothesen und zum Eliminieren derjenigen Hypothesen, für die die entsprechenden Meßpunkte die allgemeinen vordefinierten Bedingungen nicht erfüllen;
– Mittel zum Durchführen der örtlichen Auswahl; und
– Mittel zum Durchführen der globalen Auswahl und zum Bestimmen der gesuchten affinen Transformation.

Die Vorrichtung enthält ferner Hilfsmittel, die dazu bestimmt sind, für jeden Meßpunkt des Bildes diejenigen Pixel auszuwählen, die in dem Bild in dem dem betrachteten Meßpunkt zugeordneten Viereck markiert sind, wodurch die in den Stufen h) und i) des erfindungsgemäßen Verfahrens durchgeführten Operationen vereinfacht und hinsichtlich ihrer Dauer verkürzt werden.
In den Figuren der beigefügten Zeichnung ist beispielshalber erläutert, wie die Erfindung realisiert werden kann. In diesen Figuren bezeichnen gleiche Bezugszeichen vergleichbare Elemente.
In der Zeichnung zeigen:
1 ein Blockschaltbild einer Vorrichtung nach der Erfindung,
2 eine schematische Ansicht einer in einem Modell und einem Bild reproduzierten Szene,
3 die Bestimmung von Basisgrößen und von Meßpunkten,
4 die Szene von 2, die mit Basisgrößen und Meßpunkten versehen ist,
5 die Position von Punkten einer Näheliste, die einem Meßpunkt zugeordnet ist,
6 die Bestimmung einer Näheliste, die einem Meßpunkt zugeordnet ist,
7 die Selektion von Pixeln des Bildes, die zur Vereinfachung der Durchführung der Erfindung benutzt werden, und
8 die genaue Bestimmung der gesuchten Translation gemäß der Erfindung.
Die in 1 schematisch dargestellte Vorrichtung 1 ist zur Anpassung eines Bildes und eines Modells der gleichen Szene bestimmt.
Genauer gesagt ermöglicht es die Vorrichtung 1, die affine Transformation zwischen einem mit dem Modell verbundenen festen Bezugssystem und einem mit dem Bild verbundenen festen Bezugssystem zu bestimmen.
Das Modell kann anhand einer kartographischen Ansicht der Szene gebildet werden, während das Bild beispielsweise mittels der Erfassung der Infrarotstrahlungen gebildet werden kann, die von der Szene ausgehen. Die vorliegende Erfindung ist jedoch besonders an die Anpassung eines auf diese Weise gebildeten Modells und eines mit Hilfe eines Radargeräts, insbesondere eines Radargeräts mit synthetischer Strahlöffnung, erzeugten Bildes geeignet, das den Vorteil hat, Bilder mit relativ gleichmäßiger Qualität bei jedem Wetter und zu jeder Zeit zu erzeugen.
Im vorliegenden Beispiel repräsentieren das Bild und das Modell eine vom Himmel aus gesehene Landschaft, die in 2 schematisch dargestellt ist. Die beabsichtigte Anpassung kann in diesem Fall insbesondere für die Neueinstellung der Navigationsdaten eines Flugkörpers benutzt werden, wobei das Modell eine vorher erzeugte und abgespeicherte Karte des zu überfliegenden Geländes darstellt, während das Bild beim Überfliegen dieses Geländes erfaßt wird.
Die Erfindung eignet sich aber auch für zahlreiche andere Anwendungen. Beispielsweise kann sie auch zur Vereinfachung des Landens eines Flugkörpers auf einer Landepiste benutzt werden, indem der Flugkörper exakt bezüglich der Piste lokalisiert werden kann, indem die Anpassung eines gespeicherten Modells der Piste und eines im Zeitpunkt der Landung erfaßten Bildes der Piste durchgeführt wird.
Zur Durchführung einer solchen Anpassung enthält die erfindungsgemäße Vorrichtung folgendes:

– Segmentierungsmittel 2A und 2B für den Empfang von Informationen über Verbindungen 1A bzw. 1B;
– Mittel 3A und 3B zum Definieren von Meßpunkten, die über Verbindungen 4A und 4B mit den Segmentierungsmitteln 2A bzw. 2B verbunden sind;
– Mittel 5 zum Bestimmen von Nähelisten, die über eine doppelte Verbindung 6 mit den Mitteln 3B verbunden sind;
– Mittel 7 zum Bestimmen von Transformationshypothesen und zum Überprüfen allgemeiner Bedingungen, die über Verbindungen 8 und 9 mit den Mitteln 3A bzw. 3B verbunden sind;
– Mittel 10 zur Durchführung einer örtlichen Selektion, die über eine Verbindung 11 mit den Mitteln 7 verbunden sind; und
– Mittel 12 zur Durchführung einer globalen Selektion und zum Bestimmen der Anpassung zwischen dem Modell und dem Bild, wobei die Mittel 12 über eine Verbindung 13 an die Mittel 10 angeschlossen sind und das Ergebnis der Anpassung über eine Verbindung 14 übertragen.

Die Mittel 2A, die zur Durchführung der Segmentierung des Bildes bestimmt sind, und die Mittel 2B, die zur Durchführung der Segmentierung des Modells bestimmt sind, können gemäß der Art der Ausführung:

– voneinander getrennt sein oder
– in einer einzigen Vorrichtung 2 angeordnet sein.

Das gleiche gilt für die Mittel 3A und 3B, die auch in einer einzigen Vorrichtung 3 angeordnet sein können.
Es ist zu erkennen, daß die Segmentierung für das Bild und das Modell in identischer Weise durchgeführt werden kann. Vorzugsweise werden jedoch Segmentierungsarten angewendet, die jeweils an das betrachtete Modell, und das betrachtete Bild angepaßt sind. Im vorliegenden Beispiel bezieht sich die beschriebene Segmentierungsart jedoch sowohl auf das Bild als auch auf das Modell, dessen der reproduzierten Szene entsprechende Landschaft in 2 dargestellt ist.
Die zur Anpassung verwendeten Modelle und Bilder können unterschiedliche Größen haben. In einem solchen Fall wird die Anpassung offensichtlich nur für den Teil der Szene durchgeführt, der dem Bild und dem Modell gemeinsam ist. Aus Gründen der Vereinfachung der Beschreibung wird jedoch im vorliegenden Beispiel angenommen, daß das Bild und das Modell die gleiche Größe haben, wie in 2 dargestellt ist.
In 2, in der insbesondere Häuser T und unbebaute Gebiete C, beispielsweise Wiesen oder Felder, zu erkennen sind, sind mit Hilfe verstärkter Striche charakteristische Linien LC der Landschaft verdeutlicht. Diese charakteristischen Linien LC werden bei der Durchführung der Erfindung und insbesondere bei der Segmentierung berücksichtigt, wie anschließend beschrieben wird. Diese charakteristischen Linien LC, die Linien der Landschaft darstellen, die leicht unterschieden werden können, können beispielsweise Straßen, Wasserläufen, Eisenbahnlinien, Waldrändern, usw. ... entsprechen.
In bekannter Weise besteht die Segementierung darin, im Bild oder im Modell in Überlagerung mit jeder gewählten charakteristischen Linie LC eine Basisgröße LS zu bilden, die aus an ihren Enden miteinander verbundenen Geradensegmenten R besteht, wie sie vergrößert und als Beispiel in 3 für den Teil der charakteristischen Linien LC dargestellt ist, der in 2 mit III bezeichnet ist.
Zur Durchführung einer solchen Segmentierung sind zahlreiche Verfahren bekannt.
Anhand der auf diese Weise mit den Mitteln 2A und 2B gebildeten Basisgrößen LS definieren die Mittel 3A und 3B Meßpunkte P, die besonderen Punkten dieser Basisgrößen LS entsprechen.
Nach der Erfindung liegen diese Meßpunkte P in gleichmäßigen Abständen D entlang der sie tragenden Basisgrößen LS.
Gemäß einer Definitionsvarianten, die beispielsweise angewendet wird, wenn die Geradensegmente R sehr kurz sind und insbesondere kürzer als der Abstand D, wird auf jedem der Geradensegmente R wenigstens ein Meßpunkt P beispielsweise in der Mitte des entsprechenden Geradensegements gebildet. Dies ermöglicht die Berücksichtigung sehr ausgeprägter gekrümmter Formen der charakteristischen Linien, hat jedoch den Nachteil, daß die Anzahl der auf diese Weise gebildeten und gemäß der Erfindung zur Bestimmung der Anpassung in der anschließend zu beschreibenden Weise verwendeten Meßpunkte erhöht wird.
Für jeden auf diese Weise definierten Meßpunkt P des Modells oder des Bildes wird ferner angegeben:

– die Position des Meßpunkts P in dem nicht dargestellten festen Bezugssystem; und
– der Winkel Φ des den Meßpunkt P tragenden Geradensegments R bezüglich einer in 3 durch einen Pfeil E dargestellten Referenzrichtung.

Als Beispiel sind in 4 die Basisgrößen LS und die Meßpunkte P dargestellt, die in der zuvor beschriebenen Weise mittels der charakteristischen Linien LC der in 2 dargestellten Landschaft erhalten wurden.
Wie oben angegeben wurde, werden die obigen Operationen sowohl für das Bild als auch für das Modell durchgeführt. Wenn diese Operationen gleichzeitig durchgeführt werden, können die Mittel 2A und 2B sowie die Mittel 3A und 3B zu gemeinsamen Mitteln 2 und 3 zusammengefaßt werden.
Die vorhergehenden Stufen werden jedoch allgemein bezüglich des Modells in einer vorhergehenden Phase und bei der Durchführung der Anpassung bezüglich des Bildes in einer sich an die vorbereitende Phase anschließenden Phase ausgeführt. Wie zuvor angegeben wurde, kann das Modell als Beispiel die Karte des durch einen Flugkörper zu überfliegenden Geländes darstellen, das bekannt ist und vor dem Flug verarbeitet wird, während das Bild eine Ansicht des Geländes während dessen Überflug darstellen kann, die im Zeitpunkt der Erfassung verarbeitet wird.
In einer besonderen, nicht dargestellten Ausführungsform sind die Mittel 2B und 3B sowie die Mittel 5, die ausschließlich das Modell verarbeiten, in einem ersten System angeordnet, das von den anderen Mitteln der Vorrichtung 1 getrennt ist, die in einem zweiten System angeordnet sind, wobei das zweite System an Bord des Flugkörpers untergebracht ist. Das erste System bewirkt in diesem Fall die das Modell betreffenden Operationen vor dem Flug, und die erhaltenen Ergebnisse werden in einem Speicher des zweiten Systems aufgezeichnet, der nicht dargestellt und beispielsweise den Mitteln 7 zugeordnet ist.
Nach der Erfindung sind die Mittel 5 dazu bestimmt, jedem Meßpunkt Pi des Modells eine Näheliste LPi zuzuordnen, die von Meßpunkten Pn gebildet ist, die in der Nähe des betrachteten Meßpunkts Pi liegen, wobei i und n Indizes sind, die dazu bestimmt sind, die verschiedenen Meßpunkte P sowie die sich auf diese Punkte beziehenden Daten voneinander zu unterscheiden. Zur Überprüfung, ob ein beliebiger Meßpunkt Pn des Modells der einem Meßpunkt Pi zugeordneten Näheliste angehört, wird gemäß 5 folgendes bestimmt:

– der Abstand L zwischen den Meßpunkten Pi und Pn anhand ihrer in dem festen, nicht dargestellten Bezugssystem bekannten Koordinaten; und
– der Winkel α zwischen den die Meßpunkte Pi und Pn tragenden Geradensegmenten Ri und Rn, wobei der Winkel α aus den Winkeln zwischen diesen Geradensegmenten Ri und Rn und der in 3 dargestellten Referenzrichtung E berechnet wird.

Nach der Erfindung wird die dem Punkt Pi zugerodnete Näheliste LPi von den n Meßpunkten Pn gebildet, die dem Punkt Pi am nächsten liegen und die folgende doppelte Bedingung erfüllen:

– sie liegen in einem Abstand L vom Meßpunkt Pi zwischen einem Maximalwert L2 und einem Minimalwert L1; und
– der entsprechende Winkel α ist größer als ein vorbestimmter Wert.

In 6 sind mit Hilfe von schwarzen Punkten die diese Bedingungen erfüllenden Meßpunkte Pn und in Form von hellen Punkten die die eine oder die beiden vorgenannten Bedingungen nicht erfüllenden Meßpunkte Pj dargestellt.
Es ist natürlich auch möglich, daß die Näheliste eine Anzahl von Meßpunkten enthält, die kleiner als n ist.
Die erfindungsgemäße Vorrichtung 1 enthält ferner Hilfsmittel 16, die über eine Verbindung 17 mit den Mitteln 3A verbunden sind und die dazu bestimmt sind, gewisse Pixel des Bildes auszuwählen.
Die mittels der Hilfsmittel 16 erhaltenen Ergebnisse können von den Mitteln 10 und 12, an die sie über Verbindungen 18 und 19 angeschlossen sind, benutzt werden, um die von den Mitteln 10 und 12 durchgeführten Berechnungen zu vereinfachen, wie noch zu erkennen sein wird.
Die Hilfsmittel 16 untersuchen um jeden Meßpunkt P des Bildes die markierten Pixel M, die in einem um diesen Meßpunkt P zentrierten Quadrat C liegen und deren zwei gegenüberliegende Seiten C1 und C2 parallel zum Geradensegement R verlaufen, das den Meßpunkt P trägt. Die Seiten C1, C2, C3 und C4 des Quadrats C haben eine Länge D, die gleich dem Abstand zwischen zwei Meßpunkten P ist.
Als Anpassungssegment H, das einem Pixel M zugeordnet ist, wird das Segment definiert, das das Pixel M mit dem am nächsten liegenden Geradensegment R verbindet, wobei diese Segmente R und H senkrecht zueinander verlaufen.
Die Hilfsmittel 16 notieren für jeden Meßpunkt P des Bildes in dem festen Bezugssystem die Position aller markierten Pixel, die in dem dem Meßpunkt zugeordneten Quadrat C liegen, sowie die Länge des entsprechenden Anpassungssgements H.
Wie zuvor angegeben wurde, besteht die Anpassung darin, die affine Transformation zwischen dem mit dem Modell verbundenen festen Bezugsystem und dem mit dem Bild verbundenen Bezugssystem zu bestimmen, genauer gesagt im vorliegenden Beispiel die Translation, die es ermöglicht, von einem Bezugssystem auf das andere überzugehen.
Nach der Erfindung bestimmen die Mittel 7 anhand aller von den Mitteln 3A und 32 gebildeten Meßpunkte des Bildes und des Modells als Transformationshypothesen die Transformationen, die für alle möglichen Zuordnungen zwischen den Meßpunkten des Modells und den Meßpunkten des Bildes definiert worden sind.
Zur Bestimmung der gesuchten Transformation zwischen dem festen Bezugsystem des Modells und dem festen Bezugssystem des Bildes ist es notwendig, die auf diese Weise definierten Transformationshypothesen zu filtern, um aus ihnen diejenige herauszuziehen, die der betrachteten Situation entspricht.
Gemäß der Erfindung wird diese Filterung in drei Etappen durchgeführt:

– zunächst anhand einer Überprüfung allgemeiner Durchführungsbedingungen durch die Mittel 7;
– dann anhand einer lokalen Selektion, die von den Mitteln 10 durchgeführt wird; und
– schließlich anhand einer globalen Selektion, die von den Mitteln 12 durchgeführt wird.

Unter den möglichen Transformationshypothesen eliminieren die Mittel 7 diejenigen, die diese vorgenannten allgemeinen Bedingungen nicht erfüllen, bei denen es sich um folgendes handelt:

– einerseits die maximale zulässige Translation zwischen einem Meßpunkt des Modells und einem Meßpunkt des Bildes; und
– andererseits dem maximalen zulässigen Winkel zwischen dem einen Meßpunkt des Modells tragenden Geradensegment und dem einen Meßpunkt des Bildes tragenden Geradensegment.

Die nicht eliminierten Hypothesen werden zu den Mitteln 10 übertragen, die eine lokale Selektion bewirken, indem sie für jeden der Meßpunkte des Modells diejenige Transformationshypothese beibehalten, die durch die größte Anzahl von Punkten der dem betrachteten Meßpunkt zugeordneten Näheliste erfüllt wird.
Zu diesem Zweck wird gemäß der Erfindung für die Überprüfung, ob ein Punkt Pn der einem Meßpunkt Pi des Modells zugeordneten Näheliste eine dem Meßpunkt Pi zugeordnete Transformationshypothese erfüllt, folgendes durchgeführt:

– als Referenz wird die Position des Punkts Pn genommen;
– anhand dieser im Bild definierten Position wird die Transformation, d. h. die Translation, die der angenommenen Hypothese zugeordnet ist, so angewendet, daß eine dem Punkt Pn zugeordnete Transformationsposition erhalten wird;
– es wird geprüft, ob das bei der Transformationsposition im Bild liegende Pixel markiert ist; und
– es wird der Schluß gezogen:
– wenn das Pixel markiert ist, daß der Punkt Pn die betrachtete Transformationshypothese erfüllt,
– andernfalls, daß der Punkt Pn diese Transformationshypothese nicht erfüllt.

Zur Verfeinerung der einem Meßpunkt zugeordneten Translation werden die folgenden Operationen durchgeführt:

– für alle Punkte P1, P2, P3 der Näheliste, die dem Meßpunkt Pi zugeordnet ist, wird geprüft, ob das Pixel M1, M2, M3, das bei der entsprechenden Transformationsposition liegt, markiert ist;
– für jedes der markierten Pixel M1, M2, M3 wird das entsprechende Anpassungssegment H1, H2, H3 bestimmt;
– die Anpassungssegmente H1, H2, H3 werden auf das den Meßpunkt Pi tragende Geradensegment Ri projiziert, jeweils parallel zu den die Punkte P1, P2, P3 tragenden Geradensegmenten R1, R2, R3; und
– es wird eine Abstandsmittelung der projizierten Segmente F1, F2, F3 durchgeführt, wobei die Translation des auf diese Weise erhaltenen mittleren Abstandes Fi längs des tragenden Geradensegments Ri die dem Punkt Pi zugeordnete Translation definiert.

Schließlich werden die von den Mitteln 10 beibehaltenen Trans formationshypothesen zu den Mitteln 12 übertragen, die eine globale Selektion durchführen, indem sie unter ihnen diejenige Transformationshypothese suchen, die von der größten Anzahl von Meßpunkten des Modells erfüllt wird, wobei diese Transformationshypothese die gesuchte affine Transformation zwischen dem mit dem Modell verbundenen Bezugssystem und dem mit dem Bild verbundenen Bezugssystem definiert.
Zu diesem Zweck bewirken die Mittel 12 für die übriggebliebenen Hypothesen die gleichen Operationen für alle Punkte des Modells wie sie zuvor von den Mitteln 10 nur für die Meßpunkte der Näheliste durchgeführt wurden.
Die auf diese Weise ausgewählte Transformationshypothese ermöglicht somit die Bestimmung der Translation, die den Übergang von dem mit dem Modell verbundenen festen Bezugssystem auf das feste, mit dem Bild verbundene Bezugssystem und umgekehrt ermöglicht.

Claims

Verfahren zum Anpassen eines Modells und eines Bildes der gleichen Szene, wobei mit Hilfe dieses Verfahrens die affine Transformation zwischen einem mit dem Modell verbundenen festen Bezugssystem und einem mit dem Bild verbundenen festen Bezugssystem bestimmt werden kann, dadurch gekennzeichnet: a) daß an dem Modell längs charakteristischer Linien (LC) der reproduzierten Szene Basisgrößen (LS) gebildet werden, die zusammenhängende Geradensegmente (R) enthalten; b) daß mehrere auf den Basisgrößen (LS) liegende Meßpunkte (P, Pi, Pn) gebildet werden, indem für jeden dieser Meßpunkte seine Position in dem mit dem Modell verbundenen Bezugssystems sowie der Winkel θ bezüglich einer festen Richtung (ED) des Geradensegments (R), auf dem der Meßpunkt liegt, bestimmt werden; c) daß jedem der auf diese Weise bestimmten Meßpunkte eine Näheliste zugeordnet wird, die aus Meßpunkten gebildet ist, die nahe dem betrachteten Meßpunkt liegen; d) daß in dem Bild Basisgrößen (LS) in der gleichen Weise wie in der Stufe a) gebildet werden; e) daß in dem Bild in der gleichen Weise wie in der Stufe b) mehrere Meßpunkte definiert werden; f) daß als Transformationshypothesen die Transformationen bestimmt werden, die durch alle möglichen Zuordnungen zwischen den Meßpunkten des Modells und den Meßpunkten des Bildes definiert sind; g) daß unter den auf diese Weise bestimmten Transformationshypothesen die Hypothesen eliminiert werden, die sich auf zwei Meßpunkte, einen Meßpunkt des Bildes und einen Meßpunkt des Modells, beziehen, deren charakteristische Werte zuvor definierte allgemeine Bedingungen nicht erfüllen; h) daß für jeden Meßpunkt des Modells eine lokale Selektion durchgeführt wird, indem unter den fallweise nicht eliminierten Transformationshypothesen diejenige Transformationshypothese beibehalten wird, die durch die größte Anzahl der Punkte der Näheliste, die dem betrachteten Meßpunkt zugeordnet ist, erfüllt; und i) daß durch Suchen unter den beibehaltenen Hypothesen eine globale Selektion der Transformationshypothese durchgeführt wird, die durch die größte Anzahl der Meßpunkte des Modells erfüllt wird, wobei diese Transformationshypothese die gesuchte affine Transformation zwischen dem mit dem Modell verbundenen Bezugssystem und dem mit dem Bild verbundenen Bezugssystem definiert.
Verfahren nach Anspruch 1, bei welchem das Modell anfänglich bekannt ist und das Bild später erfaßt wird, dadurch gekennzeichnet, daß die Stufen a) bis c) in einer vorbereitenden Phase vor der Erfassung des Bildes durchgeführt werden und daß die Stufen d) bis i) nach der Erfassung des Bildes durchgeführt werden.
Verfahren nach Anspruch 1 oder 2, bei welchem das Modell und das Bild jeweils mit mehreren Basisgrößen (LS) versehen sind, dadurch gekennzeichnet, daß die längs unterschiedlicher charakteristischer Linien der reproduzierten Szene im Bild und im Modell erzeugten Basisgrößen voneinander unterschieden werden und alle längs ähnlicher charakteristischer Linien der Szene erzeugten Basisgrößen in identischer Weise gebildet werden, und daß bei den Stufen f) bis i) ausschließlich diejenigen möglichen Transformationen zwischen Meßpunkten des Bildes und des Modells berücksichtigt werden, die von längs ähnlicher charakteristischer Linien der Szene gebildeten Basisgrößen unterstützt werden.
Verfahren nach Anspruch 3, bei welchem die Szene eine Landschaft repräsentiert, dadurch gekennzeichnet, daß zwischen wenigstens folgenden verschiedenen charakteristischen Linien (LC) unterschieden wird: die Linien der Eisenbahn, die Straßen, die Flüsse und die Waldränder der Landschaft.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Meßpunkte (P, Pi, Pn) längs der sie tragenden Basisgröße (LS) gleichmäßig voneinander entfernt liegen.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß jede der Nähelisten höchstens eine vorbestimmte Anzahl n von Meßpunkten (Pn) enthält und daß die einem Meßpunkt Pi zugeordnete Näheliste von Meßpunkten (Pn) gebildet ist, – die ein einem Abstand (L) vom Punkt Pi zwischen einem vordefinierten Minimalwert (L1) und einem vordefinierten Maximalwert (L2) liegen, und – für die der Winkel (α) zwischen dem sie tragenden Geradensegment (Rn) und dem den Punkt Pi tragenden Geradensegment (Ri) größer als ein vorbestimmter Wert ist, wobei die Näheliste gegebenenfalls auf die dem Punkt Pi am nächsten liegenden n Meßpunkte (Pn) begrenzt ist.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zwischen den Stufen e) und f) für jeden Meßpunkt (P, P1, P2, P3) des Bildes die Position sowie der Abstand von dem den Meßpunkt tragenden Geradensegment aller markierten und in einem auf den Meßpunkt (P, P1, P2, P3) zentrierten Viereck (C) mit vordefinierten Abmessungen liegenden Pixel (M, M1, M2, M3) des Bildes notiert werden, wobei der Abstand ein Anpassungssegment (H, H1, H2, H3) definiert, das dem Pixel (M, M1, M2, M3) zugeordnet ist, und daß die auf diese Weise dotierten Daten bei der Überprüfung der Transformationshypothesen bei den Stufen h) und i) benutzt werden.
Verfahren nach den Ansprüchen 5 und 7, dadurch gekennzeichnet, daß das Viereck (C) ein Quadrat mit Seiten (C1, C2, C3, C4) ist, deren Länge gleich dem Abstand (D) zwischen zwei Meßpunkten (P) ist, wobei zwei gegenüberliegende Seiten (C1, C2) des Quadrats (C) parallel zu dem Geradensegment (R) sind, das den in der Mitte des Quadrats (C) liegenden Meßpunkt (P) trägt.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die gesuchte Transformation einer Translation entspricht.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die allgemeinen vordefinierten Bedingungen, die durch zwei zugeordnete und in der Stufe g) verwendete Meßpunkte geprüft werden müssen, die folgenden sind: – einerseits die maximale zugelassene Translation zwischen einem Meßpunkt des Modells und einem Meßpunkt des Bildes; und – andererseits der maximale zugelassene Winkel zwischen dem einen Meßpunkt des Modells tragenden Geradensegment und dem einen Meßpunkt des Bildes tragenden Geradensegment.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß zur Prüfung bei der Stufe h), ob ein Punkt Pn der Näheliste, die einem Meßpunkt Pi des Modells zugeordnet ist, eine dem Meßpunkt Pi zugeordnete Transformationshypothese erfüllt: – als Referenz die Position des Punkts Pn genommen wird; – anhand dieser definierten Position im Bild die zugeordnete Transformation auf die betrachtete Hypothese so angewendet wird, daß eine dem Punkt Pn zugeordnete Transformationsposition erhalten wird; – geprüft wird, ob das bei der Transformation im Bild liegende Pixel markiert ist; und – die Schlußfolgerung gezogen wird: – wenn das Pixel markiert ist, daß der Punkt Pn die betrachtete Transformationshypothese erfüllt; und – wenn das Pixel nicht markiert ist, daß der Punkt Pn diese betrachtete Transformationshyothese nicht erfüllt.
Verfahren nach den Ansprüchen 7, 9 und 11, dadurch gekennzeichnet, daß zur Verfeinerung der einem Meßpunkt Pi zugeordneten Translation die folgenden Operationen ausgeführt werden: – für alle Punkte (P1, P2, P3) der dem Meßpunkt Pi zugeordneten Näheliste wird geprüft, ob das bei der entsprechenden Transformationsposition liegende Pixel markiert ist; – für jedes der markierten Pixel (M1, M2, M3) wird das entsprechende Anpassungssegment (H1, H2, H3) bestimmt; – diese Anpassungssegmente (H1, H2, H3) werden auf das den Meßpunkt Pi tragende Geradensegement (Ri) bzw. parallel zu den die entsprechenden Punkte (P1, P2, P3) der Näheliste tragenden Geradensegmente projiziert; und – es wird eine Abstandsmittelung der projizierten Segmente (F1, F2, F3) durchgeführt, wobei die Translation des auf diese Weise erhaltenen mittleren Abstandes (Fi) längs des Geradensegments (Ri) die dem Punkt Pi zugeordnete Translation definiert.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß in der Stufe h): – für jede betrachtete Transformationshypothese ein Anpassungsindex I berechnet wird, der für die Hypothese charakteristisch ist und durch die folgende Gleichung definiert ist:
in der: – i = 1 bis n, wobei n die Anzahl der markierten Pixel bei den zugeordneten Transformationspositionen ist, – D den maximalen Abstand zwischen zwei Meßpunkten repräsentiert, und – li der Länge des dem entsprechenden Pixel zugeordneten Anpassungssegments entspricht; – alle auf diese Weise berechneten Anpassungsindizes miteinander verglichen werden; und – die Transformationshypothese beibehalten wird, deren Anpassungsindex am größten ist.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß in der Stufe i): – für jede beibehaltene Hypothese für alle Meßpunkte des Modells die im Verfahren von Anspruch 11 angegebenen Operationen durchgeführt werden und die Summe aller markierten Pixel gebildet wird; – die verschiedenen, auf diese Weise gebildeten Summen miteinander verglichen werden; und – die Hypothese beibehalten wird, für die die Summe am höchsten ist.
Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 14, gekennzeichnet durch: – Mittel (2A, 2B) zum Definieren von Basisgrößen im Modell und im Bild; – Mittel (3A, 3B) zum Definieren von Meßpunkten im Modell und im Bild; – Mittel (5) zum Bestimmen der Nähelisten; – Mittel (7) zum Bestimmen der möglichen Transformationshypothesen und zum Eliminieren derjenigen Hypothesen, für die die entsprechenden Meßpunkte die allgemeinen vordefinierten Bedingungen nicht erfüllen; – Mittel (10) zum Durchführen der lokalen Selektion; und – Mittel (12) zum Durchführen der globalen Selektion und zum Bestimmen der gesuchten affinen Transformation.
Vorrichtung nach Anspruch 15, gekennzeichnet durch Hilfsmittel (16), die dazu bestimmt sind, für jeden Meßpunkt (P) des Bildes diejenigen Pixel (M) auszuwählen, die in dem Bild in dem dem betrachteten Meßpunkt (P) zugeordneten Viereck (C) markiert sind.