DE19735175A1 - Verfahren zur digitalen Erfassung räumlicher Szenen sowie zur Bestimmung von Objektkoordinaten - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur digitalen Erfassung räumlicher Szenen sowie zur Bestimmung von Objektkoordinaten und findet Anwendung bei insbesondere der Katalogisierung und nachträglichen Auswertung dreidimensionaler Gebilde wobei ausgehend von Aufnahmen, welche das reale Gebilde darstellen, über eine Bildaufbereitung ein dreidimensionales Modell, auch für die Kartographie erstellbar ist.

Das dreidimensionale Modell dient dann der Nutzung zur Doku­ mentation und Interpretation. Mögliche Anwendungen sind beispielsweise die Dokumentation archäologischer Grabungen, das Generieren von Modellen für Robotereinsätze sowie die Steuerung unbemannter Inspektionssatelliten in der Raumfahrt, wobei für sämtliche der vorgenannten Aufgaben als Eingabegrößen Fotos, Filmsequenzen oder aktuelle Videokameraaufnahmen verwendbar sind.

Aus der DE 43 38 280 C1 ist ein Verfahren zur bildgestützten Lageerfassung und Kartierung unterirdischer, oberflächennaher Objekte mit einem optischen Meßgerät sowie geophysikalischen Sensoren zur Erfassung, Auswertung und Interpretation geo­ physikalischer Daten bekannt. Mit einer hochgenauen Peilvor­ richtung im Verbund mit einer Orientierungsplattform wird eine kontinuierliche, plangenaue und dreidimensionale oberirdische Lagebestimmung durchgeführt, wobei die relative Lage der Koordinatensysteme mit hoher Genauigkeit erfaßt werden müssen. Oberirdische und unterirdische Objektdaten werden dann in einem Zentralrechner eingegeben und nachträglich auf ein für digitale Kartensysteme entsprechendes Format übertragen und zur Ansicht gebracht.

Die notwendige Sensorik sowie die genaue Lage resp. Koordina­ tenzuordnung führt jedoch zu einem erheblichen Aufwand, so daß das Anwendungsgebiet der vorstehend beschriebenen Lösung eingeschränkt ist.

Für die Navigation eines mobilen Körpers wie etwa eines Kraft­ fahrzeuges entlang einer vorgebenen Reiseroute wird gemäß DE 195 44 921 A1 eine Lösung vorgeschlagen, bei der eine Straßen­ karte in einer externen Speichereinheit großer Kapazität z. B. einer CD-ROM abgelegt ist. Die dort quasi in einer zweidimen­ sionalen Ebene gespeicherten Angaben werden auf einem Bild­ schirm graphisch dargestellt, wobei ein gewisser Teil von Einzelheiten der Straßenkartendaten entsprechend der ange­ zeigten Position des Bildschirms bezüglich des Anzeigeformats verändert werden können dergestalt, daß die graphisch gezeich­ neten Straßenkarten in vogelperspektivischer Darstellung dreidimensional mit einem für den Betrachter vermittelten Tiefegefühl erkannt werden können. Ein dreidimensionaler Bezug wird jedoch lediglich anhand der Umwandlung zweidimensional vorhandener Daten erstellt, ohne daß es auf tatsächliche realitätsbezogene Formen der Darstellung ankommt.

Gemäß der DE 195 38 133 A1 ist ein Verfahren zur 3D-Visuali­ sierung von Daten auf dem Bildschirm eines Computers bekannt, das zur Sichtbarmachung von komplexen Zusammenhängen innerhalb großer Datenmengen dient. Eine Vielzahl von Daten eines mehr­ dimensionalen Datenraums wird interaktiv graphisch in einen dreidimensionalen Datenraum umgesetzt, in dem die Daten neu­ ronalen, unüberwacht lernenden Netzwerken zugeführt werden, deren genetische Algorithmen die Daten nach Auffälligkeiten in der topologischen Ähnlichkeitstransformation analysieren und zu Gruppen von Datennetzen transformieren.

Strukturelle Ähnlichkeiten der Daten des multidimensionalen Datenraums werden in geometrisch darstellbare Ähnlichkeiten der Gruppen von Datensätzen transformiert, wobei dies mit dem Ziel erfolgt, eine topographische Merkmalskarte als räumlich zusam­ menhängende bzw. zusammengehörende Gebilde auf dem Bildschirm eines Monitors graphisch sichtbar machen zu können.

Bei einem derartigen Verfahren besteht jedoch die Schwierig­ keit, daß in der Realität nicht vorliegende dreidimensionale Beziehungen künstlich erstellt werden, wobei sich hieraus der Nachteil ergibt, daß die so gewonnenen Datensätze für eine nachträgliche Dokumentation und Bewertung, z. B. bei archäolo­ gischen Ausgrabungen ungeeignet sind. Darüber hinaus müssen die Eingangsdatensätze als quasi zusammenhängender Datensatz mit interner Bezugnahme untereinander zur Verfügung stehen, da ansonsten eine dreidimensionale Zuordnung einzelner Punkte ohne externe Verknüpfungselemente, die wiederum vorzugeben sind, unmöglich ist.

Es ist daher Aufgabe der Erfindung, ein Verfahren zur digitalen Erfassung räumlicher Szenen sowie zur Bestimmung von Objekt-Koor­ dinaten anzugeben, das es gestattet, in einfacher Weise beliebige natürliche Szenen auch durch Einzelpositionsaufnahmen zu erfassen, ohne daß von vornherein Paßpunkte oder ein einheitliches Koordinatensystem vorgegeben werden muß, wobei auf der Basis der so erfaßten Szenen nachträglich ein geome­ trisch räumliches Bild erstellt werden kann, welches wiederum in eine entsprechende Datenbank transformierbar ist.

Die Lösung der Aufgabe der Erfindung erfolgt mit einem Ver­ fahren gemäß einer Definition nach Patentanspruch 1, wobei die Unteransprüche mindestens zweckmäßige Ausgestaltungen und Weiterbildungen umfassen.

Gemäß dem Grundgedanken der Erfindung wird die interessierende Szene von verschiedenen Positionen aus z. B. mit einer Digital­ kamera aufgenommen, wobei die erhaltenen Bilddaten in ent­ sprechenden Dateien abgelegt werden. Im Anschluß daran werden korrespondierende Referenz- oder Verknüpfungselemente in den einzelnen Aufnahmen bestimmt, wobei dies auch interaktiv erfolgen kann. Die Referenz- oder Verknüpfungselemente können Marken sein, die in der jeweiligen Szene angeordnet werden, oder markante Punkte sein, die aus dem Szenenbild bzw. den Szenenbildern selbst stammen.

Die Aufnahme oder die Aufnahmesequenz kann sowohl kontinuier­ lich als auch diskontinuierlich, d. h. in Form von einzelnen Szenenfotos vorgenommen werden.

Die so erhaltenen digitalen Datensätze werden nunmehr einer automatischen Bestimmung der inneren räumlichen Geometrie des Systems der Verknüpfungselemente unterzogen, wobei hierfür teilweise bekannte Methoden der digitalen Bild- und/oder Mustererkennung anwendbar sind. Ergänzend besteht die Mög­ lichkeit, daß externe Koordinaten oder Paßpunkte vorgesehen sind, was jedoch eine nicht zwingende Bedingung darstellt.

Ergänzend besteht die Möglichkeit der gegenseitigen Zuordnung von Punkten in verschiedenen Bildern oder Szenen und eine automatische Verfolgung von Strukturen, die sich aus diesen Punkten innerhalb dieser Bilder ergeben. Ebenso können Start­ werte in den Bildern vorgegeben werden, so daß keine exakte Entsprechung in den folgenden Bildern erforderlich ist, sondern nur eine näherungsweise Übereinstimmung gegeben sein muß. Alternativ kann eine Optimumsuche durchgeführt werden mit dem Ziel der Bestimmung der maximalen Korrelationen an den Bild­ punkten bzw. Verknüpfungselementen. Hierfür wird ein Punkt in einem der Bilder definiert und festgehalten. In den anderen Bildern wird eine Korrelation zu diesem ausgewählten Bildpunkt durchgeführt, wobei dann ausgehend von den jeweiligen Posi­ tionen eine lokale Maximumsuche in einem vorgegebenen Such­ bereich, d. h. mit vorgegebenen Suchschritten, z. B. 10×10 Pixel durchgeführt wird. Die so erhaltenen Optimalwerte liefern dann eine Entsprechung zur ausgewählten Position im ersten Bild, so daß Übereinstimmungen im Subpixelgenauigkeitsbereich erreichbar sind.

Im Anschluß daran besteht die Möglichkeit der Bewegung des so bestimmten Bildpunktes im ausgewählten ersten Bild, um eine kleine Änderungsgröße z. B. Δx oder Δy<10 Pixel sowie eine erneute Bestimmung der zugehörigen Positionen in den anderen, übrigen Bildern. Im Falle möglicher falscher Zuordnungen führt die derart vorgenommene Bildverfolgung zu Widersprüchen, so daß ein Eliminieren fehlerhafter Anfangsbedingungen gegeben ist.

Ein erwähnter Korrelationsvergleich zeichnet sich dadurch aus, daß rechteckige Bildinhalte einer festen Größe pixelweise ver­ glichen werden. Eine weitere Realisierungsform besteht darin, die interne Korrelation in den Einzelbildern sowie die Kreuz­ korrelation zwischen den Bildern rechnerisch zu ermitteln.

Letztendlich wird erfindungsgemäß nach erfolgter Zuordnung der Verknüpfungselemente aus verschiedenen Bildern und Ableitung von Beziehungen für die Bestimmung der räumlichen Geometrie im System der Verknüpfungselemente, die konkrete räumliche Geo­ metrie des Systems der Verknüpfungselemente ermittelt, wobei anhand des derart erstellten, räumlich dreidimensionalen (3D) Modells zweidimensionale Merkmale aus den Einzelaufnahmen in das 3D-Modell transferiert werden, um eine vollständige drei­ dimensionale digitale Beschreibung der Szene bzw. der in der Szene befindlichen Objekte zu erhalten.

Letztendlich liegt im Ergebnis der vorstehend beschriebenen Verfahrensschritte eine komplette dreidimensionale digitale Beschreibung der ausgangsseitig nur zweidimensional vorhandenen Daten bzw. der hieraus gewonnenen digitalen Dateien vor.

Bei der Bestimmung der Verknüpfungselemente wird auf die erwähnten Verfahren der Kantendetektion, auf Korrelationsver­ gleiche, d. h. Feststellung der besten Übereinstimmung zwischen zwei Bildern mit gleichen Bildausschnitten oder eine Kombi­ nation der vorstehend beschriebenen Verfahren zurückgegriffen. Als Verknüpfungselemente werden Bildelemente verwendet, die sich dadurch auszeichnen, daß das betreffende Element min­ destens in zwei Bildern vorhanden ist und wobei sich die betreffenden Merkmale deutlich von der Umgebung abheben. Letztendlich muß für die Bildelemente eine Charakterisierung der entsprechenden Merkmale durch 2D- und 3D-Koordinaten möglich sein.

Als Verknüpfungselemente kann, wie in der Photogrammetrie bekannt, auf Punkte zurückgegriffen werden. Bei verschiedenen Anwendungen konnten erfindungsgemäß Linien und Linienzüge mit gutem Ergebnis eingesetzt werden. Gebiete mit ausgeprägten Texturen sind ebenfalls geeignet. Die durch die Bildverar­ beitungsverfahren gelieferte Verknüpfungselementeliste kann durch interaktive Arbeit eines Benutzers am Bildverarbei­ tungssystem erweitert oder ergänzt oder aber auch verändert werden. Bei der einer derartigen Ausführungsform genutzten automatischen Zuordnung potentieller Verknüpfungselemente aus verschiedenen Bildern besteht das Ziel der Reduzierung der Zahl von Zuordnungen, wobei hierfür eine Reihe von Kriterien genutzt werden, die falsche Zuordnungen und Zuordnungsmengen aus­ schließen und die richtige Zuordnungen hervorheben.

Folgende Zuordnungskriterien sind bevorzugt.
Eine Zuordnung muß mit den bekannten bzw. bereits in vorher­ gehenden Arbeitsschritten bestimmten Randbedingungen, z . B. näherungsweise relative oder absolute Kameraposition, mög­ licherweise bekannte räumliche Beziehungen in der Szene - Modell vereinbar sein;
die Verknüpfungselemente müssen aufeinander abbildbar sein;
es ist ein Test der Verknüpfungselemente auf Ähnlichkeiten/Korre­ lationen in der Bildumgebung notwendig, wobei nur solche Elemente zugeordnet werden, deren direkte Umgebungen aufein­ ander abbildbar sind; es erfolgt ebenfalls ein Test von mehreren unabhängigen Zuordnungen auf Konsistenz der Lösung des daraus folgenden Gleichungssystems mit den verbleibenden Ver­ knüpfungselementen;
alternativ besteht die Möglichkeit des erwähnten interaktiven Eingriffes durch Zuordnen von Verknüpfungselementen durch den Bediener anhand des vorliegenden Erfahrungsschatzes, wobei dies auch mit einer Fuzzy-Logik wiederum automatisiert unter Rück­ griff auf Datenbank-Erfahrungswerte möglich ist.

Die beim beschriebenen Verfahren notwendigen unabhängigen Rechen- und Entscheidungsschritte lassen sich besonders bevorzugt mittels Parallelrechnersystemen abarbeiten, so daß insgesamt eine zeitliche Beschleunigung der Transformation gegeben ist.

Bei einer weiteren Ausführungsform der Erfindung kann ver­ fahrensmäßig eine Integration von Objekt- bzw. Szenen-Koor­ dinatendaten aus externen Datenquellen für die Bestimmung des 3D-Modells erfolgen. Hier kann es sich beispielsweise um bekannte Längen- und Winkelkoordinaten aus der realen Szene, um Meßergebnisse externer Sensorsysteme, z. B. Laserentfernungs­ messer oder Laserradar oder dergleichen, aber auch um Infor­ mationen zur absoluten bzw. relativen Kamerapositionierung handeln. Die Position der Kamera beim Aufnehmen der Objekt­ szenen kann mit Hilfe von Beschleunigungssensoren ausgehend von einer Eichposition, Bewegungen in x-, y- und z-Richtung ver­ folgend, erfaßt werden.

Die Einbeziehung von Koordinaten aus externen Datenquellen erleichtert gemäß vorstehend beschriebener Ausführungsform das Finden exakter Zuordnungen und erhöht die Geschwindigkeit bei der Bestimmung des 3D-Modells.

Besonders bevorzugt wird das erfindungsgemäße Verfahren zur Erfassung archäologischer Grabungssituationen, d. h. zur Dokumentation derartiger Grabungen benutzt.

Insbesondere bei dieser erfindungsgemäßen Verwendung wird die jeweilige Grabungssituation im Komplex erfaßt und durch Einzelaufnahmen eine Dokumentation des zeitlichen Grabungs­ fortschrittes erhalten. Die Aufnahme der freigelegten Funde aus verschiedenen Perspektiven wird ergänzt durch Teilaufnahmen besonders interessierender Funde in situ.

Bei der Aufbereitung der Bilddaten erfolgt ein Hervorheben von Details, z. B. Bodenprofilen und Funde sowie Kanten mit Mitteln der digitalen Bildverarbeitung, wie in der Beschreibung bereits erwähnt. Detailaufnahmen der Grabungssituation lassen sich in die erhaltenen Bilddatenmodellen integrieren, wobei ebenfalls ein Markieren identischer Bildausschnitte auf den einzelnen Aufnahmen während der Bildaufbereitung möglich ist.

Die so vorhandenen, aufbereiteten Bilddaten dienen der Erstel­ lung des 3D-Modells, wobei dieses dann ein ideales Dokumenta­ tionsmittel der freigelegten Funde ist und vorteilhaft erst im Nachgang Grabungszeichnungen aus beliebigen Ansichten unter Nutzung der vorhandenen 3D-Daten gefertigt werden können. Im Vergleich zum üblichen Befunddatenaufnehmen durch Übertra­ gung von Koordinaten und das Anfertigen von Zeichnungen vor Ort, kann z. B. bei Tiefbauarbeiten die Unterbrechung des Baufortschrittes in erheblichem Maße reduziert werden, ohne daß wertvolle archäologische Informationen verloren gehen.

Die Erfindung soll nachstehend anhand eines Ausführungsbei­ spiels näher beschrieben werden.

Bei dem nachstehend beschriebenen Ausführungsbeispiel wird von einer Ermittlung archäologischer Ausgrabungssituationen ausge­ gangen, wobei hier die digitale Erfassung räumlicher Szenen unter Einbeziehung von bestimmten Texturinformationen mit geologischem Hintergrund das angestrebte Ziel ist, so daß letztendlich ein 3D-Modell, darstellbar auf einem Computer­ system, vorhanden ist.

Zunächst erfolgt eine Aufnahme von der gegebenen Szene von verschiedenen, im wesentlichen frei wählbaren Positionen und Richtungen, wobei die einzelnen Koordinaten der Aufnahmepunkte nicht bekannt sein müssen. Nach einer Bestimmung von korre­ spondierenden Referenz- oder Paßpunkten (Verknüpfungselementen) in den einzelnen Aufnahmen erfolgt eine automatische Ermittlung der inneren räumlichen Geometrie des Systems der Paßpunkte bzw. der Verknüpfungselemente durch eine rekursive Lösung eines nichtlinearen Gleichungssystems, z. B. vergleichbar mit einem sogenannten Bündelblockausgleich.

Beim Vorhandensein externer, vorgebbarer Paßpunkte oder von externen Verknüpfungselementen, wobei diese bekannte Koor­ dinaten besitzen, kann eine Orientierung primär oder ergänzend an bzw. in diesem Koordinatensystem erfolgen.

Weiterhin erfolgt verfahrensgemäß eine automatische Bestimmung relevanter Merkmale in den Einzelaufnahmen, wobei es sich hierbei um Punkte, Linien und Segmente handeln kann. Mit einem interaktiven Eingriff kann auf Erfahrungswerte des Archäologen oder des am Bildverarbeitungssystem tätigen Personals zurück­ gegriffen werden. Selbstverständlich kann verfahrensgemäß eine Merkmalsanalyse auch automatisch anhand einer Datenbank oder mit Hilfe einer Fuzzy-Logik vorgenommen werden.

Die vorliegenden 2D-Merkmale aus den Einzelaufnahmen werden dann durch das nunmehr bestehende räumliche Geometriesystem in ein 3D-Modell überführt, wobei die zugehörige Beschreibung der 3D-Merkmale, z. B. Farben und Texturen, automatisch aus den Daten der vorhandenen 2D-Aufnahmen gewonnen wird. Aufgaben­ spezifische Daten, z. B. Signaturen oder Indices können inter­ aktiv eingegeben werden, so daß sich die spätere Untersuchung anhand der vorliegenden 3D-Dokumentation vereinfacht.

Im Ergebnis liefert das Verfahren eine digitale räumliche Beschreibung der jeweiligen Szene, die als Grundlage für ein CAD oder Virtual Reality-Archivierungssystem eingesetzt werden kann, wobei die erhaltenen Daten in bekannter Weise in gängige Datenformate übertragbar sind.

Claims (6)

1. Verfahren zur digitalen Erfassung räumlicher Szenen sowie zur Bestimmung von Objektkoordinaten, umfassend folgende Schritte:

• - Aufnehmen der Szene aus einer oder mehreren Positionen und/oder unterschiedlichen Richtungen zum Erhalt von einer oder mehreren Ansichten der Szene sowie Erstellen digitaler Datensätze, die den aufgenommenen Bildern entsprechen;
• - Bestimmen von natürlichen oder künstlichen, in der Szene vorhandenen Verknüpfungselementen auf der Basis der digi­ talisierten Datenmengen der Ansichten bzw. Bilder der Szene, wobei ein Bildverarbeitungssystem eine automatische Bestim­ mung der Verknüpfungselemente vornimmt und diese Verknüp­ fungselemente gegebenenfalls durch interaktive Eingriffe vorgibt oder selektiert;
• - Zuordnung der Verknüpfungselemente aus verschiedenen Bildern und Ableitung von Gleichungen für die Bestimmung einer räumlichen Geometrie des Systems bzw. im System der Ver­ knüpfungselemente;
• - Bestimmung der räumlichen Geometrie des Systems der Verknüpfungselemente, gegebenenfalls unter Rückgriff auf externe Koordinaten oder Paßpunkte, wobei anhand des derart erstellten räumlichen dreidimensionalen Modells die zweidimensionalen Merkmale aus den Einzelaufnahmen in das 3D-Modell bzw. die zu erhaltende 3D-Datei transferiert werden, um eine vollständige dreidimensionale digitale Beschreibung der Szene oder der in der Szene vorhandenen Objekte zu erreichen, welche bzw. welches von den ausgangs­ seitig zweidimensional vorhandenen Daten oder Dateien beschrieben wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die verschiedenen Aufnahmen kontinuierlich oder quasi kontinuierlich aus unterschiedlichen Positionen bzw. Richtungen gefertigt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß bei der Bestimmung der Verknüpfungselemente überwiegend auf eine automatische Analyse zurückgegriffen wird, wobei als Verknüpfungselemente Bildelemente genutzt werden, die wiederum Elemente enthalten, welche mindestens in zwei Bildern vorhanden sind, bei denen sich die betreffenden Merkmale im Bild deutlich von der Merkmalsumgebung abheben und bei denen eine Charakteri­ sierung der betreffenden Merkmale durch 2D- und 3D-Koordi­ naten möglich ist.

4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß eine vollständige automatische Zuordnung potentieller Verknüpfungselemente aus verschiedenen Bildern vorgenommen wird, wobei diese Zuordnung anhand mindestens eines der oder einer Kombination aller der folgenden Kriterien realisiert wird:

• - eine gegebene Zuordnung muß mit dem bekannten oder bereits in vorhergehenden Arbeitsschritten bestimmten Randbe­ dingungen, wie näherungsweise relative oder absolute Kamerapositionen, mögliche bekannte räumliche Beziehungen in der Szene - Modell oder dergleichen vereinbar sein;
• - die Verknüpfungselemente müssen aufeinander abbildbar sein:
• - die Verknüpfungselemente müssen auf Ähnlichkeiten oder Korrelation in der Bildumgebung geprüft sein, wobei nur solche Elemente zugeordnet werden, deren direkte Umgebungen aufeinander abbildbar sind;
• - mehrere unabhängige Zuordnungen werden auf Konsistenz der Lösung des daraus folgenden Gleichungssystems mit den ver­ bleibenden Verknüpfungselementen geprüft.

5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß bekannte Objekt- oder Szenen-Koordinatendaten aus externen Datenquellen in die Bestimmung des 3D-Modells integriert werden, wobei es sich hierbei um beispielsweise Längen- und Winkelkoordinaten aus der realen Szene, um Meßergebnisse externer Sensoren und/oder um Informationen zur absoluten oder relativen Kameraposition handeln kann, so daß hierdurch die gewünschten Verknüpfungszuordnungen und die Bestimmung des 3D-Modells rechentechnisch beschleunigbar ist.

6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß dieses zur Erfassung von archäologischen und geologischen Grabungssituationen verwendet wird.