DE19749974C2 - Verfahren und Apparat zur Erzeugung einer 3D-Punktwolke - Google Patents

Abstract

Die Erfindung betrifft eine Anordnung zur Erzeugung einer 3-D-Punktwolke für die Topometrie (3-D-Videometrie) oder die 3-D-Vision für Multimedia-Applikationen, also für die messende und nichtmessende Bestimmung der 3-D-Gestalt von Körpern und Szenen in einem Objektraum mit einer Lichtquelle, einem Beleuchtungsobjektiv zur Abbildung einer gerasterten Struktur (Gitter oder Mikrolinsen-Array) mindestens einem Aufnahmeobjektiv, einem Körper oder einer Szene oder einem Körper und einer Szene, einem Beleuchtungsobjektiv und einer Aufnahmekamera, bei der dem Aufnahmeobjektiv bildseitig ein Array aus mikrooptischen Bauelementen oder ein gerasterter Bildempfänger zugeordnet ist und dem Array aus mikrooptischen Bauelementen oder dem gerasterten Bildempfänger ein zweites Objektiv im Bildraum zugeordnet ist.

Description

Die Erfindung betrifft eine Anordnung zur Erzeugung einer 3D-Punktwolke gemäß dem Oberbegriff des Anspruch 1, wie sie aus der EP 0 679 864 A1 bekannt ist, sowie ein Verfahren zur Erzeugung einer 3D-Punktwolke nach Anspruch 12.

1. Technisches Anwendungsgebiet

Das technische Anwendungsgebiet besteht in der Bestimmung der 3D-Form oder 3D-Gestalt von Körpern im Raum und Szenen, vorzugsweise mit einer Aufnahmekamera in einem Aufnahmesystem, die im weiteren als 3D-Kamera bezeichnet wird. Die Anwendung dieses Verfahrens und Apparates zur Erzeugung einer 3D-Punktwolke, im weiteren als 3D-Aufnahmeverfahren bezeichnet, wird zum einen im Sinne der Meßtechnik gesehen und als 3D-Meßtechnik oder 3D- Videometrie bezeichnet. Die 3D-Punktwolke stellt dabei das Ergebnis einer umfangreichen Berechnung aus optisch erzeugten Signalen dar. Hierbei wird die mit der vorgeschlagenen Methode erzeugte Punktwolke beispielsweise im Sinne der Überführung der Daten in ein CAD-System bearbeitet. Es werden Flächen- und Volumenmodelle generiert und mit bereits vorhandenen Solldaten verglichen. Ein Anwendungsgebiet kann dabei die 3D-Aufnahmetechnik im Kreislauf des Reverse- Engineerings sein, s. a. Bieder, H.: "Optische Formerfassung und Reverse- Engineering - Anforderungen an die Software, Daimler-Benz-AG, GMA-Bericht 30, DGZfP - VDI/VDE-GMA Fachtagung 28./29. April 1997, Langen, Bundesrepublik Deutschland, S. 139-146. Ein derartiges System kann in einer 3D- Koordiatenmeßmaschine als 3D-Meßkopf eingesetzt werden.

Der zweite Anwendungsfall stellt das Erzeugen von 3D-Bildern für die 3D- Wiedergabe dar. Hierbei geht es um die 3D-Vision im 3D-Video- bzw. 3D- Fernsehbereich, bzw. um 3D-Multimedia-Anwendungen. Das Wiedergabemedium ist vorzugsweise elektronischer Natur. Aus der 3D-Punktwolke, die auch bei dieser zweiten Applikation das Ergebnis einer Berechnung aus optisch erzeugten Signalen ist, werden Flächen und Volumen von Körpern und Szenen so berechnet, dass eine 3D-Wiedergabe durch elektronische Medien oder optische Verfahren möglich ist. Dabei ist die elektronische Kopplung einer 3D-Kamera mit einer entsprechend angepaßten Farbkamera möglich, um 3D-Farbbilder zu erzeugen.

2. Stand der Technik

Die 3D-Form von Oberflächen wird häufig mit Streifen-Triangulationsverfahren vermessen. Dabei wird mit einem möglichst großen Einfallswinkel für die Prüflingsbeleuchtung, beispielsweise zwischen 20° und 70°, der Prüfling oder die Szene beleuchtet. Bei einem kleineren Einfallswinkel, beispielsweise 10°, bei der Abbildung eines Streifenfeldes auf die Prüflingsoberfläche ergibt sich für vorgegebene Meßaufgaben oft eine zu geringe Empfindlichkeit. Eine Erhöhung der Empfindlichkeit kann bei einem gegebenen Einfallswinkel durch eine Erhöhung der Streifendichte erfolgen. Dabei entstehen Probleme bei der Abbildung eines sehr dichten Streifenmusters, da die verfügbaren Kamerachips in der Größenordnung von 1000 × 1000 Pixeln nur eine begrenzte Anzahl von Bildpunkten aufweisen und damit nur Streifenzahlen in der Größenordnung von 100 gut auszuwerten sind. Um bei einem kleineren Einfallswinkel (< 10°) eine hohe Meßgenauigkeit zu erreichen, sind jedoch bis zu 10000 Streifen in einer Richtung auszuwerten. Dies ist durch optische Abbildungssysteme durchaus möglich.

Das Problem liegt in der immer noch bestehenden unterschiedlichen Übertragungsleistung der elektronischen Bildverarbeitung und der optischer Systeme.

In der Zeitschrift Optical Engineering, Vol. 32, No. 6 (1993), S. 1374-1382, wird auch auf die nicht zu unterschätzenden Fehlereinflüsse hingewiesen, die durch Speckle-Effekte bei der Verwendung kohärenter Planwellen bei der Triangulationsmeßtechnik auftreten. Allein aus Sicherheitsgründen verbietet sich bei der Aufnahme von Personen die Anwendung gerichteter Laserstrahlung.

Um eine hohe Schärfentiefe bei der Vermessung von tiefen Objekten zu erreichen, wird stark abgeblendet, also mit kleinen Objektivöffnungen gearbeitet. Dies erfordert starke Lichtquellen, beispielsweise in Form von Blitzlampen oder es ist nur die Ausleuchtung vergleichsweise kleiner Felder möglich, beispielsweise 200 mm × 200 mm.

Ein weiteres Problem sind diskontinuierliche Oberflächen, die zu einer Verletzung des Sampling-Theorems führen können. Hier wird auf der Grundlage des Gray- Code-Verfahrens zunächst eine Folge von Binär-Bildern aufprojiziert und anschließend bei höheren Genauigkeitsforderungen Sinusgitter auf die Objektoberfläche abgebildet und die bekannte Phasenschiebemethode angewendet.

Der Stand der Technik bei der Erzeugung von 3D-Bildern basiert in der Regel auf der Zweikameratechnik. Es wird das biologische Modell kopiert, welches auf dem zweiäugigen Sehen aufbaut. Grundsätzlich kann es durch die Verwendung von zwei Kameras zu Problemen mit der lateralen Genauigkeit bei der Generierung der 3D- Punktwolke kommen. Deshalb ist bei der hochgenauen 3D-Technik die Ein-Kamera- Technik von Vorteil.

Außerdem stehen die Daten des Objektraumes bei den herkömmlichen Verfahren nicht in digitaler Form zur Verfügung.

In der Schrift WO 97/04285 A1 wird ein Moire-Interferometer mit einer Beleuchtungs- und einer Abbildungslinse zur optischen Abtastung eines Messobjektes beschrieben. Jedoch kann bei diesem Moire-Interferometer nur ein durch die Beleuchtungs- und die Abbildungslinse bereits gegebener Tiefenbereich realisiert werden. Dadurch kann insbesondere bei nichtpunktförmigen Lichtquellen keine große Tiefe bei der Abtastung aufgrund des Tiefenschärfeproblems erreicht werden. Bei nahezu punktförmigen Lichtquellen ist es dagegen wegen der geringen zur Verfügung stehenden Lichtenergie schwierig, Flächen in größerer Entfernung auszuleuchten, so dass mit dieser Anordnung keine große Tiefe bei der optischen Abtastung erreichbar ist.

In der In der Schrift EP 0679 864 A1 wird ein konfokaler optischer Apparat zur optischen Abtastung eines Messobjektes beschrieben, bei welchem ein Objektiv oder eine Objektivsystem relativ zu einem Messobjekt bewegt wird. Nur mit sehr großen und aufwendigen Objektivsystemen ist eine größere Abtastung in der Tiefe erreichbar, da das Objektivsystem über den gesamten Bereich der zu erfassenden Tiefe bewegt werden muss. So ist mit einer derartigen Anordnung keine große Tiefe bei der Abtastung erreichbar.

Die Aufgabe der Erfindung besteht demnach darin die gattungsgemäße Anordnung dahingehend zu verbessern, dass mit wenig Aufwand eine bessere Tiefenabtastung möglich wird. Erfindungsgemäß wird diese Aufgabe durch die Anordnung nach Anspruch 1, sowie ein Verfahren zur Erzeugung einer Punktwolke nach Anspruch 12 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen gekennzeichnet.

3. Mit der Erfindung gelöste Aufgabe

Die Erfindung löst die Aufgabe der flächenhaften Prüfung der 3D-Gestalt technischer und natürlicher Oberflächen von Körpern im Raum sowie kompletter Szenen. Oberflächen von Körpern im Raum sowie komplette Szenen können mit hoher Meßgenauigkeit in der Tiefe und mit hoher Meßproduktivität gemessen oder aber in Form elektronischer Bildwiedergabemedien als 3D-Objekte dargestellt werden. Durch die Möglichkeit der Verwendung hochgeöffneter Objektive, also nahe der Maximalöffnung, z. B. 1 : 2,8 bis 1 : 5,6 relative Öffnung, wird die benötigte Lichtleistung für die Ausleuchtung der Szene reduziert, bzw. es können größere Felder ausgeleuchtet werden. Durch das Auswerteverfahren wird eine Auflösung auf bis zu 1/1000 der effektiven Wellenlänge in der Tiefe dadurch erreichbar. Dies ist aber nicht in jedem Fall sinnvoll und möglich.

Der Prüfling steht etwa senkrecht zur optischen Achse des Aufnahmeobjektivs. Das gestattet eine optimale laterale Auflösung und ist die Voraussetzung für die Anwendung tomographischer oder tiefenscannender Verfahren.

Technisch wird dadurch die Prüfung der Oberflächengestalt von Werkstücken des Maschinenbaus, des Fahrzeugbaus, einschließlich der Luft- und Raumfahrt weiter verbessert. Damit steht der Applikation in der automatisierten Produktion, in der Robotik, im Bauwesen, in der Medizin und auch im künstlerischen Bereich, beispielsweise bei der Vermessung von Großplastiken oder Fassaden nichts entgegen. Auch die elektronische Unterstützung von Blinden zur Orientierung im Raum ist damit möglich.

Weiterhin ist die Vermessung unbekannter räumlicher Strukturen mit der Anwendung der Erfindung möglich. Dies ist bei automatisierten Recyclingprozessen eine Möglichkeit der Trennung von komplexen Objekten.

Selbstverständlich muß die Dynamik im optischen Aufnahmekanal den Reflexionseigenschaften gegebenenfalls über mehrere Größenordnungen angepaßt werden, bzw. die Helligkeit der Beleuchtungseinrichtung den realen Verhältnissen durch eine hochdynamische und genaue Beleuchtungssteuerung.

Weiterhin können in Filmstudios Personen, Tiere, technische Objekte, aber auch nichttechnische Objekte in ihrer räumlichen Struktur mit nur einer Aufnahmekamera erfaßt werden, wobei der Raum, in welchem sich die Objekte befinden, strukturiert in unterschiedlichen Tiefen und zeitlich nacheinander beleuchtet wird. Bei entsprechend hoher Dynamik des beschriebenen 3D-Verfahrens, also der eingesetzten elektronischen und mechanischen Komponenten, können auch sich bewegende Objekte und Szenen erfaßt werden. Dadurch ist die Echtzeitfähigkeit des Verfahrens grundsätzlich gegeben.

4. Erreichte Verbesserungen und Vorteile gegenüber dem Stand der Technik

Die Anwendung der Erfindung vergrößert sehr wesentlich den Tiefenmeßbereich bei der Prüfung der 3D-Gestalt von Oberflächen von Körpern und Szenen, besonders mit Abmessungen im Bereich oberhalb einiger Zentimeter. Durch die Beleuchtung des Prüflings unter einem vergleichsweise kleinen Winkel, beispielsweise um 10° oder darunter, können auch glatte Oberflächen mit einem geringen Streuvermögen ohne Präparierung der Oberfläche - wie in der Praxis heute oft noch üblich - geprüft werden, beispielsweise auch feinbearbeitete metallische Oberflächen.

Die bei den bekannten optischen Triangulationsverfahren oft auftretenden und sehr störenden Lichtschatten bei räumlichen Strukturen werden weitgehend vermieden.

Der in seiner 3D-Form zu erfassende Körper oder die gesamte Szene steht vorzugsweise senkrecht zur optischen Achse des Aufnahmeobjektivs. Das gestattet aufgrund der optimalen Abbildungsbedingungen eine hohe laterale Auflösung und den Einsatz tomographischer oder tiefenscannender Verfahren. Diese basieren zum einen auf einer Änderung der Relativlage zwischen der Aufnahmekamera und dem Körper. Dadurch entsteht kein Auswandern des Bildes in der Kameraebene. Andererseits kann im Kopf der Aufnahmeeinheit, die die Aufnahmekamera enthält, ein Scanner installiert sein, wodurch keine Relativbewegung zwischen dem Objekt und der 3D-Aufnahmekamera erzeugt werden muß. Mittels Scanner wird der Objektraum durchfokussiert. Dadurch ist es möglich, aus dem gesamten Objektraum in sehr kurzen Zeiten, beispielsweise im ms-Bereich Informationen aufzunehmen.

So ermöglicht die Anwendung der Erfindung die nahezu vollständige Ausnutzung der hohen Leistungsfähigkeit optischer Abbildungsysteme für die Prüfung der 3D- Oberflächengestalt unter Berücksichtigung der geringeren Leistungsfähigkeit der elektronischen Bildverarbeitung. Präzisionsobjektive bilden bis zu 10000 Linienpaare über dem Bildfelddurchmesser ab. Andererseits können komplette Szenen echtzeitnah als 3D-Szenen aufgenommen werden. Die Grenze für das erfaßbare Volumen stellt die zum Einsatz gebrachte Lichtenergie, die Lichtstärke der verwendeten Objektive sowie die photometrische Empfindlichkeit der verwendeten Bildempfänger dar. Je mehr Lichtenergie, je höher die relative Öffnung der optischen Systeme und der lichtoptische Durchsatz aller im 3D-Aufnahmesystem verwendeten optischen Komponenten und die Empfindlichkeit des vorzugsweise elektronischen Aufnahmemediums, um so größer ist der zu erfassende Raum. Dieser kann durchaus einige Meter und bis 20 m betragen. Die Grenze ist hierbei nicht physikalischer, sondern eher technischer Natur.

Durch die Auswertung der Farbinformation der Körper oder Szenen durch die grundsätzlich mögliche Verwendung einer Farbkamera im 3D-Aufnahmesystem oder durch die Verwendung einer zusätzlich installierten Farbkamera können die Körper oder Szenen farblich mittels elektronischer Medien wiedergegeben werden. Die Verwendung einer zusätzlichen Farbkamera ermöglicht eine höhere Verarbeitungsgeschwindigkeit, da möglicherweise die Farbkamera eine geringere laterale Auflösung besitzen kann. Die Farbinformation wird der 3D-Form zugeordnet.

Auf die Verwendung von Laserstrahlung wie bei Laser-Scannern notwendig kann völlig verzichtet werden.

Ein weiterer, sehr wesentlicher Vorteil besteht darin, dass der Objektraum schnell und genau digitalisiert werden kann, also die 3D-Koordinaten in digitaler Form für die weitere Bearbeitung zur Verfügung stehen. Damit können die vorhandenen und noch zu entwickelnden digitalen Werkzeuge zur Be- und Verarbeitung ohne Einschränkung eingesetzt werden.

5. Grundzüge des Lösungsweges

Es werden die Grundzüge des Verfahrens und der Anordnung gemeinsam beschrieben.

Das Verfahren besteht darin, dass mittels einer gerasterten Struktur, beispielsweise eines körperliches Gitters, beispielsweise ein Liniengitter, oder eines Arrays aus mikrooptischen Bauelementen, beispielsweise ein Mikrolinsen-Array mit einer Lichtquelle oder mittels eines Interferometers mit einer kohärenten Lichtquelle, welches als Streifengenerator benutzt wird und einem möglichst hochgeöffneten Beleuchtungsobjektiv ein Lichtgitter im Objektraum erzeugt wird. Ziel ist dabei in der Tiefe des Raumes bei einer Aufnahme nur eine möglichst geringe Ausdehnung des Schärfebereiches zu erhalten. Das entspricht einem geringen Tiefenschärfebereich wie er aus der Photographie bekannt ist. Zusätzlich zum Beleuchtungsobjektiv, vorzugsweise parallel zur optischen Achse des Beleuchtungsobjektivs, ist ein Aufnahmeobjektiv angeordnet.

Beleuchtungs- und Aufnahmeobjektiv sind vorzugsweise von gleicher Bauart. Auch fallen die Hauptebenen der Objektive vorzugsweise zusammen und die Objektive sind dicht beieinander angeordnet oder die Linsen befinden sich sogar in einer gemeinsamen Fassung. Auch sind die Objektive vorzugsweise mechanisch starre Präzisions-Objektive, also ohne Fokussiermöglichkeit und mit vorzugsweise großem Objekt- und Bildfeld und auch in der Tiefe gut korrigiert. D. h. beispielsweise für einen Bereich des Abbildungsmaßstabes zwischen 0,05x und 0,5x. Durch die achsparallele Anordnung und die Koinzidenz der Hauptebenen sind die Objektive stets auf die gleiche Objekt- und Bildebene eingestellt und bilden somit durch den geringen Abstand der Achsen zumindest einen identischen Teil des Objektfeldes im Objektraum vorzugsweise verkleinernd in den Bildraum ab. Im Bildraum bestehen jedoch getrennte Bildfelder, jedoch in der gleichen Bildebene, die senkrecht auf der optischen Achse steht. Von jedem Objektpunkt aus kann der Triangulationswinkel durch den Hauptbeleuchtungsstrahl und den Hauptabbildungsstrahl bestimmt werden. Dieser ändert sich im Objektfeld etwas. Dies ist aber aufgrund des Auswerte-Algorithmus nicht von Nachteil.

Während sich vor dem Beleuchtungsobjektiv in seiner Bildebene das Gitter oder das mikrooptische Array befinden, ist in der Bildebene des Aufnahmeobjektivs auch ein mikrooptisches Array angeordnet, welches vorzugsweise die gleiche Gitterkonstante wie das Gitter oder das Array in der Bildebene des Beleuchtungsobjektivs aufweist. Das mikrooptische Array in der Bildebene des Beleuchtungsobjektivs ist ein Mikrolinsen-Array aus diffraktiven oder refraktiven Elementen, wobei der lichtoptische Wirkungsgrad der refraktiven Linsen nach dem Stand der Technik höher ist und so vorzugsweise ein Mikrolinsen-Array aus refraktiven Linsen gleicher Brennweite im gesamten Array eingesetzt wird.

Dem Mikrolinsen-Array nach dem Aufnahmeobjektiv ist ein weiteres Objektiv zugeordnet, welches im Sinne der Lichtrichtung nachgeordnet ist und im weiteren als Aufnahmeobjektiv 2 bezeichnet wird. Dieses Aufnahmeobjektiv 2 ist auf der dem Array zugeordneten Seite möglichst gut telezentrisch ausgeführt. Auf der zweiten Seite des Objektivs 2 befindet sich der Bildaufnehmer, vorzugsweise eine elektronische Aufnahmekamera. Das Gitter auf der Bildseite des Beleuchtungsobjektivs und das Mikrolinsen-Array auf der Bildseite sind vorzugsweise fest miteinander verbunden. Gleichzeitig sind das Gitter, bzw. das Mikrolinsen-Array, und das Mikrolinsen-Array auf der Bildseite des Aufnahmeobjektivs mit einem hochdynamischen Scanner verbunden. Der Scanner ist mit einem Meßsystem verbunden und hat die Bewegungsrichtung in Richtung der optischen Achse der beiden Objektive. Dem Beleuchtungsobjektiv ist eine Lichtquelle zugeordnet. So entsteht im Objektraum ein Lichtgitter, welches aber nur auf den Bereichen der Körper oder der Teile der Szene scharf, also kontrastreich, zu sehen ist, welche sich in der Schärfeebene des Beleuchtungsobjektivs befindet. Die anderen Bereiche zeigen eine mehr oder wenig gleichmäßig beleuchtete Oberfläche. Das Aufnahmeobjektiv bildet die Streifenstruktur auf den in der Schärfeebene sich befindenden Oberflächenteilen in den Bildraum ab, wobei die Fokusebene der Mikrolinsen nach dem Aufnahmeobjektiv mit der Gitterebene oder der Fokusebene des Mikrolinsen-Arrays zur Beleuchtung koinzidiert. So wird das Bild der Objektoberfläche durch das Mikrolinsen-Array des Aufnahmeobjektivs nach Unendlich abgebildet. Da das Mikrolinsen-Array des Aufnahmeobjektivs sich jedoch im Strahlraum des telezentrischen Objektivs 2 befindet, wird das Mikrolinsen-Array als Objekt durch das Objektiv 2 auf den Bildaufnehmer scharf abgebildet.

Durch das Bewegen des Gitters vor dem Beleuchtungsobjektiv und des mit dem Gitter starr gekoppelten Mikrolinsen-Arrays mittels Scanner werden nach und nach die Teile des Objektes oder der Szene in der Tiefe - selbstverständlich innerhalb eines endlichen Tiefenbereiches durchfahren. Vorausgesetzt das Mikrolinsen-Array bewegt sich mechanisch innerhalb des Telezentrie-Bereiches, entsteht stets ein scharfes Bild der Objektoberfläche auf dem Bildempfänger - von den jeweils durch die Schärfeebenen erfaßten Teilen des Objektes oder der Szenen. So ist innerhalb dieses Telezentrie-Bereiches keine Bewegung der Kamera notwendig, um die jeweils scharf abgebildeten Teile der Objektoberfläche zu erfassen. Selbstverständlich kann auch der kameraseitige Teil des Objektivs 2 telezentrisch ausgeführt sein. In Sinne der besten lateralen Auflösung kann dann auch die Kamera entsprechend der Tiefenübertragung des Objektivs verschoben werden. Dies erfordert aber die Bewegung zum Mikrolinsen-Array vergleichsweise großer Massen, welches beispielsweise massearm in Kunststoff oder in Glas ausgeführt ist.

Für eine hohe Tiefenempfindlichkeit wird eine hohe Streifendichte gewählt, beispielsweise 500 bis 1000 Streifen oder mehr. Die Kamera kann etwa 500 bis 1000 Bildpunkte lateral auflösen und damit kann nach dem Abtast-Theorem ein derartiges Gitter nicht mehr aufgelöst werden. Deshalb wird eine optische "Austastung" des Gitters vorgenommen. Dies bedeutet, dass nur Teile des Gitters auf die Kamera zur Abbildung kommen, beispielsweise bezogen auf den Streifenabstand maximal jeweils nur eine halbe Streifenperiode, besser nur eine viertel Periode. Dies wird wie folgt erreicht: Das Aufnahmeobjektiv besitzt eine bestimmte bildseitige numerische Apertur. Dieser Apertur ist das Mikrolinsen-Array angepaßt. Es weist demzufolge eine ähnliche oder sogar größere Apertur in den Mikrolinsen auf. Die Anzahl der Mikrolinsen entspricht vorzugsweise der Anzahl der Bildpunkte des Bildempfängers. Zumindest ist jedoch vorzugsweise die Gitterkonstante des Gitters und das Rastermaß des Mikrolinsen-Arrays gleich. Durch die vorzugsweise näherungsweise übereinstimmende numerische Apertur von Aufnahmeobjektiv und Mikrolinsen wird das Licht vom Aufnahmeobjektiv nahezu vollständig, im Sinne einer guten Lichtausbeute erfaßt und nach Unendlich abgebildet. Dies gilt zumindest für achsnahe Punkte.

Um die im Randbereich des Mikrolinsen-Arrays schräg vom Aufnahmeobjektiv auftreffenden Hauptstrahlen optimal zu erfassen, kann grundsätzlich mit dezentrierten Mikrolinsen gearbeitet werden. Dabei ist die Dezentrierung im Bereich der Achse null und nimmt zum Rand kontinuierlich zu.

Das telezentrische Objektiv 2 weist eine geringere numerische Apertur auf als das Aufnahmeobjektiv. Dies entspricht auch dem bekannten technischen Stand. In der Fokalebene des Abbildungsobjektivs befindet sich beispielsweise eine Kreisblende, vorzugsweise auf der optischen Achse. Damit ist die numerische Apertur für die Abbildung des Mikrolinsen-Arrays durch das Objektiv 2 vorgegeben. Das Verhältnis der numerischen Aperturen bestimmt das Tastverhältnis. Beträgt beispielsweise die numerische Apertur des Objektivs 2 nur ein Drittel der des Aufnahme-Objektivs wird von dem Gitterbild näherungsweise nur ein Drittel einer Streifenperiode auf den Bildempfänger abgebildet. So entsteht beim Scannen des Gitters gemeinsam mit dem Mikrolinsen-Array ein zeitlich moduliertes Signal in den Bildpunktes des Empfängers, vergleichbar dem Interferogramm einer breitbandigen Lichtquelle, weiterhin als Korrelogramm bezeichnet. Der Scanner ist ein Linearscanner und muß sehr präzise scannen, beispielsweise muß die Zuordnung des Weges über der Zeit bis auf wenige Nanometer genau sein. Dies hängt aber von der Aufgabe ab. Gegebenenfalls genügt auch eine Genauigkeit von einigen Mikrometern.

Auf den Bildempfänger wird das Mikrolinsen-Array abgebildet. Durch die hohe Öffnung des Beleuchtungs- und des Abbildungsobjektivs weist das Korrelogramm vorzugsweise einen eindeutig erkennbaren Mitten-Peak auf. Das Auffinden des Mitten-Peaks, bzw. des Kontrast-Maximums wird zur Bestimmung eines Nullpunktes in z-Richtung für jeden Punkt des Körpers oder der Szene benutzt. Möglicherweise kann auch ein bestimmter Phasenwert als Kriterium genutzt werden oder eine Kopplung von Merkmalen. Die Ausprägung des Mittenpeaks nimmt mit kleiner werdendem Triangulationswinkel noch zu.

Grundsätzlich ist es beispielsweise für die Applikation dieses Verfahrens für die hochgenaue Koordinatenmeßtechnik vorteilhaft, keinen Scanner für das Gitter und das Mikrolinsen-Array einzusetzen und diese fest zu den Objektiven anzuordnen und eine Relativbewegung zwischen dem Aufnahmesystem und dem zu vermessenden Körper durchzuführen. Die z-Bewegung kann dabei durch die hochgenaue Achse einer Koordinatenmeßmaschine mit Mikrometergenauigkeit durchgeführt werden.

Für die Erzeugung von 3D-Bildern für die nichtmeßtechnische Applikation dürfte dagegen eher der vordem beschriebene Ansatz vorteilhaft ein. Auch wenn es um die Erfassung großer Volumina geht, wird der Ansatz mit dem internen Scanner als der technisch günstigere, weil schnellere angesehen.

Durch die Anwendung von Auswerte-Algorithmen auf der Basis der Erkennung von Kontrast-Maxima von Signalen in der beschriebenen Form können für den gesamten Objektraum die 3D-Koordinaten, also die Raumpunkte, errechnet werden. Diese stellen die Punktwolke dar. Zur Anwendung kommt beispielsweise die Wavelet-Transformation oder auch Phasenschiebe-Auswerte-Algorithmen.

Grundsätzlich müssen das Beleuchtungs- und das Aufnahmeobjektiv nicht unbedingt parallel angeordnet werden. Dies gilt als eine gute technische Lösung, um die Schärfeebenen zur Koinzidenz zu bringen. Wesentlich ist nur, dass die Schärfeebenen der beiden Objektive im Objektraum koinzidieren. Es müssen auch keine Ebenen sein. Die Schärfeflächen der Objektive können beliebige im Raum gekrümmte Flächen sein. Die vollständige Koinzidenz in einer möglichst Fläche ist für die schnelle Datenerfassung wegen sicher am besten. Für technische Applikationen kann aber auch bereits die Koinzidenz der Schärfeflächen in einem Teilbereich von Interesse sein. So kann die Achse des Beleuchtungsobjektivs auch eine Neigung zu der des Aufnahmeobjektivs aufweisen. Die Schärfeebenen können auch im Raum gekrümmte Schärfeflächen sein, also keine Ebenen. In diesem Fall besitzt das Mikrolinsen-Array ggf. auch eine gekrümmte Oberfläche. Auch kann die Gitterfläche vor dem Beleuchtungsobjektiv gekrümmt sein, bzw. Gitter und Fläche des Mikrolinsen-Arrays sind beide gekrümmt.

Das Beleuchtungsobjektiv kann weiterhin aus einer 4f-Anordnung oder einem afokalen Teleskop bestehen und das Gitter zur optischen Achse geneigt sein. Diese Anordnung ermöglicht einen größeren Triangulationswinkel und somit eine besonders hohe Empfindlichkeit für die Tiefenmessung.

6. Ausführungsbeispiele

In der Fig. 1 wird das Verfahren in den wesentlichen Verfahrensschritten dargestellt. Die Beleuchtung der Objektoberfläche erfolgt mit einem Streifenmuster möglichst hoher Dichte. Durch die Verringerung der numerischen Apertur vom Aufnahmeobjektiv zum nachgeordneten Objektiv, dem Objektiv 2, mit einer Kreisblende oder Spaltblende in der Fokalebene erfolgt das optische Austasten des optischen Musters, so dass weniger als die Hälfte einer Gitterperiode von einer Mikrolinse erfaßt wird. Beispielsweise ein Drittel. Dieser Quotient entspricht näherungsweise dem Verhältnis von numerischer Apertur des Objektivs 2 zu der numerischen Apertur der Linsen des Mikrolinsen-Arrays in der Zeichenebene. Die numerische Apertur der Linsen des Mikrolinsen-Arrays ist immer größer als die des Objektivs 2.

Die Mikrolinsen erfassen so nur einen Teil des Objektfeldes vergleichbar in der Form eines Nadelkissens. Andererseits wird dieser erfaßte Lichtfleck oder Ausschnitt aus dem Streifenfeld durch die einzelnen Mikrolinsen jeweils nach Unendlich abgebildet. Dabei können die Mikrolinsen in Ihrer gesamten Fläche zum Objektiv 2 hin leuchten. Dies wird als Blow-up-Effekt bezeichnet. So kann vom Objektiv 2 aus eine nahezu vollständig leuchtende Fläche aus gesehen werden, wenn der Füllgrad des Mikrolinsen-Arrays fast 100% beträgt. Das Objektiv 2 nimmt außerdem die flächenmäßige Anpassung an die Größe des Bildempfängers vor, der eine CCD- Matrix sein kann. Beim Scannen des Gitters und des Mikrolinsen-Arrays wird in den einzelnen Pixeln des Bildempfängers ein Korrelogramm ausgelesen.

Fig. 2 zeigt die Aufnahme einer Szene. Die Beleuchtung ist nur symbolisch dargestellt. Das Aufnahmeobjektiv erfaßt die Szene. Das Aufnahmeobjektiv bildet die Szene in den Bildraum ab, wobei die Lichtverteilung in der Fokalebene des Mikrolinsen-Arrays, welches sich hier im optischen Korrelator verbirgt, nach Unendlich abgebildet wird. Der Kamera ist bereits mindestens ein eigener Prozessor zugeordnet, um eine Hochgeschwindigkeits-Signalverarbeitung zu ermöglichen. Es erscheint sinnvoll für die 3D-Video-Applikation, um beispielsweise mit bis zu 1000 Bildern pro Sekunde abzutasten. Dabei werden pro Videotakt bis zu 40 Bilder aus unterschiedlichen Tiefen des Objektraumes aufgenommen, um eine hohe Auflösung in der Tiefe zu erreichen. Auch ist es möglich das zwei oder drei oder noch mehr Kamerasysteme sich den Raum in der Tiefe aufteilen und so zeitlich simultan arbeiten. Auch ist es möglich, dass das Aufnahmesystem kleiner als die erfaßte Objektoberfläche oder Szene gestaltet werden kann. So können mehrere Aufnahmesysteme parallel in Form einer Zeile oder Matrix angeordnet werden, um sehr große Körper oder Szenen in ihrer 3D-Gestalt zu erfassen, beispielsweise große Karossen oder Schiffs- oder Flugzeugteile. Selbstverständlich bedeutet dies das Management eines außerordentlich großen Datenstromes im Multi-Mega-Byte- bis Multi-Giga-Byte-Bereich.

Auch ist es möglich, den gesamten Aufnahmekopf im Raum zum Objekt zu kippen oder um das Objekt zu drehen. Dies dient der Vermeidung von Schatten oder der 3D-Aufnahme von Innenräumen.

Bild 3 zeigt die Abbildungsstufe mit einem Aufnahmeobjektiv und dem nachgeschalteten Mikrolinsen-Array und dem diesem wiederum nachgeschalteten telezentrischen Abbildungssystem, dem Objektiv 2. Hierbei ist zu erkennen, dass sich beim Scannen des Mikrolinsen-Arrays der Abbildungsmaßstab vom Objektraum zum Mikrolinsen-Array physikalisch bedingt ändert. Dies ist numerisch bei der Bearbeitung der Korrelogramm zu berücksichtigen. Die eingezeichneten Schärfeebenen liegen im Objektraum auch nicht äquidistant. Der Abstand der Schärfeebenen nimmt mit größerem Abstand vom Aufnahmeobjektiv ebenfalls zu.

Die Punktwolke stellt dann den bereits auf der Basis der Abbildungsverhältnisse korrigierten Datensatz - also unter Einrechnung des Abbildungsmaßstabes dar. Das Einmessen eines derartigen System erfordert deshalb eine sehr sorgfältige Vorgehensweise. Es ist jedoch für hochgenaue 3D-Meßaufgaben an Körpern bis maximal 0,5 m Durchmesser auch möglich, ein objektseitig telezentrisches Aufnahmeobjektiv einzusetzen.

Um die im Randbereich des Mikrolinsen-Arrays schräg vom Aufnahmeobjektiv auftreffenden Hauptstrahlen optimal zu erfassen, kann grundsätzlich mit dezentrierten Mikrolinsen gearbeitet werden. Dabei ist die Dezentrierung im Bereich der Achse null und nimmt zum Rand kontinuierlich zu.

Auch sollte die numerische Apertur der Mikrolinsen in der Regel gleich oder größer als die des Aufnahmeobjektivs sein. Auch ist es möglich, die Restverzeichnung des Aufnahmeobjektivs mit dem Mikrolinsen-Array zu korrigieren.

Es wird von Mikrolinsen mit einer numerischen Apertur in der Größenordnung von 0,3 ausgegangen. Fig. 4 zeigt wie die Mikrolinsen Bildpunkte (A') nach Unendlich abbilden. Das telezentrische Objektiv in Fig. 3 bildet dagegen das Mikrolinsen- Array innerhalb des Telezentriebereiches scharf auf die CCD-Chip-Fläche ab. Die Blende im telezentrischen Objektiv, dem Objektiv 2, bestimmt die effektive numerische Apertur und damit das optische Austastverhältnis.

Fig. 5 zeigt ein Objekt und das Aufnahmeobjektiv sowie zwei Beleuchtungsobjektive mit den zugehörigen Gittern. Dem Aufnahmeobjektiv ist das Mikrolinsen-Array zugeordnet. Die Rasterkonstante des Mikrolinsen-Arrays entspricht der Gitterkonstante des Gitters vor dem Beleuchtungsobjektiv. Die Lichtquellen, der Scanner, und das telezentrische System sind nicht dargestellt. Das Aufnahmeobjektiv kann beispielsweise bis zu 40 l/mm verarbeiten und besitzt ein Bildfeld von über 100 mm Durchmesser.

Fig. 6 zeigt eine Mehrprojektor-Anordnung mit einem mittig angeordneten Aufnahmesystem. Mehre Projektoren, also Beleuchtungsobjektive mit Gittern, oder ein in verschiedenen Positionen anzuordnender Projektor, beispielsweise um das Aufnahmeobjektiv drehbarer Projektor, dienen zum Ausblenden von Reflexen und zum Vermeiden von nicht erfaßten Teilen von Körpern oder in der Szene. Dabei ist die radialsymmetrische Wirkung der Mikrolinsen eines Arrays von großem Vorteil, da das Austastungsprinzip stets funktioniert. Die Ausrichtung der Streifen erfolgt vorteilhafterweise tangential. Es ist möglich, dass das Gitter für die Beleuchtung als Mikrolinsen-Array mit Zylinderlinsen ausgeführt ist.

Fig. 7 zeigt eine optische Anordnung nach dem vorgeschlagenen Verfahren.

Ein beleuchtetes Gitter, welches mit einem Mikrolinsen-Array und mit einem nicht dargestellten Linear-Scanner starr verbunden ist, wird durch ein Beleuchtungsobjektiv in den Objektraum abgebildet. Der Ort, an dem das Gitterbild entsteht, stellt die aktuelle Meßebene dar. Der Schärfebereich der Abbildung des Gitters ist in der Tiefe durch die große Öffnung des Beleuchtungsobjektivs begrenzt. In der Meßebene entsteht auf der Objektoberfläche das Bild des Gitters. Die Meßebene mit den Objektpunkten, beispielsweise mit dem Objektpunkt A, wird von einem Abbildungsobjektiv erfaßt und in den Bildraum abgebildet. Es entsteht der Bildpunkt A' in der Bildebene.

Durch das lineare Bewegen des Scanners mit dem Gitter und dem Mikrolinsen-Array wird der Objektraum durchfokussiert. Dies bedeutet, in verschiedenen Tiefen des Objektraumes entsteht das scharte Bild des abgebildeten Gitters. Das optische System ist dabei so ausgeführt, dass die Gitterebene in die Fokalebene der Mikrolinsen scharf abgebildet wird, wenn sich in der Meßebene eine körperliche Objektfläche befindet. Dann sind die Gitterebenen, die Meßebene und die Fokalebene der Mikrolinsen optisch konjugiert.

Das Mikrolinsen-Array bildet in diesem Fall jeweils vergleichsweise sehr kleine Flächenbereiche der Objektoberfläche, die praktisch als Punkte angesehen werden, nach Unendlich ab. Die einzelnen Linsen des Mikrolinsen-Array werden durch ein Objektiv 2, welches in Richtung des Mikrolinsen-Arrays telezentrisch ausgeführt ist, auf eine CCD-Kamera abgebildet. Dabei ist das System so ausgeführt, dass der Telezentriebereich des Objektivs 2 mindestens dem Scan-Bereich des Linear- Scanners entspricht. So werden die Linsen des Mikrolinsen-Arrays faktisch selbst zu leuchtenden Objektpunkten, die scharf auf die Pixel fest angeordnete CCD-Kamera abgebildet werden. Durch die Wahl der numerischen Apertur der Mikrolinsen im Verhältnis zur Apertur des telezentrischen Objektivs 2, welche durch die Blende bestimmt wird, wird die Größe der Objektpunkte bestimmt.

Da die Objektpunkte (A) der Meßebene direkt in die Fokalebene des Objektivs 2 abgebildet wird (A"), wo sich die Blende befindet, bestimmt die Größe dieser Blende die auf der Objektoberfläche in der Meßebene erfaßte Fleckgröße. Diese liegt stets unterhalb der halben Gitterperiode des abgebildeten Gitters. So entsteht ein gut moduliertes Signal als Folge der Auslesung der Kamerapixel im Bereich der Schärfeebene, welches aber durch die Größe der relativen Öffnung von Beleuchtungs- und Abbildungsobjektiv sehr schnell wieder abklingt, so dass ein Mitten-Peak im Signal vorhanden ist.

Die Pupille der Mikrolinsen (B) wird in die Ebene der CCD-Kamera scharf abgebildet (B'). Dabei sind die Pixel der CCD-Kamera etwa in der Größe der Bilder der Mikrolinsen.

Für eine besonders hohe Genauigkeit sind die auf die Pixel der Kamera abgebildeten Mikrolinsen etwas kleiner als die Pixel. Die Anordnung ist so optimiert, dass jede Mikrolinse genau auf ein Pixel abgebildet wird.

So werden aus dem Objektraum hinreichend kleine Bereiche der Oberfläche ausgetastet, die faktisch als Punkte angesehen werden können. Mittels der Signalauswertung des Signals, welches der Form eines Weißlichtinterferogrammes sehr ähnlich ist, wird der Z₀-Punkt für jeden so definierten Objektpunkt berechnet, beispielsweise aus dem Kontrastmaximum oder den Phasenwerten.

Aus der Einrechnung des aktuellen Abbildungsmaßstabes werden schließlich die x-, y- und z-Koordinaten für jeden so gewonnenen Punkt berechnet. Als Ergebnis entsteht die Punktwolke für den Objektraum. Damit stehen die 3D-Koordinaten des Objektraumes in digitaler Form zur Verfügung. Diese Punktwolke wird je nach Aufgabenstellung für meßtechnische Applikationen oder Aufgaben mit einer 3D- Wiedergabe verwendet.

Claims (17)

1. Anordnung zur Erzeugung einer 3D-Punktwolke mit mindestens einer Lichtquelle, mindestens einem Beleuchtungsobjektiv zur Abbildung einer gerasterten Struktur, mindestens einem Aufnahmeobjektiv, einem Körper in einer Szene und mindestens einem Bildempfänger, dadurch gekennzeichnet,
dass
dem Aufnahmeobjektiv bildseitig ein Array aus mikrooptischen Bauelementen zugeordnet ist und dem Array aus mikrooptischen Bauelementen ein zweites Objektiv im Bildraum zugeordnet ist,
dass das Array aus mikrooptischen Bauelementen aus Mikrolinsen besteht, und relativ zu dem Aufnahmeobjektiv linear bewegt wird, wodurch das Objekt schnell und mit großer Tiefenerfassung abtastbar ist, und
dass das Array aus Mikrolinsen derart eingesetzt wird, dass das Bild nach dem Aufnahmeobjektiv ins Unendliche abgebildet wird.

2. Anordnung nach Anspruch 1, gekennzeichnet dadurch, dass die Rasterkonstante des Arrays aus Mikrolinsen der Konstante der gerasterten Struktur vor dem Beleuchtungsobjektiv entspricht.

3. Anordnung nach Anspruch 1, gekennzeichnet dadurch, dass die Rasterkonstante des Arrays aus Mikrolinsen einem ganzzahligen Teil der Konstante der gerasterten Struktur vor dem Beleuchtungsobjektiv entspricht.

4. Anordnung nach Anspruch 1, gekennzeichnet dadurch, dass die Rasterkonstante des Arrays aus Mikrolinsen einem Vielfachen der Konstante der gerasterten Struktur vor dem Beleuchtungsobjektiv entspricht.

5. Anordnung nach einem der Ansprüche 1 bis 4, gekennzeichnet dadurch, dass die Mikrolinsen des Arrays als dezentrierte Linsen ausgebildet sind, wobei die Dezentrierung im Bereich der Achse des Aufnahmeobjektivs null ist und zum Rand des Arrays kontinuierlich zunimmt.

6. Anordnung nach einem der Ansprüche 1 bis 5, gekennzeichnet dadurch, dass die Mikrolinsen refraktive Linsen sind.

7. Anordnung nach einem der Ansprüche 1 bis 6, gekennzeichnet dadurch, dass das zweite Objektiv zur Array-Seite telezentrisch ausgeführt ist.

8. Anordnung nach einem der Ansprüche 1 bis 7, gekennzeichnet dadurch, dass die gerasterte Struktur, die dem Beleuchtungsobjektiv zugeordnet ist, und das Array aus Mikrolinsen starr miteinander verbunden sind.

9. Anordnung nach einem der Ansprüche 1 bis 8, gekennzeichnet dadurch, dass die gerasterte Struktur und das Array aus Mikrolinsen gemeinsam starr mit einem Präzisions-Scanner, scannend in Richtung der optischen Achse, verbunden sind, und das Beleuchtungs- und das Aufnahmeobjektiv baugleich sind, wobei die optischen Achsen parallel sind und die Hauptebenen koinzidieren.

10. Anordnung nach einem der Ansprüche 1 bis 9, gekennzeichnet dadurch, dass das zweite Objektiv beidseitig telezentrisch ausgeführt ist, und eine Bildverkleinerung erzeugt.

11. Anordnung nach einem der Ansprüche 1 bis 10, gekennzeichnet dadurch, dass das Gitter vor dem Beleuchtungsobjektiv als Mikrolinsen-Array mit Zylinderlinsen ausgeführt ist.

12. Verfahren zur Erzeugung einer 3D-Punktwolke von einem Körper in einer Szene mit einer Lichtquelle, mit einer gerasterten Struktur und mit mindestens einem Beleuchtungsobjektiv zur Erzeugung eines Lichtgitters im Objektraum und mit mindestens einem Aufnahmeobjektiv und mit mindestens einem Bildaufnehmer zur Aufnahme von Bildern aus dem Objektraum und einem dem Aufnahmeobjektiv bildseitig zugeordneten Array aus Mikrolinsen, dadurch gekennzeichnet, dass das Array aus Mikrolinsen eine Linearbewegung in Richtung der optischen Achsen erfährt, wodurch das Objekt schnell und mit großer Tiefenerfassung abtastbar ist, und dass das Array aus Mikrolinsen derart eingesetzt wird, dass das Bild nach dem Aufnahmeobjektiv ins Unendliche abgebildet wird.

13. Verfahren nach Anspruch 12, gekennzeichnet dadurch, dass durch das lineare Scannen des Arrays aus Mikrolinsen der Objektraum vor dem Aufnahmeobjektiv sehr schnell optisch in der Tiefe durchgescannt wird, so dass die jeweils scharf abgebildeten Objektpunkte des Raumes durch die strukturierte Beleuchtung ein Korrelogramm, ähnlich dem eines Zweistrahl-Interferometers mit einer spektral breitbandigen Quelle, in jedem Punkt des Array aus Mikrolinsen liefern.

14. Verfahren nach einem der Ansprüche 12 und 13, gekennzeichnet dadurch, dass das Array aus Mikrolinsen selbst durch ein telezentrisches Objektiv arrayseitig telezentrisch auf einen Bildempfänger abgebildet wird.

15. Verfahren nach einem der Ansprüche 12 bis 14, gekennzeichnet dadurch, dass die Fokusebene der Mikrolinsen nach dem Aufnahmeobjektiv mit dem Gitter zur Beleuchtung beim Scannen derselben in Richtung der optischen Achse koinzidiert.

16. Verfahren nach einem der Ansprüche 12 bis 14, gekennzeichnet dadurch, dass die Fokusebene der Mikrolinsen nach dem Aufnahmeobjektiv mit der Fokusebene der Mikrolinsen zur Beleuchtung beim Scannen derselben in Richtung der optischen Achse koinzidiert.

17. Verfahren nach einem der Ansprüche 12 bis 16, gekennzeichnet dadurch, dass aus den Korrelogrammen die durch Auslesung der Pixel des Bildempfängers für den Körper in der Szene erzeugt werden unter Berücksichtigung der optischen Abbildungsverhältnisse die x-, y- und z- Raumkoordinaten errechnet werden.