DE10359104B3 - Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche - Google Patents

Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche Download PDF

Info

Publication number
DE10359104B3
DE10359104B3 DE2003159104 DE10359104A DE10359104B3 DE 10359104 B3 DE10359104 B3 DE 10359104B3 DE 2003159104 DE2003159104 DE 2003159104 DE 10359104 A DE10359104 A DE 10359104A DE 10359104 B3 DE10359104 B3 DE 10359104B3
Authority
DE
Germany
Prior art keywords
pattern
points
image
projection
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE2003159104
Other languages
English (en)
Inventor
Rüdiger Prof. Dr. Dillmann
Tilo Dipl.-Ing. Gockel
Pedram Azad
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DILLMANN, RUEDIGER, PROF., DE
Original Assignee
Universitaet Karlsruhe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Karlsruhe filed Critical Universitaet Karlsruhe
Priority to DE2003159104 priority Critical patent/DE10359104B3/de
Priority to PCT/DE2004/002755 priority patent/WO2005059470A1/de
Application granted granted Critical
Publication of DE10359104B3 publication Critical patent/DE10359104B3/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche, bei dem auf die Oberfläche unter einer Projektionsrichtung ein zeitlich konstantes Muster projiziert wird, ein erstes Einzelbild der Oberfläche mit dem darauf projizierten Muster aus zumindest einer von der Projektionsrichtung unterschiedlichen Erfassungsrichtung mit einem oder mehreren Bildaufnehmern aufgezeichnet wird und aus dem ersten Einzelbild mittels Triangulation erste 3-D-Punkte der Oberfläche bestimmt und als Bild in Echtzeit visualisiert werden. In zeitlicher Abfolge jeweils während oder nach einer Relativbewegung zwischen der Oberfläche und dem Bildaufnehmer werden ein oder mehrere weitere Einzelbilder der Oberfläche mit dem darauf projizierten Muster erfasst und zur Bestimmung von weiteren 3-D-Punkten ausgewertet. Die ersten und weiteren 3-D-Punkte werden registriert und das visualisierte Bild in Echtzeit mit den weiteren 3-D-Punkten ergänzt. Beim vorliegenden Verfahren wird als Muster ein nichtcodiertes, vor Prozessbeginn unbekanntes Graustufen-Muster hoher Entropie auf die Oberfläche projiziert, welches auch im Prozessabschnitt der Projektorkalibrierung Anwendung findet. Es ist kein Musterwechsel notwendig. DOLLAR A Das Verfahren lässt sich einfach handhaben und kostengünstig realisieren.

Description

  • Technisches Anwendungsgebiet
  • Die vorliegende Erfindung betrifft ein Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche mit einem Projektionssystem, bei dem ein zeitlich konstantes Muster mit einem Projektor des Projektionssystems unter einer Projektionsrichtung auf die Oberfläche projiziert wird, ein erstes Einzelbild der Oberfläche mit dem darauf projizierten Muster aus einer von der Projektionsrichtung unterschiedlichen Erfassungsrichtung mit einem Bildaufnehmer des Projektionssystems aufgezeichnet wird und aus dem ersten Einzelbild mittels Triangulation erste 3D-Punkte der Oberfläche bestimmt und als Bild visualisiert werden, wobei in zeitlicher Abfolge jeweils während oder nach einer Relativbewegung zwischen der Oberfläche und einem den Projektor und den Bildaufnehmer zumindest zum Teil tragenden Scankopf ein oder mehrere weitere Einzelbilder der Oberfläche mit dem darauf projizierten Muster erfasst und zur Bestimmung von weiteren 3D-Punkten der Oberfläche ausgewertet werden, die ersten und weiteren 3D-Punkte registriert werden und das visualisierte Bild mit den weiteren 3D-Punkten ergänzt wird.
  • In vielen technischen Bereichen muss die äußere Form dreidimensionaler Objekte vermessen und in digitalisierter Form bereitgestellt werden. Beispiele hierfür sind die Bereiche der computergestützten Fertigung, der Roboternavigation, Anwendungen auf dem Gebiet der virtuellen Realität und der Computergraphik sowie Anwendungen im Bereich der Medizintechnik. Gerade für die Erfassung von dreidimensionalen Knochengeometrien oder Zahngeometrien, wie sie für die Erstellung von Prothesen oder ähnlichen Ersatzteilen erforderlich sind, besteht ein Bedarf an einfach zu handhabenden und kostengünstigen Lösungen.
  • Bekannte Verfahren zur dreidimensionalen Erfassung und Darstellung einer Oberfläche eines Objektes nutzen die Technik der Triangulation, um 3D-Punkte der Oberfläche zu erhalten, aus denen die Oberflächenform abgeleitet werden kann. Hierbei werden auf die Oberfläche zunächst ein bekanntes Muster projiziert und von der Oberfläche mit dem darauf projizierten Muster aus einer von der Projektionsrichtung unterschiedlichen Erfassungsrichtung ein oder mehrere Bilder aufgezeichnet. Durch geeignete Kalibrierung des eingesetzten Erfassungssystems bestehend aus Projektor und Bildaufnehmer lassen sich aus den aufgezeichneten Bildern über das projizierte Muster 3D-Punkte der Oberfläche bestimmen und als Bild visualisieren.
  • So ist bspw. aus O. Hall-Holt und S. Rusinkiewicz, "Stripe Boundary Codes for Real-Time Structured-Light Range Scanning of Moving Objects" eine derartige Technik bekannt, bei der in zeitlicher Abfolge mehrere speziell kodierte Streifenmuster auf die Oberfläche des Objekts projiziert und in der gleichen zeitlichen Abfolge mehrere Bilder von der Oberfläche mit dem jeweils projizierten Muster aufgezeichnet werden. Über eine aufwändige Zuordnung der auf den Bildern erkennbaren Streifen können auf diese Weise aus mehreren Einzelbildern 3D-Punkte der Oberfläche bestimmt und in einem Bild dargestellt werden.
  • Aus der Veröffentlichung von F. Devernay et al., „Structured light on dynamic scenes using standard stereosopy algorithms", INRIA, Rapport de recherche No. 4477, 6/2002, Seiten 1 – 16 ist eine weitere Technik für die dreidimensionale Erfassung und Darstellung einer Oberfläche bekannt, bei der auf die Oberfläche ein zeitlich konstantes Zufallsmuster projiziert wird und 3D-Punkte der Oberfläche aus einem Einzelbild der Oberfläche mit dem darauf projizierten Muster bestimmt werden. Durch die Projektion eines Zufalls-Graustufenmusters lassen sich für die zur Bestimmung der 3D-Punkte erforderliche Zuordnung, d. h. für die Herstellung der sog. Korrespondenzen, bekannte Korrelationstechniken der Stereoskopie einsetzen. Durch die Möglichkeit der Bestimmung der 3D-Punkte aus einem Einzelbild lässt sich diese (single shot-) Technik auch für die Erfassung dynamischer Objekte einsetzen.
  • Die DE 198 21 611 A1 beschreibt ein Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche, bei dem ebenfalls ein speziell codiertes Muster auf die Oberfläche projiziert wird. Das projizierte Muster wird und unter einer von der Projektionsrichtung verschiedenen Erfassungsrichtung als Bild erfasst und mit einer Triangulationstechnik ausgewertet.
  • Aus der US 6359680 B1 ist ein Verfahren zur dreidimensionalen Erfassung und Darstellung einer Oberfläche eines Objektes bekannt, bei dem ebenfalls ein Einzelbildverfahren unter Projektion eines zeitlich konstanten Musters auf die Oberfläche eingesetzt wird. Aus dem Einzelbild werden mittels Triangulation erste 3D-Punkte der Oberfläche bestimmt und als Bild in Echtzeit visualisiert. In zeitlicher Abfolge werden jeweils während oder nach einer Relativbewegung zwischen der Oberfläche und dem Bildaufnehmer ein oder mehrere weitere Einzelbilder der Oberfläche mit dem darauf projizierten Muster erfasst und zur Bestimmung 3D-Punkten ergänzt. Dies gibt einem Benutzer des zugehörigen Erfassungssystems die Möglichkeit, interaktiv noch nicht oder nur unzureichend erfasste Bereiche der Oberfläche des Objekts zu erkennen und sogleich durch eine entsprechende Relativbewegung zwischen der Oberfläche und dem Bildaufnehmer zu erfassen. Als zeitlich konstantes Muster wird bei dieser Technik ein kodiertes Muster auf die Oberfläche projiziert. Dies erfordert entweder den Einsatz eines Videoprojektors (Beamers), dem dieses kodierte Muster in digitaler Form übermittelt wird, oder die Herstellung eines Diapositivs mit hoher Präzision, das mit einem herkömmlichen Projektor auf die Oberfläche projizierbar ist.
  • Ausgehend von dem bekannten Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren zur dreidimensionalen Erfassung und Darstellung einer Oberfläche eines Objekts anzugeben, das sich kostengünstig realisieren lässt und eine einfache Handhabung für den Benutzer ermöglicht.
  • Darstellung der Erfindung
  • Die Aufgabe wird mit dem Verfahren gemäß Patentanspruch 1 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens sind Gegenstand der Unteransprüche oder lassen sich aus der nachfolgenden Beschreibung sowie dem Ausführungsbeispiel entnehmen.
  • Beim vorliegenden Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche eines Objektes mit einem Projektionssystem wird mit einem Projektor des Projektionssystems auf die Oberfläche unter einer Projektionsrichtung ein zeitlich konstantes Muster projiziert und ein erstes Einzelbild der Oberfläche mit dem darauf projizierten Muster aus zumindest einer von der Projektionsrichtung unterschiedlichen Erfassungsrichtung mit einem Bildaufnehmer des Projektionssystems aufgezeichnet. Als Bildaufnehmer kommt hierbei vorzugsweise eine Kamera, insbesondere eine CCD-Kamera, zum Einsatz. Aus dem ersten Einzelbild werden mittels Triangulation erste 3D-Punkte der Oberfläche bestimmt und als Bild, vorzugsweise in 3D-Darstellung, visualisiert. In zeitlicher Abfolge werden jeweils während oder nach einer Relativbewegung zwischen der Oberfläche und einem den Projektor und den Bildaufnehmer zumindest zum Teil tragenden Scankopf ein oder mehrere weitere Einzelbilder der Oberfläche mit dem darauf projizierten Muster erfasst und zur Bestimmung von weiteren 3D-Punkten der Oberfläche ausgewertet. Die ersten und weiteren 3D-Punkte werden jeweils registriert und das visualisierte Bild mit den weiteren 3D-Punkten ergänzt. Das Verfahren zeichnet sich dadurch aus, dass als Muster ein nicht codiertes Schwarzweiß- oder Graustufen-Muster hoher Entropie auf die zu erfassende Oberfläche projiziert wird, welches dem Projektionssystem vor einem anfänglichen Kalibrierungsschritt nicht bekannt ist, bei dem eine Kalibrierung des Projektors durch Projektion des Musters auf in Lage und Orientierung bekannte Projektionsebenen erfolgt, wobei ein mit dem Bildaufnehmer des Projektionssystems aufgezeichnetes Projektionsbild des Musters auf eine der bekannten Projektionsebenen als Basisbild für die Auswertung der Einzelbilder dient.
  • Das vorliegende Verfahren lässt sich bei einer in Echtzeit durchgeführten Visualisierung der bereits erfassten 3D-Punkte sehr einfach handhaben, da der Benutzer der Erfassungseinrichtung sofort noch nicht erfasste Bereiche oder Löcher in dem visualisierten Datensatz erkennen und durch eine geeignete Relativbewegung zwischen Bildaufnehmer und Objektoberfläche schließen kann. Der Scankopf der Erfassungseinrichtung ist dabei vorzugsweise manuell vom Benutzer führbar. Selbstverständlich lässt sich die Relativbewegung jedoch auch durch eine entsprechende Bewegung des zu erfassenden Objektes erzeugen.
  • Durch den Einsatz einer Einzelbildtechnik (single shot) lassen sich mit dem vorliegenden Verfahren auch dynamische Objekte mit hoher Genauigkeit vermessen. Dies spielt insbesondere im Bereich der medizinischen Technik eine wichtige Rolle, da Patienten in der Regel während der Bilderfassung nicht ausreichend starr fixierbar sind.
  • Beim vorliegenden Verfahren wird als Muster ein nichtcodiertes, vor Prozessbeginn unbekanntes Graustufen-Muster hoher Entropie auf die Oberfläche projiziert, welches auch im Prozessabschnitt der Projektorkalibrierung Anwendung findet. Es ist daher kein Musterwechsel notwendig.
  • Ein wesentlicher Vorteil des vorliegenden Verfahrens besteht in der kostengünstigen Realisierbarkeit. So ist aufgrund des bei dem Verfahren eingesetzten nicht codierten Graustufen-Musters hoher Entropie kein Beamer bzw. Videoprojektor erforderlich, um das Muster auf die Oberfläche zu projizieren. Es lassen sich vielmehr einfache Projektoren oder Projektionsvorrichtungen wie bspw. Goboprojektoren einsetzen, bei denen das Muster über ein Diapositiv (mögliche Fertigungsvariante: Chrom-auf-Glas) auf die Oberfläche projiziert wird. Durch die geringen Anforderungen an das projizierte Muster, das weder codiert noch eine bestimmte vorgegebene Form aufweisen muss – eben nicht bekannt sein muss –, sondern vielmehr ein Zufallsmuster darstellen kann, erfordert die Herstellung des Diapositivs keine hohe Präzision. Die Herstellungskosten für ein derartiges Diapositiv liegen daher deutlich unter den Herstellungskosten, wie sie für die Herstellung eines speziell codierten, vorgegebenen Musterdias erforderlich sind. Dies betrifft vor allem hitzebeständige Diapositive, die in der Regel durch Metallabscheidung und Strukturierung auf einem transparenten Substrat, insbesondere einem Glassubstrat, erzeugt werden. In einer vorteilhaften Ausgestaltung des vorliegenden Verfahrens wird daher auch ein derartiges Diapositiv angesetzt, das aus einer das Muster vorgebenden Metallmaske auf einem optisch transparenten Substrat, insbesondere einer Chrommaske auf einem Glassubstrat, gebildet ist.
  • In einer besonders vorteilhaften Ausgestaltung des vorliegenden Verfahrens wird als Lichtquelle für die Projektion eine Blitzlichtquelle, insbesondere ein Stroboskop, eingesetzt. Dies ermöglicht sehr kurze Belichtungszeiten, bspw. im Bereich von etwa 2 μs, mit denen gerade bei dynamischen Objekten oder manueller, freigeführter Bewegung des Scankopfes durch den Benutzer die Bewegungsunschärfe mit geringem Kostenaufwand auf ein Minimum reduzierbar ist.
  • Neben dem Einsatz einer Blitzlichtquelle sowie eines Diapositivs für die Projektion des Musters lässt sich das vorliegende Verfahren selbstverständlich auch mit einem Videoprojektor durchführen, dem das Muster in digitalisierter Form zugeführt wird. Das Muster ist beim vorliegenden Verfahren ein schwarz-weiß- oder Graustufen-Muster, ist allerdings im Gegensatz zu den bekannten Ansätzen des Standes der Technik dem System anfänglich nicht bekannt und erfordert entsprechend auch keine hohe Herstellungsgenauigkeit. Vorzugsweise repräsentiert dieses Muster weißes Rauschen, mit dem die spätere Zuordnung von Musterbereichen, in der vorliegenden Patentanmeldung auch als Musterzellen bezeichnet, über eine Kreuzkorrelation zu eindeutigen Ergebnissen führt.
  • Vor der dreidimensionalen Erfassung der Oberfläche mit dem vorliegenden Verfahren ist eine Kalibrierung des Bildaufnehmers sowie der Projektionseinrichtung erforderlich. Die Kalibrierung des Bildaufnehmers kann dabei in bekannter Weise mit der sog. Testfeld-Kalibrierung erfolgen, bei der mehrere parallel übereinander liegende Ebenen des Erfassungsbereiches aufgezeichnet werden, auf die ein bekanntes Testmuster mit bekannten Abständen von Markierungen projiziert wird. Die Kalibrierung der Projektionseinrichtung erfolgt vorzugsweise direkt durch Projektion des für die Erfassung eingesetzten Musters auf mehrere übereinander liegende parallel Projektionsebenen, wobei ein mit dem Bildaufnehmer aufgezeichnetes Bild einer dieser Ebenen mit dem projizierten Muster als Basisbild für die Herstellung der Korrespondenzen zwischen einzelnen Musterzellen dient. Die Herstellung der Korrespondenzen der Musterzellen der bei der Vermessung erfassten Einzelbilder mit den Musterzellen dieses Basisbildes wird über einen schnellen Suchalgorithmus durchgeführt, der die Musterzellen in den jeweiligen Bildern identifiziert. Beispiele für derartige Suchalgorithmen, die im vorliegenden Verfahren beispielsweise auf Basis einer Kreuzkorrelation zwischen den einzelnen Bildern durchgeführt werden, sind dem Fachmann bekannt (vgl. auch entsprechend SSD (Sum-of-Squares Difference) oder Algorithmus nach Grün (Least Squares Correlation)).
  • Kurze Beschreibung der Zeichnungen
  • Das vorliegende Verfahren wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen:
  • 1 schematisch ein Beispiel für den Aufbau einer Einrichtung, die gemäß dem vorliegenden Verfahren arbeitet;
  • 2 ein Beispiel für ein bei dem vorliegenden Verfahren eingesetztes Muster; und
  • 3 ein Beispiel für den schematischen Verfahrensablauf bei der Durchführung des vorliegenden Verfahrens.
  • Wege zur Ausführung der Erfindung
  • 1 zeigt in schematisierter Darstellung ein Beispiel für den Aufbau einer Einrichtung zur Durchführung des vorliegenden Verfahrens. Die Einrichtung umfasst eine Projektionseinrichtung 3, mit der über ein Diapositiv 4 ein zeitlich konstantes Muster auf die Oberfläche 1 eines Objektes 10 projiziert wird. Unter einer von der Projektionsrichtung verschiedenen Erfassungsrichtung ist eine Kamera 5 angeordnet, mit der Einzelbilder der Oberfläche 1 mit dem darauf projizierten Muster aufgezeichnet werden können. Im vorliegenden Beispiel wird zwischen Projektionsrichtung und Erfassungsrichtung ein Triangulationswinkel von etwa 20° eingehalten. Das Diapositiv 4 ist ein Chrom-auf-Glas-Dia, durch dessen Projektion das Zufallsmuster auf der Oberfläche 1 erzeugt wird. Die Kamera 5 ist mit einer Auswerteeinrichtung 7 verbunden, die die empfangenen Bilder in Echtzeit auswertet und die aus den Bildern bestimmten 3D-Punkte der Oberfläche an einem Monitor 8 in perspektivischer Ansicht als Bild 6 darstellt. Die Projektoreinrichtung 3 selbst besteht in diesem Beispiel (in der Figur nicht erkennbar) aus einem extern triggerbaren Stroboskop mit der entsprechenden Projektionsoptik.
  • Selbstverständlich kann auch nur ein Teil der Projektionsoptik sowie der Optik für den Bildaufnehmer in einen entsprechenden Scankopf 11 integriert sein, der vom Benutzer frei über die Oberfläche des Objekts geführt werden kann. Der Bildaufnehmer, bspw. ein CCD-Array, kann hierbei direkt in den Scankopf 11 integriert sein oder über flexible Lichtleitfasern an den Scankopf 11 angekoppelt sein. In gleicher Weise kann auch die Projektionseinrichtung das Muster über flexible Lichtleitfasern auf die Oberfläche 1 projizieren, wobei dann lediglich die vorderen Bereiche der Lichtleitfasern in den Scankopf 11 integriert sind.
  • 2 zeigt beispielhaft ein auf eine weiße Fläche projiziertes Muster 2, ein nicht codiertes Graustufen-Muster hoher Entropie, wie es beim vorliegenden Verfahren zum Einsatz kommen kann. Dieses in der 2 dargestellte Muster repräsentiert weißes Rauschen, so dass weder eine Codierung noch irgendeine Periodizität innerhalb des Musters auftritt.
  • Weiterhin wird in 2 die Vorgehensweise bei der Kalibrierung der Projektoreinrichtung 3 veranschaulicht, bei der das Muster 2 nacheinander auf unterschiedliche Ebenen projiziert wird und in den mit der Kamera erfassten Bildern der jeweiligen Ebenen die Zentren 9 korrespondierender Musterzellen identifiziert werden, wie dies im Zusammenhang mit der 3 noch näher ausgeführt wird.
  • 3 zeigt ein Beispiel für die Vorgehensweise bei der Durchführung des vorliegenden Verfahrens zur dreidimensionalen Erfassung und Darstellung einer Oberfläche eines Objektes.
  • Zunächst wird vor der Durchführung der Messung eine Kamerakalibrierung mittels Testfeldplatten durchgeführt, die mit einem bekannten, ausgemessenen Punktemuster bedruckt sind. Von diesen Testfeldplatten werden mit der Kamera mehrere Aufnahmen gemacht, bei denen sich die Testfeldplatten in unterschiedlichen, parallel übereinander liegenden Ebenen des Erfassungsbereiches der Kamera befinden, in dem später das zu vermessende Objekt angeordnet wird. Die Kalibrierung der Kamera selbst kann mittels einer Vielzahl bekannter Algorithmen durchgeführt werden, wie bspw. die Algorithmen von Tsai, Zhang oder die Direkte Lineare Transformation (DLT). Im vorliegenden Fall wird ein Kalibrieralgorithmus nach H. Hoppe et al., „A New, Accurate and Easy to Implement Camera and Video Projector Model" in: Medicine Meets Virtual Reality (MMVR), NewPort Beach / San Diego, 2002, eingesetzt, welcher die DLT hinsichtlich radialer Verzerrungen erweitert.
  • Im nächsten Schritt wird die Projektionseinrichtung kalibriert. Hierbei wird ein durch die Kamera aufgezeichnetes Bild des auf eine Basisebene des Erfassungsbereiches projizierten gleichen Musters als Korrelationsgrundlage verwendet, das auch bei der späteren dreidimensionalen Erfassung der Oberfläche eingesetzt wird. Durch Nutzung dieses Basisbildes mit dem projizierten Muster als Korrelationsgrundlage muss auch das Muster dem System nicht mehr anfänglich bekannt sein und muss daher auch keinen besonderen Genauigkeitsanforderungen genügen. Im vorliegenden Beispiel wird ein binäres Zufallsmuster benutzt, auf dem sich Korrespondenzen bzw. korrespondierende Musterzellen eindeutiger und sicherer auffinden lassen als bei Mustern, die Periodizitäten aufweisen.
  • Nach der Bildaufzeichnung des ersten Projektionsmusters als Basis wird das Muster nun im Kalibrierprozess auf verschiedene parallele Ebenen bekannter Höhe projiziert. Zum Auffinden bestimmter Punkte bei den nachfolgenden Ebenen wird der gleiche Korrelationsalgorithmus genutzt, der später auch zur Bestimmung der 3D-Punkte eingesetzt wird (vgl. auch: Grün, A. W., „Adaptive Least Squares Correlation: A Powerful Image Matching Technique" in: South African Journal of Photogrammetry, Remote Sensing and Cartography, Vol. 14, No. 3, 1985, Seiten 175 – 187). Die Korrespondenz von Musterzellen in den aufgezeichneten Mustern der jeweiligen Ebenen ist in der 2 anhand zweier Ebenen veranschaulicht. Sind aus den verschiedenen bekannten Höhen nun die entsprechenden Punkte aufgenommen bzw. erkannt worden, so kann die Projektorkalibrierung ebenfalls nach dem bereits genannten Verfahren von Hoppe et al., angewandt werden.
  • Im Anschluss an diese Kalibrierung kann die eigentliche Messung erfolgen. Selbstverständlich muss die Kalibrierung nicht unmittelbar vor jeder Messung durchgeführt werden. Vielmehr genügt eine einmalige Kalibrierung für eine Vielzahl von Messungen, solange sich an der Projektions- und Erfassungsgeometrie nichts ändert. Bei der Messung wird der Projektor dann mit dem Muster-Diapositiv bestückt und das zu scannende Objekt in den Blickbereich der Kamera und den Tiefenschärfebereich des Projektors eingebracht. Mit der Kamera wird dann ein erstes Einzelbild der Oberfläche mit dem darauf projizierten Muster aufgezeichnet. Das aufgezeichnete Einzelbild wird zunächst durch lokalen schwarz/weiß Abgleich normalisiert, um Helligkeitsschwankungen durch eine Objekttextur herausrechnen zu können. Anschließend erfolgt die Suche nach lokalen Musterzellen, um die Zentren dieser Musterzellen lokalisieren und zuordnen zu können (Auflösung des Korrespondenzproblems). Mit diesen identifizierten Zentren kann schließlich die Triangulation zur Bestimmung der 3D-Koordinaten bzw. 3D-Punkte der Oberfläche durchgeführt werden. Die letztgenannten Schritte erfolgen in Echtzeit, ebenso wie die anschließende Visualisierung der 3D-Punkte an einem Monitor sowie die gegebenenfalls der Visualisierung vorausgehende Registrierung. Die Visualisierung kann bspw. durch Darstellung der 3D-Punktewolke in einem Rendering-Fenster erfolgen, implementiert bspw. mittels der 3D-Bibliothek OpenGL. Weiterhin sind selbstverständlich auch andere Arten der Visualisierung möglich bspw. durch Visualisierung der dreiecksvernetzten 3D-Punktewolke. Für die Darstellung lassen sich anstelle eines Monitors auch andere Anzeigegeräte, bspw. ein Videoprojektor o. ä. Anzeigeeinrichtungen einsetzen.
  • Durch diese Darstellung der bereits bestimmten 3D-Punkte der zu erfassenden Oberfläche kann der Benutzer am Monitor interaktiv das momentane Ergebnis verfolgen und auf Abschattungen oder Löcher im der dargestellten 3D-Punktewolke sofort reagieren, indem er durch Veränderung der Relativposition zwischen Objekt und Scankopf ein oder mehrere erneute Scans, d. h. Einzelbildaufnahmen mit entsprechender Auswertung, durchführt und jeweils am Monitor verfolgt. Die Relativbewegung zwischen Scankopf und Objekt kann entweder durch Bewegung des Scankopfes mit der Kamera oder durch Bewegung des Objektes im Erfassungsbereich der Kamera erfolgen. Unter Bewegung wird hierbei neben einer Verschiebung selbstverständlich auch eine Rotation des Objektes oder eine Bewegung des Scankopfes um das Objekt verstanden. Die mit jedem weiteren auf diese Weise aufgezeichneten Einzelbild erhaltenen 3D-Koordinaten bzw. 3D-Punkte werden ebenfalls in Echtzeit in der gleichen Bilddarstellung am Monitor visualisiert, indem diese Bilddarstellung mit den neuen 3D-Punkten ergänzt wird.
  • Die ergänzte Darstellung erfordert eine vorangehende Registrierung der jeweils neu gewonnenen 3D-Punkte mit den bereits vorhandenen 3D-Punkten. Für diesen Registrierungsprozess wird im vorliegenden Beispiel ein angepasster ICP-Algorithmus (Iterative-Closest-Point) eingesetzt, wie er bspw. aus S. Rusinkiewicz et al., „Efficient Variants of the ICP Algorithm", in: Proceedings of the 3. International Converence on 3D Digital Imaging and Modeling (3DIM), Quebec, 2001, bekannt ist.
  • Der Benutzer kann somit an dem in Echtzeit visualisierten Bild sofort erkennen, ob die Oberfläche des zu vermessenden Objektes ausreichend erfasst wurde. Mit dieser Interaktionsmöglichkeit wird ein hoher Produktivitätsgewinn erzielt, da das jeweilige Scanergebnis sofort verbessert werden kann, ohne den Erfassungsprozess abzubrechen und nach Erkennung von möglichen Lücken erneut starten zu müssen. Weiterhin ermöglicht das vorliegende Verfahren eine sehr präzise Erfassung der Oberflächengeometrie bewegter Szenen, da die beispielsweise in einer Beleuchtungsvariante einsetzbare eingesetzte Stroboskop-Lichtquelle sehr kurze Belichtungszeiten liefert. Der Einsatz eines Musterdias mit einem Zufallsmuster, das dem System vor der Durchführung der Messung nicht bekannt sein muss und daher auch keinen präzisen Fertigungsprozess erfordert, ermöglicht eine sehr kostengünstige Realisierung des vorliegenden Verfahrens.
  • 1
    Oberfläche
    2
    projiziertes Muster
    3
    Projektionseinrichtung
    4
    Diapositiv
    5
    Kamera
    6
    visualisiertes Bild
    7
    Auswerteeinrichtung
    8
    Monitor
    9
    Zentren korrespondierender Musterzellen
    10
    Objekt
    11
    Scankopf

Claims (9)

  1. Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche (1) mit einem Projektionssystem, bei dem ein zeitlich konstantes Muster (2) mit einem Projektor des Projektionssystems unter einer Projektionsrichtung auf die Oberfläche (1) projiziert wird, ein erstes Einzelbild der Oberfläche (1) mit dem darauf projizierten Muster (2) aus einer von der Projektionsrichtung unterschiedlichen Erfassungsrichtung mit einem Bildaufnehmer (5) des Projektionssystems aufgezeichnet wird und aus dem ersten Einzelbild mittels Triangulation erste 3D-Punkte der Oberfläche (1) bestimmt und als Bild (6) visualisiert werden, wobei in zeitlicher Abfolge jeweils während oder nach einer Relativbewegung zwischen der Oberfläche (1) und einem den Projektor und den Bildaufnehmer (5) zumindest zum Teil tragenden Scankopf (11) ein oder mehrere weitere Einzelbilder der Oberfläche (1) mit dem darauf projizierten Muster (2) erfasst und zur Bestimmung von weiteren 3D-Punkten der Oberfläche (1) ausgewertet werden, die ersten und weiteren 3D-Punkte registriert werden und das visualisierte Bild (6) mit den weiteren 3D-Punkten ergänzt wird, dadurch gekennzeichnet, dass als Muster (2) ein nicht codiertes Schwarzweiß- oder Graustufen-Muster hoher Entropie auf die Oberfläche (1) projiziert wird, welches dem Projektionssystem vor einem anfänglichen Kalibrierungsschritt nicht bekannt ist, bei dem eine Kalibrierung des Projektors durch Projektion des Musters (2) auf in Lage und Orientierung bekannte Projektionsebenen erfolgt, wobei ein mit dem Bildaufnehmer (5) des Projektionssystems aufgezeichnetes Projektionsbild des Musters (2) auf eine der bekannten Projektionsebenen als Basisbild für die Auswertung der Einzelbilder dient.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Muster (2) mittels einer Maske, insbesondere eines Diapositivs (4), auf die Oberfläche (1) projiziert wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Muster (2) mit einer extern triggerbaren Blitzlichtquelle, insbesondere einem Stroboskop, auf die Oberfläche (1) projiziert wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als Muster (2) ein Feld mit weißem Rauschen eingesetzt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bild (6) in Echtzeit visualisiert und mit den weiteren 3D-Punkten ergänzt wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die weiteren Einzelbilder mit einer Bildaufnahmefrequenz aufgezeichnet werden, welche Benutzerinteraktion ermöglicht.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für die Bestimmung der 3D-Punkte eine Zuordnung von Musterbereichen im jeweiligen Einzelbild zu Musterbereichen im Basisbild mittels eines Suchalgorithmus erfolgt, der die Musterbereiche identifiziert.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Suchalgorithmus eine Kreuzkorrelation, eine SSD-Korrelation oder eine Least-Squares-Korrelation zwischen den Musterbereichen durchführt.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Registrierung der weiteren 3D-Punkte mit einem schnellen ICP-Algorithmus erfolgt.
DE2003159104 2003-12-17 2003-12-17 Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche Expired - Fee Related DE10359104B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE2003159104 DE10359104B3 (de) 2003-12-17 2003-12-17 Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche
PCT/DE2004/002755 WO2005059470A1 (de) 2003-12-17 2004-12-16 Verfahren zur dynamischen, dreidimensionalen erfassung und darstellung einer oberfläche

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2003159104 DE10359104B3 (de) 2003-12-17 2003-12-17 Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche

Publications (1)

Publication Number Publication Date
DE10359104B3 true DE10359104B3 (de) 2005-10-13

Family

ID=34683434

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2003159104 Expired - Fee Related DE10359104B3 (de) 2003-12-17 2003-12-17 Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche

Country Status (2)

Country Link
DE (1) DE10359104B3 (de)
WO (1) WO2005059470A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002725A1 (de) 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE102014108643B3 (de) * 2014-06-19 2015-06-25 Lavision Gmbh Verfahren zur Ermittlung eines räumlichen Verschiebungsvektorfeldes

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE406850T1 (de) 2004-06-17 2008-09-15 Cadent Ltd Verfahren und gerät zur farbbildformung einer dreidimensionalen struktur
US20080199068A1 (en) * 2007-01-10 2008-08-21 Duquette David W Inspection System
JP5485889B2 (ja) 2007-08-17 2014-05-07 レニショウ パブリック リミテッド カンパニー 位相解析測定を行う装置および方法
GB0915904D0 (en) 2009-09-11 2009-10-14 Renishaw Plc Non-contact object inspection
CN103267495B (zh) * 2013-04-24 2015-12-09 中国科学院电工研究所 塔式太阳能热发电用单元镜面形检测方法
DE102013112186A1 (de) * 2013-11-06 2015-05-07 Carl Zeiss Industrielle Messtechnik Gmbh Verbessertes Beleuchtungsmodul für einen Metrologiesensor, insbesondere ein Koordinatenmessgerät
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19638758A1 (de) * 1996-09-13 1998-03-19 Rubbert Ruedger Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
DE19963333A1 (de) * 1999-12-27 2001-07-12 Siemens Ag Verfahren zur Ermittlung von dreidimensionalen Oberflächenkoordinaten
EP1417453A1 (de) * 2001-08-01 2004-05-12 Unilever N.V. 3d-bildaufnahmevorrichtung und verfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19638758A1 (de) * 1996-09-13 1998-03-19 Rubbert Ruedger Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten
US6359680B1 (en) * 1996-09-13 2002-03-19 Orametrix, Inc. Three-dimensional object measurement process and device
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
A.W.Grün: Adaptive Least Squares Correlation: A Powerful Image Matching Technique, in: South African Journal of Photogrammetry, Remote Sensing and Cartography. Vol. 14, No. 3, 1885 S. 175-187
C.A.Kapoutsis, C.P.Vavoulidis, I.Pitas: Morpholog- ical Iterative Closest Point Algorithm, in: IEEE Trans. on Image Processing, Vol. 8, No. 11, 1999, S. 1644-1664
C.A.Kapoutsis, C.P.Vavoulidis, I.Pitas: Morpholog-ical Iterative Closest Point Algorithm, in: IEEE Trans. on Image Processing, Vol. 8, No. 11, 1999, S. 1644-1664 *
F.Devernay, O.Bantiche, E.Coste-Maniere:Structured light on dynamic scenes using standard stereo- scopy algorithms, Institut National de Recherche en Informatique et en Automatique (INRIA), Forschungsbericht 4477. Juni 2002
F.Devernay, O.Bantiche, E.Coste-Maniere:Structuredlight on dynamic scenes using standard stereo- scopy algorithms, Institut National de Recherche en Informatique et en Automatique (INRIA), Forschungsbericht 4477. Juni 2002 *
H.Hoppe et al.: A New, Accurate and Easy to Imple- ment Camera and Video Projector Model, in:
H.Hoppe et al.: A New, Accurate and Easy to Imple-ment Camera and Video Projector Model, in: *
M.Okutomi, T.Kanade: A multiple-baseline stereo. in: Proc. of the Computer Society Conf. on Computer Vision and Pattern Recognition CVPR'91. 1991, S. 63-69 *
Medicine Meets Virtual Reality. NewPort Beach, San Diego, 2002
O.Hall-Holt, S.Rusinkiewicz: Stripe Boundary Codes for Real-Time Structured-Light Range Scanning of Moving Objects, präsentiert auf der Eighth Intern. Conf. on Computer Vision (CCV 2001)
S.Rusinkiewicz et al.: Efficient Variants of the ICP Algorithm. in: Proc. of the 3. Intern. Conf. on 3D Digital Imaging and Modeling. Quebec, 2001
Y.-S.Chen, B.-T.Chen: A solution of correspondence problem for measuring 3D surface, in:Proc. of IEEE Intern. Conf. on Acoustics, Speech and Signal Processing (ICASSP'02). Vol. 4 S. 3553-3556
Y.-S.Chen, B.-T.Chen: A solution of correspondenceproblem for measuring 3D surface, in:Proc. of IEEEIntern. Conf. on Acoustics, Speech and Signal Processing (ICASSP'02). Vol. 4 S. 3553-3556 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002725A1 (de) 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE102014108643B3 (de) * 2014-06-19 2015-06-25 Lavision Gmbh Verfahren zur Ermittlung eines räumlichen Verschiebungsvektorfeldes

Also Published As

Publication number Publication date
WO2005059470A1 (de) 2005-06-30

Similar Documents

Publication Publication Date Title
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102007054906B4 (de) Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
EP2079981B1 (de) Vorrichtung und verfahren zum berührungslosen erfassen einer dreidimensionalen kontur
DE19536297C2 (de) Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE102012112321B4 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102016002398B4 (de) Optischer 3D-Sensor zur schnellen und dichten Formerfassung
DE102012108567B4 (de) Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
DE3829925C2 (de) Vorrichtung zur optischen Vermessung von Zähnen in der Mundhöhle
DE69807508T2 (de) Positionsbestimmung
DE10137241A1 (de) Registrierung von Tiefenbildern mittels optisch projizierter Marken
DE102008002725B4 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
DE102011114674B4 (de) Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
DE60133026T2 (de) Genaues ausrichten von bildern in digitalen abbildungssystemen durch anpassen von punkten in den bildern
DE102006042311B4 (de) Dreidimensionale Vermessung von Objekten in einem erweiterten Winkelbereich
EP2583055A1 (de) Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche
DE202012104890U1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP2212646A2 (de) Verfahren zur optischen vermessung von objekten unter verwendung eines triangulationsverfahrens
DE102016217628B4 (de) Verfahren zum Betreiben eines Operationsmikroskopiesystems, Bewegungsmesssystem für ein Operationsmikroskopiesystem und Operationsmikroskopiesystem
DE10149750A1 (de) Handgeführter 3D-Scanner
EP2799810A1 (de) Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen
EP2026034B1 (de) Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE19637682A1 (de) Verfahren zur Bestimmung der räumlichen Koordinaten von Gegenständen und/oder deren zeitlicher Änderung und Vorrichtung zur Anwendung dieses Verfahrens
DE10359104B3 (de) Verfahren zur dynamischen, dreidimensionalen Erfassung und Darstellung einer Oberfläche
EP1284409A1 (de) Verfahren und Vorrichtung zur Untersuchung der Verformung von Prüfobjekten

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: KARLSRUHER INSTITUT FUER TECHNOLOGIE, 76131 KA, DE

R082 Change of representative

Representative=s name: GAGEL, ROLAND, DIPL.-PHYS.UNIV. DR.RER.NAT., DE

R081 Change of applicant/patentee

Free format text: FORMER OWNER: KARLSRUHER INSTITUT FUER TECHNOLOGIE, 76131 KARLSRUHE, DE

Effective date: 20130422

Owner name: DILLMANN, RUEDIGER, PROF., DE

R082 Change of representative

Representative=s name: GAGEL, ROLAND, DIPL.-PHYS.UNIV. DR.RER.NAT., DE

Effective date: 20130422

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130702