DE102007023920A1

DE102007023920A1 - Verfahren und Vorrichtung zur Oberflächenerfassung eines räumlichen Objektes

Info

Publication number: DE102007023920A1
Application number: DE200710023920
Authority: DE
Inventors: Günter Dr. Doemens; Claudio Dr. Laloni; Michael Dr. Stockmann
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2007-05-23
Filing date: 2007-05-23
Publication date: 2008-12-04
Also published as: WO2008141924A1

Abstract

Verfahren und Vorrichtung zur Oberflächenerfassung eines räumlichen Objektes (1) mittels Bildaufnahme über eine Fläche oder entlang einer Linie, strukturierter Beleuchtung sowie unterschiedlicher Beleuchtungs- (7) und Aufnahmerichtung (5), dadurch gekennzeichnet, dass mittels unterschiedlichem zeitlichen Beleuchtungsverlauf von Objektpunkten oder Objektpunktgruppen die am jeweiligen Objektpunkt (P) vorliegende Beleuchtungsrichtung (7) bestimmt wiung (5) der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Oberflächenerfassung einer dreidimensionalen Objektoberfläche, wobei allgemein eine Bilderfassung mit strukturierter Beleuchtung und Triangulation erfolgt.
In der industriellen Bildverarbeitung wird zunehmend die Erfassung und Verarbeitung dreidimensionaler Bilder aufgrund der Komplexität der Aufgabenstellung sowie der notwendigen Zuverlässigkeit erforderlich. Ähnliches gilt für die Bereiche Safety/Sicherheitstechnik zum Schutz von Personen und Security/Sicherheitstechnik zur Zugangsüberwachung, sowie auch für den Bereich Medizintechnik. Dabei werden hohe Anforderungen an die Datenrate, die Dynamik sowie die Auflösung der dreidimensionalen Bildinformationen gestellt. Zusätzlich sollten aus Kostengründen weitgehend Standardkomponenten Verwendung finden. Derzeit kommen hierfür in erster Linie Verfahren der Videobildverarbeitung in Verbindung mit aktiver Beleuchtung und Triangulation zur Anwendung. Unter aktiver Beleuchtung ist insbesondere eine strukturierte Beleuchtung zu verstehen.
Die heute in der Regel eingesetzten dreidimensionalen (3D)-Verfahren auf der Basis von Videokameras und Triangulation unterscheiden sich im Wesentlichen durch die Art der aktiven Beleuchtung. Allen Verfahren ist dabei gemeinsam, dass die Raumkoordinaten eines Objektpunktes durch den Schnitt eines Sehstrahls (Beobachtungsstrahl) der Videokamera und einer Raumebene, welche durch die aktive Beleuchtung vorgegeben und bekannt ist, bestimmt wird. Die einfachste Generierung von definierten Raumebenen stellen Hell-Dunkel-Streifen bei der Objektbeleuchtung dar. An dieser Stelle wird jedoch sehr schnell bei entsprechenden Tiefensprüngen an der Objektoberfläche die Eindeutigkeit gestört. Dieses Problem wird umgan gen durch den so genannten Grey-Code, wobei jede Beleuchtungsebene im Raum durch die eine zeitliche Sequenz von Binärmustern eindeutig definiert ist. Der Nachteil liegt in der deutlich geringeren Datenrate im Verhältnis zu Systemen ohne diese Codierung, da mit der Codierung eine Vielzahl von Videobildern erforderlich wird, wie beispielsweise acht Bilder. Auch haben die auf Streifenmustern basierenden Verfahren grundsätzlich den Nachteil, dass die Tiefeninformation nur an Kantenübergängen bestimmt werden kann, nicht jedoch innerhalb der Strukturen.
Zur Lösung des oben angesprochenen Problems kann das so genannte Phasen-Shift-Verfahren eingesetzt werden. Hier wird eine sinusförmig modulierte Helligkeitsverteilung in unterschiedlichen Phasenlagen und Perioden sequentiell auf das Projekt projiziert. Nachteilig gestaltet sich hier allerdings auch die Vielzahl von erforderlichen Videobildern zur Gewinnung eines einzigen dreidimensionalen Bildes. Durch unterschiedliche farbige Gestaltung der Beleuchtungsebenen kann aus einem einzigen Videobild auch die Lage der Beleuchtungsebenen im Raum bestimmt werden. Die daraus resultierende hohe Datenrate für die 3D-Bilder hat jedoch den Nachteil, dass nur an den Kanten 3D-Informationen gewonnen werden können. Ferner führt die Verwendung eines breiten Farbspektrums zu einer höheren Empfindlichkeit gegenüber Tageslicht.
Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur dreidimensionalen Objekterfassung zu beschreiben, welche/s Nachteile entsprechend dem Stand der Technik vermeidet.
Die Lösung dieser Aufgabe geschieht durch die Merkmalskombination des Patentanspruchs 1 bzw. des Anspruchs 16. Vorteilhafte Ausgestaltungen sowie Verwendungen sind den Unteransprüchen zu entnehmen.
Der Erfindung liegt die Erkenntnis zugrunde, dass unter Beibehaltung der allgemeinen Verfahrensweise zur Oberflächener fassung eines räumlichen Objektes mittels strukturierter Beleuchtung und unterschiedlicher Beleuchtungs- und Aufnahmerichtung eine wesentliche Verfahrensvereinfachung, Beschleunigung und Reproduktionssicherheit durch die Anwendung einer erfindungsgemäßen Codierung des strukturierten Lichtes erzielen lässt. Diese Strukturierung des Lichtes wird durch eine zeitliche Codierung der optischen Triangulation dargestellt, wodurch mittels lediglich zweier Videobilder die vollständige Erfassung eines dreidimensionalen Bildes erzielbar ist. Die räumlichen Koordinaten eines Objektpunktes werden aus dem Schnittpunkt einer Ebene und eines Strahls bestimmt. Dies liegt vor, falls ein Kamerastrahl/Sehstrahl eine Ebene schneidet, eine Beleuchtungsebene, für die eine bestimmte Zeitcodierung zutrifft und die somit eindeutig identifizierbar ist. Der Objektpunkt liegt dabei sowohl auf dem Sehstrahl als auch auf der Beleuchtungsebene. An dieser Stelle kann ein geometrisches Berechnungsverfahren ansetzen, wobei in der Regel zweckmäßigerweise die Triangulation verwendet wird. Somit ergibt sich aus dem Sehstrahl und dessen Richtung durch die ermittelte Beleuchtungsebene eindeutig die räumliche Position des einen oder bei weiteren Kombinationen für die Vielzahl von Objektoberflächenpunkten jeweils deren Position. Insgesamt lässt sich daraus ein vollständiges dreidimensionales Bild zusammensetzen.
Die Kombination der Zeitcodierung und der optischen Triangulation zur vollständigen Erfassung eines dreidimensionalen Bildes ergibt wesentliche Vorteile. Für industrielle Anwendungen sind wesentliche Vorteile hinsichtlich einer höheren Datenrate im Vergleich zu bestehenden Verfahren zu erwarten.
Die räumliche Lage einer Ebene kann mittels der Zeitcodierung der Beleuchtung am Kamerabild erkannt werden. Da bisherige Verfahren lange Zeit als Codierungskriterium Farbe oder unterschiedliche Schwarz-Weiß-Sequenzen oder Phasenverschiebungen eingesetzt haben, obwohl damit unterschiedliche Nachteile vorhanden waren, stellt der Einsatz einer zeitcodierten strukturierten Beleuchtung einen wesentlichen erfinderischen Schritt dar. Mit der Zeitcodierung wird die Raumebene oder der Strahl, auf dem der Objektpunkt liegt, eindeutig durch die an dem Objektpunkt herrschende Beleuchtungsdauer T_n codiert bzw. gekennzeichnet. Zur Verifizierung von Beleuchtungsebenen mit jeweils unterschiedlicher Beleuchtungsdauer wird beispielsweise eine Hell-Dunkelkante derart vor der Beleuchtung bewegt, dass für jede Position auf der Objektoberfläche eine eindeutige, aber unterschiedliche Beleuchtungsdauer T_n entsteht.
Die Aufbringung einer derartig strukturierten Beleuchtung auf einer Objektoberfläche kann vorteilhafterweise durch eine dynamische Beleuchtung über einen Digital Mirror Device (DMD) realisiert werden, wobei simuliert wird, dass eine optische Kante, die sich bewegt, erzeugt wird. insbesondere bei makroskopischen Anwendungen im Bereich von Safety und Security ist auch eine Anordnung von Halbleiter-Lichtquellen sinnvoll, die definierte Beleuchtungsstrahlen erzeugen und deren Codierung bzw. die Codierung des Lichtes wird durch eine zeitlich versetzte Einschaltung erzeugt.
Wesentlich für die Erfindung ist die Erkennung der Beleuchtungsdauer für jeden einzelnen Objektpunkt bzw. für jedes Pixel in einem Kamerabild und damit die Bestimmung der Raumebene oder des Strahls, auf dem der einzelne Objektpunkt sich befindet. Hierzu wird vorteilhafterweise eine integrierende Halbleiterkamera mit m mal n Elementen eingesetzt, die über eine Integrationszeit T₀ an jedem Pixel die lokale Beleuchtungsstärke aufintegriert und als Ergebnis eine Spannung U_0n liefert. Die Steigung dieses Anstiegs an einem beliebigen Pixel n beträgt dann bei exakter Integration und konstanter Beleuchtung innerhalb der Integrationszeit T₀: tan α = U_0n/T₀.
In einem weiteren Kamerabild wird nun synchron zum Beginn der Integration der Halbleiter-Kamera die Beleuchtung des Gesichtsfeldes über die Bewegung der Hell-Dunkel-Kante gestartet. Zweckmäßigerweise wird die volle Beleuchtung deutlich vor dem Ende der Integrationszeit erreicht, um die Beleuch tungsdauer der einzelnen Pixel nicht zu unterschiedlich ausfallen zu lassen. Beispielsweise kann T_S = T₀/2 sein. Die Beleuchtungsdauer T_n eines beliebigen Objektpunktes hängt dann eindeutig von dessen Lage sowie dem zeitlichen Bewegungsverhalten der Hell-Dunkel-Kante ab. Für jeden einzelnen Objektpunkt errechnet sich die Zeit T_n aus der jeweiligen Spannung U_n bei dynamischer Beleuchtung sowie aus der jeweiligen Spannung U_0n bei der vollständigen Beleuchtung über die gesamte Integrationszeit T₀ hinweg, wobei letztere aus dem ersten aufgenommenen Kamerabild bekannt ist.
Eine mathematische Beziehung für den Zusammenhang entsprechend dem letzten Absatz ist wie folgt
Durch die beschriebene Kombination einer dynamischen Beleuchtung und einer Vollbildbeleuchtung wird für jeden einzelnen Bildpunkt die Beleuchtungsdauer aus dem resultierenden Kamerabild bestimmbar und damit die Beleuchtungsebenen bzw. der Beleuchtungsstrahl, auf dem sich der einzelne Objektpunkt befindet.
Der Einsatz einer bewegbaren Hell-Dunkel-Kante zur Erzeugung einer Lichtcodierung erlaubt darüber hinaus eine lückenlose Erfassung der dreidimensionalen Koordinaten aller Objektpunkte. Die Verwendung von monochromatischem Licht, vorzugsweise im nahen Infrarotbereich macht das Verfahren insgesamt gegenüber Umgebungsbeleuchtung robust. Ein zusätzlicher Vorteil liegt in einer weiteren Unempfindlichkeit gegenüber einer unscharfen Abbildung aufgrund der Quotientenbildung zweier integraler Intensitätswerte am gleichen Ort.
Im Folgenden werden anhand der schematischen begleitenden Figuren Ausführungsbeispiele beschrieben:
1 zeigt das Prinzip eines Verfahrens zur Aufnahme von dreidimensionalen Objektoberflächen, wobei an einer Beleuchtungseinheit eine so genannte Hell-Dunkel-Kante 3 vorbeiläuft,
2 zeigt eine Darstellung entsprechend 1, wobei die geometrische Zuordnung von Ebenen durch diskrete nebeneinander angeordnete Lichtquellen dargestellt wird.
3 zeigt drei wesentliche Verfahrensschritte, die mittels Triangulation und der Aufnahme von zwei unterschiedlichen Videobildern einer Szene ein Bild mit dreidimensionalem Charakter ergibt.
Die Vorteile der Erfindung liegen insbesondere darin, dass
– eine hohe Datenrate verarbeitbar ist, da pro aufgenommenem dreidimensionalen Bild lediglich zwei Videobilder erforderlich sind,
– umgebungsunabhängige dreidimensionale Messungen für jedes Pixel möglich sind,
– ein monochromatisches Verfahren möglich ist, welches insbesondere eine hohe Stabilität bzw. Robustheit gegenüber Umgebungslicht aufweist,
– das Verfahren weitgehend unabhängig von der Abbildungsqualität der aktiven Beleuchtung ist, die beispielsweise durch eine Hell-Dunkel-Kante dargestellt ist, wobei die Kantenschärfe betrachtet wird.
Das Prinzip der Erfindung lässt sich derart skizzieren, dass jede Beleuchtungsebene bei der dreidimensionalen Objektaufnahme eindeutig über die Beleuchtungsdauer bzw. den zeitlichen Beginn der Beleuchtung codiert bzw. zugeordnet wird, und die pixelspezifische Beleuchtungsdauer bzw. der zeitliche Beginn der Beleuchtung unmittelbar aus dem Videosignal des einzelnen Pixels bestimmt wird.
Im Vergleich zur bekannten Grey-Code-Verfahren, Phasen-Shift-Verfahren, Colour-coded Triangulation, weist die so genannte Time-coded Triangulation/zeitcodierte Triangulation Vorteile auf:
Es können höhere Datenraten erzielt werden, es wird ein gesamtes dreidimensionales Bild erzeugt, die Robustheit gegen Umgebungsbeleuchtung ist groß und die Robustheit gegenüber Unschärfen im System ist ebenfalls groß.
Die zeitcodierte Triangulation hat somit insgesamt eine größere Anzahl von wesentlichen Vorteilen gegenüber dem im Stand der Technik bekannten Verfahren bei gleichem Kostenaufwand. So genannte Phasen-Shift-Verfahren sind mit dem Nachteil einer niedrigen Datenrate verbunden. So genanntes Colour-coded Triangulations-Verfahren weist zwar eine hohe Datenrate auf, ist jedoch in anderen Punkten nachteilig.
Die 1 zeigt ein aufgebrochenes, im Schnitt dargestelltes dreidimensionales/räumliches Objekt 1. Weiterhin ist eine integrierende Halbleiter-Kamera 2 angedeutet. Die Objektoberfläche ist mit 4 bezeichnet. Ein Sehstrahl bzw. Messstrahl oder Kamerastrahl mit entsprechender Richtung trägt das Bezugszeichen 5. Beleuchtungsstrahlen 7 werden ausgehend von der Beleuchtung 8 auf das Objekt 1 gerichtet. Zur Erzeugung einer Codierung kann an der Beleuchtung 8 ein nicht näher dargestelltes Element, beispielsweise eine Hell-Dunkel-Kante bewegt werden, wobei die gesamte dargestellte Anordnung beleuchtet ist und durch die Bewegung der Kante ein vorgebbares Weg-Zeit-Verhalten für die strukturierte Beleuchtung der Objektoberfläche erzeugbar ist.
2 zeigt eine zur 1 korrespondierende Darstellung, wobei die Beleuchtung 8 durch eine Anordnung von Einzellichtquellen 6 ersetzt ist, so dass eine zeitliche Codierung zur Erzeugung der strukturierten Beleuchtung der Objektoberfläche 4 durch wahlfreies Schalten der diskreten Lichtquellen erzeugbar ist. Hierzu können die unterschiedlichen Positionen der einzelnen Lichtquellen sowie ein zeitvariables An- und Ausschalten der Erzeugung unterschiedlicher Betriebszeiten bzw. unterschiedlichem Betriebs-Beginn bzw. Betriebs-Ende ausgenutzt werden.
3 zeigt drei hauptsächliche Schritte zur Durchführung des beschriebenen Verfahrens, wobei im Schritt 1 eine Halbleiter-Kamera zunächst mit unterschiedlichem Beleuchtungsbeginn und fester Integrationszeit bei voller Beleuchtung zu einer Bildaufnahme herangezogen werden. Dabei ist die Formel für die Steigung der entsprechend aufgenommenen Spannung U_0n in Form eines tan α dargestellt. In einem zweiten Bild entsprechend dem zweiten Schritt wird mit der Integrationszeit T₀ wiederum an jedem Pixel innerhalb der Integrationszeit aufintegriert, wobei der Beleuchtungsbeginn T_n für jedes Pixel unterschiedlich sein kann.
Wesentlich ist die Erfassung des zeitlichen Verlaufs der Beleuchtung je Pixel in der Bildaufnahme. Dabei sind zumindest die Erfassung von Beleuchtungsanfang und Beleuchtungsende, bzw. die Dauer der Beleuchtung zu verstehen. Eine Vorrichtung zur Auswertung dieses zeitlichen Verlaufs der Beleuchtung enthält einen besonders geeigneten Halbleiterchip, der Pro Pixel diesen Wert bzw. diese Werte ausgibt.
Die in den Formeln in 3 verwendeten Formelzeichen bedeuten im Einzelnen:

U_n: mittlere Beleuchtungsebene,
U_0n: Spannung an beliebigem Pixel n,
T_n: Beleuchtungsdauer,
T₀: Integrationszeit
P: Objektpunkt.

Claims

Verfahren zur Oberflächenerfassung eines räumlichen Objektes (1) mittels Bildaufnahme über eine Fläche oder entlang einer Linie, strukturierter Beleuchtung, sowie unterschiedlicher Beleuchtungs-(7) und Aufnahmerichtung (5), dadurch gekennzeichnet, dass mittels unterschiedlichem zeitlichen Beleuchtungsverlauf von Objektpunkten oder Objektpunktgruppen die am jeweiligen Objektpunkt (P) vorliegende Beleuchtungsrichtung (7) bestimmt wird und daraus in Verbindung mit der Sehstrahlrichtung (5) der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vor einer Beleuchtungseinheit im Strahlengang quer bewegten Dunkel/Hell-Kante mit definierter Weg/Zeit-Verhalten erzeugt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer Digital-Mikrospiegel-Anordnung/DMD zwischen einer Lichtquelle und einem Objekt erzeugt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vorgegebenen Anordnung von Halbleiterlichtquellen zur aufeinanderfolgenden Generierung von Beleuchtungsstrahlen erzeugt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der unterschiedliche zeitliche Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels unterschiedlichem Beleuchtungsbeginn realisiert wird.
Verfahren nach Anspruch 1–5, dadurch gekennzeichnet, dass zur Bildaufnahme eine integrierende Halbleiterkamera mit einer Integrationszeit T₀ eingesetzt wird, wobei der Beginn einer Beleuchtung innerhalb der Integrationszeit T₀ liegt.
Verfahren nach eine der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Beleuchtungsbeginn Tn für ein Pixel n mittels der Ausgangsspannung U_0n berechnet wird, die sich aus der Beleuchtung über die gesamte Integrationszeit T0 ergibt, sowie aus der Ausgangsspannung U_n, die sich bei der gleichen Beleuchtung mit zeitlicher Verzögerung Tn ergibt, und dass daraus die Beleuchtungsrichtung für diesen Objektpunkt festgelegt ist und in Verbindung mit der Sehstrahlrichtung der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.
Verfahren nach einem der Ansprüche 1–5, dadurch gekennzeichnet, dass zur Bildaufnahme eine Bildaufnahmeeinheit eingesetzt wird, die einen Halbleiterchip aufweist, mit dem an jedem Pixel der unterschiedliche zeitliche Beleuchtungsverlauf erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Beleuchtung monochromatisches Licht eingesetzt wird.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur 2/3-dimensionalen Erfassung von Körperpartien wie einem Gesicht bei der Biometrie.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur Volumenbestimmung von Transportgut wie Gepäckstücke oder Schüttgut, beispielsweise auf Förderbändern.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur Raumüberwachung im Bereich Safety oder Security, wobei vorzugsweise einzelne Beleuchtungsstrahlen zeitversetzt innerhalb der Integrationszeit der Kamera eingeschaltet werden.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen berührungslosen Formerfassung in der Medizintechnik wie bei Zahntechnik, bei plastischer Chirurgie oder Gehörgangvermessung für eine Hörhilfe.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen Positionserkennung von Bauelementen in der Montageautomatisierung bei Bauelementen und Modulen.
Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen optischen 2D/3D-Inspektion von Elektronikbaugruppen, sowie mikrotechnischen Modulen und Verbindungen.
Vorrichtung die zur Oberflächenerfassung eines räumlichen Objektes (1) folgendes aufweist: – eine Bildaufnahmeeinheit zur Detektion über einer Fläche oder entlang einer Linie, – eine Beleuchtungseinheit zur Beleuchtung der Objektoberfläche (4), mit zeitkodierter strukturierter Beleuchtung, – unterschiedliche Beleuchtungs-(7) und Bildaufnahmerichtung (5), dadurch gekennzeichnet, dass die Bildaufnahmeeinheit einen Halbleiterchip aufweist, bei dem jedes Pixel den zeitlichen Verlauf der Beleuchtung erfasst.