DE102008002725B4 - Method and device for 3D reconstruction - Google Patents

Abstract

Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20), der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende (90) Muster mit Strukturelementen in Form von Farbmustern mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projiziert werden, dadurch gekennzeichnet, dass die Muster sowohl in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz variiert und in beiden Richtungen mit einem hohen Informationsgehalt auf die Objektoberfläche (10) projiziert werden, wobei mit dem Bildsensor (20) ein Strukturbild S(x, y) von der Objektoberfläche (10) aufgenommen und mit einem Referenzbild R(x, y), bei welchem die Objektoberfläche (10) mit dem gleichen Bildsensor (20) bei einer Beleuchtung mit einer gleichförmigen Referenzhelligkeit aus gleichem Blickwinkel zeitlich nacheinander folgend oder gleichzeitig aufgenommen wurde, pixelweise zu einem Verhältnisbild SR(x, y) ins Verhältnis gesetzt wird, wobei die verschiedenen Helligkeitswerte der Farbmuster in einem oder zwei von drei Kanälen des als Farbkamera ausgebildeten Bildsensor (20, 30) kodiert werden, und dass zur Erzeugung der Muster ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind.A method for generating a distance image for the 3D reconstruction of an object surface (10) from the correspondence of pixels of the images of at least one image sensor (20) which receives the scene, wherein by means of a projector with a structural shutter (90) pattern with structural elements in the form of Color patterns with noisy random locally different brightnesses on the object surface (10) are projected, characterized in that the patterns in both the horizontal and in the vertical direction with high spatial frequency varies and are projected in both directions with a high information content on the object surface (10) in that a structural image S (x, y) is recorded by the image sensor (20) from the object surface (10) and with a reference image R (x, y), in which the object surface (10) is connected to the same image sensor (20) Lighting with a uniform reference brightness from the same angle consecutively following od is simultaneously recorded pixel by pixel into a ratio image SR (x, y), wherein the different brightness values of the color patterns are encoded in one or two of three channels of the color sensor camera image sensor (20, 30) the pattern is a slide is used, on which the structural elements are applied in the form of band-stop filters of different attenuation or in the form of opaque areas.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende Muster mit Strukturelementen in Form von Grauwertmuster oder Farbmuster mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projiziert werden.The invention relates to a method for producing a distance image for the 3D reconstruction of an object surface from the correspondence of pixels of the images of at least one image sensor that receives the scene, with a pattern with structural elements in the form of gray value pattern or color pattern with a noise by means of a projector random locally different brightnesses or colors are projected onto the object surface.

Die Erfindung bezieht sich weiterhin auf eine entsprechende Vorrichtung mit einer Sensorikanordnung zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, wobei mittels einer Lichtquelle homogenes Licht auf die Objektoberfläche projizierbar ist und mit derselben oder einer zweiten Lichtquelle und einer Strukturblende Muster mit Strukturelementen in Form Grauwertmuster oder Farbmuster mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projizierbar sind.The invention further relates to a corresponding device with a sensor array for generating a distance image for the 3D reconstruction of an object surface from the correspondence of pixels of the images of at least one image sensor, wherein by means of a light source homogeneous light can be projected onto the object surface and with the same or a second light source and a structural shutter pattern with structural elements in the form of gray value pattern or color pattern with noisy random locally different brightnesses or colors are projected onto the object surface.

Die klassische Streifenprojektion mit einer Kamera und dazu kalibriertem Streifenprojektor führt die Erzeugung einer 3D-Punktewolke zur 3D-Rekonstruktion von Objektoberflächen durch die Aufnahme mehrerer Bilder mit Hilfe des Phasenshift-Verfahrens und des Graycode-Verfahrens, wobei jeweils die Streifenbreite zum vorherigen Bild halbiert wird und dadurch jede Streifenkante eindeutig einem Projektorstrahl zugeordnet werden kann, durch.The classic fringe projection with a camera and calibrated strip projector leads to the generation of a 3D point cloud for the 3D reconstruction of object surfaces by taking several pictures using the phase shift method and the Graycode method, in each case the strip width is halved to the previous image and thereby each strip edge can be clearly assigned to a projector beam, through.

Eine Erweiterung ist die Kombination von Streifenprojektoren mit einer Stereokameraanordnung, wobei die beiden Stereokameras zueinander kalibriert sind, so dass durch Korrespondenzpunktzuordnung des linken und des rechten Bildes aus der Stereo-Triangulation der Abstand in jedem Korrespondenzpunkt bestimmt werden kann. Die Korrespondenzpunkte liegen dabei auf den Epipolarlinien nach der Stereokalibrierung und Bildrektifizierung. Die Ebene, welche die beiden Projektionszentren der Kameras und der aufgenommene Objektpunkt aufspannen, wird dabei Epipolarebene genannt.An extension is the combination of fringe projectors with a stereo camera arrangement, wherein the two stereo cameras are calibrated to each other, so that by correspondence point assignment of the left and the right image from the stereo triangulation of the distance in each correspondence point can be determined. The correspondence points lie on the epipolar lines after the stereo calibration and image rectification. The plane which spans the two projection centers of the cameras and the recorded object point is called the epipolar plane.

Diese schneidet die beiden Bilder in jeweils einer Geraden, der so genannten Epipolarlinie. Der Projektor kann zusätzlich zu den beiden Kameras kalibriert sein. Die Projektorkalibrierung ist nicht notwendig und zudem aufwendig, erhöht aber in der Regel die Robustheit und Genauigkeit.This cuts the two images in each of a straight line, the so-called epipolar line. The projector may be calibrated in addition to the two cameras. The projector calibration is not necessary and also expensive, but usually increases the robustness and accuracy.

Die Streifen werden binär im Schwarz-Weiß-Wechsel mit Graubildkameras oder mit einer eigenen Farbe für jeden Streifen mit Farbkameras aufgenommen. Die Farbvariante vereinfacht die Korrespondenzpunktzuordnung, besitzt aber andere Probleme der Farbauswertung (z. B. u. a. Weißabgleich). Bei den genannten Verfahren werden statt Streifen auch andere geometrische oder texturierte Muster verwendet.The stripes are recorded binary in black and white with gray-scale cameras or with a separate color for each color-coded strip. The color variant simplifies the correspondence point assignment, but has other problems of color evaluation (eg, inter alia, white balance). In the methods mentioned, other geometric or textured patterns are used instead of strips.

In der DE 10 2006 001 634 B3 [1] wird ein Verfahren zur Erstellung eines Abstandbildes aus der Korrespondenz von Pixeln der Bilder einer ersten Kamera und einer zweiten Kamera in Stereoanordnung vorgestellt. Kennzeichnend für das Verfahren ist eine erste Beleuchtung der Szene mit einem Zufalls- oder Pseudozufallsmuster mit Aufnahme eines ersten Bildes mit beiden Kameras und eine zweite Beleuchtung der Szene, mit Aufnahme eines zweiten Bildes mit beiden Kameras, wobei für beide Kameras pixelweise eine Berechnung eines Helligkeitsverhältnisses aus dem ersten und dem zweiten Bild durchgeführt und durch Vergleich der Helligkeitsverhältnisse von Pixeln verschiedener Kameras eine Korrespondenz der Pixel hergestellt wird. Dies erfolgt insbesondere auf einander zugeordneten Epipolarlinien der Stereokameras. Das Quotientenbild aus beiden Bildern unterschiedlicher Helligkeit ist weitgehend unabhängig vom Betrachtungswinkel und gegenüber der Farbe, Helligkeit, Oberflächenrauhigkeit und -neigung sowie Textur der betrachteten Objektoberfläche.In the DE 10 2006 001 634 B3 [1] a method for creating a distance image from the correspondence of pixels of the images of a first camera and a second camera in stereo arrangement is presented. Characteristic of the method is a first illumination of the scene with a random or pseudo random pattern with recording a first image with both cameras and a second illumination of the scene, with recording a second image with both cameras, wherein for both cameras pixel by pixel calculation of a brightness ratio of the first and the second image is performed and by comparing the brightness ratios of pixels of different cameras, a correspondence of the pixels is made. This is done in particular on mutually associated epipolar lines of the stereo cameras. The quotient image from both images of different brightness is largely independent of the viewing angle and compared to the color, brightness, surface roughness and inclination as well as texture of the observed object surface.

Die vorgeschlagenen Verfahrensvarianten mit Streifenmuster – vorzugsweise entlang von Epipolarlinien – umfassen sowohl Graubild- als auch Farbkameras, wobei die erste und zweite Beleuchtung mit unterschiedlichen Farben, vorzugsweise gleichzeitig (One-Shot-Verfahren) bei Verwendung eines Strahlteilers mit Polarisationsfilter oder Farbkameras erfolgt. Die Zufallsmuster werden vorzugsweise durch zwei überlagerte Gittermuster mit einem definierten Abstand projiziert, wobei die lokale Gitterkonstante mindestens eines Musters pseudo-zufällig variiert wird. Diese Muster werden von mindestens zwei Lichtquellen beleuchtet und ergeben dadurch unterschiedliche Moirémuster. Diese Muster können auch mit nur einer Projektionseinheit durch Überlagerung zweier der gegeneinander verschiebbaren Masken oder mit nur einer derartigen Maske durch rotatorische oder translatorische Bewegung erzeugt werden.The proposed method variants with stripe patterns - preferably along epipolar lines - include both gray-scale and color cameras, the first and second illumination with different colors, preferably simultaneously (one-shot method) using a beam splitter with polarization filter or color cameras. The random patterns are preferably projected by two superimposed grid patterns with a defined distance, wherein the local grid constant of at least one pattern is varied pseudorandomly. These patterns are illuminated by at least two light sources and thereby result in different moire patterns. These patterns can also be generated with only one projection unit by superposition of two mutually displaceable masks or with only one such mask by rotational or translational motion.

In der DE 103 59 104 B3 [2] wird ein Musterprojektionsverfahren mit nur einer Kamera und einem dazu kalibrierten Projektor vorgestellt, welches mit einer Bildaufnahme (One-Shot-Verfahren) ein Abstandsbild der Oberfläche erstellt. Als Muster wird ein nicht codiertes Schwarzweiß-(Binär-) oder Graustufen-Muster hoher Entropie, vorzugsweise weißes Rauschen, auf die Oberfläche projiziert. Im Falle nicht binärer Graustufenmuster werden Muster mit gleicher bzw. sehr ähnlicher Charak-teristik verwendet, wie sie auch von F. Devernay et al. „Structured light an dynamic scenes using standard stereoscopy algorithms”, INRIA Research Report 4477, June 2002 [3] beschrieben sind.In the DE 103 59 104 B3 [2] a sample projection method with only one camera and a calibrated projector is presented, which creates a distance image of the surface with an image recording (one-shot method). As a pattern, a non-coded black and white (binary) or grayscale high entropy pattern, preferably white noise, is projected onto the surface. Not in case binary grayscale patterns are used patterns with the same or very similar Characteristics, as also by F. Devernay et al. "Structured light on dynamic scenes using standard stereoscopy algorithms", INRIA Research Report 4477, June 2002 [3].

Zur Erzeugung einer 3D-Punktewolke aus der 3D-Rekonstruktion von Objektoberflächen kann auch nach dem Stand der Technik vorgesehen sein, die zu vermessende Objektoberfläche mit farbigen Mustern zu beleuchten.To generate a 3D point cloud from the 3D reconstruction of object surfaces, it can also be provided according to the prior art to illuminate the object surface to be measured with colored patterns.

Aus der Patentanmeldung DE 10 2006 048 726.5 [5] der Anmelderin ist als Anwendungsbeispiel ein Verfahren zum Vermessen der Rad- oder Achsgeometrie eines Fahrzeuges bekannt, bei dem während der Drehung des Rades mindestens ein an diesem vorhandenes oder für die Messung eigens angebrachtes Merkmal optisch mittels mindestens einer bildgebenden Sensoreinheit unter unstrukturierter Beleuchtung erfasst und auf der Basis der so erhaltenen Bilddaten eine Auswertung zum Bestimmen der Rad- oder Achsgeometrie durchgeführt wird. Dabei ist vorgesehen, dass während der Drehung zusätzlich zu der unstrukturierten Beleuchtung gleichzeitig oder in zeitlicher Abfolge strukturiert beleuchtet wird und dass in die Auswertung auch die aus der strukturierten Beleuchtung erhaltenen Bilddaten einbezogen werden.From the patent application DE 10 2006 048 726.5 [5] The Applicant is known as an application example, a method for measuring the wheel or axle geometry of a vehicle, during which at least one on this existing or specially attached for the measurement feature optically detected by at least one imaging sensor unit under unstructured illumination during rotation of the wheel and on the basis of the image data thus obtained, an evaluation for determining the wheel or axle geometry is performed. It is provided that during the rotation, in addition to the unstructured illumination, the structure is illuminated simultaneously or in chronological order, and that the image data obtained from the structured illumination is also included in the evaluation.

Eine weitere Patentanmeldung der Anmelderin ( DE 10 2006 048 725.7 ) [6] beschreibt zum Ermitteln der Drehachse eines Fahrzeugrades, bei dem während der Drehung des Rades Lichtmuster zumindest auf das Rad projiziert und von dem reflektierte Lichtmuster von einer kalibrierten bildgebenden Sensorik aufgenommen und in einer Auswerteeinrichtung ausgewertet wird. Dabei wird bei der Auswertung eine radbezogene 3D-Punktwolke bestimmt und an diese ein parametrisches Oberflächenmodell des Rades angepasst. Zum Erhalten der Radachsen werden Radnormalenvektoren für verschiedene Drehlagen des Rades berechnet und aus der räumlichen Bewegung des Radnormalen-vektors der Drehachsvektor als Drehachse berechnet.Another patent application of the Applicant ( DE 10 2006 048 725.7 ) [6] describes for determining the axis of rotation of a vehicle wheel, in which light pattern is projected at least onto the wheel during the rotation of the wheel and is recorded by the reflected light pattern by a calibrated imaging sensor and evaluated in an evaluation device. During the evaluation, a wheel-related 3D point cloud is determined and adapted to this a parametric surface model of the wheel. For obtaining the wheel axles, wheel normal vectors for different rotational positions of the wheel are calculated, and from the spatial motion of the wheel normal vector, the rotational axis vector is calculated as the rotational axis.

Aus der US 6,549,288 B1 ist ein System zur Beleuchtung eines Objektes mit einem strukturierten Beleuchtungsmuster bekannt.From the US 6,549,288 B1 For example, a system for illuminating an object with a structured illumination pattern is known.

Die DE 100 63 293 A1 offenbart ein Verfahren und eine Vorrichtung zur mehrkanaligen Inspektion von Oberflächen, wobei mindestens zwei Lichtquellen synchron zum Aufnahmetakt der Kamera abwechselnd geschaltet werden.The DE 100 63 293 A1 discloses a method and apparatus for multi-channel surface inspection wherein at least two light sources are alternately switched in synchronism with the camera's capture clock.

Aus der US 2007/0075997 A1 ist ein Verfahren zur Erzeugung eines Abstandsbildes für die 3D-Rekonstruktion einer Objektoberfläche unter Herleitung einer Punktwolke bekannt.From the US 2007/0075997 A1 For example, a method for generating a distance image for the 3D reconstruction of an object surface by deriving a point cloud is known.

Nachteilig beim oben zitierten Stand der Technik nach [1] ist, dass zwei Kameras benötigt werden. Außerdem ist ein weiterer Nachteil, dass aufgrund der verwendeten vertikalen Streifenmuster zwar die Stabilität der Korrespondenzpunktzuordnung in horizontaler Richtung deutlich verbessert werden kann, aber in vertikaler Richtung die Korrespondenzpunktzuordnung bei bestimmten detailreichen Objektoberflächen noch unzureichend sein kann.A disadvantage of the above cited prior art according to [1] is that two cameras are needed. In addition, a further disadvantage is that although the stability of the correspondence point assignment in the horizontal direction can be significantly improved due to the vertical striped pattern used, in the vertical direction the correspondence point assignment may still be insufficient for certain detail-rich object surfaces.

Gemäß dem Stand der Technik nach [2] ist nachteilig, dass die Robustheit bzw. die Stabilität der Korrespondenzpunktzuordnung infolge von störenden Oberflächeneffekten noch unzureichend ist Es ist daher Aufgabe der Erfindung, ein Verfahren zur Erzeugung eines Abstandbildes aus der 3D-Rekonstruktion von Objektoberflächen bereitzustellen, welches gegenüber dem Stand der Technik einerseits die Stabilität der Korrespondenzpunktzuordnung sowohl in x- und in y-Richtung der Objektoberfläche erhöht und andererseits einen einfachen, kompakten Aufbau ermöglicht.According to the prior art according to [2], it is disadvantageous that the robustness or the stability of the correspondence point assignment is still insufficient due to disturbing surface effects. It is therefore an object of the invention to provide a method for producing a distance image from the 3D reconstruction of object surfaces, which, on the one hand, increases the stability of the correspondence point assignment both in the x and y direction of the object surface compared with the prior art and, on the other hand, enables a simple, compact construction.

Es ist weiterhin Aufgabe der Erfindung, eine entsprechende Vorrichtung bereitzustellen, mit der das erfindungsgemäße Verfahren durchführbar ist.It is a further object of the invention to provide a corresponding device with which the method according to the invention can be carried out.

Vorteile der ErfindungAdvantages of the invention

Die das Verfahren betreffende Aufgabe wird dadurch gelöst, dass Muster mit Strukturelementen in Form von Grauwertmuster oder Farbmuster sowohl in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz variiert und in beiden Richtungen mit einem hohen Informationsgehalt auf die Objektoberfläche projiziert werden, wobei mit dem Bildsensor ein Strukturbild S(x, y) von der Objektoberfläche aufgenommen und mit einem Referenzbild R(x, y), bei welchem die Objektoberfläche mit dem gleichen Bildsensor bei einer Beleuchtung mit einer gleichförmigen Referenzhelligkeit aus gleichem Blickwinkel zeitlich nacheinander folgend oder gleichzeitig aufgenommen wurde, pixelweise zu einem Verhältnisbild SR(x, y) ins Verhältnis gesetzt wird.The object relating to the method is achieved by varying patterns with structural elements in the form of gray value patterns or color patterns both in the horizontal and in the vertical direction with high spatial frequency and projecting them onto the object surface in both directions with a high information content Structure image S (x, y) taken from the object surface and with a reference image R (x, y), in which the object surface with the same image sensor with a uniform reference brightness from the same angle consecutively following or simultaneously recorded, pixel by pixel to a ratio image SR (x, y) is set in proportion.

Die pixelweise Verhältnisbildung bei der Erzeugung des Verhältnisbildes SR(x, y) kann anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt werden, die einer Lichtempfindlichkeitskennlinie der Bildsensoren für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up Table) können diese Rechenoperationen sehr schnell durchgeführt werden, so dass sehr schnelle Bildfolgen realisiert werden können.The pixel-by-pixel ratio formation in the generation of the ratio image SR (x, y) can be determined on the basis of an experimentally or computationally determined table which corresponds to a photosensitivity characteristic of the image sensors for the respective wavelength range of the projected structure element. With this LUT (Look-up Table) method, these arithmetic operations can be carried out very quickly, so that very fast image sequences can be realized.

Die die Vorrichtung betreffende Aufgabe wird dadurch gelöst, dass die Strukturblende Muster mit Strukturelementen in Form von Grauwertmuster, binären Schwarz-Weiß-Muster oder Farbmuster als Rauschmuster in Form von Pixelmuster aufweist, die sowohl in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz variieren und in beiden Richtungen einen hohen Informationsgehalt aufweisen. The object relating to the device is achieved by the fact that the structural blend has patterns with structural elements in the form of gray value patterns, binary black-and-white patterns or color patterns as noise patterns in the form of pixel patterns that vary in both horizontal and vertical directions with high spatial frequency and have a high information content in both directions.

Im Gegensatz zu den im Stand der Technik [2] erwähnten Verfahren ist die vorgeschlagene Verfahrensart durch die Verhältnisbildung vom Strukturmuster zur homogenen Referenzbeleuchtung weitgehend unabhängig vom Betrachtungswinkel und gegenüber der Farbe, Helligkeit, Oberflächenrauhigkeit und Oberflächenneigung sowie einer Textur der betrachteten Objektoberfläche, so dass keine aufwändige Bildanalyse zur Korrespondenzpunktfindung mangels eindeutiger Bildmerkmale und ausreichenden Kontrasts notwendig ist. Gegenüber der DE 10 2006 001 634 B3 [1] kann statt zwei Kameras lediglich eine Kamera mit kalibriertem Projektor eingesetzt werden.In contrast to the methods mentioned in the prior art [2], the proposed method type is relatively independent of the viewing angle and the color, brightness, surface roughness and surface inclination and a texture of the considered object surface by the ratio formation of the pattern for homogeneous reference illumination, so that no consuming Image analysis is required to find a matchpoint due to a lack of clear image characteristics and sufficient contrast. Opposite the DE 10 2006 001 634 B3 [1] can be used instead of two cameras only a camera with a calibrated projector.

Durch die Verwendung von Farbmustern in Form von Pixelmuster mit hoher Punktdichte und höherem Kontrast von zueinander benachbarten Pixel im Vergleich zu Grauwertmustern kann die Korrespondenzpunktfindung gegenüber dem Stand der Technik [2] verbessert werden. Dadurch wird das Matching der Sub-Pattern von Projektionsmuster und Kamerabildern robuster. Außerdem können im Vergleich zu Binär-Mustern kleinere Sub-Pattern wieder erkannt werden, da ein höherer Informationsgehalt auf gleicher Fläche mit einer höheren Pixelanzahl kodiert ist. Mit kleinerem Sub-Pattern ist die Gefahr geringer, dass einzelne Bereiche nicht erkannt werden, wenn ein Teil des Patterns verdeckt ist oder nicht genügend Kontrast besitzt.By using color patterns in the form of pixel patterns with high dot density and higher contrast of mutually adjacent pixels compared to gray value patterns, the correspondence point finding over the prior art [2] can be improved. This makes matching the sub-patterns of projection patterns and camera images more robust. In addition, smaller sub-patterns can be recognized again compared to binary patterns, since a higher information content is encoded on the same area with a higher number of pixels. With a smaller sub-pattern, there is less danger that individual areas will not be recognized if part of the pattern is obscured or does not have enough contrast.

Eine Verfahrensvariante sieht dabei vor, dass mit mindestens einem ersten Bildsensor und mindestens einem zweiten Bildsensor, die die Szene in Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor und einem dazu kalibrierten Projektor zur Projektion der Grauwert- oder Farbmuster auf die Objektoberfläche die Abstandsbilder erzeugt werden. Die zwei als Kameras ausgeführten Bildsensoren in Stereoanordnung können dabei mit dem Projektor unkalibriert oder zur Erhöhung der Robustheit auch kalibriert zueinander angeordnet sein.One variant of the method provides that the distance images are generated with at least one first image sensor and at least one second image sensor, which record the scene in stereo arrangement, or with only one image sensor and a calibrated projector for projecting the grayscale or color pattern onto the object surface become. The two image sensors in the form of stereo cameras arranged as cameras can be uncalibrated with the projector or calibrated to increase robustness.

Gegenüber [1] kann durch die Verwendung eines Rauschmusters mit hoher Punktedichte und hohem horizontalen sowie vertikalen Informationsgehalt, wie es in dieser Erfindung vorgeschlagen wird, die Rekonstruktion von sehr dichten Abstandwerten für jedes Pixel sowohl in horizontaler als auch vertikaler Richtung mit Standardverfahren zur Korrelation von Sub-Pattern des Projektionsmusters mit dem Kamerabild sowie mit Standardverfahren zur Korrespondenzpunktzuordnung von dichten Stereoverfahren (D. Scharstein/R. Szeliski „High-accuracy stereo depth maps using structured light”, IEEE Conference for Computer Vision and Pattern Recognition, Vol. 1, Madison, Winsconsin, USA, June 2003 [7] bzw. Heiko Hirschmüller „Stereo Vision in Structured Environments by Consistent Semi-Global Matching”, Institut of Robotics and Mechatronics, Oberpfaffenhofen, German Aerospace Center (DLR) [8]) im Falle von zwei Kameras ermöglicht werden. Daraus kann für jedes Pixel die Disparität und damit der Abstand zur Kamerabasis mit Hilfe der Kalibrierung von Kamera zu Projektor und/oder bei zwei oder mehr Kameras der Stereokalibrierung berechnet werden.Compared to [1], by using a high dot density, high horizontal and vertical information content noise pattern, as proposed in this invention, the reconstruction of very dense distance values for each pixel in both horizontal and vertical directions can be used with standard Sub Eq -Pattern of the projection pattern with the camera image as well as standard methods for the correspondence point assignment of dense stereo methods (D. Scharstein / Szeliski "High-accuracy stereo depth maps using structured light", IEEE Conference for Computer Vision and Pattern Recognition, Vol. Winsconsin, USA, June 2003 [7] and Heiko Hirschmüller "Stereo Vision in Structured Environments by Consistent Semi-Global Matching", Institute of Robotics and Mechatronics, Oberpfaffenhofen, German Aerospace Center (DLR) [8]) in the case of two cameras be enabled. From this, the disparity and thus the distance to the camera base can be calculated for each pixel with the aid of the calibration from camera to projector and / or with two or more cameras of the stereo calibration.

Im Gegensatz zur DE 103 59 104 B3 [2] sowie zu [3], in der zwar auch eine Strukturmusterkodierung wie oben beschrieben vorgeschlagen wird, werden durch die Verhältnisbildung von Strukturbild S(x, y) und Referenzbild R(x, y) störende Oberflächeneinflüsse, wie Reflexe, Schatten, Farbabweichungen und dgl., deutlich reduziert.In contrast to DE 103 59 104 B3 [2] as well as [3], in which a structural pattern coding is also proposed as described above, the ratio formation of the structural image S (x, y) and the reference image R (x, y) causes interfering surface influences such as reflections, shadows, color deviations and the like., Significantly reduced.

Vorteilhaft ist bei den zuvor beschrieben Verfahrensvarianten, wenn die mittels der Strukturblende erzeugte Beleuchtung zur Erzeugung des Strukturbildes S(x, y) und die Beleuchtung mit der gleichförmigen Referenzhelligkeit zur Erzeugung des Referenzbildes R(x, y) überlagert werden.It is advantageous in the method variants described above if the illumination generated by means of the structure diaphragm for generating the structure image S (x, y) and the illumination with the uniform reference brightness are superimposed to produce the reference image R (x, y).

Dabei kann vorgesehen sein, dass die Pixelmuster aus einem farbigen Rauschmuster gebildet werden und die verschiedenen Helligkeitswerte in einem oder zwei von drei Kanälen einem als Farbkamera ausgebildeten Bildsensor, insbesondere in den Primärfarben Rot, Grün und Blau, kodiert werden.It can be provided that the pixel patterns are formed from a colored noise pattern and the different brightness values are encoded in one or two of three channels of an image sensor designed as a color camera, in particular in the primary colors red, green and blue.

Eine besonders bevorzugte Verfahrensvariante sieht in einem so genannten One-Shot-Verfahren vor, dass das Strukturbild S(x, y) und das Referenzbild R(x, y) gleichzeitig mit den Bildsensoren aufgenommen werden, wobei das Referenzbild R(x, y) mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x, y) mittels der Strukturblende in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x, y) wird beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung im grünen und/oder blauen Wellenlängenbereich erzeugt wird und gleichzeitig das Strukturbild S(x, y) mittels einer strukturierten Beleuchtung im roten Wellennlängenbereich generiert wird. Diese Verfahrensvariante ermöglicht eine Shading-Korrektur insbesondere bei dynamischen Bildszenen mit bewegten Objekten. Damit werden beispielsweise auch schnelle Objektanalysen während Fertigungsabläufen mit kurzen Fertigungstaktzeiten ermöglicht.A particularly preferred method variant provides in a so-called one-shot method that the structure image S (x, y) and the reference image R (x, y) are recorded simultaneously with the image sensors, the reference image R (x, y) is recorded by means of a homogeneous colored illumination in a specific wavelength range of the visible light and the structure image S (x, y) by means of the structural aperture in a complementary wavelength range of the visible light. The reference image R (x, y) is generated, for example, by generating an unstructured homogeneous illumination in the green and / or blue wavelength range and at the same time the structure image S (x, y) is generated by means of a structured illumination in the red wavelength range. This variant of the method enables a shading correction, in particular for dynamic image scenes with moving objects. This allows, for example, fast object analyzes during production processes with short production cycle times.

Dabei kann das homogene farbige Licht zur Aufnahme des Referenzbildes R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes S(x, y) durch einen semitransparenten Strahlteiler auf die Objektoberfläche projiziert werden, womit sich insgesamt für einen derartigen Projektor ein kompakter und auch kostengünstiger Aufbau, ohne mechanisch bewegte Teile, ergibt. In this case, the homogeneous colored light for recording the reference image R (x, y) and the structured light for recording the pattern image S (x, y) can be projected onto the object surface by a semitransparent beam splitter, resulting overall in a compact and compact projector also cost-effective structure without mechanically moving parts results.

Für die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes S(x, y) wird näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten oder im selben Lichtweg verwendet. Als näherungsweise monochromatische Lichtquellen werden insbesondere farbige LEDs eingesetzt, mit denen sich inzwischen sehr kompakte, leistungsfähige und zudem kostengünstige Lichtquellen für die Projektion realisieren lassen.For the projection to take the reference image R (x, y) and the structure image S (x, y) approximately monochromatic light of different color or white light with different color filters in separate or in the same light path is used. As approximately monochromatic light sources in particular colored LEDs are used, which can be realized in the meantime very compact, powerful and also cost-effective light sources for the projection.

Eine besonders kompakte und lichtstarke Weißlichtquelle kann mit einer Weißlicht-LED mit hoher Lichtausbeute realisiert werden. Derartige High-Power- oder High-Brighness-LEDs lassen sich zudem im Blitzbetrieb kurzzeitig mit bis zum 20-fachen Nennstrom betreiben, so dass extrem helle Lichtblitze erzeugt werden können, was vorteilhaft hinsichtlich einer kurzen Belichtungszeit insbesondere bei bewegten Objektoberflächen ist.A particularly compact and bright white light source can be realized with a white light LED with high light output. Such high-power or high-brighness LEDs can also be operated in the flash mode for a short time with up to 20 times the rated current, so that extremely bright flashes of light can be generated, which is advantageous in terms of a short exposure time, especially in moving object surfaces.

In einfacher Weise ist vorgesehen, dass zur Erzeugung der Muster ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind. Die Bandsperrfilter lassen z. B. bei einer Weißlichtquelle alle Lichtwellenlängen außer den Lichtwellenlängen einer bestimmten Farbe (z. B. rot) ungehindert durch. Die einzelnen Strukturelemente dämpfen jeweils unterschiedlich stark lediglich den einen Wellenlängenbereich des Bandsperrfilters ab (hier z. B. rot), so dass dadurch ein strukturiertes Muster mit unterschiedlichen Helligkeitsstufen z. B. der Farbe Rot erzeugt werden kann. Dieses Dia kann im Strahlengang zwischen einer Lichtquelle und der Objektoberfläche platziert werden. So können sowohl Dias mit Farbmustern als auch zueinander ins Verhältnis gesetzte Grauwertmuster in unterschiedlichen Farbkanälen gewählt werden. Je nach Objektbeschaffenheit können durch Wechsel des Dias unterschiedliche Muster projiziert werden. Damit kann beispielsweise die Raumfrequenz zur Erzeugung der Pixelmuster oder die Helligkeitsabstufungen an die Messaufgabe angepasst werden. Ebenso lässt sich auch die Farbe der Muster an die Objektfarbe anpassen. Grundsätzlich sind auch rechnergestützte Mustergeneratoren denkbar, mit denen ein oder mehrere LCD-Filter im Strahlengang zwischen Lichtquelle und Objektoberfläche angesteuert werden können.In a simple way it is provided that a slide is used to produce the pattern on which the structural elements are applied in the form of band-stop filters of different attenuation or in the form of opaque areas. The bandstop filter can be z. For example, in a white light source, all light wavelengths except the wavelengths of light of a particular color (eg, red) will pass unimpeded. The individual structural elements attenuate each other to a different extent only the one wavelength range of the band rejection filter (here, for example red), so that thereby a structured pattern with different brightness levels z. B. the color red can be generated. This slide can be placed in the beam path between a light source and the object surface. Thus, both slides with color patterns as well as relative gray value patterns in different color channels can be selected. Depending on the condition of the object, different patterns can be projected by changing the slide. Thus, for example, the spatial frequency for generating the pixel pattern or the brightness gradations can be adapted to the measurement task. Similarly, the color of the pattern can be adapted to the object color. In principle, computer-aided pattern generators are also conceivable with which one or more LCD filters in the beam path between the light source and the object surface can be controlled.

Als Bildsensoren werden bevorzugt hochdynamische Graubildkameras (z. B. 10 bis 16 bit CCD oder CMOS-Kameras) oder Farbbildkameras (z. B. mit 8 bis 10 bit Farbtiefe) eingesetzt, die einerseits eine hohe Auflösung und andererseits eine hohe Empfindlichkeit sowie ein geringes Rauschen aufweisen.The image sensors used are preferably highly dynamic gray-scale cameras (for example 10 to 16-bit CCD or CMOS cameras) or color image cameras (for example having 8 to 10-bit color depth) which on the one hand have a high resolution and on the other hand a high sensitivity and a low sensitivity Have noise.

Zur zusätzlichen Erhöhung der Robustheit bei der Identifikation der einzelnen Musterelemente können für alle zuvor beschriebenen Verfahrensvarianten mit einem Laser und einem diffraktiven optischen Element (DOE) dem auf die Objektoberfläche projizierten Pixelmuster in regelmäßigen Abständen Markierungen in Form von hellen Laserspots zusätzlich überlagert werden.In order to additionally increase the robustness in the identification of the individual pattern elements, markings in the form of bright laser spots can be additionally superimposed at regular intervals on the pixel patterns projected onto the object surface for all previously described process variants with a laser and a diffractive optical element (DOE).

Zur Bestimmung einer 3D-Objektlage im Raum kann vorgesehen sein, dass vor den zu detektierenden Bauteilen bzw. Objektoberflächen jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen Seiten mit einem oder mehreren Bildsensoren mit Farbstreifen oder alternativ dazu zum einen mit dem projizierten Muster und zum anderen mit unstrukturierter homogener Beleuchtung zeitlich nacheinander folgend oder gleichzeitig aufgenommen und eine 3D-Punktewolke für jede Ansicht aus dem jeweiligen Verhältnisbild SR(x, y) oder dem Strukturbild S(x, y) rekonstruiert wird und die 3D-Punktewolke der verschiedenen Ansichten zu einem Trainingsmodell im 3D-Raum überlagert werden. Weiterhin ist vorgesehen, dass zur Objektlagebestimmung eine 3D-Punktewolke aus einer bestimmten Ansicht generiert und in diese 3D-Punktewolke das Trainingsmodell angepasst wird, indem das Trainingsmodell durch Transformation skaliert, gedreht und/oder verschoben wird. Die Endlage des Trainingsmodells in der 3D-Punktewolke entspricht der 3D-Lage im Raum des zu detektierenden Zielobjektes. Man erhält damit eine 3D-Objektlageerkennung durch ein so genanntes 3D-Matching eines trainierten Modells.To determine a 3D object position in space, it may be provided that in front of the components or object surfaces to be detected in each case a training object in a learning phase from different sides with one or more image sensors with color stripes or alternatively with the projected pattern and on the other unstructured homogeneous illumination sequentially following or simultaneously recorded and a 3D point cloud for each view from the respective ratio image SR (x, y) or the structure image S (x, y) is reconstructed and the 3D point cloud of the different views to a training model in the 3D space to be overlaid. Furthermore, it is provided that for object position determination, a 3D point cloud is generated from a specific view and the training model is adapted to this 3D point cloud by scaling, rotating and / or shifting the training model by transformation. The end position of the training model in the 3D point cloud corresponds to the 3D position in the space of the target object to be detected. This gives a 3D object position detection by means of a so-called 3D matching of a trained model.

Das erfindungsgemäße Verfahren, wie es in seinen verschiedenen Varianten zuvor beschrieben wurde, kann beispielsweise zur Oberflächenprüfung, Oberflächenvermessung, beispielsweise bei Sichtprüfplätzen oder Oberflächenqualitätsprüfsystemen, zur Objektlagebestimmung, insbesondere für Fügeprozesse, Greif- und Ablegeaufgaben oder Sortieraufgaben beim Einsatz von Roboter-Handlingssystemen, oder für einen 3D-Scanner eingesetzt werden. Insbesondere kann das Verfahren auch als schnelles 3D-Scanning-System beispielsweise zur Lagekontrolle von bewegten Bauteilen bzw. Objektoberflächen eingesetzt werden.The inventive method, as described in its various variants, can, for example, for surface inspection, surface measurement, for example in Sichtprüfplätzen or surface quality testing systems, for object position determination, especially for joining processes, gripping and Ablegeaufgaben or sorting tasks when using robotic handling systems, or for a 3D scanners are used. In particular, the method can also be used as a fast 3D scanning system, for example for positional control of moving components or object surfaces.

Zeichnungendrawings

Die Erfindung wird im Folgenden anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Es zeigen:The invention will be explained in more detail below with reference to the exemplary embodiments illustrated in the figures. Show it:

1 in schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion aus Stereobildern mit Referenzarm, 1 a schematic representation of a sensor assembly for 3D reconstruction of stereo images with reference arm,

2 in schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion mit einem Bildsensor, 2 a schematic representation of a sensor assembly for 3D reconstruction with an image sensor,

3 in schematischer Darstellung ein weiteres Ausführungsbeispiel für eine Sensorikanordnung zur 3D-Rekonstruktion aus Stereobildern ohne Referenzarm, 3 a schematic representation of another embodiment of a sensor assembly for 3D reconstruction of stereo images without reference arm,

4a eine Strukturblende zur Erzeugung eines Projektionsmusters mit einem farbigen Zufallsmuster. 4a a structural panel for generating a projection pattern with a colored random pattern.

4b einen vergrößerten Ausschnitt eines Teil der Strukturblende gemäß der 4a, 4b an enlarged section of a part of the structure panel according to the 4a .

5a eine weitere Strukturblende mit einem Grauwert-Zufallsmuster 5a another structural blend with a grayscale random pattern

5b einen vergrößerten Ausschnitt eines Teil der Strukturblende gemäß der 5a. 5b an enlarged section of a part of the structure panel according to the 5a ,

Beschreibung der AusführungsbeispieleDescription of the embodiments

1 zeigt beispielhaft in einer schematischen Darstellung eine Sensorikanordnung 1 zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche 10 aus der Korrespondenz von Pixeln der Bilder eines ersten Bildsensors 20 (links) und mindestens eines zweiten Bildsensors 30 (rechts), die zueinander in einer Stereo-Anordnung stehen, wobei mittels einer ersten Lichtquelle 60 und einer dazu optional korrespondierenden Linsenanordnung 70 homogenes Licht auf die Objektoberfläche 10 projizierbar ist und mit einer zweiten Lichtquelle 80, einer zur zweiten Lichtquelle 80 optionalen korrespondierenden Linsenanordnung 70 und einer Strukturblende 90 Grauwertmuster, binäre Schwarz-Weiß-Muster und/oder Farbmuster mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche 10 projizierbar sind. Die Projektionsteileinheit bestehend aus der ersten Lichtquelle 60 und der Linsenanordnung 70 zur Beleuchtung der Szenerie mit homogenem Licht stellt hierbei einen Referenzarm dar. Die homogene und die strukturierte Beleuchtung werden in der gezeigten Anordnung mittels eines semitransparenten Strahlteilers 40 überlagert. Zwischen dem semitransparenten Strahlteiler 40 und der Projektoberfläche ist eine Linsenanordnung 50 vorgesehen, welche als Projektorobjektiv dient. 1 shows by way of example in a schematic representation of a sensor assembly 1 for generating a distance image for the 3D reconstruction of an object surface 10 from the correspondence of pixels of the images of a first image sensor 20 (left) and at least one second image sensor 30 (right), which are in a stereo arrangement to each other, wherein by means of a first light source 60 and a lens assembly optionally corresponding thereto 70 homogeneous light on the object surface 10 is projectable and with a second light source 80 one to the second light source 80 optional corresponding lens arrangement 70 and a structural panel 90 Gray value patterns, binary black-and-white patterns and / or color patterns with noisy random locally different brightnesses or colors on the object surface 10 are projectable. The projection subunit consisting of the first light source 60 and the lens assembly 70 For the illumination of the scene with homogeneous light in this case represents a reference arm. The homogeneous and the structured illumination in the arrangement shown by means of a semi-transparent beam splitter 40 superimposed. Between the semitransparent beam splitter 40 and the project surface is a lens array 50 provided, which serves as a projector lens.

Die Strukturblende 90 weist Grauwertmuster, binäre Schwarz-Weiß-Muster und/oder Farbmuster als Rauschmuster in Form von Pixelmuster auf, die sowohl in horizontaler als auch in vertikaler Richtung, entsprechend der x- und y-Achse auf der Objektoberfläche 10, mit hoher Raumfrequenz variieren und in beiden Richtungen einen hohen Informationsgehalt aufweisen.The structural panel 90 has gray level patterns, binary black and white patterns, and / or color patterns as noise patterns in the form of pixel patterns, both in the horizontal and in the vertical direction, corresponding to the x and y axes on the object surface 10 , vary with high spatial frequency and have a high information content in both directions.

In einfacher Weise ist vorgesehen, dass als Strukturblende 90 ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind. Das Dia ist dabei, wie in 1 gezeigt, im Strahlengang zwischen der Lichtquelle 80 und dem Strahlteiler 40 innerhalb der Strukturblende 90 ausgebildet angeordnet. Eine einfache Realisierung des Dias ergibt sich mit einem mittels Dia-Belichter projizierten BMP-Bildes, mit dem ein Standard-Kleinbild-Diafilm belichtet wird. Alternativ kann auf eine Glasscheibe mittels eines Lasers die Farbe in verschiedenen Schichten, beispielsweise in den drei Grundfarben Rot, Grün und Blau, aufgebracht werden.In a simple way it is provided that as a structural panel 90 a slide is used, on which the structural elements are applied in the form of band-stop filters of different attenuation or in the form of opaque areas. The slide is in, as in 1 shown in the beam path between the light source 80 and the beam splitter 40 within the structure panel 90 arranged arranged. A simple realization of the slide results from a BMP image projected by means of a slide exposer, with which a standard 35 mm slide film is exposed. Alternatively, the color can be applied to a glass pane by means of a laser in different layers, for example in the three basic colors red, green and blue.

Mit dieser Anordnung gemäß 1 kann ein so genanntes One-Shot-Verfahren zum Einsatz kommen, welches vorsieht, dass ein Referenzbild R(x, y) und ein Strukturbild S(x, y) gleichzeitig mit den Bildsensoren 20, 30 aufgenommen werden, wobei das Referenzbild R(x, y) mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x, y) mittels der Strukturblende 90 in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x, y) wird, wie in 1 gezeigt, beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung im grünen und/oder blauen Wellenlängenbereich erzeugt wird und gleichzeitig das Strukturbild S(x, y) mittels einer strukturierten Beleuchtung im roten und/oder grünen Wellenlängenbereich generiert wird. Dabei werden das homogene farbige Licht zur Aufnahme des Referenzbildes R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes S(x, y) durch den semitransparenten Strahlteiler 40 auf die Objektoberfläche 10 projiziert.According to this arrangement 1 For example, a so-called one-shot method can be used, which provides for a reference image R (x, y) and a structure image S (x, y) to be simultaneously with the image sensors 20 . 30 are recorded, wherein the reference image R (x, y) by means of a homogeneous colored illumination in a certain wavelength range of the visible light and the structure image S (x, y) by means of the structural panel 90 is recorded in a complementary wavelength range of visible light. The reference image R (x, y) becomes, as in 1 shown, for example generated by an unstructured homogeneous illumination in the green and / or blue wavelength range is generated and at the same time the structure image S (x, y) is generated by means of a structured illumination in the red and / or green wavelength range. In this case, the homogeneous colored light for recording the reference image R (x, y) and the structured light for recording the structure image S (x, y) by the semitransparent beam splitter 40 on the object surface 10 projected.

Für die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes S(x, y) wird bevorzugt näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern verwendet. Als näherungsweise monochromatische Lichtquellen 60, 80 in 1 werden bevorzugt farbige LEDs eingesetzt. Die Lichtquelle 60 ist dabei beispielsweise als blau bzw. blau-grün leuchtende LED und die Lichtquelle 80 als rot bzw. rot-grün leuchtende LED ausgebildet.For the projection to take the reference image R (x, y) and the structure image S (x, y), approximately monochromatic light of different color or white light with different color filters is preferably used. As approximately monochromatic light sources 60 . 80 in 1 it is preferred to use colored LEDs. The light source 60 is for example as a blue or blue-green luminous LED and the light source 80 designed as red or red-green glowing LED.

Für eine Shading-Korrektur werden das Strukturbild S(x, y) und das Referenzbild R(x, y) zueinander pixelweise zu einem Verhältnisbild SR(x, y) mittels der Beziehung SR(x, y) = S_rot(x, y)/R_blau/grün(x, y) (1) ins Verhältnis gesetzt. Dabei wird die pixelweise Verhältnisbildung anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt, die einer Lichtempfindlichkeitskennlinie der Bildsensoren 20, 30 für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up Table) können diese Rechenoperationen sehr schnell durchgeführt werden, so dass sehr schnelle Bildfolgen realisiert werden können.For a shading correction, the texture image S (x, y) and the reference image R (x, y) become pixel-wise a relationship image SR (x, y) by means of the relationship SR (x, y) = S _red (x, y) / R _{blue / green} (x, y) (1) put into proportion. In this case, the pixel-by-pixel ratio formation is determined on the basis of an experimentally or computationally determined table, that of a photosensitivity characteristic of the image sensors 20 . 30 for the respective wavelength range of the projected structural element corresponds. With this LUT (Look-up Table) method, these arithmetic operations can be carried out very quickly, so that very fast image sequences can be realized.

2 zeigt eine Sensorikanordnung 1 die lediglich einen als Farbkamera ausgebildeten Bildsensor 20 aufweist, der zum Projektor mit der Lichtquelle 60, der Strukturblende 90 und der als Objektiv dienenden Linsenanordnung 50 in einem Scannerkopf 110 definiert zueinander angeordnet ist. Dieser Aufbau umfasst eine Weißlicht-Hochleistungs-Leuchtdiode (LED) als Lichtquelle 60, deren Licht die als Farb-Dia ausgebildete Strukturblende 90 durchstrahlt. Zum Schutz der Strukturblende 90 ist zwischen Lichtquelle 60 und Strukturblende 90 optional ein IR-Filter bzw. Hotmirror 100 angeordnet, der insbesondere den Temperatureintrag auf die Strukturblende 90 reduzieren soll. Hierbei handelt es sich um einen sehr kompakten Aufbau, der aus Standardkomponenten zusammengesetzt sein kann, die zudem Kostenvorteile gegenüber existierenden Systemen besitzen. 2 shows a sensor assembly 1 the only one designed as a color camera image sensor 20 pointing to the projector with the light source 60 , the structure panel 90 and the objective lens assembly 50 in a scanner head 110 is defined to each other. This structure includes a high power white light emitting diode (LED) as a light source 60 whose light is formed as a color slide structure panel 90 irradiated. To protect the structure panel 90 is between light source 60 and structural panel 90 optionally an IR filter or hotmirror 100 arranged, in particular the temperature entry on the structural panel 90 should reduce. This is a very compact design, which can be composed of standard components, which also have cost advantages over existing systems.

Bei dem Ausführungsbeispiel der Vorrichtung nach 3 ist eine Sensorikanordnung 1 mit zwei Bildsensoren 20, 30, welche auch als Farbkameras ausgebildet sind, in Stereoanordnung dargestellt. Bei diesem ebenfalls sehr kompakten Aufbau ist ein Projektor gezeigt, bei dem gegenüber 1 der Referenzarm eingespart ist. Dieser Aufbau umfasst wie in 2 eine Weißlicht-Hochleistungs-Leuchtdiode (LED) als Lichtquelle 60, deren Licht die als Farb-Dia ausgebildete Strukturblende 90 durchstrahlt. Der Projektor mit der Linsenanordnung 50, der Strukturblende 90 und dem zwischen Lichtquelle 60 und Strukturblende 90 angeordneten optionalen IR-Filter 100 entspricht im Wesentlichen dem Projektoraufbau der Sensorikanordnung in 2. Die Objektoberfläche 10 wird mittels zweier Farbkameras (Bildsensoren 20, 30), die in Stereoanordnung zueinander montiert sind, erfasst.In the embodiment of the device according to 3 is a sensor arrangement 1 with two image sensors 20 . 30 , which are also designed as color cameras, shown in stereo arrangement. In this also very compact design, a projector is shown in the opposite 1 the reference arm is saved. This structure includes as in 2 a white light high power light emitting diode (LED) as a light source 60 whose light is formed as a color slide structure panel 90 irradiated. The projector with the lens arrangement 50 , the structure panel 90 and between the light source 60 and structural panel 90 arranged optional IR filter 100 corresponds essentially to the projector structure of the sensor assembly in 2 , The object surface 10 is using two color cameras (image sensors 20 . 30 ), which are mounted in stereo arrangement to each other detected.

4a zeigt eine Strukturblende 90 in einer beispielhaften Ausgestaltung. Diese besteht aus einem farbigen Rauschmuster in Form eines Pixelmuster mit hoher Pixelauflösung sowohl in horizontaler als auch in vertikaler Richtung. Die Szenerie wird dabei mit mindestens einem als Farbkamera ausgebildeten Bildsensor 20 aufgenommen. 4b zeigt zur Verdeutlichung einen vergrößerten Ausschnitt eines Teiles der Strukturblende 90 gemäß der 4a. 4a shows a structural panel 90 in an exemplary embodiment. This consists of a colored noise pattern in the form of a pixel pattern with high pixel resolution in both the horizontal and in the vertical direction. The scenery is doing with at least one designed as a color camera image sensor 20 added. 4b shows for clarity an enlarged section of a part of the structure panel 90 according to the 4a ,

In 5a ist ein als Strukturblende 90 ausgebildetes One-Shot-Dia dargestellt, welches Grauwert-Rauschmuster aufweist, welche im Rot- und Grün-Kanal eines RGB-Bildes kodiert sind. Die homogene Referenzbeleuchtung ist im Blau-Kanal des RGB-Bildes kodiert. Diese Art der Strukturblende 90 kann beispielsweise in den in 2 und 3 gezeigten Sensorikanordnungen 1 vorteilhaft eingesetzt werden. Mit dieser Strukturblende 90 wird statt einem farbigen Muster sowohl ein ansprechendes Grauwert-Rauschmuster als auch ein gleichförmiger Helligkeitswert aus der gleichen Richtung mit unstrukturierter, homogener Beleuchtung auf die Objektoberfläche 10 projiziert. Die beiden Beleuchtungsarten sind dabei vorzugsweise überlagert und werden gleichzeitig mit mindestens einer Farbkamera (Bildsensor 20) aufgenommen, wobei im Rot- und Grün-Kanal des Bildsensors 20 das Strukturbild S(x, y) und im Blau-Kanal des Bildsensors 20 das Referenzbild R(x, y) erfasst wird. Das Strukturbild S(x, y) und das Referenzbild R(x, y) werden anschließend zueinander pixelweise zu einem Verhältnisbild SR(x, y) gemäß der Beziehung SR(x, y) = S_rot/grün(x, y)/R_blau(x, y) (2) ins Verhältnis gesetzt.In 5a is a as a structural panel 90 formed one-shot slide, which has gray level noise pattern, which are encoded in the red and green channel of an RGB image. The homogeneous reference illumination is encoded in the blue channel of the RGB image. This type of structural panel 90 For example, in the in 2 and 3 shown sensor assemblies 1 be used advantageously. With this structure panel 90 For example, instead of a colored pattern, both an attractive gray level noise pattern and a uniform brightness value from the same direction with unstructured, homogeneous illumination are applied to the object surface 10 projected. The two types of illumination are preferably superimposed and simultaneously with at least one color camera (image sensor 20 ), wherein in the red and green channels of the image sensor 20 the structure image S (x, y) and in the blue channel of the image sensor 20 the reference image R (x, y) is detected. The texture image S (x, y) and the reference image R (x, y) are then pixel-wise to a ratio image SR (x, y) according to the relationship SR (x, y) = S _{red / green} (x, y) / R _blue (x, y) (2) put into proportion.

5b zeigt zur Verdeutlichung einen vergrößerten Ausschnitt eines Teiles der Strukturblende 90 gemäß der 5a. 5b shows for clarity an enlarged section of a part of the structure panel 90 according to the 5a ,

Eine Alternative zur dargestellte Variante einer Strukturblende 90 gemäß 5a ist, dass statt der Grauwertmuster ein binäres Rauschmuster als Schwarz-Weiß-Muster, kodiert im Rot- und Grün-Kanal eines RGB-Bildes, eingesetzt wird. Die homogene Referenzbeleuchtung ist ebenfalls im Blau-Kanal des RGB-Bildes kodiert.An alternative to the illustrated variant of a structural panel 90 according to 5a is that instead of the gray value pattern, a binary noise pattern is used as a black-and-white pattern coded in the red and green channels of an RGB image. The homogeneous reference illumination is also encoded in the blue channel of the RGB image.

Mit den zuvor beschriebenen Sensorikanordnungen 1 und den Ausführungsbeispielen für die Strukturblenden 90 lässt sich eine Unabhängigkeit gegenüber Objektoberflächeneinflüssen realisieren. Dazu ist lediglich eine Aufnahme der Objektoberfläche 10 erforderlich, so dass vorteilhaft das Verfahren bzw. die Vorrichtung bei dynamischen Bildszenen anwendbar ist. Es kann ein preiswertes 3D-Scanning-System realisiert werden, welches ein breites Anwendungsspektrum im Bereich der Oberflächenqualitätskontrolle sowie im Bereich von Objektlageerkennungssystemen, insbesondere bei bewegten Bauteilen bzw. Objektoberflächen, ermöglicht. Die Einsatzgebiete können u. a. sein: Roboter-Handlingssysteme, automatisierte Fügeprozesse, 3D-Handscanner z. B. für die Medizintechnik oder allgemein zur 3D-Digitalisierung beliebiger Objekte oder Anwendungen im Bereich der Virtual Reality.With the sensor arrangements described above 1 and the embodiments for the structural apertures 90 allows independence from object surface influences. This is just a shot of the object surface 10 required, so that advantageously the method or the device is applicable to dynamic image scenes. An inexpensive 3D scanning system can be realized, which allows a wide range of applications in the field of surface quality control as well as in the field of object position detection systems, in particular in the case of moving components or object surfaces. The areas of application may include: Robotic handling systems, automated joining processes, 3D hand-held scanners, for example. B. for medical technology or in general for the 3D digitization of any objects or applications in the field of virtual reality.

Gegenüber dem Stand der Technik kann mit dem Verfahren und der Vorrichtung die Stabilität der Korrespondenzpunktzuordnung insbesondere zur Oberflächenprüfung, Oberflächenvermessung, zur Objektlagebestimmung, insbesondere für Fügeprozesse, Greif- und Ablegeaufgaben oder Sortieraufgaben, oder für einen 3D-Scanner sowohl in x- als auch in y-Richtung der Objektoberfläche erhöht werden.Compared with the prior art can with the method and the device, the stability of the correspondence point assignment in particular for surface inspection, surface measurement, object position determination, especially for joining processes, gripping and Ablegeaufgaben or sorting tasks, or for a 3D scanner in both x and y Direction of the object surface can be increased.

Claims (18)

Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20), der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende (90) Muster mit Strukturelementen in Form von Farbmustern mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projiziert werden, dadurch gekennzeichnet, dass die Muster sowohl in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz variiert und in beiden Richtungen mit einem hohen Informationsgehalt auf die Objektoberfläche (10) projiziert werden, wobei mit dem Bildsensor (20) ein Strukturbild S(x, y) von der Objektoberfläche (10) aufgenommen und mit einem Referenzbild R(x, y), bei welchem die Objektoberfläche (10) mit dem gleichen Bildsensor (20) bei einer Beleuchtung mit einer gleichförmigen Referenzhelligkeit aus gleichem Blickwinkel zeitlich nacheinander folgend oder gleichzeitig aufgenommen wurde, pixelweise zu einem Verhältnisbild SR(x, y) ins Verhältnis gesetzt wird, wobei die verschiedenen Helligkeitswerte der Farbmuster in einem oder zwei von drei Kanälen des als Farbkamera ausgebildeten Bildsensor (20, 30) kodiert werden, und dass zur Erzeugung der Muster ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind.Method for generating a distance image for the 3D reconstruction of an object surface ( 10 ) from the correspondence of pixels of the images of at least one image sensor ( 20 ), which records the scene, using a projector with a structure panel ( 90 ) Patterns with structural elements in the form of color patterns with noisy randomly locally different brightnesses on the object surface ( 10 ), characterized in that the patterns vary both in the horizontal and in the vertical direction with high spatial frequency and in both directions with a high information content on the object surface ( 10 ), whereby with the image sensor ( 20 ) a structural image S (x, y) from the object surface ( 10 ) and with a reference image R (x, y), in which the object surface ( 10 ) with the same image sensor ( 20 ) was taken in temporal succession or simultaneously with an illumination with a uniform reference brightness from the same point of view, is related pixel by pixel to a ratio image SR (x, y), the different brightness values of the color patterns in one or two of three channels of the color camera trained image sensor ( 20 . 30 ) and in order to produce the patterns a slide is used on which the structural elements are applied in the form of band-stop filters of different attenuation or in the form of opaque areas. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mit mindestens einem ersten Bildsensor (20) und mindestens einem zweiten Bildsensor (30), die die Szene in Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor (20) und einem dazu kalibrierten Projektor zur Projektion der Muster auf die Objektoberfläche (10) das Abstandsbild erzeugt wird.Method according to Claim 1, characterized in that at least one first image sensor ( 20 ) and at least one second image sensor ( 30 ) that record the scene in stereo, or with just one image sensor ( 20 ) and a calibrated projector for projecting the patterns onto the object surface ( 10 ) the distance image is generated. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als projizierte Muster Rauschmuster in Form von Pixelmuster mit hoher Punktdichte verwendet werden.Method according to claim 1 or 2, characterized in that noise patterns in the form of pixel patterns with high dot density are used as projected patterns. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die mittels der Strukturblende (90) erzeugte Beleuchtung zur Erzeugung des Strukturbildes S(x, y) und die Beleuchtung mit der gleichförmigen Referenzhelligkeit zur Erzeugung des Referenzbildes R(x, y) überlagert werden.Method according to one of claims 1 to 3, characterized in that the means of the structural panel ( 90 ) to generate the pattern image S (x, y) and the illumination with the uniform reference brightness for generating the reference image R (x, y) are superimposed. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Strukturbild S(x, y) und das Referenzbild R(x, y) gleichzeitig mit mindestens einem der Bildsensoren (20, 30) aufgenommen werden, wobei das Referenzbild R(x, y) mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x, y) mittels der Strukturblende (90) in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird.Method according to one of claims 1 to 4, characterized in that the structure image S (x, y) and the reference image R (x, y) simultaneously with at least one of the image sensors ( 20 . 30 ), wherein the reference image R (x, y) by means of a homogeneous colored illumination in a certain wavelength range of the visible light and the structure image S (x, y) by means of the structure panel ( 90 ) is received in a complementary wavelength range of the visible light. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das homogene farbige Licht zur Aufnahme des Referenzbildes R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes S(x, y) durch einen semitransparenten Strahlteiler (40) auf die Objektoberfläche (10) projiziert werden.A method according to claim 5, characterized in that the homogeneous colored light for receiving the reference image R (x, y) and the structured light for receiving the pattern image S (x, y) by a semi-transparent beam splitter ( 40 ) on the object surface ( 10 ) are projected. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes S(x, y) näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten oder im selben Lichtweg verwendet wird.Method according to one of the preceding claims, characterized in that for the projection for recording the reference image R (x, y) and the structure image S (x, y) approximately monochromatic light of different color or white light with different color filters used in separate or in the same light path becomes. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die pixelweise Verhältnisbildung anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt wird, die einer Lichtempfindlichkeitskennlinie der Bildsensoren (20, 30) für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht.Method according to one of claims 1 to 7, characterized in that the pixel-by-pixel ratio formation is determined on the basis of an experimentally or computationally determined table which corresponds to a photosensitivity characteristic of the image sensors ( 20 . 30 ) corresponds to the respective wavelength range of the projected structural element. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass zur Bestimmung einer 3D-Objektlage im Raum vor den zu detektierenden Bauteilen bzw. Objektoberflächen (10) jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen Seiten mit einem oder mehreren Bildsensoren (20, 30) zum einen mit dem projizierten Muster und zum anderen mit einer homogenen Beleuchtung zeitlich nacheinander folgend oder gleichzeitig aufgenommen und eine 3D-Punktewolke für jede Ansicht aus dem jeweiligen Verhältnisbild SR(x, y) oder dem Strukturbild S(x, y) rekonstruiert wird und die 3D-Punktewolke der verschiedenen Ansichten zu einem Trainingsmodell im 3D-Raum überlagert werden.Method according to one of claims 1 to 8, characterized in that for determining a 3D object position in space in front of the components or object surfaces to be detected ( 10 ) one training object each in a learning phase from different sides with one or more image sensors ( 20 . 30 ) on the one hand with the projected pattern and on the other with a homogeneous illumination sequentially or simultaneously recorded and a 3D point cloud for each view from the respective ratio image SR (x, y) or the structure image S (x, y) is reconstructed and superimpose the 3D point cloud of the different views into a training model in 3D space. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zur Objektlagebestimmung eine 3D-Punktewolke aus einer bestimmten Ansicht generiert und in diese 3D-Punktewolke das Trainingsmodell eingepasst wird, indem das Trainingsmodell durch Transformation skaliert, gedreht und/oder verschoben wird.A method according to claim 9, characterized in that for object position determination, a 3D point cloud generated from a particular view and in this 3D point cloud, the training model is fitted by the training model by Transformation scales, rotates and / or moves. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mit einem Laser und einem diffraktiven optischen Element dem auf die Objektoberfläche (10) projizierten Pixelmuster in regelmäßigen Abständen Markierungen überlagert werden.Method according to one of claims 1 to 10, characterized in that with a laser and a diffractive optical element to the surface of the object ( 10 ) projected pixel patterns are overlaid at regular intervals markings. Anwendung des Verfahrens nach einem der Ansprüche 1 bis 11 zur Oberflächenprüfung, Oberflächenvermessung, zur Objektlagebestimmung, insbesondere für Fügeprozesse, Greif- und Ablegeaufgaben oder Sortieraufgaben, oder für einen 3D-Scanner.Application of the method according to one of claims 1 to 11 for surface inspection, surface measurement, for object position determination, in particular for joining processes, gripping and Ablegeaufgaben or sorting tasks, or for a 3D scanner. Vorrichtung mit einer Sensorikanordnung (1) zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20), wobei mindestens eine Lichtquelle (60, 80) vorgesehen ist, welche mit einer Strukturblende (90) ein Muster mit Strukturelementen in Form von Farbmustern mit verrauschten zufälligen unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projizierend ausgebildet ist, dadurch gekennzeichnet, dass die Strukturblende (90) als Dia ausgebildet ist und Farbmuster als Rauschmuser in Form von Pixelmuster aufweist, die sowohl in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz variieren und in beiden Richtungen einen hohen Informationsgehalt aufweisen, und dass die Vorrichtung weiterhin in der Weise ausgebildet ist, dass die verschiedenen Helligkeitswerte der Farbmuster in einem oder zwei von drei Kanälen des als Farbkamera ausgebildeten Bildsensors (20, 30) kodiert werden.Device with a sensor arrangement ( 1 ) for generating a distance image for the 3D reconstruction of an object surface ( 10 ) from the correspondence of pixels of the images of at least one image sensor ( 20 ), wherein at least one light source ( 60 . 80 ) is provided, which with a structural panel ( 90 ) a pattern with structural elements in the form of color samples with noisy random different brightnesses on the object surface ( 10 ) is formed projecting, characterized in that the structural panel ( 90 ) is formed as a slide and has color patterns as noise patterns in the form of pixel patterns that vary in both horizontal and vertical directions with high spatial frequency and have a high information content in both directions, and that the device is further formed in such a way that different brightness values of the color patterns in one or two of three channels of the image sensor designed as a color camera ( 20 . 30 ). Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen auf dem Dia, welches sich im Strahlengang einer Lichtquelle (80) und der Objektoberfläche (10) befindet, aufgebracht sind.Apparatus according to claim 13, characterized in that the structural elements in the form of band-stop filters of different attenuation or in the form of opaque areas on the slide, which in the beam path of a light source ( 80 ) and the object surface ( 10 ) are applied. Vorrichtung nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Sensorikanordnung (1) einen semitransparenten Strahlteiler (40) aufweist, durch den das homogene Licht einer ersten Lichtquelle (60) und das strukturierte Licht einer zweiten Lichtquelle (80) gleichzeitig auf die Objektoberfläche (10) projizierbar sind.Apparatus according to claim 13 or 14, characterized in that the sensor arrangement ( 1 ) a semitransparent beam splitter ( 40 ), through which the homogeneous light of a first light source ( 60 ) and the structured light of a second light source ( 80 ) simultaneously on the object surface ( 10 ) are projectable. Vorrichtung nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass die erste bzw. die zweite Lichtquelle (60, 80) näherungsweise monochromatisch oder als Weißlichtquellen, denen unterschiedliche Farbfilter insbesondere mit einem Dia zugeordnet sind, ausgebildet sind.Device according to one of claims 13 to 15, characterized in that the first and the second light source ( 60 . 80 ) are formed approximately monochromatically or as white light sources to which different color filters are associated, in particular with a slide. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass die erste bzw. die zweite Lichtquelle (60, 80) eine Weißlicht-LED mit hoher Lichtausbeute ist.Apparatus according to claim 16, characterized in that the first and the second light source ( 60 . 80 ) is a white light LED with high luminous efficacy. Vorrichtung nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die Bildsensoren (20, 30) hochdynamische Graubildkameras oder Farbbildkameras sind.Device according to one of claims 13 to 17, characterized in that the image sensors ( 20 . 30 ) are highly dynamic grayscale cameras or color image cameras.

Images