DE102006001634B3 - Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels - Google Patents

Abstract

The scene is illuminated with a random or pseudo-random grid and a first picture is taken with both cameras. The scene is then illuminated and a second picture taken with both cameras. A brightness ratio is calculated pixel-wise for both cameras from the two pictures. The correspondence between pixels is established based on the comparison of the brightness ratios of pixels from different cameras. An independent claim is included for an apparatus for creating a distance-image of a scene.

Description

Die Erfindung betrifft ein Verfahren und Anordnungen zur Gewinnung eines Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben codieren, die Entfernung von Objektpunkten vom Sensor (i.a. einer Kamera) oder die Höhe der Objektpunkte relativ zu einer Ebene. Technische Anwendungen finden sich u.a. in Montagekontrolle, Robotik, Meßtechnik, Archäologie, Bekleidungsindustrie, Biometrie, Medizin, Reverse Engineering.The The invention relates to a method and arrangements for obtaining a Distance image. Distance images encode in contrast to conventional ones Images encoding gray values or colors, the distance from Object points from the sensor (i.a.a camera) or the height of the object points relative to a plane. Technical applications can be found i.a. in assembly control, robotics, metrology, archeology, Garment Industry, Biometrics, Medicine, Reverse Engineering.

Eine Übersicht über eingesetzte Verfahren mit einer Tabelle kommerziell erhältlicher Systeme wird in [1] gegeben, ergänzend zu den Verfahren siehe auch [2].An overview of used Process with a table of commercially available systems is described in [1] given, in addition for the procedures see also [2].

Das hier offengelegte Verfahren betrifft die Trangulation mit Stereo-Kameras. Bei Stereo-Verfahren ist das schwierigste Problem die Herstellung der Korrespondenz der Bildpunkte. Ist die Korrespondenz bekannt, so kann nach bekannten mathematischen Methoden (siehe z.B. [3]) ein entprechendes Abstandsbild berechnet werden.The The method disclosed here concerns trangulation with stereo cameras. For stereo methods, the most difficult problem is the production the correspondence of the pixels. If the correspondence is known, so can according to known mathematical methods (see, for example, [3]) corresponding distance image are calculated.

Zur Herstellung der Korrespondenz werden klassisch Bildanalysemethoden auf Basis der Extraktion konturhafter oder blob-artiger Merkmale eingesetzt; eine gefundene Zuordnung ist jedoch wegen möglicher Probleme bei der Merkmalsextraktion. nicht wirklich sicher, außerdem muß zwischen den Merkmalen geschätzt oder interpoliert werden. Um diese Probleme zu umgehen, verwendet man zusätzlich strukturiertes Licht. to Making the correspondence are classic image analysis methods based on the extraction of contoured or blob-like features used; However, a match is due to potential problems in the feature extraction. not really sure, besides, between the characteristics estimated or interpolated. To work around these issues, used one additionally structured light.

Bei regelmäßig sich wiederholenden Lichtstrukturen wie z.B. den verbreiteten Streifenmustern treten Mehrdeutigkeiten auf, die mit dem codierten Lichtansatz beseitigt werden können. Üblicherweise wird dabei mit einer einzelnen Kamera gearbeitet, wobei die Geometrie der Lichtquelle selbst zur Triangulation herangezogen wird. Eine Übersicht gibt [4].at regularly repeating light structures such as e.g. the widespread striped patterns Ambiguities occur which are eliminated with the coded light approach can be. Usually is working with a single camera, the geometry the light source itself is used for triangulation. An overview gives [4].

WO 2005/010825 A2 zeigt ein Verfahren zur Erstellung eines Abstandsbildes, bei dem eine erste Beleuchtung der Szene ("object") mit einem Zufallsmuster ("randomgrid") und eine zweite Beleuchtung mit einem sog. "striped grid" durchgeführt wird, dabei werden ein erstes und ein zweites Bild mit jeweils einer Kamera aufgenommen. In einem ersten Schritt nach der Aufnahme der ersten Bilder mit beiden Kameras wird die Korrespondenz zwischen Koordinaten der beiden ersten Bilder bestimmt. Nach der Aufnahme der zweiten Bilder wird die im ersten Schritt ermittelte Korrespondenz dazu genutzt, Musterstreifen zwischen den beiden zweiten Aufnahmen der Szene zu identifizieren. Schließlich werden bspw. mittels Triangulation die 3D-Koordinaten der Szene ermittelt.WHERE 2005/010825 A2 shows a method for creating a distance image, in which a first illumination of the scene ("object") with a random pattern ("randomgrid") and a second Lighting with a so-called "striped grid "is carried out Here, a first and a second image are taken, each with a camera. In a first step after taking the first pictures with both cameras will be the correspondence between coordinates of the two first pictures determined. After taking the second pictures will used the correspondence determined in the first step, pattern strips to identify between the two second shots of the scene. After all become, for example, by means of triangulation, the 3D coordinates of the scene determined.

Nach US 6 542 250 B1 werden mindestens zwei Muster verwendet, die Zufallsmuster sein können. In einem iterativen Vorgang wird, ausgehend von einer initialen Schätzung, punktweise eine Vorwärtsrechnung von Raumkoordinaten zu Bildkoordinaten von zwei Kameras realisiert, mit Verfeinerung bei jedem Iterationsschritt.To US Pat. No. 6,542,250 B1 At least two patterns that can be random patterns are used. In an iterative process, starting from an initial estimate, point-by-point forward calculation of spatial coordinates to image coordinates of two cameras is realized, with refinement at each iteration step.

Es wird auch mit einzelnen texturierten Beleuchtungmustern und texturelementeweiser Korrespondenzbestimmung gearbeitet, z.B. mit den Systemen der Firmen 3Q/3DMD ([5]). Dies hat den Nachteil, daß sich die Texturelemente aus verschiedenen Blickrichtungen unterschiedlich darstellen können (Glanz, Schattierung, Form) und daher schwierig auszuwerten sind und somit unsichere Ergebnisse liefern können. Die Verfahren werden daher nur auf nicht zu stark strukturierten Oberflächen mit breiter Reflexionskeule verwendet (matte Oberflächen). Nach [6] wird das Problem durch eine speziell gewählte Form der Merkmale entschärft: Linienelemente mit sich zufällig verändernder Intensität und Orientierung; es dürfen nur Elemente mit zueinander passender Orientierung und Intensität miteinander gepaart werden. Nachteilig ist, a) dass die Intensität aus verschiedenen Richtungen betrachtet unterschiedlich ist, b) daß diese Elemente für eine zuverlässige Auswertung eine gewisse Ausdehnung haben müssen und deshalb eine pixelweise Korrespondenzbildung wieder eine Interpolation zwischen den Merkmalen erfordert.It is also using individual textured lighting patterns and texturelementeweiser Correspondence determination worked, e.g. with the systems of the companies 3Q / 3DMD ([5]). This has the disadvantage that the texture elements different perspectives in different ways (gloss, Shading, shape) and therefore are difficult to evaluate and thus can give unsafe results. The procedures are therefore only on not too heavily structured Surfaces with wide reflection lobe used (matte surfaces). After [6] will be the problem through a specially chosen Shape of features defused: line elements by chance changing intensity and orientation; it is allowed only elements with matching orientation and intensity with each other be paired. The disadvantage is, a) that the intensity is different Considered directions, b) that these elements for a reliable evaluation have to have a certain extent and therefore a pixel-wise correspondence formation again an interpolation between the features required.

Nach [4] S. 841–842, Absatz 5.1, werden mit einer Kamera mehrere Bilder einer Szene mit jeweils unterschiedlichen Beleuchtungsmustern aufgenommen und anschließend für jedes Bild jeweils das Helligkeitsverhältnis ("intensity ratio") relativ zu einer konstanten Beleuchtung berechnet ("codification based on grey levels").To [8] pp. 841-842, Paragraph 5.1, with a camera several pictures of a scene with recorded different lighting patterns and then for each Picture each the brightness ratio ("intensity ratio") relative to one constant illumination calculated ("codification based on gray levels").

Eine Sonderform des Codierten Lichts ist die Codierung durch ein kontinuierlich über das Blickfeld verlaufendes Farbmuster ("Regenbogen"), mit einer einzelnen Kamera, nach JP 61075210 (1986) oder US 5675407 (1997). Ein Problem dabei ist der hohe Preis für den Projektor, realisiert z.B. über ein "linear variable wavelength filter".A special form of coded light is the coding by a color pattern ("rainbow") running continuously over the field of view, with a single camera, after JP 61075210 (1986) or US 5675407 (1997). One problem is the high price for the projector, realized eg via a "linear variable wavelength filter".

Nach US 6028672 (2000) geschieht bei kontinuierlich verlaufendem Farbmuster die Triangulation nicht zwischen Kamera und Projektor, sondern zwischen zwei Kameras, bei Farbvergleich auf epipolaren Linien der beiden Kameras. Das entschärft die Forderung nach geometrisch präziser Farb-Projektion, denn so können beliebige Farbmuster verwendet werden (s. Spalte 6, Zeile 45), es verbleiben jedoch noch grundsätzliche Probleme mit der Farbauswertung. To US 6028672 (2000), the triangulation does not occur between the camera and the projector, but between two cameras with color matching on epipolar lines of the two cameras. This defuses the demand for geometrically precise color projection, because any color pattern can be used (see column 6, line 45), but there are still fundamental problems with color evaluation.

Diese sollen nach US 6556706 (2003, gleicher Anmelder) durch diverse Maßnahmen verringert werden, u.a. dadurch, dass die Lichtprojektion scheibenweise nur Licht einer Wellenlänge enthält (s. z.B. Spalte 5, Zeile 35: „..impose a ,single spectral light condition' to the projector").These should be after US 6556706 (2003, same applicant) are reduced by various measures, including the fact that the light projection disk-wise only light of a wavelength contains (see, for example, column 5, line 35: "..impose a, single spectral light condition 'to the projector").

Vom gleichen Anmelder wurden auch Anordnungen mit sich drehendem Laser-Lichtschlitz vorgeschlagen, mit einer Kamera, wobei sich die Lichtintensität winkelabhängig verändert, bei einer Bildaufnahme steigend und bei einer Bildaufnahme fallend (im folgenden gegenläufig genannt). Über das Intensitätsverhältnis eines Pixels aus den Aufnahmen kann eine eindeutige Zuordnung zum zugehörigen Projektionswinkel getroffen werden. Nachteilig ist die mechanische Bewegung und die erforderliche Präzision bei der Projektion; US 6600168 (2003).The same applicant has also proposed arrangements with a rotating laser slit, with a camera, wherein the light intensity varies depending on the angle, rising in an image acquisition and falling in an image acquisition (hereinafter referred to in opposite directions). About the intensity ratio of a pixel from the images, a clear assignment to the associated projection angle can be made. The disadvantage is the mechanical movement and the required precision in the projection; US 6,600,168 (2003).

Eine statische Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern, mit einer Kamera, wird in US 6897946 (2005) beschrieben, erzeugt durch zwei nah benachbarte, geringfügig gegeneinander gedrehte Lampen mit Reflektoren.A static arrangement for generating over the field of view opposite illumination patterns, with a camera is in US 6897946 (2005), generated by two closely spaced, slightly rotated lamps with reflectors.

Eine weitere Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern wird in US 6618123 (2003) beschrieben, mit einem Feld von LEDs, die so angesteuert werden, dass über das Blickfeld hinweg gegenläufige Beleuchtungsmuster entstehen (s. z.B. 4). Die Anordnung arbeitet mit einer einzelnen Kamera und benötigt homogene Lichtkeulen und eine aufwendige Kalibrierung mit einer ebenen Platte (s. z.B. Spalte 8).Another arrangement for generating over the field of view opposite illumination patterns is in US 6618123 (2003), with a field of LEDs that are controlled in such a way that opposing illumination patterns arise across the field of view (see, for example, p 4 ). The arrangement works with a single camera and requires homogeneous light lobes and a complex calibration with a flat plate (see eg column 8).

Ein allgemeiner Nachteil von Verfahren mit über das Blickfeld kontinierlich, gegenläufigen Beleuchtungsmustern besteht darin, dass sich bei ebener Vorlage die Helligkeitswerte benachbarter Pixel nur wenig unterscheiden und die genaue lokale Zuordnung dadurch schwierig wird.One general disadvantage of methods with contiguous over the field of view, opposing Illumination patterns is that when plane template the brightness values of adjacent pixels differ only slightly and the exact local assignment becomes difficult.

Um dennoch eine gute Zuordnung (und damit gute Abstandsmessung) zu erreichen, müssen genaue und hochauflösende Wandler eingesetzt werden. Um die Beleuchtungsdynamik mit niedrigen Helligkeitswerten gut auszunutzen und auch dunkle Oberflächenpartien gut auswerten zu können, muß bei der Verhältnisrechnung durch kleine Zahlen dividiert werden; es müssen also auch. bei kleinen Zahlen genügendsignifikante Bits zur Verfügung stehen. Bei der Verwendung von zwei Kameras müssen diese genau aufeinander abgestimmt sein.Around nevertheless a good assignment (and thus good distance measurement) too reach, must accurate and high resolution Transducer can be used. To the lighting dynamics with low Brightness values well exploit and also dark surface areas good to evaluate, must at the ratio calculation be divided by small numbers; so it has to be. at small Pay enough significant bits to disposal stand. When using two cameras, they must be exactly on top of each other be coordinated.

Ziel der Erfindung ist die Bereitstellung eines Verfahrens und einer Vorrichtung, die die o.g. Nachteile vermeiden.aim The invention is the provision of a method and a Device, the o.g. Avoid disadvantages.

Die Aufgabe wird gelöst nach den unabhängigen Ansprüchen.The Task is solved after the independent Claims.

Unter Helligkeitsverhältnis ist das mathematische Verhältnis zweier Helligkeiten h1 und h2, also h1/h2 oder h2/h1 gemeint, oder eine sonstige Verhältnisbildung in diesem Sinne, z.B. (h1 – g)/(h2 – g), wobei g eine zuvor gemessene Grundhelligkeit bei Umgebungslicht ist.Under brightness ratio is the mathematical relationship two brightnesses h1 and h2, ie h1 / h2 or h2 / h1 meant, or another ratio formation in this sense, e.g. (h1 - g) / (h2 - g), where g is a previously measured background brightness in ambient light.

Zufalls- oder Pseudozufallsmuster werden im folgenden kurz Zufallsmuster genannt. Unter Pseudo-Zufallsmuster werden hier auch determinierte Muster subsumiert, die innerhalb eines gewissen lokalen Bereichs keine Wiederholungen aufweisen, über eine Mindestlänge gesehen. Die Mindestlänge muß dabei mindestens so groß sein, wie es unter Berücksichtigung der Abbildungsverhältnisse der maximalen Disparität korrespondierender Pixel entspricht.accidental or pseudo-random patterns will become random patterns in the following called. Under pseudo-random patterns are also determined here Patterns subsumed within a certain local area have no repetitions, about a minimum length seen. The minimum length must be there be at least that big as it is under consideration the picture relations the maximum disparity corresponds to corresponding pixels.

Zum Erläuterung ein numerisches Beispiel:

For explanation a numerical example:

Die Zahlenfolge mit Werten 0, 1, 2, 3 (generiert mit einem digitalen Pseudo-Zufallsgenerator) wiederholt sich ab der Mindestlänge von 18 Werten (Zeichen "^"), darin kommen jedoch keine Wiederholungen von lokalen Bereichen der Länge 3 (oder mehr) vor.The Number sequence with values 0, 1, 2, 3 (generated with a digital Pseudo-random generator) is repeated from the minimum length of 18 values (character "^"), in it come however no repetitions of local areas of length 3 (or more).

Besonders bevorzugt geschieht die Beleuchtung bei den beiden Aufnahmen aus jeweils dem gleichen Raumwinkel, oder zumindest näherungsweise. Dadurch wird sichergestellt, daß das Verhältnis von zwei gemessenen Helligkeitswerten nur durch die Projektion des Musters bestimmt ist und unabhängig von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung des Objekts und besonders wichtig, unabhängig vom Betrachtungswinkel, und damit für beide Kameras gleich ist.Especially Preferably, the lighting is done in the two shots each at the same solid angle, or at least approximately. This will ensure that the relationship of two measured brightness values only by the projection of the Pattern is determined and independent of color, brightness, surface roughness and surface tilt of the object and especially important, regardless of the viewing angle, and for that both cameras is the same.

Beispielsweise ist aus der 2D-Meßtechnik mit Bildverarbeitung bekannt, daß Werkstückkanten aus beleuchtungstechnischen Gründen je nach Ausprägung (Verrundung, Fase...) unterschiedliche Meßergebnisse liefern können. Durch die Unabhängigkeit von der Oberflächenneigung werden hier solche Probleme beseitigt.For example is from the 2D measuring technique with image processing known that workpiece edges from lighting technology establish depending on the severity (Rounding, chamfer ...) can provide different measurement results. By independence from the surface inclination Here such problems are eliminated.

Bevorzugt wird nicht nur mit einem, sondern mindestens mit zwei Zufalls- oder Pseudo-Zufallsmustern gearbeitet; solche Lösungen sind je nach technischem Ansatz (s.u.) leichter zu realisieren und liefern außerdem signifikantere Meßergebnisse (stärkere örtliche Strukturierung nach Verhältnisbildung).Prefers is not just one, but at least two random or Pseudo-random patterns worked; Such solutions are depending on the technical Approach (s.u.) easier to implement and also provide more significant Measurement results (stronger local Structuring according to ratio formation).

Die mathematische Herstellung der Korrespondenz kann geschehen wie in der oben erwähnten Schrift US 6082672 gezeigt, im Unterschied dazu jedoch nicht auf Basis eines Vergleichs von Farben eines über das Blickfeld gehenden Farbverlaufs, sondern aufgrund des Vergleich der Helligkeitsverhältnisse (Quotient) von Pixeln der zwei Aufnahmen mit verschiedenen Zufallsmustern.The mathematical preparation of the correspondence can be done as in the above-mentioned document US 6082672 In contrast, however, not on the basis of a comparison of colors of a passing over the field of view color gradient, but due to the comparison of the brightness ratios (quotient) of pixels of the two images with different random patterns.

Bei der Korrespondenzfindung entfällt das oben geschilderte Problem der genauen Abstimmung der Kameras aufeinander, wenn man nicht nur die Verhältnisse der Helligkeitswerte vergleicht, sondern lokale Verläufe der Verhältnisse der Helligkeitswerte, was man beispielsweise durch stückweise normierte eindimensionale Korrelation. entlang der epipolaren Linien realisieren kann.at the correspondence determination is omitted the above-described problem of the exact tuning of the cameras on top of each other, if not just the ratios of the brightness values compares but local histories the circumstances the brightness values, which, for example, by piecewise normalized one-dimensional correlation. along the epipolar lines can realize.

Sobald die Korrespondenz hergestellt ist, kann das Abstandsbild nach bekannten Methoden berechnet werden (siehe z.B. [3] oder die oben erwähnte Schrift US 6082672 ).Once the correspondence is made, the distance image can be calculated by known methods (see eg [3] or the above-mentioned font) US 6082672 ).

Bei nicht-binären Zufallsmustern ist, abgesehen von unwahrscheinlichen Sonderfällen, eine eindeutige Korrespondenzbestimmung pixelweise und über Interpolation sogar Subpixelweise möglich.at non-binary Random patterns, except for unlikely special cases, are one clear correspondence determination pixel by pixel and via interpolation even subpixelwise possible.

Die Lösung vermeidet die oben zitierten Probleme mit Farbauswertung, außerdem den oben geschilderten allgemeinen Nachteil von Verfahren mit über das Blickfeld kontinuierlichen, gegenläufigen Beleuchtungsmustern: die Zufallsmuster dürfen lokal hohen Kontrast besitzen. Der Lösung liegt die Erkenntnis zugrunde, daß ein lokal kontinuierlicher Verlauf, wie bisher vorgeschlagen, nicht erforderlich ist. es genügt, wenn bei korrespondierenden Punkten lokal der VERLAUF DES O.G. VERHÄLTNISSES der Helligkeitswerte gleich oder sogar nur gleichartig ist. Es dürfen nur nicht lokal periodisch sich wiederholende Verläufe von Verhältnissen auftreten, um Mehrdeutigkeiten zu vermeiden. Bei Pseudo-Zufallsmustern ist dies über die Mindestlänge aus geschlossen, bei Zufallsmustern aufgrund der Zufallsnatur unwahrscheinlich. Dennoch gelegentlich auftretende Fälle können durch Wiederholung mit mindestens einem weiteren Zufallsmuster so gut wie ausgeschlossen werden.The solution avoids the above-cited problems with color evaluation, as well as the above-described general disadvantage of methods with over the Field of view of continuous, opposing lighting patterns: the random patterns allowed have locally high contrast. The solution is based on the knowledge the existence locally continuous course, as previously proposed, not is required. it is sufficient, if, at corresponding points, the COURSE OF O.G. RELATIONSHIP the brightness values are the same or even only the same. It may only not locally periodically recurring courses of relationships occur to avoid ambiguity. For pseudo-random patterns this is over the minimum length closed, unlikely for random patterns due to random nature. Nevertheless, occasional cases may be due to repetition with at least Another random pattern is virtually excluded.

Die oben geschilderten Probleme bei texturierten Beleuchtungmustern mit texturelementeweiser Korrespondenzbestimmung werden durch das pixelweise Arbeiten und über die Verhältnisrechnung vermieden; eine Bildanalyse zur Bestimmung der Position der Texturelemente entfällt.The above problems with textured lighting patterns with texturelementeweiser correspondence determination are by the pixel-wise works and over the ratio calculation avoided; an image analysis to determine the position of the texture elements eliminated.

Andererseits wird gerade aufgrund der texturartigen Zufallsmuster, mit pixelweiser Verhältnisrechnung, das o.g. Problem gegenläufiger Beleuchtungsmuster über das Blickfeld vermieden, dass sich bei ebener Vorlage die Helligkeitswerte benachbarter Pixel nur wenig unterscheiden: aufgrund der Zufallsnatur kann dieser Fall nur für einzelne oder sehr wenigedirekt benachbarte Pixel auftreten.on the other hand becomes due to the texture-like random pattern, with pixelwise Money bill the o.g. Problem in opposite directions Illumination pattern over The field of vision avoids that with a flat original the brightness values little difference between neighboring pixels: due to the random nature This case can only be for single or very little directly adjacent pixels occur.

Das Verfahren kann vorteilhaft mehrfach mit verschiedenen Beleuchtungseinheiten, jede bestehend aus einer oder mehreren Projektionseinheiten, realisiert werden, mit Fusion der Ergebnisse, Lokal der global realisiert aufgrund von Sicherheitsmaßen (z.B. aufgrund Kontrast, Ausblenden von Ergebnissen aus Helligkeitsübersteuerten Regionen) oder aufgrund Mittelung oder aufgrund Mehrheitsentscheidungen. Ein besonders praxis relevanter Vorteil ist dabei das automatische Unterdrücken lokaler Übersteuerung bei lokalem Glanz (Glanzwinkelbedingung nur für eine der Beleuchtungseinheiten erfüllt).The method can advantageously be realized several times with different illumination units, each consisting of one or more projection units, with fusion of the results, local of the global realized on the basis of security measures (eg due to contrast, hiding results from brightness overrun regions) or due to averaging or majority voting. A particularly practical advantage in this case is the automatic suppression of local overmodulation with local gloss (gloss angle condition only fulfilled for one of the lighting units).

Pixelweise im Sinne der Ansprüche heißt für jeweils eine Kamera, dass die Helligkeiten von Pixeln gleicher Bildkoordinaten zueinander ins Verhältnis gesetzt werden (oder zumindest näherungsweise gleicher; lokale Mittelungen können sinnvoll sein, z.B. für Subpixelalgorithmen, ein systematischer kleiner Offset kann sich als notwendig erweisen). Für dynamische Szenen, z.B. bei bewegten Werkstücken, sind entsprechend dem Verschiebungsvektorfeld (im Bildbereich) versetzte Pixel ins Verhältnis zu setzen. In einfachen Fällen (bekannte werkstückverschiebung, z.B. auf Förderband, langbrennweitige Betrachtung, geringe Höhenunterschiede) ist das Verschiebungsvektorfeld priori bekannt. Mit kleiner werdender Brennweite und mit steigenden Höhenunterschieden ist jedoch das Verschiebungsvektorfeld zunehmend vom Endergebnis, der Höhe der Objektpunkte, abhängig. Die Lösung des Teufelskreises sollte mit iterativen Methoden möglich sein (Schätzung des Verschiebungsvektorfeldes mit zunehmender Genauigkeit, Optimierung mit einem Gütemaß aus zu minimierender mittlerer Tiefenvariation und zu maximierender Ähnlichkeit aus korrespondierenden Verhältniswerten) – eine mathematische Herausforderung, aber nach Einschätzung des Anmelders kein grundsätzlich unlösbares Problem.pixel way in the sense of the claims is called for each a camera that measures the brightness of pixels of the same image coordinates in relation to each other be set (or at least approximately same; local averages can be useful, e.g. For Subpixel algorithms, a systematic small offset may prove to be prove necessary). For dynamic scenes, e.g. with moving workpieces, are according to the displacement vector field (in the image area) offset pixels in proportion. In simple make (known workpiece displacement, e.g. on conveyor belt, langbrennweitige viewing, small height differences) is the displacement vector field known in advance. With decreasing focal length and with increasing Height differences however, the displacement vector field is increasingly of the end result, the height the object points, depending. The solution The vicious circle should be possible with iterative methods (Estimate of the displacement vector field with increasing accuracy, optimization with a quality measure to minimizing mean depth variation and similarity to be maximized from corresponding ratios) - a mathematical Challenge, but in the Applicant's opinion, no fundamentally unsolvable problem.

Technische Realisierung von Zufallsmustern:technical realization of random patterns:

Eine erste technische Realisierung (Ohne Figur) ist die Verwendung eines Beamers (Mikrospiegel-Array) zur programmierbaren Projektion von Pseudozufallsmustern.A first technical realization (without figure) is the use of a Beamers (micromirror array) for programmable projection of Pseudorandom patterns.

Im folgenden werden anhand 1 bis 11 mehrere erfindungsgemäße Lösungen beschrieben, wobei solche ohne mechanische Bewegung vorgezogen werden.The following are based 1 to 11 described several solutions according to the invention, wherein those without mechanical movement are preferred.

Die Anordnungen werden vorzugsweise so getroffen, dass die Zufallsmuster im Bild grob entlang den epipolaren Linien verlaufen; quer dazu ist es eher günstig, wenn nur geringe Helligkeitsvariationen vorliegen (wichtig bei ungenauer Kamerakalibrierung).The Arrangements are preferably made such that the random patterns in the picture roughly along the epipolar lines; across to it is it rather cheap if only slight brightness variations are present (important for inaccurate Camera calibration).

2 zeigt eine Szene mit einer Unterlage 1a, auf der ein Werkstück 1b liegt. Unterlage 1a und Werkstück 1b werden kurz als Objekt 1 bezeichnet. Es ist die Höhe der Oberflächenpunkte von Unterlage und Werkstück, kurz der Objektpunkte, zu bestimmen. Die Szene kann natürlich auch nur aus einem Ausschnitt eines Werkstückes bestehen. Die Szene wird über zwei Stereo-Kameras 2 betrachtet und eine näherungsweise punktlichtförmige Lichtquelle 3 beleuchtet. Im Beleuchtungs-Strahlengang befindet sich eine Maske 4, lokal unterschiedlich transparent in Form eines Pseudo-Zufallsmusters. Das Muster besteht vorzugsweise aus Streifen die in den Bildern grob gesehen quer zu den epipolaren Linien verlaufen. Die Maske ist durch elektrische Ansteuerung veränderbar, z.B. wie von Flüssigkristallanzeigen bekannt; auf diese Weise sind mit bekannter Display-Technik unterschiedliche Muster realisierbar. Es ist damit auch möglich, ineinander verwobene unterschiedliche Farbmuster zu realisieren. Die Lichtquelle sollte möglichst punkt-lichtförmig sein, um eine allzu starke Überlagerung von Strahlen unterschiedlicher Intensität zu vermeiden. Aus 3 links ist ersichtlich, wie sich sonst an einem Punkt helle und dunkle Stellen bei der Projektion überlagern können. Eine gewisse Verschmierung (Unschärfe) des abgebildeten Musters macht jedoch prinzipiell nichts aus. Eine Verbesserung zeigt 3 rechts, durch klassiche Abbildung mit einem Kondensor 6 und ein Objektiv 7. Auch hier ist allerdings auf eine möglichst kleine Apertur zu achten (Schärfentiefe). Die Projektionseinheit 5 besteht hier aus Beleuchtung und steuerbarer Maske, ggf. mit Kondensor und Objektiv. 2 shows a scene with a document 1a on which a workpiece 1b lies. document 1a and workpiece 1b become short as an object 1 designated. It is the height of the surface points of the base and workpiece, in short, the object points to determine. Of course, the scene can only consist of a section of a workpiece. The scene is about two stereo cameras 2 considered and an approximately punktlichtförmige light source 3 illuminated. In the illumination beam path is a mask 4 , locally different transparent in the form of a pseudo-random pattern. The pattern preferably consists of stripes which, in the images, are roughly transverse to the epipolar lines. The mask can be changed by electrical control, for example as known from liquid crystal displays; In this way, different patterns can be realized with known display technology. It is thus also possible to realize interwoven different color patterns. The light source should be as point-light as possible in order to avoid too strong superposition of rays of different intensity. Out 3 on the left you can see how else at one point light and dark spots can overlap in the projection. However, a certain smearing (blurring) of the imaged pattern does not matter in principle. An improvement shows 3 right, by classic illustration with a condenser 6 and a lens 7 , Here too, however, attention must be paid to the smallest possible aperture (depth of field). The projection unit 5 consists here of lighting and controllable mask, if necessary with condenser and lens.

Es ist natürlich möglich, mit mehreren Projektionseinheiten zeitlich hintereinander zu arbeiten und die Ergebnisse zu fusionieren (lokale Mittelung oder Auswahl aufgrund von Qualitätsmaßen); sollen sie gleichzeitig aktiv sein, so ist, wie in 4 dargestellt, darauf zu achten, dass die projizierten Muster möglichst gut koinzidieren, ansonsten kommt es, wie in 3 links, zur Überlagerung heller und dunkler Musterstellen. It is of course possible to work with several projection units in time and to merge the results (local averaging or selection based on quality measures); should they be active at the same time, then, as in 4 shown to make sure that the projected patterns coincide as well as possible, otherwise it comes as in 3 left, to overlay light and dark sample spots.

5 zeigt eine Anordnung mit zwei nah benachbarten, näherungsweise punktförmigen Lichtquellen, z.B. LEDs, deren Lichtkegel unterschiedliche Helligkeitsmuster ausstrahlen. Man bemüht sich beider Herstellung von LEDs um möglichst homogene Lichtkegel, aufgrund von Unregelmäßigkeiten der Oberflächen (Linsen-Effekte), Materialeinschlüssen Luftblasen, Geometrieabweichungen etc. ergeben sich jedoch mehr oder weniger zufällige inhomogene Strukturen. Diese Dreckeffekte 10 können dazu herangezogen werden, Zufallsmuster zu Projizieren. Solche Effekte können natürlich teilweise auch absichtlich herbeigeführt werden. Man kann den gleichen Effekt anstelle von Dreckeffekten auch durch Vorsatz einer entprechend strukturierten Maske erreichen. Die beiden LEDs projizieren nun einerseits unterschiedliche Zufallsmuster, projizieren jedoch andererseits aufgrund ihrer Nähe näherungsweise aus dem gleichen Raumwinkel. In der Zeichnung besitzt die vordere LED 8 einen stark strukturierten, die hintere 9 einen homogenen Lichtkegel. Die Projektionseinheit 5 besteht hier aus beiden LEDs und ggf. Maske. 5 shows an arrangement with two closely adjacent, approximately point-shaped light sources, such as LEDs whose light cone radiate different brightness patterns. One strives for the production of LEDs as homogeneous as possible light cone, due to irregularities of the surfaces (lens effects), material inclusions air bubbles, geometry deviations, etc., however, result in more or less random inhomogeneous structures. These dirt effects 10 can be used to coincidence Project to project. Of course, some of these effects can also be intentionally induced. One can achieve the same effect instead of dirt effects by intention of an appropriately structured mask. On the one hand, the two LEDs now project different random patterns but, on the other hand, due to their proximity, project approximately from the same solid angle. In the drawing has the front LED 8th a highly structured, the rear 9 a homogeneous cone of light. The projection unit 5 consists here of both LEDs and possibly mask.

6 zeigt Anordnungen mit mehreren Projektionseinheiten. Wesentlich ist, daß sich die Lichtkegel der Projektionseinheiten, sofern sie gleichzeitig eingeschaltet sind, entweder nicht oder nur gering überlappen, oder daß sie gemäß 4 aufeinander abgestimmt sind. Linienförmige Projektionseinheiten nach 7 unten sollten i.a. quer zu den epipolaren Linien orientiert sein; wie oben erwähnt sollten die Zufallsmuster im Bild grob entlang den epipolaren Linien verlaufen und quer dazu nur geringe Helligkeitsvariationen aufweisen. 6 shows arrangements with several projection units. It is essential that the light cones of the projection units, if they are switched on at the same time, either do not overlap or only slightly overlap, or that they correspond to 4 are coordinated. Line-shaped projection units according to 7 at the bottom, they should be oriented transversely to the epipolar lines; As mentioned above, the random patterns in the image should be roughly along the epipolar lines and have only slight variations in brightness across them.

7 zeigt das Moiré-Prinzip, zur Einführung der Lösung nach 8. 7 zeigt oben ein regelmäßiges Gitter 11, darunter ein weiteres regelmäßiges Gitter mit geringfügig abweichender Gitterkonstante. Durch Überlagerung der Gitter 11 und 12 entsteht ein Interferenzmuster (Mitte). Eine geringfügige Verschiebung der Gitter gegeneinander verändert die Phase des Referenzmusters grob (unten). 8 zeigt in der oberen Doppelreihe die Überlagerung eines gleichmäßigen Gitters 11 mit einem Gitter 13, das gegenüber Gitter 11 pseudozufällige Abweichungen der lokalen Gitterkonstanten besitzt. Hier entsteht durch Überlagerung ein entprechendes pseudozufälliges Muster. Das technisch Interessante daran ist, daß durch eine sehr kleine Änderung der Relativlage der Gitter eine grobe Veränderung der pseudozufälligen Interferenzmuster entsteht (8, zweite Doppelreihe). Man kann also mit einer sehr kleinen Bewegung eines Gitters, z.B. durch Piezoelemente, grobe Änderungen an pseudozufälligen Mustern erzeugen. Die dritte und die vierte Doppelreihe zeigen das gleiche Prinzip, wobei zwei verschiedene pseudozufällige Muster gleicher oder nahezu gleicher Gitterkonstante überlagert werden, bei denen an zufälligen Stellen Phasensprünge um 180 Grad eingebaut sind (vorzugsweise so, daß keine zwei opake Striche aufeinander folgen dürfen). 7 demonstrates the moiré principle, to introduce the solution 8th , 7 shows up a regular grid 11 , including another regular grid with slightly different lattice constants. By overlaying the grid 11 and 12 creates an interference pattern (middle). A slight shift of the grids against each other roughly changes the phase of the reference pattern (below). 8th shows in the upper double row the superposition of a uniform grid 11 with a grid 13 that is opposite lattice 11 has pseudo-random deviations of the local lattice constants. Overlaying creates an appropriate pseudo-random pattern here. The technically interesting thing about this is that a very small change in the relative position of the gratings results in a rough change of the pseudo-random interference patterns ( 8th second double row). So you can with a very small movement of a grid, for example by Piezo elements, produce gross changes to pseudo-random patterns. The third and fourth duplexes show the same principle, superimposing two different pseudo-random patterns of equal or nearly equal lattice constants, with random phase shifts of 180 degrees (preferably so that no two opaque lines may follow each other).

Eine geringe Verdrehung der Muster gegeneinander führt zu einem Moiré, quer zum erwünschten Moiré, dieses ist jedoch "langwellig" und deshalb nicht störend.A slight twisting of the patterns against each other results in a moire, across to the desired Moire, However, this is "long-wave" and therefore not disturbing.

8a zeigt zur Ergänzung, daß auch bei Überlagerung einfacher, pseudozufälliger Strichmuster, sich durch eine Verschiebung unterschiedliche Zufallsmuster erzeugen lassen. Hier allerdings ist eine größere Verschiebung erforderlich als bei Moiré-Technik; letztere ist daher vom Anmelder bevorzugt. 8a shows in addition that even when superimposing simple, pseudo-random bar patterns, different random patterns can be generated by a shift. Here, however, a larger shift is required than in moiré technique; the latter is therefore preferred by the applicant.

9 zeigt eine Lösung mit einer beweglichen Maske 14 mit festem Pseudozufallsmuster 15, wobei sich die Maske im Beleuchtungskegel bewegt. Die zwei Bildaufnahmen geschehen zu verschiedenen Zeitpunkten in der Weise, daß sie effektiv mit verschiedenen Beleuchtungsmustern erfolgt. In der Zeichnung wird speziell die Maske gedreht, sie kann natürlich ebensogut linear oder rotatorisch oszillieren. Es ist lediglich bei den Bildaufnahmen darauf zu achten, daß sie für beide Kameras exakt gleichzeitig und mit gleichen Integrationsintervallen stattfinden. Diese Vorausetzung entfällt, wenn die Maske durch. eine mechanische Einrichtung zwei diskrete feste Stellungen einnehmen kann. 9 shows a solution with a movable mask 14 with a fixed pseudo random pattern 15 with the mask moving in the illumination cone. The two images are taken at different times in such a way that they effectively take different lighting patterns. In the drawing, especially the mask is rotated, it can of course just oscillate linearly or rotationally. It is only necessary to take care with the image recordings that they take place for both cameras exactly at the same time and with the same integration intervals. This requirement does not apply if the mask through. a mechanical device can assume two discrete fixed positions.

1: zeigt eine bevorzugte Lösung ohne Bewegung. Die Zufallsmuster werden hier, wie in 8 erläutert, in Moirétechnik durch Überlagerung von Gittern realisiert, wobei bei mindestens einem die Gitterkonstante in pseudo-zufälliger Weise variiert. Erfindungsgemäß haben die Gitter nun zueinander einen Abstand d, so dass sich bei Beleuchtung aus unterschiedlicher Richtung unterschiedliche Moirémuster ergeben, ohne dass eine mechanische Bewegung erforderlich wäre. Im Beispiel 1 sind die Gitter grob gesehen quer zu den epipolaren Linien angeordnet, so dass auch die Moiré-Zufallsmuster grob gesehen quer zu den epipolaren Linien verlaufen. Im Beispiel ist die Obere Maske 21 gleichförmig, die untere Maske 22 pseudozufällig strukturiert. Beleuchtet wird die Szene über eine Projektionseinheit, die aus zwei näherungsweise punktförmigen oder linienförmigen oder, durch Zusammensetzung von punktförmigen Quellen, linienförmigen Lichtquellen besteht. 1 zeigt zwei Lichtquellen 23, bestehend aus je zwei Reihen 26 von punktförmigen Quellen 27, z.B. LEDs, die zusammen jeweis näherungsweise linienförmige Lichtquellen bilden; sie sind vorteilhaft zumindest näherungsweise wie die Gitter ausgerichtet. Zur Erzeugung von zwei verschiedenen Pseudo-Zufallsmustern werden die Reihen einer Projektionseinheit einzeln eingeschaltet. Dadurch entstehen in der Szene unterschiedliche Muster. Der große Vorteil dieses Ansatzes besteht darin, dass a) keine Bewegung erforderlich ist, dass b) die entstehenden Muster drastisch unterschiedlich sind, dass c) trotzdem die Beleuchtung effektiv aus fast dem gleichen Raumwinkel erfolgt (wichtig, s.o.) und dass d) die Charakteristik der Pseudo-Zufallsmuster an die Anwendung angepaßt werden kann. 1 : shows a preferred solution without movement. The random patterns are here, as in 8th in Moirétechnik realized by superposition of gratings, wherein at least one of the lattice constant varies in a pseudo-random manner. According to the invention, the grids are now at a distance d from one another so that different moiré patterns result when illuminated from different directions, without any mechanical movement being required. For example 1 the grids are roughly arranged transversely to the epipolar lines, so that the moire random patterns are roughly transverse to the epipolar lines. In the example, the upper mask is 21 uniform, the lower mask 22 structured in a pseudorandom way. The scene is illuminated by a projection unit, which consists of two approximately punctiform or linear or, by the composition of point sources, linear light sources. 1 shows two light sources 23 , consisting of two rows each 26 from point sources 27 , eg LEDs, which together form approximately approximately linear light sources; they are advantageous at least approximately aligned as the grid. To generate two different pseudorandom patterns, the rows of a projection unit are turned on one at a time. This creates different patterns in the scene. The big advantage of this approach is that a) no movement is required, b) the resulting patterns are drastically different, that c) the illumination is effectively made from almost the same solid angle (important, so) and that d) the characteristic the pseudo-random pattern can be adapted to the application.

Mit mehreren Projektionseinheiten 23, wie in 1 gezeigt, kann zusätzlich, mit den gleichen Gittern, ein (wiederum anderes) Paar von Pseudo-Zufallsmustern erzeugt werden, das jedoch bei Beleuchtung aus einer bewußt anderen Raumrichtung entsteht. Damit kann eine weitere, unabhängige Auswertung mit Fusion der Ergebnisse realisier werden, wie oben für verschiedene Beleuchtungseinheiten geschildert; Vorteile siehe auch dort.With several projection units 23 , as in 1 In addition, with the same grids, a (again different) pair of pseudo-random patterns can be generated, which, however, arises when illuminated from a deliberately different spatial direction. Thus, a further, independent evaluation with fusion of the results can be realized, as described above for different lighting units; Advantages see also there.

Die beschriebenen erfindungsgemäßen Lösungen mit durchleuchteten Mustern, einschließlich Moiré bildenden Mustern, betreffen natürlich in analoger weise anstelle von Durchlicht auch entprechende Auflichtlösungen mit lokal verschiedenartig reflektierenden Spiegelflächen.The with inventive solutions described illuminated patterns, including moire-forming patterns Naturally in analogous way instead of transmitted light entprechende incident light solutions with locally diverse reflecting mirror surfaces.

10 zeigt eine Maske, die aus einem transparenten Behälter 16 besteht, in dem sich stochastisch teiltransparente Partikel 17 bewegen, z.B. in einer Flüssigkeit. Solch eine Anordnung könnte z.B. in der Mikroskopie eine Rolle spielen. Auch hier ist darauf zu achten, dass die Bildaufnahmen miteinander synchronisiert sind. 10 shows a mask, which consists of a transparent container 16 exists in which stochastisch partially transparent particles 17 move, eg in a liquid. Such an arrangement could play a role, for example, in microscopy. Again, make sure that the images are synchronized with each other.

Natürlich können die Lösungen nach 9 und 10 ebenso wie die nach 2 durch die klassische Projektionsanordnung mit Kondensor und Objektiv ergänzt werden (3). Dies gilt auch für die Anordnung nach 1, wobei man die Schärfenebene zwischen die beiden Muster legen wird und über einen geeigneten Strahlengang dafür sorgt, dass bei den beiden Bildaufnahmen die wirksame Lichtquelle (analog zur Pupille einer Aufnahmeanordnung) der Projektionsanordnung an zwei leicht verschiedene Stellen zu liegen kommt (z.B. mit zwei seitlich versetzten Lichtquellen vor dem Kondensor; die Lichtquelle wird üblicherweise in die Abbildungslinse abgebildet). Of course, the solutions can be after 9 and 10 as well as the after 2 complemented by the classical projection arrangement with condenser and objective ( 3 ). This also applies to the arrangement 1 , where you will put the focus plane between the two patterns and a suitable beam path ensures that comes in the two images the effective light source (analogous to the pupil of a recording device) of the projection assembly to lie at two slightly different locations (eg with two laterally offset Light sources in front of the condenser, the light source is usually imaged in the imaging lens).

Eine weitere Lösung mit Bewegung (nicht gezeichnet) besteht darin, Beleuchtungselemente mit zufällig oder poseudozufällig strukturiertem Lichtkegel, wie z.B. 5, Nr. 8, eventuell an geordnet nach 6, zubewegen, z.B. durch Vibration der Befestigung und ggf. zusätzlich durch flexible Aufhängung der Beleuchtungselemente.Another solution with movement (not shown) is lighting elements with random or poseudo randomly structured light cone, such as 5 , No. 8, possibly ordered by 6 , to move, eg by vibration of the attachment and possibly additionally by flexible suspension of the lighting elements.

11 zeigt eine Scanner-Lösung: ein Lichtschlitz wird auf eine Ablenkeinheit 18 projiziert, in der Figur ein Dreh-Polygon als Beispiel, und von dort auf die Szene. Die Lichtquelle 3 ist hier beispielsweise eine Laser-Lichtquelle mit Zylinderlinse zur Strahlaufweitung (nicht gezeichnet), wie bei Laserscannern üblich. Die Lichtquelle wird in zufälliger oder pseudozufälliger Weise helligkeitsmoduliert. Integrationszeit der Kameras und Ablenkgeschwindigkeit werden so aufeinander abgestimmt, dass innerhalb eines Integrationsintervalls die Szene im interessierenden Bereich überstrichen wird. Es werden je Kamera zwei Bildaufnahmen realisiert. Die Kameras brauchen nicht mit der Ablenkeinheit abgestimmt zu sein. Dies ist ein Vorteil gegen den oben geschilderten Ansatz US 6600168 . Der Zufallsgenerator braucht weder mit den Kameras noch mit der Ablenkeinheit synchronisiert zu sein. 11 shows a scanner solution: a slit of light is placed on a deflector 18 projected, in the figure a rotary polygon as an example, and from there to the scene. The light source 3 Here, for example, a laser light source with cylindrical lens for beam expansion (not shown), as usual with laser scanners. The light source is brightness modulated in a random or pseudo-random manner. Integration time of the cameras and deflection speed are coordinated so that the scene in the area of interest is covered within an integration interval. There are two images per camera realized. The cameras do not need to be tuned with the deflection unit. This is an advantage over the approach described above US 6,600,168 , The random generator does not need to be synchronized with either the cameras or the deflection unit.

Zur Trennung der beiden Beleuchtungen sind Farbe und Polarisation zwar möglich, werden aber nicht bevorzugt; Farbe wegen der oben zitierten Probleme bei Farbauswertung, Polarisation wegen möglicher betrachtungswinkelabhängiger Polarisationseffekte, insbesondere auf nichtmetallischen Oberflächen (in der Nähe des Brewster Winkels).to Separation of the two lights are color and polarization though possible, but are not preferred; Color because of the problems quoted above in color evaluation, polarization due to possible viewing angle dependent polarization effects, especially on non-metallic surfaces (near the Brewster Angle).

Zur Realisierung mit Farbe geschehen die erste und die zweite Beleuchtung mit unterschiedlichen Farben, vorzugsweise gleichzeitig, und die Bildaufnahme mit Farbkameras um die Farbkanäle zu trennen. to Realization with color happen the first and the second illumination with different colors, preferably simultaneously, and the Image capture with color cameras to separate the color channels.

Zur Realisierung mit Polarisation geschehen die erste und die zweite Beleuchtung mit unterschiedlicher Polarisation, vorzugsweise gleichzeitig, und bei der Bildaufnahme werden die Kanäle durch Strahlteiler (z.B. Strahlteilerwürfel, halbdurchlässige Spiegel) und nachgeschaltete Polarisationsfilter getrennt.to Realization with polarization happen the first and the second Illumination with different polarization, preferably simultaneously, and in image acquisition the channels are separated by beam splitters (e.g. Beam splitter cube, semipermeable Mirror) and downstream polarization filters separated.

Vorteile:Advantages:

Das Verfahren funktioniert auch für farbige Objekte, auch bei starker Farbsättigung (ein Problem bei der Codierung mit Farbmustern, siehe [1]).The Procedure also works for colored objects, even with strong color saturation (a problem with the Coding with color samples, see [1]).

Es sind für die Erstellung eines kompletten Abstandsbildes nur 2 Aufnahmen mit Standardkameras erforderlich.It are for the creation of a complete distance image only 2 shots with Standard cameras required.

Bei klassichen Stereoverfahren ist die Korrespondenz nur bei Helligkeits-Diskontinuitäten berechenbar, z.B. an Objektkanten. Mit den hier vorgestellten Verfahren gilt diese Einschränkung nicht; für die Korrespondenzfindung entfällt eine komplizierte Bildanalyse zur Bestimmung von Bildelementen (Kanten, Ecken, Blobs etc).In classical stereo methods, correspondence can only be calculated for brightness discontinuities, for example at object edges. With the methods presented here, this restriction does not apply; for the Korres In addition, a complex image analysis for determining picture elements (edges, corners, blobs, etc.) is unnecessary.

Ein wesentlicher Vorteil des Verfahren ist, dass lokale Diskontinuitäten der Helligkeit, durch Färbung, Aufdruck, Schmutz, Lunker, Markierungen, Bearbeitungsriefen, Ölfilm und dgl. keine Rolle spielen (sie können für die Korrespondenzfindung u.U. sogar hilfreich sein). Dies gilt auch für natürliche Strukturen, wie sie z.B. bei Textilien auftreten.One The main advantage of the procedure is that local discontinuities of the Brightness, by coloring, imprint, Dirt, voids, marks, processing marks, oil film and Like. Do not matter (they can for the correspondence u.U. even helpful). This also applies to natural structures, like them e.g. occur in textiles.

Das oben geschilderte Problem der Division durch kleine Zahlen (dunkle Oberflächenpartie und kleine Helligkeit) spielt hier insofern eine geringe Rolle, als aufgrund des Zufallsstruktur nur kleine lokale Bereichen davon betroffen sein können, weshalb daraus nur geringe Disparitätsfehler bei der Korrespondenzfindung resultieren.The above problem of division by small numbers (dark surface section and small brightness) plays a minor role here so far, as due to the random structure only small local areas of it can be affected, which is why from this only small disparity errors result in the correspondence determination.

Ein anwendungstechnischer Vorteil besteht darin, dass die Beleuchtung nicht kalibriert zu sein braucht. Man kann also einerseits eine Einheit mit fest miteinander verbundenen vorkalibrierten Stereokameras verwenden, andererseits eine oder mehrere Beleuchtungseinheiten, bestehend aus einer oder mehreren Projektionseinheiten, die abhängig von der konkreten Aufgabenstellung beliebig im Raum montierbar sind (Zugänglichkeit, Vermeiden von Glanzwinkeln und Schatten) ohne irgendeine Beleuchtungs-Kalibrierung und ohne strikte Forderung an eine scharfe Abbildung der Zufallsmuster; die Beleuchtungseinheiten müssen nur die Objekte grob „treffen".One application-technical advantage is that the lighting does not need to be calibrated. So you can on the one hand a Unit with permanently connected precalibrated stereo cameras use, on the other hand, one or more lighting units, consisting of one or more projection units, which depend on the concrete task can be mounted anywhere in the room (Accessibility, Avoiding gloss angles and shadows) without any lighting calibration and without strict demand for a sharp mapping of the random patterns; the lighting units need just "hit" the objects roughly.

Natürlich kann eine 2-Kamera-Stereoanordnung auch mit einer einzelnen Kamera in verschiedenen Positionen realisiert werden, z.B. an einem Roboterarm.Of course you can a 2-camera stereo arrangement also with a single camera in various positions can be realized, e.g. on a robot arm.

Natürlich betrifft das Verfahren genauso Anordnungen mit mehr als zwei Kameras, mit Stereo auswertung jeweils zwischen Kamerapaaren; ggf mit Fusion der Ergebnisse aufgrund von Sicherheitsmaßen (z.B. aufgrund Kontrast, Ausblenden von Ergebnissen aus Helligkeits übersteuerten Regionen) oder Mehrheitsentscheidungen.Of course it affects the same procedure with arrangements with more than two cameras, with Stereo evaluation between camera pairs; if necessary with fusion results due to safety measures (e.g., due to contrast, Hide results from brightness overdriven regions) or Majority decisions.

Natürlich kann die geschilderte Vorgehensweise auch mehrfach in verschiedener Lage relativ zur Objektoberfläche realisiert werden, z.B. mit dem Objekt oder mit Kameras und ggf. auch Beleuchtung an einem Roboterarm, mit anschließender Fusion der Ergebnisse.Of course you can the described procedure also several times in different position relative to the object surface be realized, e.g. with the object or with cameras and if necessary also lighting on a robotic arm, with subsequent fusion the Results.

Natürlich können die hier geschilderten Verfahren auch für eine Kombination von Abstandsbildern mit Grauwertbildern oder Farbbildern verwendet werden. Dies ist z.B. bei Körperscannern für Zwecke der Visualisierung üblich. Of course they can Here also described method for a combination of distance images be used with gray value images or color images. This is e.g. in body scanners for purposes the visualization usual.

Nicht-Patent Literatur:Non-patent literature:

• [1] Review of 20 years of range sensor development. Journal of Electronic Imaging, 13 (1): 231–240. Jan. 2004. National Research Council Canada.[1] Review of 20 years of range sensor development. journal of Electronic Imaging, 13 (1): 231-240. Jan. 2004. National Research Council Canada.
• [2] Paul J. Besl: Active, Optical Range Imaging Sensors. Machine Vision and Applications. (1988) 1:127–152.[2] Paul J. Besl: Active, Optical Range Imaging Sensors. Machine Vision and Applications. (1988) 1: 127-152.
• [3] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry: An Invitation to 3D, Springer Verlag 2004.[3] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry: An Invitation to 3D, Springer Publishing 2004.
• [4] J. Battle, E. Mouaddib, J. Salvi: Recent Progress in Coded Structured Light as a Technique to Solve the Correspondence Problem. A Survey. Pattern Recognition, Vol. 31, No. 7, p 963–982, 1998.[4] J. Battle, E. Mouaddib, J. Salvi: Recent Progress in Coded Structured Light as a Technique to Solve the Correspondence Problem. A survey. Pattern Recognition, Vol. 31, no. 7, p 963-982, 1998.
• [5] http://www.3dmd.com/AboutUs/Technology.asp, heruntergeladen am 7. Jan. 2006[5] http://www.3dmd.com/AboutUs/Technology.asp, downloaded on Jan. 7, 2006
• [6] D. Viejo, J. M. Sa'z, M.A. Cazorla, F. Escolano: Active Stereo Based Compact Mapping. Proc. of the IEEE/RSJ Intern. Conf. on Intell. Robots and Systems. Canada, August 2005[6] D. Viejo, J.M. Sa'z, M.A. Cazorla, F. Escolano: Active Stereo Based Compact Mapping. Proc. of the IEEE / RSJ Intern. Conf. on Intell. Robots and Systems. Canada, August 2005

Claims (18)

Verfahren zur Erstellung eines Abstandsbildes aus der Korrespondenz von Pixeln der Bilder einer ersten Kamera und einer zweiten Kamera in Stereo-Anordnung, gekennzeichnet durch eine erste Beleuchtung der Szene mit einem Zufalls- oder Pseudozufallsmuster mit Aufnahme eines ersten Bildes mit beiden Kameras, eine zweite Beleuchtung der Szene, mit Aufnahme eines zweiten Bildes mit beiden Kameras, für beide Kameras pixelweise Berechnung eines Helligkeitsverhältnisses aus dem ersten und dem zweiten Bild, Herstellung der Korrespondenz von Pixeln aufgrund Vergleich der Helligkeitsverhältnisse von Pixeln verschiedener Kameras.Method for creating a distance image from the correspondence of pixels of the images of a first camera and a second camera in stereo arrangement, characterized by a first illumination of the scene with a random or pseudo random pattern with a first picture taken with both cameras, a second one Lighting the scene, taking a second picture with both Cameras, for both cameras pixel by pixel calculation of a brightness ratio from the first and the second picture, making the correspondence of pixels due to comparison of the brightness ratios of pixels of different cameras. Verfahren nach Anspruch 1, mit der zweiten Beleuchtung durch ein weiteres Zufalls- oder Pseudozufallsmuster.The method of claim 1, with the second illumination by another random or pseudo-zu case pattern. Verfahren nach Anspruch 1, wobei der Vergleich der Helligkeitsverhältnisse auf einander zugeordneten epipolaren Linien verschiedener Kameras stattfindet.The method of claim 1, wherein the comparison of brightness ratios on associated epipolar lines of different cameras takes place. Verfahren nach Anspruch 3, wobei die Korrespondenz hergestellt wird durch Vergleich der Werte von stückweiser, eindimensionaler, normierter Korrelation der Helligkeitsverhältnisse entlang der epipolaren Linien.The method of claim 3, wherein the correspondence is produced by comparing the values of piecewise, one-dimensional, normalized correlation of the brightness ratios along the epipolar lines. Verfahren nach einem der vorgenannten Ansprüche, wobei die erste und die zweite Beleuchtung mit unterschiedlichen Farben erfolgt, vorzugsweise gleichzeitig, und Farbkameras eingesetzt werden.Method according to one of the preceding claims, wherein the first and the second lighting with different colors takes place, preferably simultaneously, and color cameras are used. Verfahren nach einem der vorgenannten Ansprüche, wobei die erste und die zweite Beleuchtung mit unterschiedlicher Polarisation erfolgt und wobei bei der Bildaufnahme die Trennung der Kanäle durch Strahlteiler und nachgeschaltete Polarisationsfilter geschieht.Method according to one of the preceding claims, wherein the first and the second illumination with different polarization takes place and wherein the image recording the separation of the channels Beam splitter and downstream polarization filter happens. Vorrichtung zur Erstellung eines Abstandsbildes einer Szene, bestehend aus mindestens zwei Kameras in Stereo-Anordnung und einer Bildauswerteeinheit zur Auswertung der Kamerabilder und mindestens einer Projektionseinheit für die Beleuchtung der Szene, wobei mit der Projektionseinheit mindestens zwei verschiedene Helligkeitsmuster projizierbar sind, von denen mindestens eines ein Zufalls- oder Pseudo-Zufallsmuster ist, und wobei mit jeder der Kameras mit Jedem der Helligkeitsmuster ein Bild aufgenommen werden kann und mit der Bildauswerteeinheit für jede der Kameras pixelweise das Verhältnis der für verschiedene Helligkeitsmuster gemessenen Helligkeitswerte berechnet werden kann.Apparatus for creating a distance image of a Scene consisting of at least two cameras in stereo arrangement and one Image evaluation unit for evaluating the camera images and at least a projection unit for the lighting of the scene, wherein with the projection unit at least two different brightness patterns can be projected, of which at least one is a random or pseudo-random pattern, and where with each the cameras taken a picture with each of the brightness patterns and with the image evaluation unit for each of the cameras pixel by pixel The relationship the for calculated different brightness patterns measured brightness values can be. Vorrichtung nach dem vorgenannten Anspruch, dadurch gekennzeichnet, daß mindestens zwei Helligkeitsmuster Zufalls- oder Pseudo-Zufallsmuster sind.Device according to the preceding claim, characterized characterized in that at least two brightness patterns random or Are pseudo-random patterns. Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei überlagerten Gittern, die zueinander einen Abstand haben, wobei mindestens eines eine pseudozufällige Struktur aufweist und mit einer Beleuchtung mit mindestens zwei Lichtquellen, die durch die Gitter hindurchleuchten oder sie beleuchten können, und dabei unterschiedliche Muster ergeben.Device according to one of claims 7 to 8, characterized by a projection unit with two superimposed grids facing each other have a distance, where at least one is a pseudorandom structure and with lighting having at least two light sources, which can shine through the grids or illuminate them, and thereby giving different patterns. Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei überlagerten Gittern die zueinander einen Abstand haben, wobei bei mindestens einem die Phase und/oder die Frequenz in pseudo zufälliger Weise variiert, und mit einer Beleuchtung mit mindestens zwei Lichtquellen, die durch die Gitter hindurchleuchten oder sie beleuchten können, und dabei unterschiedliche Moirémuster ergeben.Device according to one of claims 7 to 8, characterized by a projection unit with two superimposed grids to each other have a distance, wherein at least one of the phase and / or the Frequency in pseudo random Way, and with a lighting with at least two light sources, the through the grids or illuminate them, and with different moire patterns result. Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine lokal unterschiedlich transparente Maske in Form eines Pseudo-Zufallsmusters, das durch elektrische Ansteuerung veränderbar ist.Device according to one of claims 7 to 8, characterized by a locally differently transparent mask in the form of a Pseudo-random pattern, which can be changed by electrical control is. Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine oder mehrere Projektionseinheiten, bestehend aus je mindestens 2 nahe beisammen liegenden näherungsweise punkt- oder linienförmige Lichtquellen, deren Lichtkegel unterschiedliche Helligkeitsmuster ausstrahlen.Device according to one of claims 7 to 8 characterized by one or more projection units, each consisting of at least 2 close approximate punctiform or linear Light sources whose light cone different brightness patterns radiate. Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei zueinander bewegbaren, überlagerten Mustern, wobei mindestens eines eine pseudozufällige Struktur aufweist.Device according to one of claims 7 to 8, characterized by a projection unit with two mutually movable, superimposed Patterns, wherein at least one has a pseudo-random structure. Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei zueinander bewegbaren überlagerten Gittermustern, wobei bei mindestens einem die Phase und/oder die Frequenz in pseudozufälliger Weise variiert.Device according to one of claims 7 to 8, characterized by a projection unit with two mutually movable superimposed Lattice patterns, wherein at least one of the phase and / or the Frequency in pseudo-random Way varies. Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit mit einer lokal unterschiedlich transparenten Maske in Form eines Pseudo-Zufallsmusters, die rotatorisch oder translatorisch bewegt werden kann.Device according to one of claims 7 to 8 characterized by a projection unit with a locally different transparent Mask in the form of a pseudo-random pattern, which can be moved in rotation or in translation. Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit mit einer Maske, die aus einem transparenten Behälter besteht, in dem sich stochastisch teiltransparente Partikel bewegen. Device according to one of claims 7 to 8 characterized through a projection unit with a mask consisting of a transparent container exists, in which stochastisch partially transparent particles move. Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit aus mindestens einer näherungsweise punktförmigen oder linienförmigen Lichtquelle, deren Lichtkegel Helligkeitsmuster ausstrahlen mit festen Pseudo-Zufälligkeitsmustern, wobei die Lichtquellen durch Vibration bewegt werden.Device according to one of claims 7 to 8 characterized by a projection unit of at least one approximate punctate or linear Light source whose light cone emit brightness pattern with fixed pseudo-randomness patterns, wherein the light sources are moved by vibration. Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch einen über die Szene sich bewegenden Lichtschlitz, der in zufälliger oder pseudozufälliger Weise helligkeitsmoduliert ist.Device according to one of claims 7 to 8 characterized through one over the scene moving slit of light that in random or pseudorandom Is brightness modulated.