DE102006001634B3

DE102006001634B3 - Erstellung eines Abstandsbildes

Info

Publication number: DE102006001634B3
Application number: DE102006001634A
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-01-11
Filing date: 2006-01-11
Publication date: 2007-03-01
Anticipated expiration: 2026-01-12

Abstract

Bei der Erstellung eines Abstandsbildes mit Stereo-Kameras ist das schwierigste Problem die Herstellung der Korrespondenz der Punkte. Hierzu wird die Szene zweimal beleuchtet, davon mindestens einmal mit einem Zufalls- oder Pseudozufallsmuster. Für beide Kameras wird für jede der Beleuchtungen ein Bild aufgenommen und pixelweise der Quotient der Helligkeiten berechnet. Die Korrespondenz wird hergestellt auf Basis eines Vergleichs des Quotienten an Pixeln auf epipolaren Linien verschiedener Kameras. Zur Beleuchtung wird als bevorzugte Anordnung eine Projektionseinheit mit zwei überlagerten Gittermustern verwendet, die zueinander einen Abstand haben, wobei mindestens eines in pseudozufälliger Weise variiert, und mit zwei einander nah benachbarten Lichtquellen, die durch die Gitter hindurchleuchten und dabei unterschiedliche pseudozufällige Muster, insbesondere MoirEmuster erzeugen. Anwendungen finden sich u.a. in Montagekontrolle, Robotik, Meßtechnik, Archäologie, Bekleidungsindustrie, Biometrie, Medizin, Reverse Engineering.

Description

Die Erfindung betrifft ein Verfahren und Anordnungen zur Gewinnung eines Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben codieren, die Entfernung von Objektpunkten vom Sensor (i.a. einer Kamera) oder die Höhe der Objektpunkte relativ zu einer Ebene. Technische Anwendungen finden sich u.a. in Montagekontrolle, Robotik, Meßtechnik, Archäologie, Bekleidungsindustrie, Biometrie, Medizin, Reverse Engineering.

Eine Übersicht über eingesetzte Verfahren mit einer Tabelle kommerziell erhältlicher Systeme wird in [1] gegeben, ergänzend zu den Verfahren siehe auch [2].

Das hier offengelegte Verfahren betrifft die Trangulation mit Stereo-Kameras. Bei Stereo-Verfahren ist das schwierigste Problem die Herstellung der Korrespondenz der Bildpunkte. Ist die Korrespondenz bekannt, so kann nach bekannten mathematischen Methoden (siehe z.B. [3]) ein entprechendes Abstandsbild berechnet werden.

Zur Herstellung der Korrespondenz werden klassisch Bildanalysemethoden auf Basis der Extraktion konturhafter oder blob-artiger Merkmale eingesetzt; eine gefundene Zuordnung ist jedoch wegen möglicher Probleme bei der Merkmalsextraktion. nicht wirklich sicher, außerdem muß zwischen den Merkmalen geschätzt oder interpoliert werden. Um diese Probleme zu umgehen, verwendet man zusätzlich strukturiertes Licht.

Bei regelmäßig sich wiederholenden Lichtstrukturen wie z.B. den verbreiteten Streifenmustern treten Mehrdeutigkeiten auf, die mit dem codierten Lichtansatz beseitigt werden können. Üblicherweise wird dabei mit einer einzelnen Kamera gearbeitet, wobei die Geometrie der Lichtquelle selbst zur Triangulation herangezogen wird. Eine Übersicht gibt [4].

WO 2005/010825 A2 zeigt ein Verfahren zur Erstellung eines Abstandsbildes, bei dem eine erste Beleuchtung der Szene ("object") mit einem Zufallsmuster ("randomgrid") und eine zweite Beleuchtung mit einem sog. "striped grid" durchgeführt wird, dabei werden ein erstes und ein zweites Bild mit jeweils einer Kamera aufgenommen. In einem ersten Schritt nach der Aufnahme der ersten Bilder mit beiden Kameras wird die Korrespondenz zwischen Koordinaten der beiden ersten Bilder bestimmt. Nach der Aufnahme der zweiten Bilder wird die im ersten Schritt ermittelte Korrespondenz dazu genutzt, Musterstreifen zwischen den beiden zweiten Aufnahmen der Szene zu identifizieren. Schließlich werden bspw. mittels Triangulation die 3D-Koordinaten der Szene ermittelt.

Nach US 6 542 250 B1 werden mindestens zwei Muster verwendet, die Zufallsmuster sein können. In einem iterativen Vorgang wird, ausgehend von einer initialen Schätzung, punktweise eine Vorwärtsrechnung von Raumkoordinaten zu Bildkoordinaten von zwei Kameras realisiert, mit Verfeinerung bei jedem Iterationsschritt.

Es wird auch mit einzelnen texturierten Beleuchtungmustern und texturelementeweiser Korrespondenzbestimmung gearbeitet, z.B. mit den Systemen der Firmen 3Q/3DMD ([5]). Dies hat den Nachteil, daß sich die Texturelemente aus verschiedenen Blickrichtungen unterschiedlich darstellen können (Glanz, Schattierung, Form) und daher schwierig auszuwerten sind und somit unsichere Ergebnisse liefern können. Die Verfahren werden daher nur auf nicht zu stark strukturierten Oberflächen mit breiter Reflexionskeule verwendet (matte Oberflächen). Nach [6] wird das Problem durch eine speziell gewählte Form der Merkmale entschärft: Linienelemente mit sich zufällig verändernder Intensität und Orientierung; es dürfen nur Elemente mit zueinander passender Orientierung und Intensität miteinander gepaart werden. Nachteilig ist, a) dass die Intensität aus verschiedenen Richtungen betrachtet unterschiedlich ist, b) daß diese Elemente für eine zuverlässige Auswertung eine gewisse Ausdehnung haben müssen und deshalb eine pixelweise Korrespondenzbildung wieder eine Interpolation zwischen den Merkmalen erfordert.

Nach [4] S. 841–842, Absatz 5.1, werden mit einer Kamera mehrere Bilder einer Szene mit jeweils unterschiedlichen Beleuchtungsmustern aufgenommen und anschließend für jedes Bild jeweils das Helligkeitsverhältnis ("intensity ratio") relativ zu einer konstanten Beleuchtung berechnet ("codification based on grey levels").

Eine Sonderform des Codierten Lichts ist die Codierung durch ein kontinuierlich über das Blickfeld verlaufendes Farbmuster ("Regenbogen"), mit einer einzelnen Kamera, nach JP 61075210 (1986) oder US 5675407 (1997). Ein Problem dabei ist der hohe Preis für den Projektor, realisiert z.B. über ein "linear variable wavelength filter".

Nach US 6028672 (2000) geschieht bei kontinuierlich verlaufendem Farbmuster die Triangulation nicht zwischen Kamera und Projektor, sondern zwischen zwei Kameras, bei Farbvergleich auf epipolaren Linien der beiden Kameras. Das entschärft die Forderung nach geometrisch präziser Farb-Projektion, denn so können beliebige Farbmuster verwendet werden (s. Spalte 6, Zeile 45), es verbleiben jedoch noch grundsätzliche Probleme mit der Farbauswertung.

Diese sollen nach US 6556706 (2003, gleicher Anmelder) durch diverse Maßnahmen verringert werden, u.a. dadurch, dass die Lichtprojektion scheibenweise nur Licht einer Wellenlänge enthält (s. z.B. Spalte 5, Zeile 35: „..impose a ,single spectral light condition' to the projector").

Vom gleichen Anmelder wurden auch Anordnungen mit sich drehendem Laser-Lichtschlitz vorgeschlagen, mit einer Kamera, wobei sich die Lichtintensität winkelabhängig verändert, bei einer Bildaufnahme steigend und bei einer Bildaufnahme fallend (im folgenden gegenläufig genannt). Über das Intensitätsverhältnis eines Pixels aus den Aufnahmen kann eine eindeutige Zuordnung zum zugehörigen Projektionswinkel getroffen werden. Nachteilig ist die mechanische Bewegung und die erforderliche Präzision bei der Projektion; US 6600168 (2003).

Eine statische Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern, mit einer Kamera, wird in US 6897946 (2005) beschrieben, erzeugt durch zwei nah benachbarte, geringfügig gegeneinander gedrehte Lampen mit Reflektoren.
Eine weitere Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern wird in US 6618123 (2003) beschrieben, mit einem Feld von LEDs, die so angesteuert werden, dass über das Blickfeld hinweg gegenläufige Beleuchtungsmuster entstehen (s. z.B. 4). Die Anordnung arbeitet mit einer einzelnen Kamera und benötigt homogene Lichtkeulen und eine aufwendige Kalibrierung mit einer ebenen Platte (s. z.B. Spalte 8).
Ein allgemeiner Nachteil von Verfahren mit über das Blickfeld kontinierlich, gegenläufigen Beleuchtungsmustern besteht darin, dass sich bei ebener Vorlage die Helligkeitswerte benachbarter Pixel nur wenig unterscheiden und die genaue lokale Zuordnung dadurch schwierig wird.
Um dennoch eine gute Zuordnung (und damit gute Abstandsmessung) zu erreichen, müssen genaue und hochauflösende Wandler eingesetzt werden. Um die Beleuchtungsdynamik mit niedrigen Helligkeitswerten gut auszunutzen und auch dunkle Oberflächenpartien gut auswerten zu können, muß bei der Verhältnisrechnung durch kleine Zahlen dividiert werden; es müssen also auch. bei kleinen Zahlen genügendsignifikante Bits zur Verfügung stehen. Bei der Verwendung von zwei Kameras müssen diese genau aufeinander abgestimmt sein.

Ziel der Erfindung ist die Bereitstellung eines Verfahrens und einer Vorrichtung, die die o.g. Nachteile vermeiden.

Die Aufgabe wird gelöst nach den unabhängigen Ansprüchen.

Unter Helligkeitsverhältnis ist das mathematische Verhältnis zweier Helligkeiten h1 und h2, also h1/h2 oder h2/h1 gemeint, oder eine sonstige Verhältnisbildung in diesem Sinne, z.B. (h1 – g)/(h2 – g), wobei g eine zuvor gemessene Grundhelligkeit bei Umgebungslicht ist.

Zufalls- oder Pseudozufallsmuster werden im folgenden kurz Zufallsmuster genannt. Unter Pseudo-Zufallsmuster werden hier auch determinierte Muster subsumiert, die innerhalb eines gewissen lokalen Bereichs keine Wiederholungen aufweisen, über eine Mindestlänge gesehen. Die Mindestlänge muß dabei mindestens so groß sein, wie es unter Berücksichtigung der Abbildungsverhältnisse der maximalen Disparität korrespondierender Pixel entspricht.

Zum Erläuterung ein numerisches Beispiel:

Die Zahlenfolge mit Werten 0, 1, 2, 3 (generiert mit einem digitalen Pseudo-Zufallsgenerator) wiederholt sich ab der Mindestlänge von 18 Werten (Zeichen "^"), darin kommen jedoch keine Wiederholungen von lokalen Bereichen der Länge 3 (oder mehr) vor.

Besonders bevorzugt geschieht die Beleuchtung bei den beiden Aufnahmen aus jeweils dem gleichen Raumwinkel, oder zumindest näherungsweise. Dadurch wird sichergestellt, daß das Verhältnis von zwei gemessenen Helligkeitswerten nur durch die Projektion des Musters bestimmt ist und unabhängig von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung des Objekts und besonders wichtig, unabhängig vom Betrachtungswinkel, und damit für beide Kameras gleich ist.

Beispielsweise ist aus der 2D-Meßtechnik mit Bildverarbeitung bekannt, daß Werkstückkanten aus beleuchtungstechnischen Gründen je nach Ausprägung (Verrundung, Fase...) unterschiedliche Meßergebnisse liefern können. Durch die Unabhängigkeit von der Oberflächenneigung werden hier solche Probleme beseitigt.

Bevorzugt wird nicht nur mit einem, sondern mindestens mit zwei Zufalls- oder Pseudo-Zufallsmustern gearbeitet; solche Lösungen sind je nach technischem Ansatz (s.u.) leichter zu realisieren und liefern außerdem signifikantere Meßergebnisse (stärkere örtliche Strukturierung nach Verhältnisbildung).

Die mathematische Herstellung der Korrespondenz kann geschehen wie in der oben erwähnten Schrift US 6082672 gezeigt, im Unterschied dazu jedoch nicht auf Basis eines Vergleichs von Farben eines über das Blickfeld gehenden Farbverlaufs, sondern aufgrund des Vergleich der Helligkeitsverhältnisse (Quotient) von Pixeln der zwei Aufnahmen mit verschiedenen Zufallsmustern.

Bei der Korrespondenzfindung entfällt das oben geschilderte Problem der genauen Abstimmung der Kameras aufeinander, wenn man nicht nur die Verhältnisse der Helligkeitswerte vergleicht, sondern lokale Verläufe der Verhältnisse der Helligkeitswerte, was man beispielsweise durch stückweise normierte eindimensionale Korrelation. entlang der epipolaren Linien realisieren kann.

Sobald die Korrespondenz hergestellt ist, kann das Abstandsbild nach bekannten Methoden berechnet werden (siehe z.B. [3] oder die oben erwähnte Schrift US 6082672 ).

Bei nicht-binären Zufallsmustern ist, abgesehen von unwahrscheinlichen Sonderfällen, eine eindeutige Korrespondenzbestimmung pixelweise und über Interpolation sogar Subpixelweise möglich.

Die Lösung vermeidet die oben zitierten Probleme mit Farbauswertung, außerdem den oben geschilderten allgemeinen Nachteil von Verfahren mit über das Blickfeld kontinuierlichen, gegenläufigen Beleuchtungsmustern: die Zufallsmuster dürfen lokal hohen Kontrast besitzen. Der Lösung liegt die Erkenntnis zugrunde, daß ein lokal kontinuierlicher Verlauf, wie bisher vorgeschlagen, nicht erforderlich ist. es genügt, wenn bei korrespondierenden Punkten lokal der VERLAUF DES O.G. VERHÄLTNISSES der Helligkeitswerte gleich oder sogar nur gleichartig ist. Es dürfen nur nicht lokal periodisch sich wiederholende Verläufe von Verhältnissen auftreten, um Mehrdeutigkeiten zu vermeiden. Bei Pseudo-Zufallsmustern ist dies über die Mindestlänge aus geschlossen, bei Zufallsmustern aufgrund der Zufallsnatur unwahrscheinlich. Dennoch gelegentlich auftretende Fälle können durch Wiederholung mit mindestens einem weiteren Zufallsmuster so gut wie ausgeschlossen werden.

Die oben geschilderten Probleme bei texturierten Beleuchtungmustern mit texturelementeweiser Korrespondenzbestimmung werden durch das pixelweise Arbeiten und über die Verhältnisrechnung vermieden; eine Bildanalyse zur Bestimmung der Position der Texturelemente entfällt.

Andererseits wird gerade aufgrund der texturartigen Zufallsmuster, mit pixelweiser Verhältnisrechnung, das o.g. Problem gegenläufiger Beleuchtungsmuster über das Blickfeld vermieden, dass sich bei ebener Vorlage die Helligkeitswerte benachbarter Pixel nur wenig unterscheiden: aufgrund der Zufallsnatur kann dieser Fall nur für einzelne oder sehr wenigedirekt benachbarte Pixel auftreten.

Das Verfahren kann vorteilhaft mehrfach mit verschiedenen Beleuchtungseinheiten, jede bestehend aus einer oder mehreren Projektionseinheiten, realisiert werden, mit Fusion der Ergebnisse, Lokal der global realisiert aufgrund von Sicherheitsmaßen (z.B. aufgrund Kontrast, Ausblenden von Ergebnissen aus Helligkeitsübersteuerten Regionen) oder aufgrund Mittelung oder aufgrund Mehrheitsentscheidungen. Ein besonders praxis relevanter Vorteil ist dabei das automatische Unterdrücken lokaler Übersteuerung bei lokalem Glanz (Glanzwinkelbedingung nur für eine der Beleuchtungseinheiten erfüllt).

Pixelweise im Sinne der Ansprüche heißt für jeweils eine Kamera, dass die Helligkeiten von Pixeln gleicher Bildkoordinaten zueinander ins Verhältnis gesetzt werden (oder zumindest näherungsweise gleicher; lokale Mittelungen können sinnvoll sein, z.B. für Subpixelalgorithmen, ein systematischer kleiner Offset kann sich als notwendig erweisen). Für dynamische Szenen, z.B. bei bewegten Werkstücken, sind entsprechend dem Verschiebungsvektorfeld (im Bildbereich) versetzte Pixel ins Verhältnis zu setzen. In einfachen Fällen (bekannte werkstückverschiebung, z.B. auf Förderband, langbrennweitige Betrachtung, geringe Höhenunterschiede) ist das Verschiebungsvektorfeld priori bekannt. Mit kleiner werdender Brennweite und mit steigenden Höhenunterschieden ist jedoch das Verschiebungsvektorfeld zunehmend vom Endergebnis, der Höhe der Objektpunkte, abhängig. Die Lösung des Teufelskreises sollte mit iterativen Methoden möglich sein (Schätzung des Verschiebungsvektorfeldes mit zunehmender Genauigkeit, Optimierung mit einem Gütemaß aus zu minimierender mittlerer Tiefenvariation und zu maximierender Ähnlichkeit aus korrespondierenden Verhältniswerten) – eine mathematische Herausforderung, aber nach Einschätzung des Anmelders kein grundsätzlich unlösbares Problem.

Technische Realisierung von Zufallsmustern:

Eine erste technische Realisierung (Ohne Figur) ist die Verwendung eines Beamers (Mikrospiegel-Array) zur programmierbaren Projektion von Pseudozufallsmustern.

Im folgenden werden anhand 1 bis 11 mehrere erfindungsgemäße Lösungen beschrieben, wobei solche ohne mechanische Bewegung vorgezogen werden.
Die Anordnungen werden vorzugsweise so getroffen, dass die Zufallsmuster im Bild grob entlang den epipolaren Linien verlaufen; quer dazu ist es eher günstig, wenn nur geringe Helligkeitsvariationen vorliegen (wichtig bei ungenauer Kamerakalibrierung).
2 zeigt eine Szene mit einer Unterlage 1a, auf der ein Werkstück 1b liegt. Unterlage 1a und Werkstück 1b werden kurz als Objekt 1 bezeichnet. Es ist die Höhe der Oberflächenpunkte von Unterlage und Werkstück, kurz der Objektpunkte, zu bestimmen. Die Szene kann natürlich auch nur aus einem Ausschnitt eines Werkstückes bestehen. Die Szene wird über zwei Stereo-Kameras 2 betrachtet und eine näherungsweise punktlichtförmige Lichtquelle 3 beleuchtet. Im Beleuchtungs-Strahlengang befindet sich eine Maske 4, lokal unterschiedlich transparent in Form eines Pseudo-Zufallsmusters. Das Muster besteht vorzugsweise aus Streifen die in den Bildern grob gesehen quer zu den epipolaren Linien verlaufen. Die Maske ist durch elektrische Ansteuerung veränderbar, z.B. wie von Flüssigkristallanzeigen bekannt; auf diese Weise sind mit bekannter Display-Technik unterschiedliche Muster realisierbar. Es ist damit auch möglich, ineinander verwobene unterschiedliche Farbmuster zu realisieren. Die Lichtquelle sollte möglichst punkt-lichtförmig sein, um eine allzu starke Überlagerung von Strahlen unterschiedlicher Intensität zu vermeiden. Aus 3 links ist ersichtlich, wie sich sonst an einem Punkt helle und dunkle Stellen bei der Projektion überlagern können. Eine gewisse Verschmierung (Unschärfe) des abgebildeten Musters macht jedoch prinzipiell nichts aus. Eine Verbesserung zeigt 3 rechts, durch klassiche Abbildung mit einem Kondensor 6 und ein Objektiv 7. Auch hier ist allerdings auf eine möglichst kleine Apertur zu achten (Schärfentiefe). Die Projektionseinheit 5 besteht hier aus Beleuchtung und steuerbarer Maske, ggf. mit Kondensor und Objektiv.
Es ist natürlich möglich, mit mehreren Projektionseinheiten zeitlich hintereinander zu arbeiten und die Ergebnisse zu fusionieren (lokale Mittelung oder Auswahl aufgrund von Qualitätsmaßen); sollen sie gleichzeitig aktiv sein, so ist, wie in 4 dargestellt, darauf zu achten, dass die projizierten Muster möglichst gut koinzidieren, ansonsten kommt es, wie in 3 links, zur Überlagerung heller und dunkler Musterstellen.
5 zeigt eine Anordnung mit zwei nah benachbarten, näherungsweise punktförmigen Lichtquellen, z.B. LEDs, deren Lichtkegel unterschiedliche Helligkeitsmuster ausstrahlen. Man bemüht sich beider Herstellung von LEDs um möglichst homogene Lichtkegel, aufgrund von Unregelmäßigkeiten der Oberflächen (Linsen-Effekte), Materialeinschlüssen Luftblasen, Geometrieabweichungen etc. ergeben sich jedoch mehr oder weniger zufällige inhomogene Strukturen. Diese Dreckeffekte 10 können dazu herangezogen werden, Zufallsmuster zu Projizieren. Solche Effekte können natürlich teilweise auch absichtlich herbeigeführt werden. Man kann den gleichen Effekt anstelle von Dreckeffekten auch durch Vorsatz einer entprechend strukturierten Maske erreichen. Die beiden LEDs projizieren nun einerseits unterschiedliche Zufallsmuster, projizieren jedoch andererseits aufgrund ihrer Nähe näherungsweise aus dem gleichen Raumwinkel. In der Zeichnung besitzt die vordere LED 8 einen stark strukturierten, die hintere 9 einen homogenen Lichtkegel. Die Projektionseinheit 5 besteht hier aus beiden LEDs und ggf. Maske.
6 zeigt Anordnungen mit mehreren Projektionseinheiten. Wesentlich ist, daß sich die Lichtkegel der Projektionseinheiten, sofern sie gleichzeitig eingeschaltet sind, entweder nicht oder nur gering überlappen, oder daß sie gemäß 4 aufeinander abgestimmt sind. Linienförmige Projektionseinheiten nach 7 unten sollten i.a. quer zu den epipolaren Linien orientiert sein; wie oben erwähnt sollten die Zufallsmuster im Bild grob entlang den epipolaren Linien verlaufen und quer dazu nur geringe Helligkeitsvariationen aufweisen.
7 zeigt das Moiré-Prinzip, zur Einführung der Lösung nach 8. 7 zeigt oben ein regelmäßiges Gitter 11, darunter ein weiteres regelmäßiges Gitter mit geringfügig abweichender Gitterkonstante. Durch Überlagerung der Gitter 11 und 12 entsteht ein Interferenzmuster (Mitte). Eine geringfügige Verschiebung der Gitter gegeneinander verändert die Phase des Referenzmusters grob (unten). 8 zeigt in der oberen Doppelreihe die Überlagerung eines gleichmäßigen Gitters 11 mit einem Gitter 13, das gegenüber Gitter 11 pseudozufällige Abweichungen der lokalen Gitterkonstanten besitzt. Hier entsteht durch Überlagerung ein entprechendes pseudozufälliges Muster. Das technisch Interessante daran ist, daß durch eine sehr kleine Änderung der Relativlage der Gitter eine grobe Veränderung der pseudozufälligen Interferenzmuster entsteht (8, zweite Doppelreihe). Man kann also mit einer sehr kleinen Bewegung eines Gitters, z.B. durch Piezoelemente, grobe Änderungen an pseudozufälligen Mustern erzeugen. Die dritte und die vierte Doppelreihe zeigen das gleiche Prinzip, wobei zwei verschiedene pseudozufällige Muster gleicher oder nahezu gleicher Gitterkonstante überlagert werden, bei denen an zufälligen Stellen Phasensprünge um 180 Grad eingebaut sind (vorzugsweise so, daß keine zwei opake Striche aufeinander folgen dürfen).
Eine geringe Verdrehung der Muster gegeneinander führt zu einem Moiré, quer zum erwünschten Moiré, dieses ist jedoch "langwellig" und deshalb nicht störend.
8a zeigt zur Ergänzung, daß auch bei Überlagerung einfacher, pseudozufälliger Strichmuster, sich durch eine Verschiebung unterschiedliche Zufallsmuster erzeugen lassen. Hier allerdings ist eine größere Verschiebung erforderlich als bei Moiré-Technik; letztere ist daher vom Anmelder bevorzugt.
9 zeigt eine Lösung mit einer beweglichen Maske 14 mit festem Pseudozufallsmuster 15, wobei sich die Maske im Beleuchtungskegel bewegt. Die zwei Bildaufnahmen geschehen zu verschiedenen Zeitpunkten in der Weise, daß sie effektiv mit verschiedenen Beleuchtungsmustern erfolgt. In der Zeichnung wird speziell die Maske gedreht, sie kann natürlich ebensogut linear oder rotatorisch oszillieren. Es ist lediglich bei den Bildaufnahmen darauf zu achten, daß sie für beide Kameras exakt gleichzeitig und mit gleichen Integrationsintervallen stattfinden. Diese Vorausetzung entfällt, wenn die Maske durch. eine mechanische Einrichtung zwei diskrete feste Stellungen einnehmen kann.
1: zeigt eine bevorzugte Lösung ohne Bewegung. Die Zufallsmuster werden hier, wie in 8 erläutert, in Moirétechnik durch Überlagerung von Gittern realisiert, wobei bei mindestens einem die Gitterkonstante in pseudo-zufälliger Weise variiert. Erfindungsgemäß haben die Gitter nun zueinander einen Abstand d, so dass sich bei Beleuchtung aus unterschiedlicher Richtung unterschiedliche Moirémuster ergeben, ohne dass eine mechanische Bewegung erforderlich wäre. Im Beispiel 1 sind die Gitter grob gesehen quer zu den epipolaren Linien angeordnet, so dass auch die Moiré-Zufallsmuster grob gesehen quer zu den epipolaren Linien verlaufen. Im Beispiel ist die Obere Maske 21 gleichförmig, die untere Maske 22 pseudozufällig strukturiert. Beleuchtet wird die Szene über eine Projektionseinheit, die aus zwei näherungsweise punktförmigen oder linienförmigen oder, durch Zusammensetzung von punktförmigen Quellen, linienförmigen Lichtquellen besteht. 1 zeigt zwei Lichtquellen 23, bestehend aus je zwei Reihen 26 von punktförmigen Quellen 27, z.B. LEDs, die zusammen jeweis näherungsweise linienförmige Lichtquellen bilden; sie sind vorteilhaft zumindest näherungsweise wie die Gitter ausgerichtet. Zur Erzeugung von zwei verschiedenen Pseudo-Zufallsmustern werden die Reihen einer Projektionseinheit einzeln eingeschaltet. Dadurch entstehen in der Szene unterschiedliche Muster. Der große Vorteil dieses Ansatzes besteht darin, dass a) keine Bewegung erforderlich ist, dass b) die entstehenden Muster drastisch unterschiedlich sind, dass c) trotzdem die Beleuchtung effektiv aus fast dem gleichen Raumwinkel erfolgt (wichtig, s.o.) und dass d) die Charakteristik der Pseudo-Zufallsmuster an die Anwendung angepaßt werden kann.
Mit mehreren Projektionseinheiten 23, wie in 1 gezeigt, kann zusätzlich, mit den gleichen Gittern, ein (wiederum anderes) Paar von Pseudo-Zufallsmustern erzeugt werden, das jedoch bei Beleuchtung aus einer bewußt anderen Raumrichtung entsteht. Damit kann eine weitere, unabhängige Auswertung mit Fusion der Ergebnisse realisier werden, wie oben für verschiedene Beleuchtungseinheiten geschildert; Vorteile siehe auch dort.
Die beschriebenen erfindungsgemäßen Lösungen mit durchleuchteten Mustern, einschließlich Moiré bildenden Mustern, betreffen natürlich in analoger weise anstelle von Durchlicht auch entprechende Auflichtlösungen mit lokal verschiedenartig reflektierenden Spiegelflächen.
10 zeigt eine Maske, die aus einem transparenten Behälter 16 besteht, in dem sich stochastisch teiltransparente Partikel 17 bewegen, z.B. in einer Flüssigkeit. Solch eine Anordnung könnte z.B. in der Mikroskopie eine Rolle spielen. Auch hier ist darauf zu achten, dass die Bildaufnahmen miteinander synchronisiert sind.
Natürlich können die Lösungen nach 9 und 10 ebenso wie die nach 2 durch die klassische Projektionsanordnung mit Kondensor und Objektiv ergänzt werden (3). Dies gilt auch für die Anordnung nach 1, wobei man die Schärfenebene zwischen die beiden Muster legen wird und über einen geeigneten Strahlengang dafür sorgt, dass bei den beiden Bildaufnahmen die wirksame Lichtquelle (analog zur Pupille einer Aufnahmeanordnung) der Projektionsanordnung an zwei leicht verschiedene Stellen zu liegen kommt (z.B. mit zwei seitlich versetzten Lichtquellen vor dem Kondensor; die Lichtquelle wird üblicherweise in die Abbildungslinse abgebildet).
Eine weitere Lösung mit Bewegung (nicht gezeichnet) besteht darin, Beleuchtungselemente mit zufällig oder poseudozufällig strukturiertem Lichtkegel, wie z.B. 5, Nr. 8, eventuell an geordnet nach 6, zubewegen, z.B. durch Vibration der Befestigung und ggf. zusätzlich durch flexible Aufhängung der Beleuchtungselemente.
11 zeigt eine Scanner-Lösung: ein Lichtschlitz wird auf eine Ablenkeinheit 18 projiziert, in der Figur ein Dreh-Polygon als Beispiel, und von dort auf die Szene. Die Lichtquelle 3 ist hier beispielsweise eine Laser-Lichtquelle mit Zylinderlinse zur Strahlaufweitung (nicht gezeichnet), wie bei Laserscannern üblich. Die Lichtquelle wird in zufälliger oder pseudozufälliger Weise helligkeitsmoduliert. Integrationszeit der Kameras und Ablenkgeschwindigkeit werden so aufeinander abgestimmt, dass innerhalb eines Integrationsintervalls die Szene im interessierenden Bereich überstrichen wird. Es werden je Kamera zwei Bildaufnahmen realisiert. Die Kameras brauchen nicht mit der Ablenkeinheit abgestimmt zu sein. Dies ist ein Vorteil gegen den oben geschilderten Ansatz US 6600168 . Der Zufallsgenerator braucht weder mit den Kameras noch mit der Ablenkeinheit synchronisiert zu sein.
Zur Trennung der beiden Beleuchtungen sind Farbe und Polarisation zwar möglich, werden aber nicht bevorzugt; Farbe wegen der oben zitierten Probleme bei Farbauswertung, Polarisation wegen möglicher betrachtungswinkelabhängiger Polarisationseffekte, insbesondere auf nichtmetallischen Oberflächen (in der Nähe des Brewster Winkels).
Zur Realisierung mit Farbe geschehen die erste und die zweite Beleuchtung mit unterschiedlichen Farben, vorzugsweise gleichzeitig, und die Bildaufnahme mit Farbkameras um die Farbkanäle zu trennen.
Zur Realisierung mit Polarisation geschehen die erste und die zweite Beleuchtung mit unterschiedlicher Polarisation, vorzugsweise gleichzeitig, und bei der Bildaufnahme werden die Kanäle durch Strahlteiler (z.B. Strahlteilerwürfel, halbdurchlässige Spiegel) und nachgeschaltete Polarisationsfilter getrennt.
Vorteile:
Das Verfahren funktioniert auch für farbige Objekte, auch bei starker Farbsättigung (ein Problem bei der Codierung mit Farbmustern, siehe [1]).
Es sind für die Erstellung eines kompletten Abstandsbildes nur 2 Aufnahmen mit Standardkameras erforderlich.
Bei klassichen Stereoverfahren ist die Korrespondenz nur bei Helligkeits-Diskontinuitäten berechenbar, z.B. an Objektkanten. Mit den hier vorgestellten Verfahren gilt diese Einschränkung nicht; für die Korrespondenzfindung entfällt eine komplizierte Bildanalyse zur Bestimmung von Bildelementen (Kanten, Ecken, Blobs etc).
Ein wesentlicher Vorteil des Verfahren ist, dass lokale Diskontinuitäten der Helligkeit, durch Färbung, Aufdruck, Schmutz, Lunker, Markierungen, Bearbeitungsriefen, Ölfilm und dgl. keine Rolle spielen (sie können für die Korrespondenzfindung u.U. sogar hilfreich sein). Dies gilt auch für natürliche Strukturen, wie sie z.B. bei Textilien auftreten.
Das oben geschilderte Problem der Division durch kleine Zahlen (dunkle Oberflächenpartie und kleine Helligkeit) spielt hier insofern eine geringe Rolle, als aufgrund des Zufallsstruktur nur kleine lokale Bereichen davon betroffen sein können, weshalb daraus nur geringe Disparitätsfehler bei der Korrespondenzfindung resultieren.
Ein anwendungstechnischer Vorteil besteht darin, dass die Beleuchtung nicht kalibriert zu sein braucht. Man kann also einerseits eine Einheit mit fest miteinander verbundenen vorkalibrierten Stereokameras verwenden, andererseits eine oder mehrere Beleuchtungseinheiten, bestehend aus einer oder mehreren Projektionseinheiten, die abhängig von der konkreten Aufgabenstellung beliebig im Raum montierbar sind (Zugänglichkeit, Vermeiden von Glanzwinkeln und Schatten) ohne irgendeine Beleuchtungs-Kalibrierung und ohne strikte Forderung an eine scharfe Abbildung der Zufallsmuster; die Beleuchtungseinheiten müssen nur die Objekte grob „treffen".
Natürlich kann eine 2-Kamera-Stereoanordnung auch mit einer einzelnen Kamera in verschiedenen Positionen realisiert werden, z.B. an einem Roboterarm.
Natürlich betrifft das Verfahren genauso Anordnungen mit mehr als zwei Kameras, mit Stereo auswertung jeweils zwischen Kamerapaaren; ggf mit Fusion der Ergebnisse aufgrund von Sicherheitsmaßen (z.B. aufgrund Kontrast, Ausblenden von Ergebnissen aus Helligkeits übersteuerten Regionen) oder Mehrheitsentscheidungen.
Natürlich kann die geschilderte Vorgehensweise auch mehrfach in verschiedener Lage relativ zur Objektoberfläche realisiert werden, z.B. mit dem Objekt oder mit Kameras und ggf. auch Beleuchtung an einem Roboterarm, mit anschließender Fusion der Ergebnisse.
Natürlich können die hier geschilderten Verfahren auch für eine Kombination von Abstandsbildern mit Grauwertbildern oder Farbbildern verwendet werden. Dies ist z.B. bei Körperscannern für Zwecke der Visualisierung üblich.
Nicht-Patent Literatur:

[1] Review of 20 years of range sensor development. Journal of Electronic Imaging, 13 (1): 231–240. Jan. 2004. National Research Council Canada.
[2] Paul J. Besl: Active, Optical Range Imaging Sensors. Machine Vision and Applications. (1988) 1:127–152.
[3] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry: An Invitation to 3D, Springer Verlag 2004.
[4] J. Battle, E. Mouaddib, J. Salvi: Recent Progress in Coded Structured Light as a Technique to Solve the Correspondence Problem. A Survey. Pattern Recognition, Vol. 31, No. 7, p 963–982, 1998.
[5] http://www.3dmd.com/AboutUs/Technology.asp, heruntergeladen am 7. Jan. 2006
[6] D. Viejo, J. M. Sa'z, M.A. Cazorla, F. Escolano: Active Stereo Based Compact Mapping. Proc. of the IEEE/RSJ Intern. Conf. on Intell. Robots and Systems. Canada, August 2005

Claims

Verfahren zur Erstellung eines Abstandsbildes aus der Korrespondenz von Pixeln der Bilder einer ersten Kamera und einer zweiten Kamera in Stereo-Anordnung, gekennzeichnet durch eine erste Beleuchtung der Szene mit einem Zufalls- oder Pseudozufallsmuster mit Aufnahme eines ersten Bildes mit beiden Kameras, eine zweite Beleuchtung der Szene, mit Aufnahme eines zweiten Bildes mit beiden Kameras, für beide Kameras pixelweise Berechnung eines Helligkeitsverhältnisses aus dem ersten und dem zweiten Bild, Herstellung der Korrespondenz von Pixeln aufgrund Vergleich der Helligkeitsverhältnisse von Pixeln verschiedener Kameras.
Verfahren nach Anspruch 1, mit der zweiten Beleuchtung durch ein weiteres Zufalls- oder Pseudozufallsmuster.
Verfahren nach Anspruch 1, wobei der Vergleich der Helligkeitsverhältnisse auf einander zugeordneten epipolaren Linien verschiedener Kameras stattfindet.
Verfahren nach Anspruch 3, wobei die Korrespondenz hergestellt wird durch Vergleich der Werte von stückweiser, eindimensionaler, normierter Korrelation der Helligkeitsverhältnisse entlang der epipolaren Linien.
Verfahren nach einem der vorgenannten Ansprüche, wobei die erste und die zweite Beleuchtung mit unterschiedlichen Farben erfolgt, vorzugsweise gleichzeitig, und Farbkameras eingesetzt werden.
Verfahren nach einem der vorgenannten Ansprüche, wobei die erste und die zweite Beleuchtung mit unterschiedlicher Polarisation erfolgt und wobei bei der Bildaufnahme die Trennung der Kanäle durch Strahlteiler und nachgeschaltete Polarisationsfilter geschieht.
Vorrichtung zur Erstellung eines Abstandsbildes einer Szene, bestehend aus mindestens zwei Kameras in Stereo-Anordnung und einer Bildauswerteeinheit zur Auswertung der Kamerabilder und mindestens einer Projektionseinheit für die Beleuchtung der Szene, wobei mit der Projektionseinheit mindestens zwei verschiedene Helligkeitsmuster projizierbar sind, von denen mindestens eines ein Zufalls- oder Pseudo-Zufallsmuster ist, und wobei mit jeder der Kameras mit Jedem der Helligkeitsmuster ein Bild aufgenommen werden kann und mit der Bildauswerteeinheit für jede der Kameras pixelweise das Verhältnis der für verschiedene Helligkeitsmuster gemessenen Helligkeitswerte berechnet werden kann.
Vorrichtung nach dem vorgenannten Anspruch, dadurch gekennzeichnet, daß mindestens zwei Helligkeitsmuster Zufalls- oder Pseudo-Zufallsmuster sind.
Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei überlagerten Gittern, die zueinander einen Abstand haben, wobei mindestens eines eine pseudozufällige Struktur aufweist und mit einer Beleuchtung mit mindestens zwei Lichtquellen, die durch die Gitter hindurchleuchten oder sie beleuchten können, und dabei unterschiedliche Muster ergeben.
Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei überlagerten Gittern die zueinander einen Abstand haben, wobei bei mindestens einem die Phase und/oder die Frequenz in pseudo zufälliger Weise variiert, und mit einer Beleuchtung mit mindestens zwei Lichtquellen, die durch die Gitter hindurchleuchten oder sie beleuchten können, und dabei unterschiedliche Moirémuster ergeben.
Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine lokal unterschiedlich transparente Maske in Form eines Pseudo-Zufallsmusters, das durch elektrische Ansteuerung veränderbar ist.
Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine oder mehrere Projektionseinheiten, bestehend aus je mindestens 2 nahe beisammen liegenden näherungsweise punkt- oder linienförmige Lichtquellen, deren Lichtkegel unterschiedliche Helligkeitsmuster ausstrahlen.
Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei zueinander bewegbaren, überlagerten Mustern, wobei mindestens eines eine pseudozufällige Struktur aufweist.
Vorrichtung nach einem der Ansprüche 7 bis 8, gekennzeichnet durch eine Projektionseinheit mit zwei zueinander bewegbaren überlagerten Gittermustern, wobei bei mindestens einem die Phase und/oder die Frequenz in pseudozufälliger Weise variiert.
Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit mit einer lokal unterschiedlich transparenten Maske in Form eines Pseudo-Zufallsmusters, die rotatorisch oder translatorisch bewegt werden kann.
Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit mit einer Maske, die aus einem transparenten Behälter besteht, in dem sich stochastisch teiltransparente Partikel bewegen.
Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch eine Projektionseinheit aus mindestens einer näherungsweise punktförmigen oder linienförmigen Lichtquelle, deren Lichtkegel Helligkeitsmuster ausstrahlen mit festen Pseudo-Zufälligkeitsmustern, wobei die Lichtquellen durch Vibration bewegt werden.
Vorrichtung nach einem der Ansprüche 7 bis 8 gekennzeichnet durch einen über die Szene sich bewegenden Lichtschlitz, der in zufälliger oder pseudozufälliger Weise helligkeitsmoduliert ist.