AT500234A1 - Verarbeitung von tiefenbilddaten - Google Patents

Description

• · · · « - 1 -

Verarbeitung von Tiefenbilddaten

Die Erfindung bezieht sich auf die Verarbeitung von Tiefenbilddaten, wobei jeder Bildpunkt die Distanz zur Kameraebene angibt, um Informationen über das abgebildete Objekt zu erhalten. Insbesondere betrifft die Erfindung ein Verfahren, das Informationen von Objektmerkmalen bestimmt, wie sie in Fertigungsprozessen benötigt werden. Solche prozesswesentlichen Merkmale sind z.B. Regionen mit Freiformflächen, Vertiefungen, Löchern oder Kühlrippen. Das Verfahren bestimmt die Art des Merkmals, seine Position und Orientierung und ermöglicht so, dass die Parameter des anschließenden Bearbeitungsverfahrens an die jeweilige Oberfläche angepaßt werden können.

Tiefenbilddaten, im folgenden auch oft einfach Tiefendaten genannt, können gemäß dem Stand der Technik durch verschiedene Sensoren aufgenommen werden. Die Schwierigkeit besteht in der Erkennung der relevanten Information in den so erhaltenen Bilddaten, wobei die Frage, welche Informationen relevante Informationen sind, von der Aufgabe, der Anwendung und dem Fertigungsprozess abhängt. Die Erfindung bezieht sich auf die Erkennung der relevanten geometrischen Merkmale von Teilen und Objekten, die bei Fertigungsprozessen oder bei Serviceaufgaben Vorkommen.

Beispiele, bei denen die Erfindung zum Einsatz kommen kann, sind: Pulver- und Sprühlackieren, Waschen und Reinigen (auch mit Hochdruck), Entfetten, Sandstrahlen, Flammen, Kleben, Polieren, Entgraten und Inspizieren. Prinzipiell kann die Methode auf alle Bearbeitungsprozesse angewendet werden, da sich die Bearbeitung an der Geometrie der Teile orientiert. So ist beispielsweise die Lackierbewegung über eine ebene Fläche der Geometrie genauso anzupassen wie die Lackierbewegung, um in ein Loch hineinzusprühen. Die Ebene kann mit parallelen geraden Bewegungen abgedeckt werden, ein Loch verlangt das Hineinsprühen in diese Vertiefung in mehreren Orientierungen, um alle Seiten des Loches zu lackieren. Dies bedeutet, dass die Erkennung dieser prozesswesentlichen geometrischen Merkmale für die Automatisierung des Prozesses notwendig ist.

Die erfindungsgemäße Erkennung dieser Merkmale in Tiefenbildem verwendet Methoden der Bildverarbeitung. Gängige Erkennungsmethoden für Kanten werden z.B. in in Jiang X. Y., Bunke H.: Fast Segmentation of ränge images into planar regions by scan linc grouping. Machinc Vision and Applications. 7(2):115-122. 1994 und in in Hoover A. et al.: An -2- -2- • · • · · experimental comparison of ränge image Segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996 untersucht, Regionen mit gleichen Eigenschaften werden z.B. in Besl J. P., Jain C. R.: Segmentation through variable-order surface fitting. IEEE Transactions on Pattem Analysis and Machine Intelligence, 10:167-192, 1988.; in Jiang X. Y., Bunke H.: Fast Segmentation of ränge images into planar regions by Scan line grouping. Machine Vision and Applications, 7(2):115-122, 1994: in Jolion J., Meer P., Bataouche S.: Robust clustering with applications in Computer Vision. IEEE Transactions on Pattem Analysis and Machine Intelligence, 13(8):791-802, 1991 und in Hoover A. et al.: An experimental comparison of ränge image Segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996 segmentiert. Der Offenbarungsgehalt der genannten Literaturstellen wird durch Bezugnahme in die vorliegende Anmeldung übernommen.

Die letztgenannte Veröffentlichung präsentiert einen Vergleich der bekanntesten Methoden. Es wird gezeigt, dass Messunsicherheiten und die Vielzahl an möglichen geometrischen Formen sowohl die Erkennung von Kanten als auch die Segmentierung in Regionen nur mit Unsicherheiten zulassen.

Im Stand der Technik ist somit die Erkennung von ebenen, zylindrischen oder kugelförmigen Flächen, die mittels elementarer Merkmalserkennung von Kanten, Regionen und Ebenen höherer Ordnung erreicht wird, möglich. Eine allgemeine Beschreibung der Geometrie wird in sogenannten „Rapid Prototyping“ Methoden oder in der medizinischen Bildverarbeitung verwendet. Diese Methode erzeugt ein Dreiecksnetz basierend auf den Tiefenbilddaten wie in Hoppe H. et al.: Surface Reconstruction from unorganised points, SIGGRAPH '92 Conference Proceedings, 71-78. ACM SIGGRAPH. July 1992 beschrieben ist. Auch die Offenbarung dieser Literaturstelle wird durch Bezugnahme in die vorliegende Anmeldung übernommen. Mit derartigen Dreiecksnelzcn kann jede Geometrie dargestellt werden. Werkzeuge wie VTK (Visualisation Tool Kil) unterstützen die Erzeugung und Handhabung dieser Dreiecksnetze,

Aufgabenorientierte Ansätze zur Bildverarbeitung sind für Vidcobildcr (Grauwert- oder Farbbilder) bekannt aus: Mitzkus N. et al.: Shapc dctcction dcvicc and method for dctecting the shapc of a moving object. EP0922931, 1999; aus Califano Λ.: Gcncralizcd ncighborhood paramelcr transform for image feature extraction. US5073962. 1991; aus Akinori W. et al.: Apparatus for cxtracting pattern fealures. US5870490, 1999; aus

Hiroyuki O et al.: Skin area detection for video image Systems. EP0836326, 1998; aus Pentland A. et al.: Detection, recognition and coding of complex objects using probalistic eigenspace analysis. US5710833,1998; aus Shin-Yi H.: Mehod for identifying objects and features in an image. US5640468, 1997 und aus Fumio K.: Method of extracting features 5 of image. US5479535, 1995. Der Offenbarungsgehalt der genannten Literaturstellen wird durch Bezugnahme in die vorliegende Anmeldung übernommen.

Diese bekannten Methoden unterscheiden sich vom Gegenstand der Erfindung durch die Art der Eingangsdaten und der speziellen Art der Datenverarbeitung, da nur Farbbilder oder Grauwertbilder klassifiziert werden, jedoch keine Tiefenbilder. Für die eingangs 10 genannten Zwecke ist eine Klassifizierung von Farbbildern oder Grauwertbildem aber nicht hilfreich.

Ein Verfahren, das aus: Robertson, C., Fisher, R.B., et.al.: Fitting of constrained feature models to poor 3D data; Proc. Adaptive Computing in Design and Manufacture (ACDM 2000), Plymouth, UK, pp 149-160, April., 2000; bekannt ist, extrahiert parametrische 15 Modelle von Merkmalen aus den mit Unsicherheiten behafteten 3D- oder Tiefenbilddaien, wobei zur Optimierung der Parameter ein evolutionärer Algorithmus verwendet wird. Der Offenbarungsgehalt der genannten Literaturstelle wird durch Bezugnahme in die vorliegende Anmeldung übernommen. Der Ansatz beschränkt sich auf die Erkennung von Kreisen, wie sie durch Bohrungen oder kreisrunde Vertiefungen entstehen und kann auch 20 nicht auf andere Merkmale angewandt bzw. dafür adaptiert werden.

Die Erfindung hat das Ziel, ein Verfahren der eingangs genannten Art anzugeben, das es ermöglicht, vorgegebene Oberflächenmerkmale wie Vertiefungen, Löcher, Rippen, Rippenfelder, etc. von Gegenständen, deren Oberfläche in der Folge bearbeitet wird, zu erkennen. 25 Erfindungsgemäß werden diese Ziele dadurch erreicht dass, aus elementaren geometrischen Merkmalen, wie Kanten, und Regionen, durch vorbestimmte, geeignete Kriterien die Oberflächenmerkmale ausgewählt, erkannt, abgegrenzt und lokalisiert werden, die für einen nachfolgenden Fertigungsprozess bedeutsam sind.

Durch diese Verfahrensschritte erhält man die gewünschten klassifizierten geometrischen 30 Merkmale der dem Verfahren unterworfenen Teile.

* · · f · · a

• ····· ·· , J • · · · · « g ··· · ·· · ... -4-

Die Erfindung wird im Folgenden anhand eines Beispieles näher erläutert. Die einzelnen Schritte werden in der Zeichnung nach Art von Blockdiagrammen dargestellt, Zusammenhänge mit der geometrischen Situation werden dargelegt. Dabei zeigt die Fig.l ein prinzipielles Blockschaltbild des erfindungsgemäßen Verfahrens zum Erkennen von prozessorientierten Merkmalen in Tiefenbildem, die Fig. 2 ein detailliertes Blockschaltbild, die Fig. 3 die geometrischen Grundlagen für die Erkennung einer Vertiefung anhand dreier Pixel, die Fig. 4 ein Blockschaltbild des Ausschnittes: „Extraktion von Vertiefungen“ der Fig. 2, die Fig. 5 ein Blockschaltbild des Ausschnittes: „Suche der Randpunkte in den vier Hauptrichtungen“ der Fig. 4, die Fig. 6 eine geometrische Erläuterung für die Interpolation von Schattenpunkten, die Fig. 7 ein Blockschaltbild des Ausschnittes: „Klassifizierung von 3D Vertiefungspunkten“ der Fig. 4, die Fig. 8 ein Blockschaltbild des Ausschnittes: „Berechnung der Öffnungsdeckfläche der Vertiefungen“ der Fig. 4 und die Fig. 9 ein detailliertes Blockschaltbild für den Ausschnitt: „Extraktion von Rippenregionen“ der Fig. 2.

Als Beispiel eines Einsatzes der Erfindung sei die Automatisierung eines Fertigungsprozesses für kleine Losgrößen angegeben. Bei Prozessen wie z.B., dem Reinigen, Lackieren, Entgraten und Polieren, werden derzeit Programme für den Roboter für jedes einzelne Teil manuell erstellt. Jedes neue Teil muss neu programmiert werden. Dies ist bei hoher Variantenzahl jedoch nicht wirtschaftlich. Der Prozess, z.B. des Lackierens, benötigt spezielle Lackierstrategien abhängig von geometrischen Merkmalen der Teile. Eine ebene Fläche kann mit beliebig orientierten, parallelen geraden Bewegungen lackiert werden, in eine Vertiefung muss ganz speziell hineingesprüht werden. Die Erfindung ermöglicht es nun, diese prozessorientierten geometrischen Merkmale (Ebene, Vertiefung) automatisch zu erfassen und so eine nachfolgende automatische Planung der Bearbeitungsbewegungen für den Roboter, der die Lackierung durchführt, zu ermöglichen.

Da in Teilcfamilicn, darunter versteht man Teile mit ähnlichen Merkmalen aber unterschiedlicher Größe oder Anordnung der Merkmale, beispielsweise große und kleine -5- ··» 9 9

Motoren, nur eine begrenzte Anzahl an Merkmalen vorkommt, kann durch die Erkennung dieser Merkmale das ganze Teilespektrum automatisch bearbeitet werden. Das große Potential liegt in der Umsetzung dieses Ansatzes auf die verschiedenen Fertigungsprozesse und in der dadurch ermöglichten Automatisierung.

Die Erfindung betrifft die Methode zur Erkennung von Objektmerkmalen unter Verwendung von Wissen über den Fertigungsprozess, das für die Verarbeitungsaufgabe relevant ist. Je nach dem durchzuftihrenden Fertigungsprozess sind andere Objektmerkmale relevant. Eine Beschreibung der relevanten Merkmale wird verwendet, um die Erkennungsmethode festzulegen. Der Fortschritt dieser Methode ist die Fokussierung auf die Fertigungsaufgabe, und folglich die Erhöhung der Zuverlässigkeit der Merkmalserkennung. Ein anderer Fortschritt ist die automatische Durchführung der Erkennungsmethode, die notwendig ist um die Methode in der Fertigung oder kommerziell einzusetzen.

Die Erfindung präsentiert ein Verfahren, um prozessorientiertes Wissen für die Merkmalserkennung zu verwenden. Bekannte Methoden werden verwendet um elementare geometrische Merkmale zu bestimmen. Elementare geometrische Merkmale sind derzeit das aus den Tiefenbilddaten erzeugte Dreiecksnetz, die Kantenerkennung und die Segmentierung in Regionen. Die Erfindung zeigt die Methode der Merkmalserkennung anhand zweier Merkmale, die für den Prozess des Lackierens relevant sind: Vertiefungen und Rippen. Es ist in Kenntnis der Erfindung für den Fachmann auf dem Gebiet der Auswertung von Bilddaten einfach, ähnliche Methoden zur Erkennung anderer Merkmale zu spezifizieren, auch wenn ein anderer Fertigungsprozess bedient wird.

Das erfindungsgemäße Verfahren erzielt eine Klassifizierung des gesamten aufgenommenen Objektes, wobei die Oberfläche des Objektes mit nicht überlappenden Regionen beschrieben wird und jede Region einem Merkmal zugewiesen wurde.

Die Fig. 1 zeigt das Verfahren in seiner Gesamtheit:

Ein Tiefenbild besteht aus dreidimensionalen (3D) Punktdaten oder aus der Tiefendistanz zur Kamera jedes Bildpunktes. Das Tiefenbildes kann nach einer der bekannten, oben erwähnten Lichtschnittmethode, Moire-Methode, Linienprojektion, Laufzeitmethode) oder einem ähnlichen Verfahren aufgenommen werden. Eine oder mehrere Aufnahmen von -6- # · -6- # · • · • · ♦ einem Objekt werden mittels einer Kalibrierung oder Registrierung nach einem der oben genannte Verfahren zu einem gesamten Tiefenbild zusammengesetzt.

Sodann erfolgt die Aufarbeitung der Tiefenbilddaten. Diese Funktion dient der Bearbeitung der Tiefenbilddaten für die weitere Verarbeitung. In der Fertigung werden mehrere Teile auf einem Rahmen montiert. Der Rahmen wird im Tiefenbild auch erfasst. Der Rahmen ist als bekannt anzusehen und kann daher aus dem Bild durch Subtraktion eliminiert werden. Kleine Artefakte, beispielsweise Ungenauigkeiten in der Bildaufnahme, Ausreißer, Rauschen, od.dergl., werden durch Filterung eliminiert. Nach der Entfernung des Rahmens bleiben im Tiefenbild nur die Teile übrig, die jetzt als einzelne Objekte abgegrenzt werden. Das Ergebnis ist eine Tabelle mit den 3D Punkten für jedes einzelne Teil. Alle weiteren Funktionen werden für jedes einzelne Teil durchgefuhrt.

Sodann erfolgt die Bestimmung elementarer geometrischer Merkmale zur Vorbereitung der nachfolgenden Erkennung der prozessorientierten Merkmale. Diese Funktion ist eine Sammlung bekannter Methoden, beispielsweise der oben angegebenen, zum Bestimmen von elementaren geometrischen Merkmalen. Elementare geometrische Merkmale sind derzeit das aus den Tiefenbilddaten erzeugte Dreiecksnetz, die Kantenerkennung und die Segmentierung in Regionen. Andere Methoden um elementare Merkmale zu bestimmen können analog verwendet werden. Das Ergebnis dieses Verfahrensschrittes ist eine Tabelle mit den bestimmten elementaren geometrischen Merkmalen. Nachdem so die elementaren geometrischen Merkmale erfasst sind, erfolgt die Erkennung prozessorientierter Merkmale.

Dieser Block fasst die Funktionen zusammen, die in Fig. 2 im Detail angegeben werden. Die elementaren geometrischen Merkmale werden, wie weiter unten erläutert, so kombiniert, dass die prozessorientierten Merkmale erkannt werden. Das Ergebnis ist eine Liste der klassifizierten Regionen, wobei die Regionen alle im Bild erfassten Bereiche des Objektes abdecken.

Auf diese Weise erhält man die zugewiesenen Tiefendaten, da nunmehr jeder klassifizierten Region die 3D-Punkte zugewiesen sind, die im Tiefenbild dem Bereich dieser Region entsprechen.

Die Fig. 2 gibt ein detailliertes Blockschaltbild der Fig. 1. Die einzelnen Blöcke werden im folgenden genauer beschrieben: -7-

Registrierung:

Im Block Registrierung werden ein oder mehrere Tiefenbilder des gleichen Objektes (und des Rahmens, auf dem die Objekte montiert sind) auf ein Referenzkoordinatensystem bezogen. Gibt es ein Tiefenbild, ist dieser Prozess trivial. Bei Tiefenbildem aus mehreren Ansichten wird eine Kalibrierung durchgeführt, indem ein Kalibrierungsobjekt in allen Tiefenbildem aufscheint. Die zweite Möglichkeit besteht durch den Prozess der Registrierung, wie er beispielsweise in: Besl J.P., McKay N.D.: A method for registration of 3-D shapes, IEEE Transactions on Pattem Analysis and Machine Intelligence, 14(2), 239-256, 1992, beschrieben ist, eine Registrierung zu erhalten, sodass die

Koordinatensysteme der einzelnen Tiefenbilder in das Referenzsystem transformiert werden können. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Das Ergebnis ist eine Liste der 3D Punkte für alle Ansichten.

Entfernen des Teileträgers aus den Daten:

Die Teile, von denen Tiefenbilder aufgenommen werden, können einzeln transportiert werden. Oft hängen diese Teile auch in einem Teileträger, der jedoch nicht dem Fertigungsprozess unterzogen werden soll. Es wird ein Bild des leeren Teileträgers aufgenommen und als Tiefenbild des Teileträgers gespeichert. Um im Tiefenbild den Teileträger zu eliminieren, wird ein Differenzbild zwischen Tiefenbild und Tiefenbild des Teileträgers gebildet. Das Differenzbild ist ein binäres Bild, in dem Werte ungleich Null (0) eine Region anzeigen wo ein Teil aufgenommen wurde, das heißt, eine Region wo substantielle Differenz zwischen den Tiefenwerten des Teileträgers und dem Tiefenbild zeigen. Bereiche mit dem Wert null zeigen den Bereich des Teileträgers an.

Aufgrund von Messunsicherheiten der Tiefenbilder gibt es falsche Punkte im Differenzbild. Durch die Anwendung einer der im Stand der Technik verfügbaren Erosionsfunktionen auf das Differenzbild (z.Bsp. Gonzales R.C., Woods, R.E.: Digital Image Processing, Addison Wcsley, 1993; der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen), werden diese falschen Datenpunkte beseitigt. Anschließend werden mittels einer Dilationsfunktion die ursprünglichen Ausmaße der Teile wieder hcrgestellt. Für alle Punkte ungleich null im Diffcrcnzbild werden die korrespondierenden Punkte des Ticfenbildcs ausgcwählt und in einer neuen Liste der 3D Punkte für alle Ansichten ohne den Tcilcträger eingetragen. -8- ♦ · * ·

Teilevereinzelung:

Wenn mehr als ein Teil im Tiefenbild aufgenommen wurde, so werden die 3D Punktdaten der Teile jetzt in eine Tabelle pro Teil aufgeteilt. Dazu wird eine Methode zum Segmentieren in Regionen auf das Tiefenbild (die Liste der 3D Punkte für alle Ansichten ohne den Teileträger) angewendet, z.B. eine der in Jain, A.K., Murty, M.N., Flynn, P.J.: Data Clsutering: A Review, ACM Computing Surveys 31(3), 1999, angeführten Methoden. Der Offenbarungsgehalt dieser Druckschriften wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Das Ergebnis dieser Methode ist eine Karte der Regionen. Die Regionen werden nun gruppiert, in dem alle Regionen, die nahe zu ihren Nachbarn liegen, in einer Gruppe zusammengefasst werden. Eine Gruppe entspricht einem Teil. Für jedes Teil werden die korrespondierenden Tiefendaten aus dem Tiefenbild ausgeschnitten. Das Ergebnis ist eine Liste mit den 3D Punkten jedes Teils.

Die nachfolgend beschriebenen Blöcke der Fig. 2 werden auf jedes Teil, wie es in der Funktion Teilevereinzelung erhalten wurde, angewendet.

Dreiecksrepräsentation: Für die 3D Punkte eines Teiles wird ein Netz, beispielsweise mittels der Methode der Delaunay Triangulation, Edelsbrunner H., Mücke E. P: Three-dirnensional alpha shapes; λ., p \r~ι η λί τι i mnzt rv^ivj i itiiiacu/iiuu Ull v ui. υ, ι, i 7 y*t, guiti'i iui 1. ο/υυιυαιαιι^υιιαιι dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Um die Datenmenge zu verkleinern wird, bevorzugt nach der Methode in der gleichen Veröffentlichung, eine Dezimierung der Anzahl der Dreiecke durchgeführt. Das gesamte Verfahren arbeitet mit und ohne Dezimierung oder anderen Verfahren zur Änderung der Auflösung.

Kantenerkennung:

Diese Funktion erkennt Sprung- und Gradientenkanten. Sprungkanten werden erkannt, wenn die Differenz der Tiefenwerte benachbarter Punkte (auch Pixel genannt) größer als ein minimaler Wert ist. Gradientenkanten sind Kanten, bei denen die Differenz der Normalvektoren von benachbarten Punkten des Tiefenbildes maximal oder minimal ist. Der Normalvcktor für einen Punkt ist der Normalvektor der Ausgleichsebcne berechnet über eine gewisse Anzahl, z.B. neun mal neun, an Nachbarpunkten (auch Pixelnachbarschaft genannt). Das Ergebnis sind die 3D Kantenpunkte. *··· -9-

Extraktion von Rippenregionen:

Diese Funktion implementiert ein Beispiel einer Methode für die Erkennung prozessorientierter Merkmale. Das bestimmte Merkmal ist eine Rippenregion, wie sie häufig bei industriellen Teilen Vorkommen. Die Beschreibung die ausführlich weiter unten anhand der Fig. 4 gegeben wird, spezifiziert die Kennzeichen dieser Funktion.

Eine Rippenregion ist gekennzeichnet durch eine Gruppe paralleler Linien in einem Tiefenbild. Das Ergebnis dieser Funktion ist eine Tabelle der 3D Konturpunkte, die den Umfang der Rippenregion angibt.

Extraktion von Vertiefungen:

Eine Vertiefung verlangt für den Prozess des Lackierens eine spezielle Lackierstrategie.

Die Definition einer Vertiefung geht aus Fig. 3 hervor. Der Querschnitt durch die Vertiefung geht von Pixel i über Pixel j zu Pixel k. Von einer Vertiefung spricht man, wenn die Strecke dl + d2 um mehr als ein gewisser Prozentsatz (z.B. 15%) länger ist als die Stecke d. Mit dieser Funktion werden Vertiefungen erkannt. Anhand der Fig. 4 wird weiter unten im Detail beschrieben, wie die Extraktion von Vertiefungen bewerkstelligt wird. Das Ergebnis dieser Funktion sind die 3D Konturpunkte der Vertiefung, d.h., die Konturpunkte, die den Rand der Region definieren.

Zusammenfuhren der Merkmale:

Die Dreiecksrepräsentation beschreibt das komplette Teil. Die Regionen, die als Rippen oder Vertiefung klassifiziert wurden, sind Teile der kompletten Dreiecksrepräsentation. Sie werden von der kompletten Dreiecksrepräsentation abgezogen, sodass eine komplette, nicht überlappende und vollständig klassifizierte Repräsentation des Teils (in Rippen, Vertiefungen und Oberflächen mit normaler Dreiecksrepräsentation) vorliegt. Die Punkte des Tiefenbildes werden der jeweiligen Klassifizierung zugeordnet. Das Ergebnis sind die klassifizierten Regionen.

Im Folgenden wird anhand der Fig. 4 das erfindungsgemäße Erkennen von Vertiefungen beschrieben. Dazu werden folgende Schritte durchgefiihrt:

Suche der Randpunkte in den vier Hauptrichtungen: • · · · · -10- Für jedes Pixel des Tiefenbildes wird in die vier Hauptrichtungen (wie in Fig. 3 angegeben), bezeichnet durch die Hinuneisrichtungen N, S, W und 0, nach Randpunkten gesucht. Die genaue Vorgangsweise wird in Fig. 5 und dem Text weiter unten eingehend erläutert.

Klassifizierung von 3D Vertiefungspunkten: Für jeden Punkt des Tiefenbildes wird bestimmt, ob dieser Punkt einer Vertiefung zuzuordnen ist oder nicht. Die Vorgehensweise ist in Fig. 6 und dem Text unten erläutert.

Anhäufen von Vertiefungspunkten:

Die als Vertiefungspunkte markierten Punkte des Tiefenbildes werden mittels ihrer Nachbarpunkte zu Punkthäufungen gruppiert. Zu dieser Gruppierung (oder Clustering) können bekannte Methoden, wie z.B. VTK oder Jain, A.K., Murty, M.N., Flynn, P.J.: Data Clustering: A Review, ACM Computing Surveys 31(3), 1999, verwendet werden. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Eine Punkthäufung besteht aus einer minimalen Anzahl an Punkten, z.B. 30, die in einer Nachbarschaft von maximalem Radius, z.B. 10 Pixel, sein müssen. Das Ergebnis sind die gefundenen Anhäufungen und die zugeordneten Vertiefungspunkte.

Deiecuiiuiig uer uunungsuecKiiacne uer verueiung: Für jede Anhäufung wird eine konvexe Hülle berechnet und die Deckfläche der Öffnung der Vertiefung bestimmt. Die Vorgehensweise ist in Fig. 8 und dem Text unten erläutert.

Im Folgenden wird anhand der Fig. 5 die Suche der Randpunkte in den vier Hauptrichtungen (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden für jede der vier Hauptrichtungen durchgefuhrt:

Berechnung der Winkel zwischen den 3D Pixeln:

Ausgehend von dem gerade untersuchten Pixel i, werden in eine der Hauptrichtungen Vektoren von Pixel i zum nächsten Pixel, übernächsten Pixel, usw., gebildet. Fig. 6 veranschaulicht die Situation. Von Pixel i werden zu den Pixeln i-kmin bis i-kmax die Richtungsvektoren gebildet, wobei gilt kmin die minimale und kmax die maximale Breite • · · · -11 -einer Vertiefung angibt. Das Ergebnis ist eine Folge von Richtungsvektoren für eine Hauptrichtung.

Berechnung der Winkeldifferenz: Für jeweils zwei aufeinanderfolgende Richtungsvektoren wird der einschließende Winkel berechnet. Das Ergebnis ist eine Folge von Winkeln für diese Hauptrichtung.

Bestimmen des Randpunktes:

Der Randpunkt (Pixel n in Fig. 6) ist gekennzeichnet durch eine Vorzeichenänderung in der Winkelfolge und durch eine Winkeländerung größer als ein minimaler Wert, z.B. 2 Grad. Die minimale Winkeländerung wird gefordert, um ungenaue Messdaten nicht fälschlich als Vertiefung zu klassifizieren. Das Ergebnis ist der Randpunkt.

Auffullen von Schatten durch Interpolation:

Durch die Sensoren, die zur Aufnahme von Tiefenbildem verwendet werden, entstehen Abschattungen, die im Tiefenbild durch Tiefenwerte 0 (Null) eines Pixels erkennbar sind. Bei Vertiefungen sind Schattenpixel natürlich, da die Sensoren über eingeschränkte Blickrichtungen verfügen. Um diese Pixel in die Berechnung der Vertiefung miteinzubezienen, wird durch Interpolation der Schatten ausgeglichen. Fig. ό visuaiisiert diese Interpolation für Schattenpunkte anhand eines Beispiels zwischen den Pixeln i und i+m. Das Ergebnis dieser Funktion ist eine Liste der Vertiefungspunkte des Tiefenbildes. Ein weiteres Ergebnis sind der Randpunkt und eventuell interpolierte Schattenpunkte.

Im Folgenden wird anhand der Fig. 7 die Klassifizierung von 3D Vertiefungspunkten (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden durchgeführt:

Randpunkte in vier Hauptrichtungen:

Die vier Hauptrichtungen (N, S, 0, W) ergeben zwei Schnitte durch die Vertiefung: N-S und O-W. Fig. 6 zeigt einen derartigen Schnitt. Für diese beiden Schnittrichtungen wird aus dem untersuchten Pixel und den gefundenen Randpunkten der gegenüberliegenden Hauptrichtungen ein Dreieck wie in Fig. 3 gebildet.

Berechnung der Triangulationswertc: • · • · ···· • · -12-

Der Triangulationswert ist das Verhältnis (dl+d2)/d mit d, dl und d2 definiert wie in Fig. 3.

Berechnung der Größe der Öffnung:

Die Größe der Öffnung ist die Länge der Strecke d in Fig. 3.

Bestimmung, ob ein Vertiefungspixel vorliegt:

Das Pixel i wird als Vertiefungspixel klassifiziert, wenn in eine der beiden Hauptrichtungen der Triangulationswert größer als ein Schwellwert ist, z.B. 1.15, und wenn die Größe der Öffnung größer als ein Schwellwert ist, z.B. 2 cm.

Im folgenden wird anhand der Fig. 8 die Berechnung der Öffhungsdeckfläche der Vertiefung (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden durchgefuhrt:

Generieren der konvexen Hülle: Für jede Anhäufung an Vertiefungspunkten wird eine konvexe Hülle erzeugt. Dazu können bestehende Methoden wie VTK oder Eddy, W.: A New Convex Hüll Algorithm for Planar Sets, ACM Transactions Mathematical Software 3(4), 398-403 (1977) verwendet werden. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen.

Projektion der Vertiefungspunkte auf die konvexe Hülle:

Die einzelnen Tiefenpunkte der Anhäufungen werden auf die konvexe Hülle projiziert. Die Projektionsrichtung ist die bekannte Blickrichtung des Sensors. Das Ergebnis sind Schnittpunkte der projizierten Tiefenpunkte und der Hülle.

Berechnen des Netzes der Schnittpunkte:

Die Menge der Schnittpunkte gibt die Öffnungsdeck fläche der Vertiefung an. Mittels der bekannten Methoden zur Netzbildung werden die Schnittpunkte und somit die Öffnungsdeckfläche der Vertiefung als Netz repräsentiert. Das gesamte Ergebnis ist das 3D Netz aller gefundenen Vertiefungen.

Im Folgenden wird anhand der Fig. 9 das erfindungsgemäße Erkennen von Rippenregionen beschrieben. Dazu werden folgende Schritte durchgeftihrt: ···· » • · • * • · -13-

Gruppieren von Linien:

Das Gruppieren von Kanten implementiert die sogenannten Gestalt-Regeln (z.B., Lee, M.S., Medioni, G.: Grouping into Regions, Curves, and Junctions, Computer Vision and Image Understanding 76(1), pp. 54-69, 199). Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Es werden zwei Kanten zu einem größeren Element, einer Linie, zusammengefugt wenn die Gestalt-Regeln Kolinearität und Kontinuität erfüllt sind. Kolinearität bedeutet, dass die Winkel der beiden Kanten nicht stark abweichen, z.B. nicht mehr als 5 Grad Unterschied. Kontinuität bedeutet, dass die Enden der beiden Kanten nicht weiter als eine minimale Distanz entfernt sind, z.B. 10% der Länge der beiden Linien. Das Ergebnis dieser Gruppierung sind Linien mit einer minimalen Länge, z.B. 1cm.

Bestimmung von parallelen Liniengruppen:

Aus den Linien werden Gruppen mit parallelen Linien gefiltert. Parallelität ist erfüllt, wenn der Winkel zwischen zwei Linien kleiner als eine Grenze ist, z.B. 5 Grad, und eine Überlappung der beiden Linien besteht, z.B. 50% der Länge der kürzeren Linie. Das Ergebnis sind parallele Liniengruppen.

Bestimmung von Linien einer Rippenregion:

Das prozessorientierte Merkmal der Rippenregion ist gekennzeichnet durch eine Region nebeneinanderliegender paralleler Linien. Mittels der Gestaltregeln Überlappung und Abstand werden aus den Liniengruppen die entsprechenden Rippenlinien ausgewählt. Überlappung bedeutet, daß ein minimaler Anteil der Länge der parallelen Linien nebeneinander liegt, z.B. 50%. Abstand bedeutet, daß die parallelen Linien einen minimalen Abstand haben müssen, z.B. 10% der Linienlänge. Mittels der Gruppierung nach diesen Kriterien bleiben Liniengruppen mit zwei oder mehr parallelen, überlappenden Linien mit geringem Abstand übrig. Unter diesen Gruppen werden Gruppen mit einer minimalen Anzahl an Linien, z.B. 5, ausgewählt und diese bestimmen die Rippenregion.

Bestimmung der Grenze der Rippenregionen:

Der äußere Umfang der Rippenregion ist die Fläche, die alle Linien der Rippenregion einschließt. Die 3D Tiefenpunkte, die zu dieser Region gehören, werden entsprechend als Rippenregion klassifiziert. Diese Rippenregion wird wieder als Netz repräsentiert. -14- • » *

Die Erfindung ist nicht auf das beschriebene und dargestellte Beispiel beschränkt. So ist es möglich, andere für den folgenden Bearbeitungsprozeß wesentliche Oberflächenmerkmale zu suchen und ihre Lage und Abmessung zu bestimmen. Es kann sich dabei um Gebiete mit besonderer Rauhigkeit, mit Bearbeitungsspuren wie Riefen, etc. handeln oder anderes 5 mehr.

In Kenntnis der Erfindung ist es dem Fachmann ohne große Probleme möglich, das erfindungsgemäße Verfahren für das Anwendungsgebiet zu adaptieren, auf dem er arbeitet. 10

Claims (6)

1. • · · · · • · ··· • · • · # ♦ ♦ ··· Patentansprüche: 1. Verfahren zur Bearbeitung von Tiefenbildem von zumindest einem zu bearbeitenden Gegenstand, dadurch gekennzeichnet, dass aus den Tiefenbildem der zu bearbeitende Gegenstand erkannt, seine Geometrie ermittelt wird und dass im Anschluss daran für den folgenden Bearbeitungsprozess relevante Merkmale der Oberfläche des Gegenstandes erkannt, lokalisiert und charakterisiert werden.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus den Rohdaten eines Tiefenbildes von zumindest einem Gegenstand durch punktweises bzw. bereichsweises Bestimmen der Differenzen der Tiefenlage des betrachteten Punktes bzw. Bereiches zu denen seiner Nachbarpunkte bzw. Nachbarbereiche und Vergleichen dieser Differenzen mit vorgegebenen Kriterien und Schranken, das Vorhandensein geometrischer Merkmale festgestellt wird, die für den vorzunehmenden Bearbeitungsprozess relevant sind, und dass gegebenenfalls neben den Differenzen der Tiefenwerte der einzelnen Punkte oder Bereiche auch die Normalvektoren benachbarter Punkte bzw. Bereiche und/oder die Änderung der Normalvektoren zwischen benachbarten Punkten bzw. Bereichen zur Feststellung herangezogen wird.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus Rohdaten von Tiefenbildem zumindest eines an einem Träger hängenden, zu bearbeitenden Gegenstandes durch einen Vergleich mit dem Bild des leeren Trägers, der Träger aus den Daten entfernt wird, sodass nur noch der zumindest eine Gegenstand in den Tiefenbilddaten zurückbleibt.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass durch Auswertung der gegebenenfalls geglätteten und von Fehlem (Rauschen etc.) befreiten Daten die Anzahl der zu behandelnden Gegenstände am Träger bestimmt wird und die relevanten Merkmale berechnet werden.
5. 5. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass in der Folge für jeden einzelnen Gegenstand ein Netz seiner Oberfläche, bevorzugt ein Dreiecksnetz geschaffen wird, dass bevorzugt die Anzahl der Netzpunkte in ebenen oder für die geplante Bearbeitung als eben zu betrachtenden Bereichen reduziert wird und dass dieses Netz für die Berechnungen verwendet wird.
6. 6. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die für die nachfolgende Bearbeitung des zumindest einen Gegenstandes wesentlichen geometrischen Merkmale seiner Oberfläche Vertiefungen und/oder Rippen und/oder Gruppen von Vertiefungen und/oder Gruppen von Rippen sind.