DE102004038761A1 - Kamera-basierte Objektprüfung mittels Shape-from-Shading - Google Patents

Kamera-basierte Objektprüfung mittels Shape-from-Shading Download PDF

Info

Publication number
DE102004038761A1
DE102004038761A1 DE102004038761A DE102004038761A DE102004038761A1 DE 102004038761 A1 DE102004038761 A1 DE 102004038761A1 DE 102004038761 A DE102004038761 A DE 102004038761A DE 102004038761 A DE102004038761 A DE 102004038761A DE 102004038761 A1 DE102004038761 A1 DE 102004038761A1
Authority
DE
Germany
Prior art keywords
light source
tested
camera
image
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004038761A
Other languages
English (en)
Other versions
DE102004038761B4 (de
Inventor
Claus Dipl.-Math. Aufmuth
Claus Dipl.-Ing. Lörcher
Christian Dr.rer.nat. Wöhler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE102004038761A priority Critical patent/DE102004038761B4/de
Publication of DE102004038761A1 publication Critical patent/DE102004038761A1/de
Application granted granted Critical
Publication of DE102004038761B4 publication Critical patent/DE102004038761B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Bei der Kamera-basierten Prüfung eines Objektes, wird dieses durch wenigstens eine Lichtquelle beleuchtet. Hierbei wird mit einer Kamera ein durch eine Lichtquelle beleuchtetes Objekts erfasst und die Bilddaten einer Bildverarbeitung unterzogen. Bei der Verarbeitung wird die Methode des Shape-from-Shading angewandt, bei welcher die Rekonstruktion der Objektoberfläche durch die Minimierung einer Kostenfunktion erfolgt. Um unerwünschte Reflektionen an Kanten und Flächen des Objektes zu vermeiden, wird nicht das gesamte Objekt durch die Lichtquelle beleuchtet, sondern nur Teile davon. Die zu verarbeitenden Bildbereiche werden in ihrer Größe so gewählt, dass die Kostenfunktion des Shape-from-Shading innerhalb dieser Bildbereiche möglichst optimal an die Sollgeometrie angepasst werden könnte, falls das Objekt in diesem Bereich der Sollgeometrie entspräche. Alternativ können aber auch innerhalb der Bildbereiche Stützstellenwerte so definiert vorgegeben werden, dass die Kostenfunktion des Shape-from-Shading bei der Führung durch diese Stützstellen derart in diskrete Abschnitte unterteilt wird, dass diese möglichst optimal an die Sollgeometrie angepasst werden könnte, falls das Objekt in diesen Bereichen der Sollgeometrie entspricht.

Description

  • Die Erfindung betrifft ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung zur kamerabasierten Objektprüfung nach den Oberbegriffen der Patentansprüche 1, 3 und 16. Die Erfindung betrifft des Weiteren ein Verfahren zur Ermittlung der Reflektanzfunktion der Oberfläche eines Objekts nach dem Oberbegriff des Patentanspruchs 14.
  • Es sind verschiedene berührungslose Abtastverfahren bekannt, welche beispielsweise die Reflexion von Ultraschall ausnutzen (Prinzip des Echolots) oder aber auf optischen (z.B. Laser-Scanner) bzw. radartechnischen Verfahren beruhen. Je nach Einsatzgebiet ist dabei das eine oder andere Verfahren vorteilhafter. Ultraschallverfahren sind nicht in allen Umgebungen und für sehr große Distanzen zwischen Objekt und Sensor geeignet. Für sehr große Objekte (z.B. Erdoberfläche) liefert z.B. die Radar-Altimetrie exakte Höhenangaben, bedingt aber einen technisch aufwendigen Sensor und erfordert genaue Sensorpositionsbestimmungen.
  • Optische Verfahren, insbesondere Laser-basierte, erfordern im Allgemeinen einen relativ hohen Kalibrieraufwand. Ein spezielles kamera-basiertes optisches Verfahren ist die Stereometrie, bei dem die zu untersuchende Oberfläche aus leicht unterschiedlichem Blickwinkel aufgenommen wird und aus der Auswertung der leichten stereoskopischen Abweichungen die Strukturen der Oberfläche errechnet werden.
  • Veränderungen des Neigungsverlaufs oder auch flache Strukturen (niedrige Senken, leichte Anhebungen mit geringer Neigung) lassen sich jedoch durch die Methode des Shape-from-Shading bestimmen (hier insbesondere X. Jiang, H. Bunke, Dreidimensionales Computersehen, Springer Verlag, Berlin 1997). Dabei werden leichte Veränderungen der reflektierten Lichtintensität ausgewertet, um bei bekannter geometrischer Anordnung zwischen Kamera, Objekt und Lichtquelle auf die jeweilige Neigung der reflektierenden Bereiche zu schließen.
  • Die vorliegende Erfindung zur kamera-basierten Objektprüfung basiert auf der Methode des Shape-from-Shading. Ihr liegt die Aufgabe zu Grunde, ein Verfahren und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung zu finden, welche die Qualitätsprüfung von Objekten, insbesondere von Guss- und Schmiedeteilen unter Verwendung möglichst weniger Lichtquellen ermöglicht.
  • Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1, 3 oder 16 gelöst. Des Weiteren wird die Aufgabe durch die Bestimmung geeigneter Parameter gemäß den Merkmalen des Patentanspruchs 14 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
  • Bei der erfindungsgemäßen kamera-basierten Prüfung eines Objektes, wird dieses durch wenigstens eine Lichtquelle beleuchtet. Hierbei wird mittels wenigstens einer Kamera zumindest ein Teil des durch die Lichtquelle beleuchteten Teils des Objekts erfasst und die hieraus resultierenden Bilddaten einer Bildverarbeitung unterzogen. Im Rahmen dieser Bildverarbeitung werden sodann Bildbereiche (regions of interest) ausgewählt und einer Weiterverarbeitung zugeführt. Bei der Weiterverarbeitung wird die Methode des Shape-from-Shading angewandt, bei welcher die Rekonstruktion der Objektoberfläche durch die Minimierung einer Kostenfunktion erfolgt. Diese Kostenfunktion trägt der Abweichungen zwischen dem realen von dem durch die Rekonstruktion ermittelten Intensitätsverlauf über die Oberfläche Rechnung. Gewinnbringend können in die Kostenfunktion auch weitere Parameter der zu rekonstruierenden Oberfläche, wie beispielsweise deren Glattheit oder die Integrabilität der Oberflächengradienten einbezogen werden.
  • In erfinderischer Weise wird, insbesondere um unerwünschte Reflektionen an Kanten und Flächen des Objekts zu vermeiden, nicht das gesamte Objekt durch die wenigstens eine Lichtquelle beleuchtet, sondern nur Teile davon. Besonders vorteilhaft ist es hierbei nur diejenigen Teile des Objekts zu beleuchten, welche sich tatsächlich bezüglich der geometrischen Anordnung von Beleuchtung, Objekt und Kamera für eine Bildverarbeitung nach der Methode des Shape-from-Shading eignen. Zu einer derart gezielten Ausleuchtung des zu prüfenden Objekts eignen sich in erfinderischer Weise vor allem Punktlichtquellen, wie beispielsweise Laser- oder Lumineszenzdioden, gegebenenfalls auch unter Versatz mit geeigneten Optiken.
  • Bei einer Ausgestaltung einer erfindungsgemäßen Lösung der Aufgabe werden die Bildbereiche (regions of interest) in ihrer Größe so gewählt, dass die Differenz zwischen dem Rekonstruktionsergebnis des Shape-from-Shading-Verfahrens dieser Bildbereiche möglicht einfach mit der Sollgeometrie verglichen werden kann. Insbesondere dann, wenn die Sollgeometrie nicht in Form detaillierter Konstruktionsdaten vorliegt, ist es besonders vorteilhaft die Bildbereiche so klein zu wählen, dass davon ausgegangen werden kann, dass die Teilfläche des Objekts innerhalb dieser Bereiche eben ist, so dass bei der Sollgeometrie des Bildbereichs von einer linearen Funktion ausgegangen werden kann.
  • Bei Beleuchtung mit einer einzigen Lichtquelle ist die Lösung des Shape-from-Shading-Problems nicht eindeutig. Dabei wird in vorteilhafter Weise die Albedo der Oberfläche so gewählt, dass der rechte und der linke Rand des ausgewählten Bereichs auf derselben Höhe liegen, beispielsweise durch eine Intervalschachtelung.
  • Bei einer alternativen erfindungsgemäßen Lösung der Aufgabe werden innerhalb der Bildbereiche Stützstellenwerte so definiert vorgegeben, dass das Rekonstruktionsergebnis des Shape-from-Shading-Verfahrens bei der Führung durch diese Stützstellen derart in diskrete Abschnitte unterteilt wird, dass diese möglichst einfach mit der Sollgeometrie verglichen werden können. Auch hier können für den Fall, dass für die Sollgeometrie nicht detaillierte Konstruktionsdaten vorliegen, die Stützstellen so gewählt werden, dass die Sollgeometrie der Teilflächen des Objekts innerhalb der einzelnen Stützstellen als ebene Fläche angenommen werden können.
  • Nachfolgend werden die Erfindung und deren vorteilhafte Ausgestaltungen anhand von Figuren detailliert erläutert. Dabei zeigen:
  • 1 ein Abbild eines schmiedeeisernen Pleuels.
  • 2 einen Ausschnitt aus 1, mit spezifisch selektierten Bildbereichen.
  • 3 einen Ausschnitt aus 1, mit gekennzeichneten Bildbereichen, in welchen sich Objektfehler finden.
  • 4 eine erfindungsgemäße Prüfvorrichtung
  • Die 1 zeigt das Abbild eines Pleuels, welcher beispielsweise in einem Kraftfahrzeugmotor Verwendung findet. Pleuel werden normalerweise geschmiedet, so dass ihre Oberfläche in der Regel metallisch glänzt. Das Reflexionsverhalten der Oberfläche lässt sich in guter Näherung durch Überlagerung eines diffusen Anteils (Lambert-Charakteristik) mit einer oder mehreren direkten (spektralen) Komponenten beschreiben. Auf Grund dieses Glanzes ist eine kamera-basierte Vermessung schwierig zu bewerkstelligen, da unerwünschte direkte Reflexionen auftreten können; dies insbesondere dann, wenn das zu vermessende Objekt, so wie das in 1 gezeigte Pleuel, Kanten und Flächenstücke unterschiedlichster Art und Ausrichtung aufweist.
  • Die unerwünschten direkten Reflexionen lassen sich in einem ersten Ansatz schon dadurch einschränken, dass das zu vermessende Objekt nicht als Ganzes beleuchtet wird, sondern gezielt nur in Teilen, so dass nur die diffuse Reflexion im Bild wirksam ist. In besonders vorteilhafter Weise eigenen sich zu einer Teilausleuchtung Punktlichtquellen, wie beispielsweise Laser- oder Lumineszenzdioden. Hierbei können gewinnbringend auch Leuchtmittel eingesetzt werden, welche Licht im ultravioletten oder infraroten Frequenzspektrum aussenden, so dass mittels entsprechender Lichtfilter das Eindringen von störendem Fremdlicht (beispielsweise Sonneneinstrahlung oder Raumbeleuchtung) in die das Objekt erfassenden Kameras verhindert werden kann.
  • 2 zeigt einen Teilausschnitt aus dem in 1 abgebildeten Pleuel; wobei der Teilausschnitt beispielhaft aus dem oberen linken Bereich der 1 entnommen wurde. Mittels der Bildverarbeitung wurden aus den Bilddaten dieses Teilausschnitts des zu prüfenden Objekts sich teilweise überlappende Bildbereiche (120) ausgewählt. Ausgewählt wurden hierbei diejenigen Bildbereiche, auf welche die Randbedingungen des erfindungsgemäßen Verfahrens, insbesondere die geometrische Anordnung von Beleuchtung, Objektoberfläche und Kamera möglichst optimal eingehalten werden können. Die anderen Bereiche des Pleuels sind sodann durch weitere Bildaufnahmen aus anderen Beleuchtungs-, Objekt- oder Kameralagen zu beurteilen, welche für diese Oberflächenbereiche die geometrischen Randbedingungen des Messverfahrens erfüllen. Die den ausgewählten Bildbereichen (ROIs) entsprechenden Bilddaten werden im weiteren Verfahrensablauf einer Weiterverarbeitung nach der Methode des Shape-from-Shading unterzogen. Bei der Auswahl der Bildbereiche (120) ist es im Rahmen einer erfindungsgemäßen Lösung besonders vorteilhaft, die Oberflächenregion in eine Vielzahl Bereichen zu unterteilen, welche bezogen auf das Prüfobjekt relativ klein sind. Hierbei ist es besonders gewinnbringend wenn die Bereiche in einer Größenordung gewählt werden, welche in etwa der Größe der durch die Prüfung zu erkennenden Objektfehler bzw. Unregelmäßigkeiten ist. Es hat sich hierbei als vorteilhaft erwiesen, bei der Kontrolle von geschmiedeten Pleueln die Bildbereiche in der Größenordnung von etwa 32 × 24 Pixeln oder kleiner zu wählen. Die Wahl kleiner Bildbereichen verhindert insbesondere das Auftreten von kumulativen Fehlern im Höhenprofil. Hierbei ist es des weiteren vorteilhaft, Randstreifen der ausgewählten Bildbereiche (ROI, regions of interest) nicht auszuwerten, da die hierin enthaltene Höheninformation in der Regel nicht zuverlässig ist; als Größe für den zu vernachlässigenden Randbereich hat sich eine Breite von 2 bis 4 Pixeln als vorteilhaft erwiesen. Aus diesem Grunde sollten sich, entsprechend dem in 2 gezeigten Beispiel, die ausgewählten Bildbereiche überlappen. Wie hier beispielhaft dargestellt, ist es je nach Lage und Größe der ROI möglich, dass sich diese nur mit ein oder zwei (17, 18, 19, 20) benachbarten ROI oder aber mit einer Vielzahl benachbarter ROI (3, 4, 5, 10, 11, 12) überlappen.
  • Beispielhaft ist in 3 die Detektion einer Einkerbung, also eines Fehlers im Guss, dargestellt. Hierbei hat das erfindungsgemäße Verfahren in den ROI 7 und 14 eine unzulässige Abweichung von der Sollgeometrie mit der durch die Methode des Shape-from-Shading rekonstruierten Geometrie ermittelt und lokalisiert. Im Anschluss an eine derartige Lokalisierung ist es denkbar das Pleuel direkt als fehlerhaft auszusondern, oder aber eventuell durch eine automatische Vorrichtung an den entsprechenden Stellen zu markieren und einer Prüfperson zur nachtäglichen Kontrolle zuzuleiten.
  • In erfinderischer Weise lässt sich die Bildverarbeitung auf Basis der Methode des Shape-from-Shading dahingehend optimieren, dass die nicht-diffusen Anteile der Reflektanzfunktion R der Metalloberfläche berücksichtigt werden. Hierbei kann die Reflektanzfunktion R im Sinne einer BRDF (bidirectional reflectance distribution function) entsprechend R = f(ϑ, ϑe, α)bestimmt werden, mit R als Funktion aus ϑ als dem Lichteinfallswinkel, ϑe als dem Emissionswinkel (Winkel zwischen der Kamerablickrichtung und der Oberflächennormalen) und dem reellen Phasenwinkel α (Winkel zwischen Kamerablickrichtung und Beleuchtungsrichtung). Die BRDF ist wird detailliert bei spielsweise von Hapke beschrieben (B. Hapke. Bidirectional Reflectance Spectroscopy. 5. The Coherent Backscatter Opposition Effect and Anisotropic Scattering. Icarus, vol. 157, pp. 523–534, 2002)
  • In besonders vorteilhafte Weise kann somit die Reflektanzfunktion R gemäß der Reihenentwicklung
    Figure 00080001
    ermittelt werden, wobei hier x = cos(θ) und ci(α) und mi(α) vom reellen Phasenwinkel α abhängige Konstanten sind, welche durch Messung zu ermitteln sind. Hierbei entspricht der Winkel θ dem Winkel zwischen der Oberflächennormalen und der Beleuchtungsrichtung. Um direkte, spekulare Reflexionen zu vermeiden, sollte der Phasenwinkel α zwischen 60° und 90° gewählt werden. Dieser Ansatz ist in sofern vorteilhaft, als dass der Phasenwinkel α über den betrachteten Bereich (ROI) hinweg konstant ist. Gewinnbringend sollt zudem die Kamera etwa senkrecht auf die Oberfläche blicken. Es hat sich gezeigt, dass auf Grund der Ermittlung der Reflektanzfunktion R von Metalloberflächen in einer Reihenentwicklung mit 2 Summanden gute Ergebnisse unter Anwendung des erfindungsgemäßen Prüfverfahrens erzielen lassen.
  • Um in vorteilhafter Weise die entsprechende Reflektanzfunktion R für zumindest einen Teil eines Objektes zu ermitteln, wird dieses zur Vermessung an einer Stelle, an welcher es eine definierte Oberflächengeometrie, insbesondere eine Ebene, aufweist beleuchtet. Zur Ermittlung der Summanden der Reihenentwicklung erfolgt sodann durch Drehung des Objekts eine Messung der Reflektanz unter unterschiedlichsten Winkeln θ zwischen der Oberflächennormalen und der Beleuchtungseinrich tung für den bzw. die gewünschten Phasenwinkel α. Denkbar ist es aber auch anstelle des zu prüfenden Objekts einen Kalibrationskörper zu verwendet, welcher im Wesentlichen dieselben Oberflächeneigenschaften wie das zu prüfende Objekt selbst aufweist. Dieses Vorgehen bietet sich insbesondere dann an, wenn sich das zu prüfende Objekt wegen dessen Abmessungen oder Gewicht nicht ohne großen technischen Aufwand zur Ermittlung der Reflektanz in seiner Position manipulieren lässt.
  • Das erfindungsgemäße Verfahren lässt sich weiter verbessern, indem parallel zur der erfindungsgemäßen Anwendung der Methode des Shape-from-Shading die die ausgewählten Bildbereiche (ROI) parallel einer Schattenanalyse unterzogen werden. In besonderer Weise kann hierbei die Schattenanalyse anhand eines einzigen aufgenommenen Bildes erfolgen. Die Verwendung der Schattenanalyse für diese Prüfaufgabe folgt der Erkenntnis, dass ab einer vorgegebenen Mindestfläche ein unerwarteter Schatten generell als sicheres Anzeichen für Oberflächenfehler ist. Als Kriterium für das Vorhandensein eines Schattens an der Position (u, v) in der ROI dient hierbei die Bedingung
    Figure 00090001
    wobei Iave die mittlere Pixelintensität in der ROI beschreibt, I(u, v) der Pixelintensität an der Stelle (u, v) entspricht und Θ ein vorgebbarer Schwellwert ist. Besonders gewinnbringend ist es, den Schwellwert Θ im Bereich zwischen 2 und 4 zu wählen.
  • Damit sehr große Schatten, welche größer als die ROI sind, bei dieser ergänzenden Prüfmethode nicht übersehen werden, sollte in dem Fall, dass der Wert Iave sehr klein ist, dieser Wert auf einen vorgebbaren Wert festgesetzt wird. Es hat sich gezeigt, dass die Wahl des vorgebaren Wertes zu etwa 10 Prozent der in dem Bilddatensatz maximal möglichen Pixelintensität gute Resultate ergibt. Auf diese Weise werden auch große Schatten nicht übersehen, sondern eben im Extremfall die gesamte ROI als Schattenobjekt, und somit Fehlstelle, gekennzeichnet.
  • In 4 wird schematisch eine erfinderische Prüfvorrichtung aufgezeigt, welche sich in besonderer Weise zur Durchführung des erfindungsgemäßen Prüfverfahrens eignet. Die Prüfvorrichtung verfügt in dem in 4 aufgezeigten Beispiel über eine Mehrzahl von Lichtquellen (5061) und mehrere Kameras (7073) zur Beleuchtung und Bilderfassung des Prüfstücks 40, welches sich auf einem Objektträger (41), insbesondere einem Messtisch, befindet. Die Lichtquellen (5061) und Kameras (7073) sind dabei dergestalt um das Messobjekt 40 angeordnet, dass sich in Bezug auf alle Oberflächenbereiche des Messobjekts 40, welche geprüft werden sollen ein Phasenwinkel α ergibt, der sich im Bereich zwischen 60° und 90° befindet. Die Lichtquellen und Kameras müssen nicht innerhalb einer Ebene angeordnet sein, sondern können unter Beachtung der geometrischen Rahmenbedingungen des erfindungsgemäßen Prüfverfahrens frei im Raum verteilt werden. So findet sich in dem in 4 dargestellten Beispiel eine der Kameras 73 oberhalb des Messobjektes und schaut von oben auf dieses herunter. Dem Beispiel kann auch entnommen werden, dass die Lichtquellen und die Kameras nicht symmetrisch zu oder um das Messobjekt 40 arrangiert werden müssen. Gewinnbringend werden die Lichtquellen und die Kameras so positioniert oder so mit entsprechenden Optiken versehen, dass möglichst keine Redundanz auftritt, d.h. dass möglichst ein Oberflächenbereich nur auf Basis einer Lichtquellen-Kamera-Kombination ge prüft wird. Auf diese Weise kann der Investitionsaufwand für eine derartige Prüfvorrichtung optimiert werden. Um direkte oder spekulare Reflektionen zu vermeiden bietet es in vorteilhafter Weise an, die Lichtquelle als Punktlichtquellen, insbesondere als Laser oder Diodenbeleuchtung auszuführen. Eine auf einen definierten Oberflächenbereich begrenzte Ausleuchtung hat den weiteren Vorteil, dass insbesondere bei ausgedehnten Objekten eine Prüfung gleichzeitig an mehreren Stellen durch mehrere Lichtquelle-Kamera-Kombinationen erfolgen kann, so dass hierdurch die Prüfgeschwindigkeit erheblich gesteigert werden kann.
  • Insbesondere zur Elimination von Störlicht ist es von besonderem Vorteil wenn die Lichtquellen so gewählt oder ausgebildet werden, dass sie nur Licht im Wesentlichen im ultravioletten oder infraroten Spektrum aussenden. Angepasst an das Frequenzspektrum dieses Lichts können die Kameras zur Störlichtreduktion mit gegebenenfalls sehr schmalbandigen Filtern ausgestattet werden.
  • Alternativ zu einer Vorrichtung unter Verwendung einer Vielzahl von Lichtquellen und Kameras ist es auch denkbar nur wenige oder nur eine Lichtquelle beziehungsweise Kamera zu verwenden. Hierbei muss jedoch dann eine geeignete Aufnahme vorgesehen sein, um entweder das Messobjekt selbst, oder aber die Lichtquelle und/oder die Kamera so zu verschwenken oder zu drehen, dass für alle zu prüfenden Objektoberflächen die notwendigen geometrischen Randbedingungen des erfindungsgemäßen Verfahrens eingehalten werden können.
  • In besonders vorteilhafter Weise ist eine solche Aufnahme an einem Schwenkarm eines Industrieroboters angebracht. Besonders effektiv lässt sich das Prüfverfahren dann durchführen, wenn der Industrieroboter so schwenkbar ist, dass für zumindest einen Großteil der zu prüfenden Oberflächenbereiche des Objekts der Phasenwinkel α im Bereich von 60° bis 90° liegt ohne dass das Objekt im Rahmen der sukzessiv erfolgen Messungen in seiner Lage verändert werden muss.
  • Insbesondere bei ausgedehnten oder geometrisch komplizierten Prüfobjekten kann es gewinnbringend sein, wenn die Lichtquellen und Kameras nicht am Schwenkarm eines einzigen Industrieroboters angebracht sind, sondern, wenn die wenigstens eine Lichtquelle und die wenigstens eine Kamera an den Schwenkarmen zumindest zweier miteinander kooperierender Industrieroboter angebracht sind.

Claims (23)

  1. Verfahren zur kamera-basierten Prüfung von Objekten, insbesondere von Guss- und Schmiedeteilen, auf Basis der Methode des Shape-from-Shading, wobei das zu prüfende Objekt durch wenigstens eine Lichtquelle beleuchtet wird, wobei mittels wenigstens einer Kamera zumindest ein Teil des durch die Lichtquelle beleuchteten Teils des Objektes erfasst wird und die hieraus resultierenden Bilddaten einer Bildverarbeitung unterzogen werden, welche innerhalb der Bilddaten Bildbereiche (ROI, regions of interest) auswählt und einer Weiterverarbeitung zuführt, und wobei im Rahmen der Weiterverarbeitung auf die Bildbereiche die Methode des Shape-from-Shading angewandt wird, bei welcher die Rekonstruktion der Objektoberfläche durch die Minimierung einer Kostenfunktion erfolgt, welche wenigstens der Abweichungen zwischen dem realen von dem durch die Rekonstruktion ermittelten Intensitätsverlauf über die Oberfläche Rechnung trägt, dadurch gekennzeichnet, dass das zu prüfende Objekt nur in Teilen von der Lichtquelle beleuchtet wird, und dass entweder die Bildbereiche in ihrer Größe so gewählt werden, dass das Rekonstruktionsergebnis des Shape-from-Shading-Verfahrens innerhalb dieses Bildbereichs möglichst einfach mit der Sollgeometrie verglichen werden kann.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildbereiche so klein gewählt werden, dass davon ausgegangen werden kann, dass die Teilfläche des Objekts innerhalb dieser Bereiche eben sind.
  3. Verfahren zur kamera-basierten Prüfung von Objekten, insbesondere von Guss- und Schmiedeteilen, auf Basis der Methode des Shape-from-Shading, wobei das zu prüfende Objekt durch wenigstens eine Lichtquelle beleuchtet wird, wobei mittels wenigstens einer Kamera zumindest ein Teil des durch die Lichtquelle beleuchteten Teils des Objektes erfasst wird und die hieraus resultierenden Bilddaten einer Bildverarbeitung unterzogen werden, welche innerhalb der Bilddaten Bildbereiche (ROI, regions of interest) auswählt und einer Weiterverarbeitung zuführt, und wobei im Rahmen der Weiterverarbeitung auf die Bildbereiche die Methode des Shape-from-Shading angewandt wird, bei welcher Rekonstruktion der Objektoberfläche durch die Minimierung einer Kostenfunktion erfolgt, welche wenigstens der Abweichungen zwischen dem realen von dem durch die Rekonstruktion ermittelten Intensitätsverlauf über die Oberfläche Rechnung trägt, dadurch gekennzeichnet, dass das zu prüfende Objekt nur in Teilen von der Lichtquelle beleuchtet wird, und dass innerhalb der Bildbereiche Stützstellenwerte so definiert vorgegebenen werden, dass das Rekonstruktionsergebnis des Shape-from-Shading-Verfahrens bei der Führung durch diese Stützstellen derart in diskrete Ab schnitte unterteilt wird, dass sie möglichst einfach mit der Sollgeometrie verglichen erden kann.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildbereiche in ihrer Größe so gewählt werden, dass der zu prüfende Teil der Oberfläche des Objekts in viele kleine Bildbereiche (ROI, regions of interest) unterteilt wird, deren Ausdehnung in der Größenordnung von zu erwartenden von der Sollgeometrie abweichenden Unregelmäßigkeiten gewählt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lage der einzelnen ausgewählten Bildbereiche (ROI) mittels der Kipp-Methode an die Sollgeometrie angepasst wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Randregionen der gewählten Bildbereiche (ROI) bei der Auswertung nicht betrachtet werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Anwendung der Methode des Shape-from-Shading die nicht-diffusen Anteile der Reflektanzfunktion R der Metalloberfläche gemäß der Reihenentwicklung
    Figure 00150001
    berücksichtigt werden, wobei hier x = cos(ϴ) und ci(α) und mi(α) vom reellen Phasenwinkel α abhängige Konstanten sind, welche durch Messung zu ermitteln sind, hierbei entspricht der Phasenwinkel α dem Winkel zwischen Kamerablickrichtung und Beleuchtung und der Winkel ϴ dem Winkel zwischen der Oberflächennormalen und der Beleuchtungsrichtung.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beleuchtung des Objektes mit Licht im Wesentlichen im ultravioletten oder infraroten Spektrum erfolgt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ausgewählten Bildbereiche (ROI) parallel zur Prüfung auf Grundlage der Methode des Shape-from-Shading auch einer Schattenanalyse unterzogen werden, wobei diese Schattenanalyse lediglich anhand eines einzigen aufgenommenen Bildes erfolgt.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass im Rahmen der Schattenanalyse als Kriterium für das Vorhandensein eines Schattens an der Position (u, v) in der ROI die Bedingung
    Figure 00160001
    dient, wobei Iave die mittlere Pixelintensität in der ROI beschreibt, I(u, v) der Pixelintensität an der Stelle (u, v) entspricht und Θ ein vorgebbarer Schwellwert ist.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Schwellwert im Bereich zwischen 2 und 4 gewählt wird.
  12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass für den Fall, dass der Wert Iave sehr klein ist, dieser Wert auf einen vorgebbaren Wert festgesetzt wird.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass dieser vorgebbare Wert auf etwa 10 Prozent der in dem Bilddatensatz maximal möglichen Pixelintensität gesetzt wird.
  14. Verfahren zur Ermittlung der Reflektanzfunktion R der Oberfläche eines zu prüfenden Objekts, insbesondere als Parameter für ein Verfahren nach einem der Ansprüche 1 bis 13, bei welchem das Objekt mit einer Strahlquelle, insbesondere einer Lichtquelle, mit bekannter Strahlungscharakteristik beleuchtet wird, und bei welchem die Reflektierte Strahlung von einem Empfänger, insbesondere einer Kamera, zur Auswertung deren Charakteristik aufgenommen wird, wobei die geometrischen Verhältnisse zwischen Strahlquelle, Empfänger und Objekt bekannt sind, dadurch gekennzeichnet, dass nur ein Teil des Objektes, welches eine definierte Oberflächengeometrie, insbesondere eine Ebene, aufweist bestrahlt wird, wobei die Reflektanz unter unterschiedlichsten Winkeln θ zwischen der Oberflächennormalen und der Beleuchtungsrichtung gemessen wird, und dass die Reflektanzfunktion R im Sinne einer BRDF (bidirectional reflectance distribution function) entsprechend R = f(ϑ, ϑe, α)bestimmt wird, mit R als Funktion aus ϑ als dem Lichteinfallswinkel, ϑe als dem Emissionswinkel (Winkel zwischen der Kamerablickrichtung und der Oberflächennormalen) und dem reellen Phasenwinkel α (Winkel zwischen Kamerablickrichtung und Beleuchtungsrichtung), wobei insbesondere die Reflektanzfunktion R gemäß der Reihenentwicklung
    Figure 00180001
    ermittelt wird, wobei hier x = cos(ϴ) und ci(α) und mi(α) vom reellen Phasenwinkel α abhängige Konstanten sind, hierbei entspricht der Winkel ϴ dem Winkel zwischen der Oberflächennormalen und der Beleuchtungsrichtung.
  15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass anstelle des zu prüfenden Objekts ein Kalibrationskörper verwendet wird, welcher im Wesentlichen dieselben Ober flächeneigenschaften wie das zu prüfende Objekt selbst aufweist.
  16. Vorrichtung zur kamera-basierten Prüfung von Objekten, insbesondere unter Verwendung des Verfahrens nach einem der Ansprüche 1 bis 13, umfassend wenigstens einer Lichtquelle zur Beleuchtung des Prüfobjekts und wenigstens einer Kamera zur Erfassung von Bilddaten des beleuchteten Prüfobjekts, dadurch gekennzeichnet, dass der Phasenwinkel α zwischen Kamerablickrichtung und Beleuchtungsrichtung im Bereich von 60° und 90° liegt, und dass das zu prüfende Objekt nur in Teilen von der Lichtquelle beleuchtet wird.
  17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass die Lichtquelle eine Punktlichtquelle ist, insbesondere eine Laser oder Diodenbeleuchtung.
  18. Vorrichtung nach einem der Ansprüche 16 oder 17, dadurch gekennzeichnet, dass die Lichtquelle Licht im Wesentlichen im ultravioletten oder infraroten Spektrum aussendet.
  19. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung über eine Mehrzahl von Lichtquellen und Kameras verfügt, welche in ihrer Funktionalität dergestalt miteinander kombiniert werden können, dass für zumindest einen Großteil der zu prüfenden Oberflächenbereiche des Objekts der Phasenwin kel α im Bereich von 60° bis 90° liegt ohne dass das Objekt im Rahmen der sukzessiv erfolgen Messungen in seiner Lage verändern werden muss.
  20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass die Lichtquellen und/oder die Kameras und/oder das zu prüfende Objekt so zueinander angeordnet werden, dass der gesamte interessierende Oberflächenbereich des Objekts mit möglichst wenigen Lichtquellen und/oder Kameras geprüft werden kann.
  21. Vorrichtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die wenigstens eine Lichtquelle und die wenigstens eine Kamera an einem Schwenkarm eines Industrieroboters angebracht sind.
  22. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, dass der Industrieroboter so schwenkbar ist, dass für zumindest einen Großteil der zu prüfenden Oberflächenbereiche des Objekts der Phasenwinkel α im Bereich von 60° bis 90° liegt ohne das Objekt im Rahmen der sukzessiv erfolgen Messungen in seiner Lage verändern zu müssen.
  23. Vorrichtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die wenigstens eine Lichtquelle und die wenigstens eine Kamera an den Schwenkarmen zumindest zweier miteinander kooperierender Industrieroboter angebracht sind.
DE102004038761A 2004-08-09 2004-08-09 Kamera-basierte Objektprüfung mittels Shape-from-Shading Active DE102004038761B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004038761A DE102004038761B4 (de) 2004-08-09 2004-08-09 Kamera-basierte Objektprüfung mittels Shape-from-Shading

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004038761A DE102004038761B4 (de) 2004-08-09 2004-08-09 Kamera-basierte Objektprüfung mittels Shape-from-Shading

Publications (2)

Publication Number Publication Date
DE102004038761A1 true DE102004038761A1 (de) 2006-02-23
DE102004038761B4 DE102004038761B4 (de) 2009-06-25

Family

ID=35721233

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004038761A Active DE102004038761B4 (de) 2004-08-09 2004-08-09 Kamera-basierte Objektprüfung mittels Shape-from-Shading

Country Status (1)

Country Link
DE (1) DE102004038761B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202007002260U1 (de) * 2007-02-15 2008-06-26 Leuze Electronic Gmbh & Co Kg Optoelektronische Vorrichtung
WO2018068775A1 (de) * 2016-10-15 2018-04-19 INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH Verfahren und anlage zum ermitteln der defektfläche mindestens einer fehlstelle auf mindestens einer funktionsoberfläche eines bauteils oder prüfkörpers
DE102017221649A1 (de) 2017-12-01 2019-06-06 Volkswagen Aktiengesellschaft Prüfverfahren zur Detektion von Oberflächenfehlern auf matten und glänzenden Flächen und zugehörige Vorrichtung sowie Prüfanordnung zwischen Vorrichtung und Bauteil
US11164015B2 (en) 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
DE102022118558A1 (de) 2022-07-25 2024-01-25 Audi Aktiengesellschaft Verfahren und Computerprogramm zum Bestimmen einer Beschaffenheit einer strukturierten Oberfläche eines Bauteils sowie Verfahren zur Qualitätssicherung bei der Bearbeitung einer solchen Oberfläche

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4123916C2 (de) * 1990-07-19 1998-04-09 Reinhard Malz Verfahren und Vorrichtung zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflächenmerkmalen und -defekten eines Objektes
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system
US20030179371A1 (en) * 1999-11-03 2003-09-25 General Electric Company Method of objectively evaluating a surface mark
US20030234786A1 (en) * 2002-06-21 2003-12-25 Cole Forrester Hardenbergh Method and system for automatically generating factored approximations for arbitrary bidirectional reflectance distribution functions
DE20317095U1 (de) * 2003-11-07 2004-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Erkennung von Oberflächenfehlern

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19739250C2 (de) * 1996-09-13 2003-01-02 Fraunhofer Ges Forschung Optische Erfassung von Freiformflächen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4123916C2 (de) * 1990-07-19 1998-04-09 Reinhard Malz Verfahren und Vorrichtung zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflächenmerkmalen und -defekten eines Objektes
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system
US20030179371A1 (en) * 1999-11-03 2003-09-25 General Electric Company Method of objectively evaluating a surface mark
US20030234786A1 (en) * 2002-06-21 2003-12-25 Cole Forrester Hardenbergh Method and system for automatically generating factored approximations for arbitrary bidirectional reflectance distribution functions
DE20317095U1 (de) * 2003-11-07 2004-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Erkennung von Oberflächenfehlern

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
$
afezi,K. und Wöhler,Ch.: A general framework for three-dimensional surface reconstruction by self- consistent fusion of shading and shadow features and its application to industrial quality inspec- tion tasks. In: Proc. of SPIE Vol.5457, S.138-147,2004 *
Hafezi,K. und Wöhler,Ch.: A general framework for three-dimensional surface reconstruction by self- consistent fusion of shading and shadow features and its application to industrial quality inspec- tion tasks. In: Proc. of SPIE Vol.5457, S.138-147, 2004
http://graphics.standford.edu/projects/gantry/ 27.April 2004
Jiang,X. und Bunke,H.: Dreidimensionales Computer- sehen. Springer-Verlag, 1997
Jiang,X. und Bunke,H.: Dreidimensionales Computer-sehen. Springer-Verlag, 1997 *
Marc Levoy: "The Standford Spherical Gantry", *
Piechullek,Ch.: Oberflächenkonstruktion mit Hilfe einer Mehrbild-Shape from-Shading-Methode, Deut- sche Geodätische Kommission (Reihe C) Nr.518, München 2000 *
Sezgin,M. und Sankur,B.: Survey over image thres- holding techniques and quantitative performance evalution. In: Journal of Electronic Imaging Vol. 13(1), S.146-165, 2004 *
Zhang,R. et al.: "Shape from Shading: A Survey". In: IEEE Transactions on Pattern Analysis and Ma- chine Intelligence, Vol.21, No.8, S.690-706, 1999 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202007002260U1 (de) * 2007-02-15 2008-06-26 Leuze Electronic Gmbh & Co Kg Optoelektronische Vorrichtung
WO2018068775A1 (de) * 2016-10-15 2018-04-19 INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH Verfahren und anlage zum ermitteln der defektfläche mindestens einer fehlstelle auf mindestens einer funktionsoberfläche eines bauteils oder prüfkörpers
DE102017221649A1 (de) 2017-12-01 2019-06-06 Volkswagen Aktiengesellschaft Prüfverfahren zur Detektion von Oberflächenfehlern auf matten und glänzenden Flächen und zugehörige Vorrichtung sowie Prüfanordnung zwischen Vorrichtung und Bauteil
US11164015B2 (en) 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
DE102022118558A1 (de) 2022-07-25 2024-01-25 Audi Aktiengesellschaft Verfahren und Computerprogramm zum Bestimmen einer Beschaffenheit einer strukturierten Oberfläche eines Bauteils sowie Verfahren zur Qualitätssicherung bei der Bearbeitung einer solchen Oberfläche

Also Published As

Publication number Publication date
DE102004038761B4 (de) 2009-06-25

Similar Documents

Publication Publication Date Title
EP3199943B1 (de) Vorrichtung und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche
DE10346481B4 (de) Dreidimensionale Rekonstruktion von Oberflächenprofilen
DE10319543B4 (de) Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften
WO2000063681A2 (de) Bildbearbeitung zur vorbereitung einer texturnalyse
EP3017273B1 (de) Verfahren und vorrichtung zur optischen formerfassung und/oder prüfung eines gegenstandes
DE102009058215A1 (de) Verfahren und Vorrichtung zur Oberflächenprüfung eines Lagerbauteils
EP3304025B1 (de) Verfahren und vorrichtung zum bestimmen von oberflächendaten und/oder messdaten einer oberfläche eines zumindest teilweise transparenten objekts
EP2669622B1 (de) Prüfverfahren und hierzu geeigneter Prüfkopf
DE112015002961T5 (de) Verfahren zur Herstellung einer Komponente und Herstellungsvorrichtung, die ein solches Verfahren verwendet, und Volumenmessverfahren
DE102019201272B4 (de) Vorrichtung, Vermessungssystem und Verfahren zur Erfassung einer zumindest teilweise spiegelnden Oberfläche unter Verwendung zweier Spiegelungsmuster
DE102004038761B4 (de) Kamera-basierte Objektprüfung mittels Shape-from-Shading
DE60317595T2 (de) Dreidimensionale Randlokalisierung unter Anwendung von seitlicher Beleuchtung
DE102019131693A1 (de) Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe
DE102015203396A1 (de) Verfahren und Vorrichtung zur Bestimmung der Topografie einer Oberflache
WO2018068775A1 (de) Verfahren und anlage zum ermitteln der defektfläche mindestens einer fehlstelle auf mindestens einer funktionsoberfläche eines bauteils oder prüfkörpers
DE102009015627B4 (de) Verfahren und Vorrichtung zu Bestimmung von Innendurchmesser, Außendurchmesser und der Wandstärke von Körpern
EP3899423B1 (de) Vorrichtung, vermessungssystem und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche unter verwendung zweier spiegelungsmuster
DE102009053510B4 (de) Konzept zur Erzeugung eines räumlich und/oder zeitlich veränderbaren thermischen Strahlungsmusters
EP2463175B1 (de) Verfahren zum Auffinden von Oberflächenfehlern
DE102008041135B4 (de) Inspektionsvorrichtung- und Verfahren für die optische Untersuchung von Objektoberflächen, insbesondere einer Wafernotch
DE102017201795B4 (de) Verfahren zur Bestimmung des Transmissionsgrades eines optischen Systems mit einem Messobjekt, bei dem es sich um mindestens einen Spiegel einer EUV-Projektionsbelichtungsanlage handelt, in Abhängigkeit einer Mehrzahl vorgegebener Parameter
DE102006032404B4 (de) Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften
DE20317095U1 (de) Vorrichtung zur Erkennung von Oberflächenfehlern
EP3575741A1 (de) Verfahren zum berührungsfreien vermessen einer werkstückkante
WO2010015695A1 (de) Inspektionsvorrichtung- und verfahren für die optische untersuchung von objektoberflächen, insbesondere von waferkanten

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8125 Change of the main classification

Ipc: G01B 11/00 AFI20051017BHDE

8364 No opposition during term of opposition
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE

R084 Declaration of willingness to licence