DE112018001600T5 - System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl - Google Patents

System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl Download PDF

Info

Publication number
DE112018001600T5
DE112018001600T5 DE112018001600.5T DE112018001600T DE112018001600T5 DE 112018001600 T5 DE112018001600 T5 DE 112018001600T5 DE 112018001600 T DE112018001600 T DE 112018001600T DE 112018001600 T5 DE112018001600 T5 DE 112018001600T5
Authority
DE
Germany
Prior art keywords
kernel
image
profile
model image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018001600.5T
Other languages
English (en)
Inventor
David Y. Li
Li Sun
Lowell D. Jacobson
Lei Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of DE112018001600T5 publication Critical patent/DE112018001600T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung bietet ein System und Verfahren zur Auswahl des richtigen Profils aus einer Reihe von Peaks, die durch die Analyse einer Oberfläche mit mehreren Expositionsniveaus in diskreten Abständen erzeugt werden. Die Wolke der Peak-Informationen wird im Vergleich zu einem Modellprofil in einen besten Kandidaten aufgelöst, um eine genaue Darstellung des Objektprofils zu erhalten. Illustrativ projiziert ein Wegsensor eine Beleuchtungslinie auf die Oberfläche und empfängt reflektiertes Licht an einer Sensoranordnung bei einer eingestellten Belichtungsstärke. Ein Prozessor variiert die Einstellung des Belichtungsniveaus in einer Vielzahl von diskreten Schritten und speichert ein Bild des reflektierten Lichts für jedes der Schritte. Ein Bestimmungsprozess kombiniert die gespeicherten Bilder und richtet die kombinierten Bilder in Bezug auf ein Modellbild aus. Punkte aus den kombinierten Bildern werden basierend auf der Nähe zum Modellbild ausgewählt, um ein Kandidatenprofil der Oberfläche zu erstellen.

Description

  • GEBIET DER ERFINDUNG
  • Die Erfindung betrifft Visionssysteme, die eine oder mehrere dreidimensionale (3D-)Visionssystem-Kamera(s) (auch „Wegsensor(en)“ oder „Profiler“ genannt) verwenden, und insbesondere auf die Bestimmung eines 3D-Profils (Höhe) auf einer Objektoberfläche bezogen sind.
  • HINTERGRUND DER ERFINDUNG
  • In Fertigungs- und Montageprozessen ist es oft wünschenswert, eine Objektoberfläche zu analysieren, um das Wesen von Merkmalen und/oder Unregelmäßigkeiten zu bestimmen. Die Verschiebung (oder „Profil“) der Objektoberfläche kann mit einem Bildverarbeitungssystem (hier auch „Visionssystem“ genannt) in Form eines Laser-Wegsensors (hier auch Laserstrahl-„Profiler“ genannt) bestimmt werden. Ein Laser-Wegmesssensor erfasst und bestimmt das (dreidimensionale) Profil einer abgetasteten Objektoberfläche mit einem planaren Vorhang oder „Fächer“ eines Laserstrahls. In einer herkömmlichen Anordnung ist eine Bildverarbeitungssystem-Kameraeinheit so ausgerichtet, dass sie die Ebene des Strahls von außerhalb der Ebene aus betrachtet. Diese Anordnung erfasst das Profil der projizierten Linie (z.B. entlang der physikalischen x-Achse) auf der Objektoberfläche, was aufgrund der Grundlinie (d.h. des relativen Abstands entlang der y-Achse) zwischen der Strahlebene und der Kamera dazu führt, dass die abgebildete Linie in Richtung der Bild y-Achse in Abhängigkeit von der physikalischen z-Achsen-Höhe des abgebildeten Punktes (entlang der Bild x-Achse) so unterschiedlich erscheint. Diese Abweichung stellt das Profil der Oberfläche in der x-z-Ebene dar, das sich aus der x-y-Position einzelner Bildpunkte unter Verwendung geeigneter Kalibrierparameter innerhalb des Wegsensors ergibt. Laser-Wegsensoren sind in einer Vielzahl von Inspektions- und Fertigungsvorgängen nützlich, bei denen der Anwender Oberflächendetails eines gescannten Objekts mittels Triangulation messen und charakterisieren möchte. Ein typischer Laser-Wegsensor verwendet eine Bildverarbeitungskamera mit einer Objektivanordnung und einem Bildsensor (oder „Imager“), der auf einem CCD- oder CMOS-Design basieren kann. Der Imager definiert ein vorgegebenes Feld von Graustufen- oder Farbsensor-Pixeln auf einer Bildebene, die fokussiertes Licht von einer aufgenommenen Szene über eine Linse/Optik empfängt.
  • In bestimmten Visionssystemimplementierungen werden eine Vielzahl von Wegsensoren (z.B. Laserprofilierer) zusammengebaut, um das gesamte Sichtfeld (FOV) des Sichtsystems zu erweitern (wobei sich der Begriff „Sichtfeld“ auf den Messbereich bezieht), um einen gewünschten Bereich des Objekts (z.B. dessen gesamte Breite) mit ausreichender Auflösung vollständig abzubilden.
  • Es kann schwierig sein, eine projizierte Linie auf der Oberfläche eines fraglichen Objekts zu lesen, das aus Materialien mit unterschiedlichen optischen Eigenschaften besteht und/oder eine strukturierte Oberfläche aufweist, die eine innere Reflexion verursachen kann. Beispielsweise können Oberflächen opake Bereiche, spiegelnde Bereiche, transluzente/transparente Bereiche oder eine Kombination davon beinhalten, die unterschiedlich reflektieren und je nach ihrem relativen Winkel auch innere Reflexionen erzeugen können. Zunächst ist es schwierig, weil die Wahl einer einzelnen Belichtungseinstellung zur Aufnahme aller Materialien problematisch ist, während es sodann schwierig sein kann, insofern die interne Reflexion den Wegsensor hinsichtlich des tatsächlichen Profils verwirren kann.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die Erfindung überwindet Nachteile des Standes der Technik, indem sie ein System und Verfahren zur Auswahl des richtigen Profils aus einer Reihe von Spitzenwerten bereitstellt, die durch die Analyse einer Oberfläche mit mehreren Expositionsniveaus in diskreten Abständen erzeugt werden. Die Wolke der Peakinformationen wird im Vergleich zu einem Modellprofil in einen besten Kandidaten aufgelöst, um eine genaue Darstellung des Objektprofils zu erhalten.
  • In einer anschaulichen Ausführungsform ist ein System- und Verfahrenssystem zum Bestimmen eines Profils auf einer Oberfläche eines Objekts vorgesehen, das einen Verschiebungssensor beinhaltet, der eine Beleuchtungslinie auf die Oberfläche projiziert und reflektiertes Licht an einer Sensoranordnung bei einem festgelegten Belichtungsniveau empfängt. Ein Prozessor variiert die Einstellung des Belichtungsniveaus in einer Vielzahl von diskreten Schritten und speichert ein Bild des reflektierten Lichts für jedes der Schritte. Ein Bestimmungsprozess kombiniert die gespeicherten Bilder und richtet die kombinierten Bilder in Bezug auf ein Modellbild aus. Punkte aus den kombinierten Bildern werden basierend auf der Nähe zum Modellbild ausgewählt, um ein Kandidatenprofil der Oberfläche zu erstellen.
  • Illustrativ umfasst der Belichtungswert einen Laserintensitätspegel, eine Verstärkung, eine Belichtungszeit und/oder eine Blende. Die Oberfläche kann zumindest teilweise mindestens eine der folgenden Eigenschaften definieren: Spiegelung und Transluzenz. Die Punkte in den kombinierten Bildern werden anschaulich in Spalten entlang einer x-Dimension organisiert und mit der Intensität entlang einer z-Dimension gewichtet. Die Punkte können basierend auf einem 2D-Kernel gewichtet werden, der nach einem vorgegebenen statistischen Verfahren angeordnet ist. So kann beispielsweise der 2D-Kernel mindestens einen Gaußschen Kernel, einen Step- oder Uniform-Kernel, einen Dreiecks-Kernel, einen Biweight-Kernel und einen Epanechnikov-Kernel umfassen. Ein Punkt in jeder Spalte wird für das Kandidatenprofil ausgewählt, basierend auf der Nähe zu einem entsprechenden Punkt im Modellbild. Das Modellbild kann auf einem Ist-Bild einer Objektoberfläche oder einem synthetisch erzeugten (z.B. CAD) Profil basieren. Illustrativ können Peak-Punkterkennungs-(Auswahl-)Parameter mindestens einen von Kontrastschwellenwert, Intensitätsschwellenwert und Breite der Beleuchtungslinie umfassen, die von der Sensoranordnung auf der Oberfläche beobachtet werden.
  • Figurenliste
  • Die folgende Erfindungsbeschreibung bezieht sich auf die beiliegenden Zeichnungen, von denen:
    • 1 ein Diagramm einer Gesamtvisionssystemanordnung ist, die ein Bild eines Objekts erfasst und die Bilddaten von einer Vielzahl von Belichtungsebenen gemäß einer illustrativen Ausführungsform verarbeitet;
    • 2 ein exemplarisches Bild einer Objektoberfläche ist, das eine Beleuchtungslinie eines Wegsensors in einem teilweise überbelichteten Zustand bei einer ersten Belichtungsebene zeigt;
    • 3 ein exemplarisches Bild der Objektoberfläche von 2 ist, das die Beleuchtungslinie des Wegsensors auf einer zweiten Belichtungsebene zeigt, in der unerwünschte innere Reflexionen sichtbar sind;
    • 4 ein Flussdiagramm eines Bilderfassungs- und Profilbestimmungsprozesses gemäß einer anschaulichen Ausführungsform ist;
    • 5 ein detaillierteres Flussdiagramm des Erfassungs- und Bestimmungsprozesses gemäß 4 ist;
    • 6 ein exemplarisches Bild der Objektoberfläche von 2 ist, das die Erzeugung eines synthetischen Bildes mit der dargestellten horizontalen Achse als x-Achse und der dargestellten vertikalen Achse als z-Achse zeigt, in dem Punkte gemäß einem Gaußkern gewichtet werden; und
    • 7 ein exemplarisches Bild der Objektoberfläche von 2 mit einer bestimmten Profillinie basierend auf dem synthetischen Bild und ausgerichteten Modelldaten ist.
  • DETAILLIERTE BESCHREIBUNG
  • Es wird auf 1 verwiesen, die eine GesamtvisionssystemAnordnung 100 zum Bestimmen des Profils eines exemplarischen fraglichen Objekts 110 gemäß einer illustrativen Ausführungsform zeigt. Die Anordnung 100 ist exemplarisch für eine Vielzahl von möglichen Implementierungen. Als nicht einschränkendes Beispiel misst ein Wegsensor 120 die Oberfläche 112 des Objekts an einer geeigneten Stelle darauf. Der Wegsensor 120 umfasst in diesem Beispiel eine Beleuchtungsquelle 122, die einen sichtbaren oder nahezu sichtbaren Laserstrahl in Form eines Ventilators (z.B. mit einer geeigneten Optikbaugruppe) 124 projiziert, der eine Linie auf der Oberfläche 112 definiert. Es wird ein beliebiger 3D-Koordinatensatz (z.B. kartesische, x-, y- und z-Achse) 116 dargestellt, wobei sich die Linie entlang der x-Achse erstreckt. Eine Kameraanordnung 128, die einen Bildsensor 127 und eine Optik 129 beinhaltet, ist so ausgerichtet, dass sie eine optische Achse OA in einem spitzen Winkel Θ in Bezug auf die Ebene des Fächers 124 (dargestellt durch gestrichelte Mittellinie 125) definiert. Dieser Winkel Θ bewirkt, dass die Linie im 2D-Sensor als Offset entlang ihrer y-Achse in Abhängigkeit von der z-Höhe erscheint. Der Wegsensor 120 ist so kalibriert, dass die Variation entlang der y-Richtung eine spezifische z-Höhenvariation in seinen übertragenen Bilddaten 130 darstellt.
  • Die Bilddaten 130 werden einem Bildverarbeitungsprozess (bzw. Prozessor) 140 zur Verfügung gestellt, der in dem Gehäuse des Wegsensors integriert oder ganz oder teilweise auf einer Rechenvorrichtung 150, wie beispielsweise dem abgebildeten PC mit Benutzeroberfläche (Tastatur 152, Maus 154 und Anzeige/Touchscreen 156) realisiert ist. Dieser PC steht exemplarisch für eine breite Palette von Verarbeitungsgeräten, einschließlich kundenspezifischer Prozessoren (z.B. FPGAs) und anderer universeller Computergeräte, Laptops, Tablets, Smartphones usw. Der Prozessor beinhaltet eine Vielzahl von Funktionsmodulen oder Prozessen/Prozessoren, die von einem geeigneten Betriebssystem verwaltet werden. So werden beispielsweise die Steuerung 132 des Lasers 122 (z.B. Ein/Aus/Intensität) und die Sensoranordnung 128 jeweils durch die Prozessmodule 142 und 144 bereitgestellt. Der Prozessor 140 beinhaltet auch verschiedene Bildverarbeitungswerkzeuge 146, wie Kantendetektoren, Blob-Analysatoren, Kontrastwerkzeuge usw., die verwendet werden können, um Merkmale in einem Bild zu identifizieren und bei der Ausrichtung von Laufzeitbilddaten auf gespeicherte Vorlagen- oder Modelldaten 147 zu helfen. Dies wird durch das Ausrichtungsprozess-Modul 148 durchgeführt. Der Prozess (Prozessor) 140 umfasst ein verallgemeinertes Profilbestimmungsmodul 149, das den/die nächstgelegenen Profilkandidaten mit ausgerichteten Bilddaten bestimmt.
  • Optional werden die Kandidatenprofile nach Block 160 für nachgelagerte Nutzungsprozesse und/oder Vorrichtungen bereitgestellt. Beispielsweise können Profilinformationen verwendet werden, um Fehler, die Qualität oder die Art des Objekts zu bestimmen.
  • Unter Bezugnahme auf 2 ist ein exemplarisches Bild 200 eines Objekts 210 dargestellt, in dem eine projizierte Beleuchtungslinie 220 (z.B. sichtbarer Laser) vorhanden ist. Es ist zu beachten, dass die Linie 220 im linken Bereich (Pfeil 230) des Objekts 210 aufgrund des aktuellen Belichtungsniveaus stärker belichtet erscheint als der rechte Bereich (Pfeil 240) des Objekts 210. Daher erfordert der linke Bereich (230) einen niedrigeren Belichtungswert als der rechte Bereich (240), um ein insgesamt akzeptables 3D-Profilbild (d.h. mit einer scharfen, gleichmäßigen Linie) zu erzeugen. Andere Teile des Bildes können von weiteren Unterschieden in der Belichtungsstärke profitieren. Es ist oft unpraktisch, einen einzelnen Belichtungswert einzustellen, der eine insgesamt gewünschte Linienreflexion liefert. So zeigt das Bild 300 von 3 bei Anwendung eines niedrigeren Belichtungsniveaus auf das gleiche Objekt 210 (wie in 2) eine resultierende Profillinie, die relativ gleichmäßig ist. Das untere Belichtungsbild 300 zeigt nun jedoch auch verschwommene Flecken, die durch die Pfeile 310 gekennzeichnet sind. Diese Blobs 310 sind nun relativ prominent im Bild 300 und werden durch interne Reflexionen verursacht. Bei der Analyse des Profils würden diese Blobs 310 dazu neigen, den Wegaufnehmerprozessor zu verwirren und als zweites (falsches) Profil erscheinen.
  • Unter Bezugnahme auf 4 ist nun ein verallgemeinertes, generelles Verfahren 400 zum Bestimmen eines hohen Qualitätsprofils für eine Objektoberfläche dargestellt. Das Verfahren stellt einen Anfangsbelichtungswert ein und nimmt ein Bild in Schritt 410 auf. Der hierin definierte Begriff „Belichtungsniveau“ bezieht sich auf eine oder mehrere variable (steuerbare) Eigenschaften/Parameter, die im Wesentlichen die Lichtmenge (Photonen) definieren, die auf den Bildsensor trifft (127 in 1). Als nicht einschränkendes Beispiel können diese Eigenschaften/Parameter eine (Verschluss-) Belichtungszeit (in z.B. Mikrosekunden), eine Verstärkung, Linsenapertur, Laserlinienintensität und Linienwellenlänge beinhalten. Wie im Folgenden beschrieben, übersetzt der interne Kalibrierungsprozess des Wegsensors die Verschiebung der y-Achse der Linie in einen Höhenwert der z-Achse. Für eine gegebene Belichtungsstärke erkennt das Verfahren 400 in Schritt 420 die Peaks der Z-Achse und die zugehörigen Metadaten und speichert diese Informationen als Bilddaten. In Entscheidungsschritt 430 bestimmt das Verfahren 400, ob eine nächste Kombination von Expositionsniveau, Stärke und/oder anderen Erkennungsparametern bereitzustellen ist, wenn ja, dann wird diese nächste Ebene in der Hardware/Software des Wegsensors (oder des externen Beleuchters usw.) erhöht und die Schritte 410 und 420 wiederholt. Es wird ein Speicher mit Peak-Bildern erstellt, bis alle Belichtungswerte, Stärken und/oder Erkennungsparameterkombinationen zur Aufnahme von Bildern der Objektoberfläche verwendet wurden. Der Entscheidungsschritt 430 verzweigt dann zu Schritt 440, in dem ein Gesamt-x-z-Bild mit den gespeicherten Datenpunkten erzeugt wird. Dieses Bild wird mit einem gespeicherten Modellprofil in Schritt 450 verglichen und in Schritt 460 werden Peaks, die den/die besten Profilkandidaten definieren, ausgewählt. Das Verfahren 400 gibt dann in Schritt 470 den/die Kandidaten aus. Der/die Kandidat(en) kann(können) von nachgelagerten Prozessen für verschiedene Fertigungs-, Inspektions- und andere Aufgaben verwendet werden, indem er/sie über eine Verbindung zu einem Verarbeitungssystem übertragen wird.
  • Unter Bezugnahme auf das detailliertere Verfahren 500 von 5, bei dem Bilder der (z.B. statischen) Objektoberfläche bei unterschiedlichen Belichtungsniveaus aufgenommen wurden (Schritte 410-430 in 4), erzeugt das Verfahren ein „synthetisches“ 2D-Bild. In Schritt 510 werden alle Intensitäts-Peakpositionen für alle Spalten in allen Profilbildern in einen Peak-Satz P der Größe N gesammelt und die N-Peaks in P in einen Satz von 2D-Punkten P' der Größe N im tatsächlichen x-z-Raum unter Verwendung der Kalibrierparameter des Wegsensors (Schritt 520) umgewandelt. Es wird auf das synthetische Bild 600 in 6 verwiesen, das eine 2D-Darstellung aller Punkte in P' für die oben beschriebene exemplarische Objektoberfläche 210 zeigt. Es ist zu beachten, dass das Bild als „Wolke“ von Punkten erscheint, die einen Bereich von (vertikalen) z-Positionen für jede (horizontale) x-Position abdeckt. Innerhalb des synthetischen Bildes 600, mit horizontaler Achse als x-Achse und vertikaler Achse als z-Achse, akkumuliert das Verfahren 500 (in Schritt 530) einen 2D-Kernel (z.B. einen Gaußschen Kernel) mit einem Gewicht (berechnet mit einer Funktion auf den Intensitätswert der entsprechenden Peak in Satz P) für jeden Punkt p in Satz P'. Es ist zu beachten, dass eine Vielzahl von statistischen Methoden verwendet werden können, um den gewichteten 2D-Kernel zusätzlich zu einer Gaußschen Verteilung zu erzeugen - z.B. Kreuzkorrelation, etc. Es ist auch zu beachten, dass die Verwendung eines Gaußschen Kernels als Beispiel für eine Vielzahl von Kerneltypen dient, darunter ein Step- oder Uniform-Kernel, ein Dreiecks-Kernel, ein Biweight-Kernel, ein Epanechnikov-Kernel und/oder andere geeignete statistische Anordnungen.
  • Dieses gewichtete synthetische Bild wird dann in Verfahrensschritt 540 mit geeigneten Ausrichtungswerkzeugen des Bildverarbeitungssystems auf Modellprofildaten ausgerichtet. Insbesondere rekonstruiert das Verfahren das 3D-Profil der Objektoberfläche, indem es das 2D-Synthetische Bild in Bezug auf ein Modell ausrichtet, das auf einem trainierten (aufgenommenen) Bild einer Modellobjektoberfläche basiert und/oder synthetisch mit (z.B.) einem CAD-System definiert werden kann. In Schritt 550 wählt das Verfahren für jede Spalte (x-Position) den Punkt p in Satz P' mit der gleichen x-Koordinate aus, die dem ausgerichteten Modell bei x am nächsten liegt. Dann sammelt das Verfahren in Schritt 560 alle ausgewählten p in Schritt 550, und das Kollektiv ist das rekonstruierte 3D-Profil.
  • Mit den Verfahren 400 und 500 kann ein exemplarisches Bild 700 mit einem gut definierten Satz von Peaks 710 beschrieben werden. Diese wahren Peaks werden als Profilkandidat für die Oberfläche gespeichert. In verschiedenen Ausführungsformen können mehr als ein Kandidat gespeichert werden, wobei das Verfahren eine Vielzahl von möglichen rekonstruierten Profilen erzeugt. Durch den Abgleich der Modelldaten mit den erfassten Laufzeitbilddaten wird jedoch tendenziell eine Vielzahl möglicher Profile vermieden. Ein Defekt der Variation der zu prüfenden (Laufzeit-)Oberfläche von der Fläche des Modells könnte möglicherweise mehrere Profile zulassen, da der Defekt eine Region erzeugt, die möglicherweise nicht mit den Modelldaten übereinstimmt.
  • Es ist zu erwägen, dass die Benutzeroberfläche verschiedene Funktionen beinhalten kann, die die Art der zu steuernden Parameter (oder Kombinationen von Parametern) in Abhängigkeit von der Beschaffenheit der Objektoberfläche festlegen - beispielsweise können einige Oberflächen durch eine unterschiedliche Sensorverstärkung effektiver abgebildet werden, während andere Oberflächen durch eine unterschiedliche Sensorbelichtungszeit effektiver abgebildet werden können.
  • Es sollte klar sein, dass das vorstehend beschriebene System und diesbezügliche Verfahren eine effektive Möglichkeit für einen Verschiebungssensor bietet, Objektoberflächen, die sich nicht an eine einzige Belichtungsebene anpassen (z.B. facettierte Oberflächen, spiegelnde Oberflächen und/oder transparente/transluzente Oberflächen), bei der Erzeugung eines Profils zu berücksichtigen. Dieses System und Verfahren ermöglicht die Steuerung einer Vielzahl von Parametern innerhalb des Sensors und der Umgebung und kann sich an eine Vielzahl von Oberflächentypen anpassen.
  • Das Vorstehende war eine detaillierte Beschreibung der anschaulichen Ausführungsformen der Erfindung. Verschiedene Änderungen und Ergänzungen können vorgenommen werden, ohne vom Geist und Umfang dieser Erfindung abzuweichen. Merkmale jeder der verschiedenen vorstehend beschriebenen Ausführungsformen können gegebenenfalls mit Merkmalen anderer beschriebener Ausführungsformen kombiniert werden, um eine Vielzahl von Merkmalskombinationen in zugehörigen neuen Ausführungsformen bereitzustellen.
  • Darüber hinaus beschreibt das Vorstehende zwar eine Reihe von getrennten Ausführungsformen der Vorrichtung und des Verfahrens der vorliegenden Erfindung, aber das hierin Beschriebene ist lediglich ein Beispiel für die Anwendung der Prinzipien der vorliegenden Erfindung. So werden beispielsweise, wie hierin verwendet, verschiedene gerichtete und orientierende Begriffe (und grammatikalische Variationen davon) wie „vertikal“, „horizontal“, „oben“, „unten“, „Sohle“, „Spitze/Peak“, „seitlich“, „vorne“, „hinten“, „links“, „rechts“, „vorwärts“, „rückwärts“ und dergleichen nur als relative Angaben und nicht als absolute Orientierungen in Bezug auf ein festes Koordinatensystem, wie beispielsweise die wirkende Richtung der Schwerkraft, verwendet. Wenn der Begriff „im Wesentlichen“ oder „ungefähr“ in Bezug auf eine bestimmte Messung, einen bestimmten Wert oder eine bestimmte Eigenschaft verwendet wird, bezieht er sich zusätzlich auf eine Größe, die sich innerhalb eines normalen Betriebsbereichs befindet, um die gewünschten Ergebnisse zu erzielen, aber auch auf eine gewisse Variabilität aufgrund von inhärenter Ungenauigkeit und Fehler innerhalb der zulässigen Toleranzen (z.B. 1 -2%) des Systems. Auch ist zu beachten, dass, wie hierin verwendet, die Begriffe „Prozess“ und/oder „Prozessor“ allgemein verstanden werden sollten, um eine Vielzahl von elektronischen Hard- und/oder softwarebasierten Funktionen und Komponenten abzudecken. Darüber hinaus kann ein abgebildeter Prozess oder Prozessor mit anderen Prozessen und/oder Prozessoren kombiniert oder in verschiedene Teilprozesse oder Prozessoren unterteilt werden. Solche Subprozesse und/oder Subprozessoren können entsprechend den hierin enthaltenen Ausführungsformen unterschiedlich kombiniert werden. Ebenso wird ausdrücklich erwogen, dass jede Funktion, jeder Prozess und/oder Prozessor hierin mit elektronischer Hardware, Software, die aus einem nichtflüchtigen, computerlesbaren Medium von Programmanweisungen besteht, oder aus einer Kombination aus Hard- und Software realisiert werden kann. Dementsprechend soll diese Beschreibung nur als Beispiel dienen und den Umfang dieser Erfindung nicht anderweitig einschränken.

Claims (20)

  1. System zum Bestimmen eines Profils auf einer Oberfläche eines Objekts, umfassend: einen Verschiebungssensor, der eine Beleuchtungslinie auf die Oberfläche projiziert und reflektiertes Licht an einer Sensoranordnung bei einem eingestellten Belichtungsniveau empfängt; einen Prozessor, der die Einstellung des Belichtungsniveaus in einer Vielzahl von diskreten Schritten ändert und der ein Bild des reflektierten Lichts für jedes der Schritte speichert; und ein Bestimmungsverfahren, das die gespeicherten Bilder kombiniert und das die kombinierten Bilder in Bezug auf ein Modellbild ausrichtet, worin Punkte aus den kombinierten Bildern basierend auf der Nähe zum Modellbild ausgewählt werden, um ein Kandidatenprofil der Oberfläche bereitzustellen.
  2. System nach Anspruch 1, wobei der Belichtungspegel ein Laserintensitätsniveau umfasst.
  3. System nach Anspruch 1, wobei der Belichtungswert mindestens eines der Parameter aus Verstärkung, Belichtungszeit und Öffnung an der Sensoranordnung umfasst.
  4. System nach Anspruch 1, wobei die Oberfläche mindestens teilweise mindestens eines der Parameter aus Spiegelung und Transluzenz definiert.
  5. System nach Anspruch 1, wobei Punkte in den kombinierten Bildern in Spalten entlang einer x-Dimension organisiert und durch Intensität entlang einer z-Dimension gewichtet sind.
  6. System nach Anspruch 5, wobei die Punkte basierend auf einem 2D-Kernel gewichtet werden, der gemäß einer vorbestimmten statistischen Technik implementiert ist.
  7. System nach Anspruch 6, wobei der 2D-Kernel mindestens einen Gaußschen Kernel, einen Step- oder Uniform-Kernel, einen Dreiecks-Kernel, einen Biweight-Kernel oder einen Epanechnikov-Kernel umfasst.
  8. System nach Anspruch 7, wobei ein Punkt in jeder Spalte für das Kandidatenprofil ausgewählt ist, basierend auf einer Nähe zu einem entsprechenden Punkt im Modellbild.
  9. System nach Anspruch 6, wobei Peaks in den Punkten unter Verwendung von Peak-Erfassungsparametern ausgewählt werden, wobei die Parameter mindestens einen aus der Menge von einem Kontrastschwellenwert, einem Intensitätsschwellenwert und einer Breite der Beleuchtungslinie umfassen, die von der Sensoranordnung auf der Oberfläche beobachtet werden.
  10. System nach Anspruch 5, wobei ein Punkt in jeder Spalte für das Kandidatenprofil ausgewählt ist, basierend auf einer Nähe zu einem entsprechenden Punkt im Modellbild.
  11. System nach Anspruch 1, wobei das Modellbild auf einem tatsächlichen Bild einer Objektoberfläche oder einem synthetisch erzeugten Profil basiert.
  12. Verfahren zum Bestimmen eines Profils auf einer Oberfläche eines Objekts, umfassend die Schritte: Projizieren einer Beleuchtungslinie auf die Oberfläche und Empfangen von reflektiertem Licht an einer Sensoranordnung bei einem eingestellten Belichtungsniveau; Variieren der Einstellung des Belichtungsniveaus in einer Vielzahl von diskreten Schritten und jeweils Speichern eines Bildes des reflektierten Lichts für jedes der Schritte; Kombinieren der gespeicherten Bilder und Ausrichten der kombinierten Bilder in Bezug auf ein Modellbild; und Auswählen von Punkten aus den kombinierten Bildern basierend auf der Nähe zum Modellbild, um ein Kandidatenprofil der Oberfläche zu erstellen.
  13. Verfahren nach Anspruch 12, wobei der Schritt des Veränderns des Belichtungsniveaus das Verändern mindestens eines der Parameter aus Laserintensitätsniveau, Sensorverstärkung, Belichtungszeit und Öffnung an der Sensoranordnung umfasst.
  14. Verfahren nach Anspruch 12, wobei Punkte in den kombinierten Bildern in Spalten entlang einer x-Dimension organisiert und durch Intensität entlang einer z-Dimension gewichtet werden.
  15. Verfahren nach Anspruch 14, wobei die Punkte basierend auf einem 2D-Kernel gewichtet werden, der gemäß einer vorbestimmten statistischen Technik angeordnet ist.
  16. Verfahren nach Anspruch 15, wobei der 2D-Kemel mindestens eines von einem Gaußschen Kernel, einem Step- oder Uniform-Kernel, einem Dreiecks-Kernel, einem Biweight-Kernel oder einem Epanechnikov-Kernel umfasst.
  17. Verfahren nach Anspruch 16, ferner umfassend das Auswählen eines Punktes in jeder Spalte für das Kandidatenprofil basierend auf einer Nähe zu einem entsprechenden Punkt im Modellbild.
  18. Verfahren nach Anspruch 14, ferner umfassend das Auswählen von Peaks in den Punkten unter Verwendung von Peak-Erfassungsparametern, die mindestens einen Parameter aus der Menge von einem Kontrastschwellenwert, Intensitätsschwellenwert und einer Breite der Beleuchtungslinie umfassen, die von der Sensoranordnung auf der Oberfläche beobachtet werden.
  19. Verfahren nach Anspruch 12, wobei das Modellbild auf einem tatsächlichen Bild einer Objektoberfläche oder einem synthetisch erzeugten Profil basiert.
  20. System zum Bestimmen eines Profils auf einer Oberfläche eines Objekts, umfassend: einen Verschiebungssensor, der eine Beleuchtungslinie auf die Oberfläche projiziert und reflektiertes Licht an einer Sensoranordnung bei einem eingestellten Belichtungsniveau empfängt; einen Prozessor, der die Einstellung des Belichtungsniveaus in einer Vielzahl von diskreten Schritten ändert und der ein Bild des reflektierten Lichts für jedes der Schritte speichert; und ein Bestimmungsverfahren, das die gespeicherten Bilder kombiniert, um daraus ein 2D-Bild zu erzeugen, und das das 2D in Bezug auf ein Modellbild ausrichtet.
DE112018001600.5T 2017-03-26 2018-03-26 System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl Pending DE112018001600T5 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762476850P 2017-03-26 2017-03-26
US62/476,850 2017-03-26
US15/934,766 US10753726B2 (en) 2017-03-26 2018-03-23 System and method for 3D profile determination using model-based peak selection
US15/934,766 2018-03-23
PCT/US2018/024268 WO2018183155A1 (en) 2017-03-26 2018-03-26 System and method for 3d profile determination using model-based peak selection

Publications (1)

Publication Number Publication Date
DE112018001600T5 true DE112018001600T5 (de) 2019-12-24

Family

ID=63676721

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018001600.5T Pending DE112018001600T5 (de) 2017-03-26 2018-03-26 System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl

Country Status (6)

Country Link
US (2) US10753726B2 (de)
JP (1) JP7127046B2 (de)
KR (1) KR102370888B1 (de)
CN (1) CN110462688B (de)
DE (1) DE112018001600T5 (de)
WO (1) WO2018183155A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112113511B (zh) * 2020-08-17 2021-11-23 上海交通大学 一种半透明物体表面轮廓线提取方法、***及终端
KR102486714B1 (ko) * 2020-12-31 2023-01-10 서울시립대학교 산학협력단 3d 콘크리트 프린터의 인공지능 기반 토출제어 시스템
CN115690374B (zh) * 2023-01-03 2023-04-07 江西格如灵科技有限公司 一种基于模型边缘射线检测的交互方法、装置及设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5566925A (en) 1978-11-13 1980-05-20 Mitsubishi Chem Ind Ltd Preparation of aromatic polyester polycarbonate
US4373804A (en) 1979-04-30 1983-02-15 Diffracto Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
JPS6221011A (ja) * 1985-07-19 1987-01-29 Nissan Motor Co Ltd 光切断法による計測装置
DE4341227C2 (de) 1993-12-03 1996-02-22 Gernot Baur Optisch-analytisches Detektionssystem zur Einfallswinkelbestimmung eines Lichtstrahls
CN1148693C (zh) 1996-11-08 2004-05-05 国家计算机***公司 具有经校正的象素输出的光学扫描
JP2000002520A (ja) 1998-06-18 2000-01-07 Minolta Co Ltd 3次元入力装置
US6441908B1 (en) 1999-08-06 2002-08-27 Metron Systems, Inc. Profiling of a component having reduced sensitivity to anomalous off-axis reflections
US6531707B1 (en) * 2000-12-29 2003-03-11 Cognex Corporation Machine vision method for the inspection of a material for defects
JP2003087652A (ja) * 2001-09-12 2003-03-20 Matsushita Electric Ind Co Ltd 電子スチルカメラ
ATE347389T1 (de) 2002-07-24 2006-12-15 Deka Products Lp Optischer verschiebungssensor für infusionsgeräte
US7460250B2 (en) 2003-10-24 2008-12-02 3Dm Devices Inc. Laser triangulation system
US7515280B2 (en) 2004-05-12 2009-04-07 Mitutoyo Corporation Displacement transducer with selectable detector area
WO2006007704A1 (en) 2004-07-16 2006-01-26 Dofasco Inc. Flatness monitor
US20060017936A1 (en) 2004-07-22 2006-01-26 Michel Cantin Transparent object height measurement
US7400415B2 (en) 2005-03-15 2008-07-15 Mitutoyo Corporation Operator interface apparatus and method for displacement transducer with selectable detector area
US9607408B2 (en) * 2007-06-08 2017-03-28 Apple Inc. Rendering semi-transparent user interface elements
JP5081559B2 (ja) 2007-09-28 2012-11-28 パナソニック デバイスSunx株式会社 測定装置
US8120781B2 (en) 2008-11-26 2012-02-21 Zygo Corporation Interferometric systems and methods featuring spectral analysis of unevenly sampled data
JP5247397B2 (ja) 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
DE102009017465B4 (de) 2009-04-03 2011-02-17 Carl Zeiss Oim Gmbh Verfahren und Vorrichtung zum optischen Inspizieren einer zumindest teilweise reflektierenden Oberfläche an einem Gegenstand
US8873712B2 (en) * 2010-04-13 2014-10-28 Carestream Health, Inc. Exposure control using digital radiography detector
WO2011163359A2 (en) 2010-06-23 2011-12-29 The Trustees Of Dartmouth College 3d scanning laser systems and methods for determining surface geometry of an immersed object in a transparent cylindrical glass tank
JP5218494B2 (ja) 2010-07-30 2013-06-26 オムロン株式会社 変位センサ
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US9349182B2 (en) 2011-11-10 2016-05-24 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US8849620B2 (en) * 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
KR101401395B1 (ko) * 2012-02-07 2014-06-02 엄두간 표면각도 측정 광센서 및 이를 이용한 표면각도 및 형상정보 감지방법
WO2014016001A1 (de) 2012-07-25 2014-01-30 Siemens Aktiengesellschaft Farbkodierung für 3d-messung insbesondere bei transparenten streuenden oberflächen
US9413981B2 (en) * 2012-10-19 2016-08-09 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
JP6091866B2 (ja) * 2012-11-30 2017-03-08 株式会社キーエンス 計測顕微鏡装置、画像生成方法及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
US9131219B2 (en) 2012-12-18 2015-09-08 Institut National D'optique Method and apparatus for triangulation-based 3D optical profilometry
US9866900B2 (en) * 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
US9488469B1 (en) 2013-04-22 2016-11-08 Cognex Corporation System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
TW201447277A (zh) * 2013-06-04 2014-12-16 Biotronik Se & Co Kg 感應單元,電子模組以及計算各電子模組之腐蝕物暴露水準之方法
EP3114432B1 (de) * 2014-03-05 2017-11-22 Sick IVP AB Bilderfassungsvorrichtung und messsystem zur bereitstellung von bilddaten und informationen zu den 3d-eigenschaften eines objekts
CN104019767B (zh) * 2014-05-29 2017-04-19 南京理工大学 一种基于灰度直方图的自适应高动态范围三维测量方法
JP6463593B2 (ja) 2015-11-02 2019-02-06 コグネックス・コーポレイション ビジョンシステムでラインを検出するためのシステム及び方法
JP6221011B1 (ja) 2016-03-29 2017-10-25 バンドー化学株式会社 歯付ベルト
CN106204732B (zh) * 2016-07-21 2019-01-08 深圳市易尚展示股份有限公司 动态曝光的三维重建方法及***
US10482621B2 (en) * 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation

Also Published As

Publication number Publication date
US10753726B2 (en) 2020-08-25
US11415408B2 (en) 2022-08-16
CN110462688B (zh) 2023-08-01
CN110462688A (zh) 2019-11-15
KR20190102093A (ko) 2019-09-02
US20190101376A1 (en) 2019-04-04
JP7127046B2 (ja) 2022-08-29
WO2018183155A1 (en) 2018-10-04
KR102370888B1 (ko) 2022-03-07
JP2020512536A (ja) 2020-04-23
US20210148694A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102017116952A1 (de) System und verfahren für verbessertes scoring von 3d-lagen und entfernen von störpunkten in 3d-bilddaten
DE102015219495A1 (de) Verfahren zum Programmieren eines dreidimensionalen Werkstückabtastwegs für ein Metrologiesystem
DE102015210442A1 (de) Inspektionsvorrichtung, Inspektionsverfahren und Programm
WO2019238518A2 (de) Materialprüfung von optischen prüflingen
DE112012005389T5 (de) "Points-from-Focus"-Operationen, die mehrere Beleuchtungseinstellungen in einem maschinell sehenden System verwenden
DE29521937U1 (de) Prüfsystem für bewegtes Material
DE10317384A1 (de) Computertomographie
DE102008041523A1 (de) Verfahren zur dreidimensionalen Messung und Vorrichtung zur dreidimensionalen Messung
DE102015116047A1 (de) Prüfvorrichtung und Steuerverfahren für eine Prüfvorrichtung
DE102014107143B4 (de) System und Verfahren zur Messung der Verschiebung einer Objektoberfläche
DE112018001600T5 (de) System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl
DE102008060141A1 (de) Verfahren zur Vermessung des Wachstums von Blattscheiben sowie eine dazu geeignete Vorrichtung
DE102017102227A1 (de) Verfahren und Vorrichtung zur automatischen Identifizierung einer interessierenden Stelle in einer Tiefenmessung an einem betrachteten Objekt
DE102010037746A1 (de) Verfahren zum optischen Antasten einer Kante in oder an einem Oberflächenbereich
DE112019006855T5 (de) Simulationsvorrichtung und simulationsverfahren
DE102018008010A1 (de) Kalibrationsverfahren einer bildmessvorrichtung und zugehöriges computerprogrammprodukt
EP3071928B1 (de) Bildaufnahmesimulation in einem koordinatenmessgerät
EP2887010B1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE112015006181B4 (de) Ladungsträgerstrahlvorrichtung, Ausrichtungsverfahren für die Ladungsträgerstrahlvorrichtung, Ausrichtungsprogramm und Speichermedium
DE102014108924B4 (de) Ein halbüberwachtes Verfahren zum Trainiern eines Hilfsmodells zur Erkennung und Erfassung von Mehrfachmustern
DE102019131693A1 (de) Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe
DE102016008744A1 (de) Bildmessapparat, Regel- bzw. Steuerprogramm eines derartigen Apparats und nicht-flüchtiges Aufzeichnungsmedium, auf welchem das Regel- bzw. Steuerprogramm aufgezeichnet is
EP2191229B1 (de) Verfahren zur bestimmung einer kante eines optisch zu vermessenden objektes sowie koordinatenmessgerät
DE102013217347A1 (de) Benutzeroberfläche zur parametereinstellung für kantenmessungs- videowerkzeuge

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06T0011000000

Ipc: G06T0007000000

R016 Response to examination communication