DE102014205726A1

DE102014205726A1 - Verbessertes Kantenerkennungswerkzeug für Kanten von unregelmäßigen Oberflächen

Info

Publication number: DE102014205726A1
Application number: DE102014205726.4A
Authority: DE
Inventors: Robert Kamil Bryll
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2013-03-28
Filing date: 2014-03-27
Publication date: 2014-10-16
Anticipated expiration: 2034-03-28
Also published as: CN104075666A; DE102014205726B4; US8995749B2; JP6282508B2; US20140294284A1; CN104075666B; JP2014194776A

Abstract

Es wird ein Verfahren zum Verbessern der Kantenerkennung für Kanten von unregelmäßigen Oberflächen in einem Inspektionssystem mit maschineller Bildverarbeitung (10) angegeben. Das Inspektionssystem umfasst ein Video-Werkzeug für Kantenmerkmale, das konfiguriert ist, Profildaten für ein Kantenmerkmal basierend auf mehreren unterschiedlich fokussierten Bildern zu bestimmen. Es wird eine kantenbezogenes Ausrichtungskompensation angegeben, die sich darauf bezieht, im Wesentlichen einen jeweiligen Versatzbetrag des Kantenmerkmals an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung zu minimieren, die zur Richtungsfilterung der mehreren unterschiedlich fokussierten Bilder benutzt wird, bevor die Profildaten für das Kantenmerkmal bestimmt werden. In einigen Ausführungsformen können die mehreren unterschiedlich fokussierten Bilder richtungsgefiltert werden, indem ein Richtungsfilterungsunterbereich (DFS) benutzt wird, der relativ zu einem Punkt definiert wird, der einer PFF-basierten Pixelposition in jedem der mehreren unterschiedlich Bilder entspricht, wobei jeder DFS eine relativ längere Abmessung entlang der Richtung der Richtungsfilterung aufweist.

Description

ALLGEMEINER STAND DER TECHNIK
Präzisionsinspektionssysteme mit maschineller Bildverarbeitung (oder kurz Bildverarbeitungssysteme) können genutzt werden, um präzise dimensionale Messungen von untersuchten Objekten zu erhalten und verschiedene andere Eigenschaften von Objekten zu untersuchen. Solche Systeme können einen Computer, eine Kamera und optische Systeme sowie einen in mehrere Richtungen beweglichen Präzisionstisch umfassen, die eine Werkstückprüfung ermöglichen. Ein beispielhaftes System aus dem Stand der Technik, das als Mehrzweck-„Offline”-Präzisionsbildverarbeitungssystem charakterisiert werden kann, ist die im Handel erhältliche QUICK VISION^®-Serie von PC-basierten Bildverarbeitungssystem und die QVPAK^® Software der Mitutoyo America Corporation (MAC) mit Sitz in Aurora, IL. Die Merkmale und Arbeitsabläufe der Bildverarbeitungssysteme der QUICK VISION^®-Serie und der QVPAK^®-Software werden beispielsweise in dem im Januar 2003 veröffentlichten Benutzerhandbuch der optischen 3D CNC Messmaschine QVPAK und in der im September 1996 veröffentlichten Bedienungsanleitung der optischen 3D CNC Messmaschine QVPAK allgemein beschrieben, die jeweils vorliegend vollinhaltlich durch Bezugnahme mit aufgenommen werden. Diese Art von Systemen ist in der Lage, ein mikroskopartiges optisches System einzusetzen und den Tisch zu bewegen, um Inspektionsbilder von entweder kleinen oder relativ großen Werkstücken in verschiedenen Vergrößerungen zu liefern.
Mehrzweckinspektionssysteme zur maschinellen Bildverarbeitung, wie das QUICK VISION^TM-System, sind im Allgemeinen auch programmierbar, um eine automatische Video-Inspektion zu bieten. Das US-Patent Nr. 6,542,180 (das '180-Patent) lehrt verschiedene Aspekte einer derartigen Video-Inspektion und ist vorliegend durch Bezugnahme vollinhaltlich mit aufgenommen. Wie in dem '180-Patent gelehrt wird, weisen automatisierte messtechnische Geräte zur Video-Inspektion im Allgemeinen Programmiermöglichkeiten auf, die eine durch den Benutzer definierte automatische Inspektionsabfolge für jede bestimmte Werkstückkonfiguration ermöglichen. Dies kann durch Text-basiertes Programmieren realisiert werden, beispielsweise durch einen Aufzeichnungsmodus, der fortschreitend den Inspektionsablauf „lernt”, indem eine Abfolge von Maschinensteuerungsanweisungen gespeichert wird, die einer Abfolge von durch einen Benutzer mit Hilfe einer grafischen Benutzeroberfläche ausgeführten Inspektionsabläufen entspricht, oder durch eine Kombination beider Verfahren. Ein solcher Aufzeichnungsmodus wird oft als „Lernmodus” oder „Trainingsmodus” oder „Aufzeichnungsmodus” bezeichnet. Sobald die Inspektionsabfolge im „Lernmodus” definiert ist, kann eine solche Abfolge dann genutzt werden, um automatisch Bilder eines Werkstücks während eines „Programmlaufmodus” aufzunehmen (und zusätzlich zu analysieren oder zu untersuchen).
Die Maschinensteuerungsanweisungen einschließlich der spezifischen Inspektionsabfolge (d. h., wie jedes Bild aufzunehmen ist und wie jedes aufgenommene Bild zu analysieren/untersuchen ist) werden im Allgemeinen als „Teileprogramm” oder „Werkstückprogramm” gespeichert, das bezeichnend für die bestimmte Werkstückkonfiguration ist. Beispielsweise definiert ein Teileprogramm, wie das jeweilige Bild aufzunehmen ist, wie die Kamera relativ zum Werkstück zu positionieren ist, bei welcher Beleuchtungsstufe, mit welcher Vergrößerungsstufe, usw.. Ferner definiert das Teileprogramm, wie ein aufgenommenes Bild zu analysieren/untersuchen ist, beispielsweise durch Verwendung eines oder mehrerer Video-Werkzeuge, wie etwa Video-Werkzeuge zur Kanten-/Randerkennung.
Video-Werkzeuge (oder kurz „Werkzeuge”) enthalten GUI-Funktionen und vordefinierte Bildanalysevorgänge, so dass Bedienung und Programmierung von nicht-fachkundigen Bedienern ausgeführt werden können. Video-Werkzeuge können von einem Benutzer bedient werden, um eine manuelle Inspektion und/oder Maschinensteuerungsvorgänge (im „HandProgrammablaufmodus”) auszuführen. Deren Einstellparameter und Bedienung können ebenfalls während des Lernmodus aufgezeichnet werden, um automatische Inspektionsprogramme zu schaffen. Beispielhafte Video-Werkzeuge umfassen Messwerkzeuge zur Kantenlokalisierung, die eingesetzt werden, um ein Kantenmerkmal eines Werkstücks zu lokalisieren, und die eine Werkzeugkonfiguration enthalten können, die als „Box-Werkzeug” bezeichnet wird und dazu genutzt wird, eine Kante in einem Bereich von Interesse einzukreisen und dann automatisch die Kantenposition zu bestimmen. Das allgemein zugeteilte US-Patent Nr. 7,627,162 , das vorliegend durch Bezugnahme vollinhaltlich aufgenommen ist, lehrt verschiedene Anwendungen von Box-Werkzeugen.
Bekannte Messwerkzeuge zur Bestimmung der Kantenposition benutzen die Bildintensität, um die Kantenpositionen zu bestimmen. Intensitätsgradienten werden entlang von Abtastlinien (einschließlich Pixelhelligkeits- oder Intensitäts-Werte) analysiert, die die Kante kreuzen. Die Position des maximalen Gradienten wird häufig als die Kantenposition genutzt. Es bleibt jedoch nach wie vor schwierig, „verrauschte” Kanten zu lokalisieren, wie etwa die Kanten von stark strukturierten Oberflächen oder unregelmäßige, durch Sägen oder Laserschneiden erzeugte Kanten, wenn ein Intensitätsgradientenverfahren eingesetzt wird. Die entstehenden Abtastlinien sind häufig zu verrauscht, um zuverlässige Messungen zur Kantenlokalisierung zu unterstützen. Eine weitere bekannte Art eines Video-Werkzeugs wird manchmal als „Vielpunkt-Werkzeug” oder als Vielpunkt-Autofokus-Werkzeug” bezeichnet. Ein solches Werkzeug liefert Messwerte oder Koordinaten in der Z-Höhe (entlang der optischen Achse und Fokussierachse des Kamerasystems), die von einer „besten Fokus”-Position für mehrere Unterbereiche an definierten X-Y-Koordinaten innerhalb eines Bereichs von Interesse des Werkzeugs abgeleitet werden, wie dies etwa durch ein kontrastbasiertes „Autofokus”-Verfahren bestimmt wird, das manchmal als Points-From-Focus(PFF)-Rekonstruktion bezeichnet wird. Ein Satz solcher X,Y,Z-Koordinaten kann als Punktwolken-Datensatz oder kurz als Punktwolke bezeichnet werden. Gemäß den Autofokus-Verfahren und/oder Werkzeuge aus dem Stand der Technik bewegt sich im Allgemeinen die Kamera durch einen Bereich von Positionen entlang einer Z-Achse (der Fokussierachse) und nimmt an jeder Position ein Bild auf (als Bildstapel bezeichnet). Für jedes aufgenommene Bild wird für jeden auf dem Bild basierenden Unterbereich eine Fokusmetrik berechnet und zur entsprechenden Position der Kamera entlang der Z-Achse zum Zeitpunkt der Bildaufnahme in Bezug gesetzt. Daraus ergeben sich Fokuskurvendaten für jeden Unterbereich, die einfach als „Fokuskurve” oder „Autofokuskurve” bezeichnet werden können. Der Höchstpunkt der Fokuskurve, der der besten Fokusposition entlang der Z-Achse entspricht, kann durch Anpassung einer Kurve an die Fokuskurvendaten und Schätzen des Höchstwerts der angepassten Kurve gefunden werden. Varianten solcher Autofokus-Verfahren sind im Stand der Technik hinreichend bekannt. Ein bekanntes Verfahren der Autofokussierung ähnlich dem oben dargelegten Verfahren wird beispielsweise in „Robust Autofocusing in Microscopy" von Jan-Mark Geusebroek und Arnold Smeulders in ISIS Technical Report Series, Band 17, November 2000 diskutiert. Ein weiteres bekanntes Verfahren und eine Vorrichtung zum Autofokussieren wird im US-Patent Nr. 5,790,710 beschrieben, das hiermit durch Bezugnahme vollinhaltlich mit aufgenommen wird.
Einige Verfahren sind für die Nachbearbeitung von Punktwolkendaten und das Ermitteln der Kantenmerkmale in der Punktwolke bekannt. Solche Verfahren ähneln jedoch den bekannten, oben dargelegten intensitätsbasierten Messwerkzeugen zur Kantenlokalisierung (z. B. einem Box-Werkzeug oder dergleichen) nicht, da diese Verfahren wesentlich schwieriger zu verstehen und anzuwenden sind und im Allgemeinen für relative unerfahrene Benutzer nicht geeignet sind. Außerdem können sich bestimmte Probleme ergeben, wenn mehrere 3D-Datenpunkte über der Oberfläche eines Werkstücks und/oder einer Kante hinweg ermittelt werden und versucht wird, die resultierenden 3D-Datenpunkte gemeinsam zum Bestimmen der Position oder des Z-Profils der Kante zu verwenden. Genauigkeiten im Mikrometerbereich oder Submikrometerbereich sind häufig in Präzisionsinspektionssystemen mit maschineller Bildverarbeitung erwünscht. Dies ist insbesondere im Hinblick auf Messungen der Z-Höhe um eine Kante herum schwierig. Ein besonderes Problem ergibt sich bei der Points-From-Fokus(PFF)-Rekonstruktion um eine Kante herum dadurch, dass der örtliche Kontrast um jeden Bildpunkt herum (entsprechend einer X-Y-Position einer Punktwolke) typischerweise auf einer quadratischen Umgebung basiert oder innerhalb einer quadratischen Umgebung gemittelt wird, die auf dieser Position (z. B. 7×7 Bildpunkte) zentriert wird, um Rauschen in der Kontrastkurve zu reduzieren und eine zuverlässige Rekonstruktion der Z-Tiefe zu ermöglichen. Dies verzerrt oder „glättet” jedoch im Allgemeinen das Kantenprofil in den Punktwolkendaten und vermindert die Genauigkeit und Auflösung des Profils über die Kante hinweg. Folglich bleibt es schwierig, ein genaues Profil und/oder eine genaue Position für bestimmte Arten von Kanten, beispielsweise „verrauschte” Kanten, wie etwa den Kanten von unregelmäßigen Oberflächen oder unregelmäßige, durch Sägen oder Laserschneiden erzeugte Kanten zu bestimmen. Video-Werkzeuge und/oder automatische Abläufe, die ungeübten Benutzern ermöglichen, Profile für solche Kanten mit verbesserter Zuverlässigkeit und/oder Wiederholbarkeit zu bestimmen, wären deshalb wünschenswert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Schaubild, das verschiedene typische Komponenten eines Mehrzweck-Präzisionsinspektionssystem mit maschineller Bildverarbeitung zeigt.
2 ist ein Blockdiagramm eines Abschnitts eines Steuersystem und eines Abschnitts von Bildverarbeitungskomponenten eines Inspektionssystems mit maschineller Bildverarbeitung ähnlich dem von 1, und eines Kantenmerkmal-Werkzeugs, das ein PFF-Verfahren mit Richtungsfilterung und Ausrichtungskompensation aufweist.
3 ist ein Diagramm, das einen quadratischen Filterungsunterbereich und einen Richtungsfilterungsunterbereich (DFS) zeigt.
Die 4A und 4B sind Diagramme, die Richtungsfilterungsunterbereiche zeigen, die zur PFF-Profilierung über horizontale und vertikale Merkmale hinweg genutzt werden.
5 ist ein Diagramm, das eine Tiefenabbildung zeigt, die mittels eines PFF-Algorithmus mit quadratischen Filterungsunterbereichen für jeden Bildpunkt rekonstruiert wurde.
6 ist ein Diagramm, das eine Tiefenabbildung zeigt, die mittels eines PFF-Algorithmus mit Richtungsfilterungsunterbereichen (DFS) für jeden Bildpunkt rekonstruiert wurde.
Die 7A und 73 zeigen ein gerades Kantenmerkmal in einem Blickfeld einer Bedieneroberfläche und vergleichen Versatzbeträge des Kantenmerkmals entlang eines schematisch dargestellten DFS, der in 7A ausgerichtet ist und in 7B schlecht ausgerichtet ist, sowie zugehörige Faktoren in entsprechenden aktuellen Z-Höhenprofilen.
Die 8A–8C zeigen ein PFF-Box-Werkzeug, das zum Bestimmen von PFF-Profildaten für ein gerades Kantenmerkmal in einem Werkstückbild positioniert ist, mit verschiedenen Ausführungsformen von Bedienoberflächen von Video-Werkzeugen zum Anzeigen des Zustands des PFF-Box-Werkzeugs im Zusammenhang mit dem Bereitstellen einer kantenbezogenen Ausrichtungskompensation, die DFS-/Kantenversätze gemäß der hier offenbarten Prinzipien im Wesentlichen eliminiert.
Die 9A–9C zeigen ein PFF-Bogenwerkzeug, das zum Bestimmen von PFF-Profildaten für einen kreisförmigen Abschnitt eines Kantenmerkmals in einem Werkstückbild positioniert ist, mit verschiedenen Ausführungsformen von Bedienoberflächen von Video-Werkzeugen zum Anzeigen des Zustands des PFF-Bogenwerkzeugs im Zusammenhang mit dem Bereitstellen einer kantenbezogenen Ausrichtungskompensation, die DFS-/Kantenversätze gemäß der hier offenbarten Prinzipien im Wesentlichen eliminiert.
Die 10A–10C zeigen ein PFF-Box-Werkzeug, das zum Bestimmen von PFF-Profildaten für ein gerades Kantenmerkmal in einem Werkstückbild positioniert ist, mit verschiedenen Ausführungsformen von Bedienoberflächen von Video-Werkzeugen zum Anzeigen des Zustands des PFF-Box-Werkzeugs im Zusammenhang mit dem Bereitstellen einer kantenbezogenen Ausrichtungskompensation, die DFS-/Kantenversätze gemäß der hier offenbarten Prinzipien im Wesentlichen kompensiert.
Die 11A–11C zeigen ein PFF-Bogenwerkzeug, das zum Bestimmen von PFF-Profildaten für einen kreisförmigen Kantenabschnitt in einem Werkstückbild positioniert ist, mit verschiedenen Ausführungsformen von Bedienoberflächen von Video-Werkzeugen zum Anzeigen des Zustands des PFF-Bogenwerkzeugs im Zusammenhang mit dem Bereitstellen einer kantenbezogenen Ausrichtungskompensation, die DFS-/Kantenversätze gemäß der hier offenbarten Prinzipien im Wesentlichen kompensiert.
12 ist ein Ablaufdiagramm eines Verfahrens zur verbesserten Kantenerkennung für Kanten von unregelmäßigen Oberflächen in einem Inspektionssystem mit maschineller Bildverarbeitung.
13 ist ein Ablaufdiagramm eines Verfahrens zum Bestimmen von PFF-Profildaten für ein Kantenmerkmal, basierend auf Richtungsfilterung.
14 ist ein Ablaufdiagramm eines Verfahrens zum Ausführen von Richtungsfilterung unter Verwendung von Richtungsfilterungsunterbereichen, die relativ zu PFF-basierten Bildpunktpositionen definiert werden.
AUSFÜHRLICHE BESCHREIBUNG
Es wird vorliegend ein Verfahren zum Verbessern der Kantenerkennung für Kanten von unregelmäßigen Oberflächen in einem Inspektionssystem mit maschinellen Bildverarbeitung offenbart. Das Inspektionssystem mit maschineller Bildverarbeitung kann ein Video-Werkzeug für Kantenmerkmale umfassen, das einen Abschnitt zum Definieren eines Bereichs von Interesse aufweist, wobei das Video-Werkzeug für Kantenmerkmale dazu konfiguriert ist, Profildaten für ein Kantenmerkmal in dem Bereich von Interesse basierend auf mehreren unterschiedlich fokussierten Bildern des Bereich von Interesse zu bestimmen. Das Verfahren umfasst das Einlegen eines Werkstücks in ein Sichtfeld des maschinellen Inspektionssystems mit maschineller Bildverarbeitung und das Betreiben des Video-Werkzeugs für Kantenmerkmale, um einen Video-Werkzeugbereich von Interesse zu definieren, der ein Kantenmerkmal in einem erfassten Bild des Werkstücks aufweist. Das Video-Werkzeug für Kantenmerkmale wird betrieben, um Bilddaten von mindestens einem Werkstückbild in dem Bereich von Interesse zu analysieren, um eine kantenbezogene Ausrichtungskompensation im Zusammenhang mit einer wesentlichen Minimierung eines jeweiligen Versatzbetrags des Kantenmerkmals an den jeweiligen Positionen entlang einer Richtung der Richtungsfilterung bereitzustellen, die zur Richtungsfilterung der mehreren unterschiedlich fokussierten Bilder vor dem Bestimmen der Profildaten für das Kantenmerkmal genutzt wird. Es versteht sich, dass die kantenbezogene Ausrichtungskompensation genutzt wird, um zu versuchen, den/die jeweiligen Versatzbetrag/Versatzbeträge relativ zur Richtung der Richtungsfilterung zu minimieren oder nahezu zu minimieren. Die Rechnerkosten oder das „Rauschverhalten” der Werkstückmerkmale in den Bildern, oder Beides, können jedoch einen Kompromiss in einigen Ausführungsformen vorschreiben, der dieses Ziel ausreichend, aber nicht perfekt, erreicht.
In verschiedenen Ausführungsformen kann die kantenbezogene Ausrichtungskompensation dazu genutzt werden, die Richtung der Richtungsfilterung so abzustimmen, dass für den jeweiligen Versatzbetrag des Kantenmerkmals an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung zumindest einer der folgenden Punkte zutrifft: er wird a) im Wesentlichen beseitigt, b) im Wesentlichen kompensiert, und c) im Wesentlichen an einen zuvor bestimmten jeweiligen Versatzbetrag eines entsprechenden Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung angepasst. Es versteht sich, dass das Abstimmen der Richtung der Richtungsfilterung in verschiedenen mathematischen Formen erfolgen kann, die im Wesentlichen dasselbe Ergebnis erzielen. In einer Form kann die Richtung der Richtungsfilterung tatsächlich so abgestimmt werden, dass sie so parallel wie möglich (oder wie zweckmäßig) zu dem Kantenmerkmal ist. In einer anderen Form kann der jeweilige Versatzbetrag des Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung dazu genutzt werden, die relativen Adressen oder Positionen eines vorgegebenen oder generischen Satzes von Pixelpositionen entsprechend einer vorgegebenen oder generischen Richtung der Richtungsfilterung abzustimmen oder zu kompensieren, und tatsächlich die Bilddaten so zu drehen und/oder erneut aufzunehmen, dass parallel zu dem Kantenmerkmal ausgerichtete Pixeldaten in dem Richtungsfilterungsablauf genutzt werden. Diese Vorgänge, die im ersten Falle als Beseitigen des Versatzbetrages und im zweiten Falle als Kompensation des Versatzbetrages bezeichnet werden könnten, ergeben im Wesentlichen ähnliche Ergebnisse. Beide können zu Richtungsfilterungsabläufen führen, die Pixeldaten verwenden, die ungefähr parallel derart zu einem Kantenmerkmal ausgerichtet sind, dass sie entlang einer nominalen „konstanten Höhenkonturlinie” der Kantenmerkmalstopographie weisen. Wenn diese Bedingung erfüllt wird, dann wird eine richtungsgefilterte oder ausgemittelte Fokusmetrik, die eine Z-Höhenbestimmung nahe der Kante liefert, auf Bilddaten basiert, die einer geringen Abweichung der tatsächlichen Höhe entsprechen sollten, was zu einer besser wiederholbaren, genaueren und repräsentativeren Z-Höhenbestimmung führt, wie ausführlicher nachstehend beschrieben wird. Aus diesem Grund kann vorliegend jede Form einer kantenbezogenen Ausrichtungskompensation, die im Wesentlichen ähnliche Ergebnisse liefert, tatsächlich als „Abstimmen der Richtung der Richtungsfilterung” bezeichnet werden.
In verschiedenen Ausführungsformen wird das Video-Werkzeug für Kantenmerkmale dazu betrieben, die mehreren unterschiedlich fokussierten Bilder zu erfassen. Die kantenbezogene Ausrichtungskompensation wird angewandt, um die Richtung der Richtungsfilterung abzustimmen. Die mehreren unterschiedlich fokussierten Bilder werden nach Anwendung der kantenbezogenen Ausrichtungskompensation richtungsgefiltert. Die Profildaten des Kantenmerkmals werden basierend auf den richtungsgefilterten, mehreren unterschiedlich fokussierten Bildern bestimmt.
In einigen Ausführungsformen kann die Richtungsfilterung der mehreren unterschiedlich fokussierten Bilder die Verwendung eines Richtungsfilterungsunterbereichs (DFS) umfassen, der relativ zu einem Punkt entsprechend einer Pixelposition auf PFF-Basis in jedem der mehreren Bilder definiert wird, wobei jeder DFS entlang der Richtung der Richtungsfilterung eine längere Abmessung aufweist, die größer ist als eine kurze Abmessung entlang einer zweiten Richtung, die ungefähr senkrecht zur Richtung der Richtungsfilterung verläuft. Die kantenbezogene Ausrichtungskompensation kann dazu genutzt werden, die Richtung der Richtungsfilterung derart abzustimmen, dass für den Versatzbetrag des Kantenmerkmals entlang der Richtung der Richtungsfilterung zumindest einer der folgenden Punkte zutrifft: er wird a) im Wesentlichen beseitigt, und b) im Wesentlichen kompensiert, bevor die Richtungsfilterung ausgeführt wird. In bestimmten Ausführungen beträgt die kurze Abmessung höchstens 5 Pixel und die längere Abmessung beträgt mindestens das Dreifache der zweiten Abmessung. In bestimmten Ausführungen wird eine PFF-Metrik, die genutzt wird, eine Z-Höhe des Profils zu bestimmen, die der PFF-basierten Pixelposition eines DFS zugeordnet ist, ausschließlich basierend auf den in diesem DFS enthaltenen Pixeln bestimmt.
Man wird verstehen, dass die Nutzung eines DFS, der eine längere Abmessung entlang der Richtung der Richtungsfilterung aufweist, Vorteile gegenüber früheren Verfahren bietet, in denen lediglich ein quadratischer Filterungsunterbereich genutzt wird. Insbesondere wird bei herkömmlichen Points-From-Focus(PFF)-Rekonstruktionen der örtliche Kontrast um jedes Bildpixel in einem quadratischen Filterungsunterbereich (z. B. 7×7 Pixel) gemittelt, um Rauschen in der Kontrastkurve zu reduzieren und eine zuverlässige Rekonstruktion der Z-Tiefe an der Pixelposition zu ermöglichen. Die X-Y-Auflösung einer rekonstruierten 3D Tiefenabbildung wird daher durch die quadratischen Filterungsunterbereiche in X- und auch in Y-Richtung in gleichem Masse reduziert. Im Unterschied dazu kann durch Verwendung eines DSF mit einer längeren Abmessung entlang der Richtung der Richtungsfilterung und einer engen Abmessung quer zur längeren Abmessung, die X-Y-Auflösung entlang der engen Richtung, quer zur Richtung der Richtungsfilterung, wahlweise erhöht werden.
Als spezifisches erläuterndes Beispiel kann statt der Nutzung eines quadratischen Filterungsunterbereichs (z. B. 7×7 Pixel), ein DFS mit einer längeren Abmessung entlang der Richtung der Richtungsfilterung (z. B. 49 Pixel breit, 1 Pixel hoch) genutzt werden, welcher die gleiche Anzahl von Kontrastwerten pro Pixel erzeugt (z. B. 49), wobei jedoch die Y-(vertikale) Auflösung auf 1 Pixel erhöht und die X-Auflösung basierend auf der Nutzung von 49 Pixeln entlang dieses DFS reduziert wird. In einer Ausführung können die ausmittelnden DFS pixelweise wie in einem herkömmlich ausgeführten PFF-Algorithmus (z. B. mehrere überlappende, nicht-quadratische ausmittelnde DFS, mit einem DFS pro Pixel, und die X-Y-Position der Punktwolke ist als Mittelpunkt des DFS definiert) berechnet werden. In einer alternativen Ausführung kann der Bereich der Profilrekonstruktion (d. h. der Rekonstruktionsbereich von Interesse des PFF-Werkzeugs) in nicht-quadratische ausmittelnde Unterbereiche aufgeteilt werden, wobei sich ein Unterbereich pro Zeile oder Spalte des Profilrekonstruktionsbereichs ergibt.
Die Nutzung einer Technik mit Richtungsfilterungsunterbereichen, wie oben dargelegt, kann in der Richtung entlang der engen Richtung der DFS relativ präzise, hochauflösende Profile („Querschnitte”) über Kantenmerkmale und dergleichen hinweg erzeugen. Eine bestimmte Anforderung muss jedoch erfüllt werden. Diese Anforderung besagt, dass die längere Richtung der Richtungsfilterung ungefähr derart parallel zu einem Kantenmerkmal ausgerichtet sein soll, dass sie entlang einer nominalen „konstanten Höhenkonturlinie” der Kantenmerkmal-Topographie weist. Wenn diese Bedingung erfüllt wird, dann wird die richtungsgefilterte oder ausgemittelte Fokusmetrik, die die Z-Höhenbestimmung für diesen DSF liefert, auf Bilddaten basiert, die einer geringen Abweichung der tatsächlichen Höhe entsprechen sollten, was zu einer besser wiederholbaren, genaueren und repräsentativeren Z-Höhe am Mittelpunkt dieses DFS führt. Wenn im Gegensatz dazu diese Bedingung nicht erfüllt wird, wird die richtungsgefilterte oder ausgemittelte Fokusmetrik, die die Z-Höhenbestimmung für diesen DSF liefert, auf Bilddaten basiert, die schräg über die Kante hinweg verlaufen und somit eine große Abweichung von tatsächlichen Höhen umfasst und damit eine wenig wiederholbare, weniger genaue und möglicherweise nicht repräsentative Z-Höhe am Mittelpunkt dieses DFS erzeugt.
Man wird verstehen, dass, vorausgesetzt die längere Richtung der Richtungsfilterung ist ungefähr parallel zu einem Kantenmerkmal ausgerichtet, die oben dargelegten PFF-Kantentechniken besonders vorteilhaft für bestimmte Anwendungen ist, wie etwa für das Bestimmen genauer Profile und nominaler Positionen für bestimmte Arten von Kanten, zum Beispiel „verrauschte” Kanten, wie die Kanten von unregelmäßigen Oberflächen oder unregelmäßige, durch Sägen oder Laserschneiden erzeugte Kanten. Um zu gewährleisten, dass die längere Richtung der Richtungsfilterung ungefähr parallel zu einem Kantenmerkmal ausgerichtet ist, kann in bestimmten Anwendungen eine kantenbezogene Ausrichtungskompensation vorgesehen werden, wie nachfolgend näher beschrieben wird. In bestimmten Ausführungsformen kann die kantenbezogene Ausrichtungskompensation automatisch oder halbautomatisch ausgeführt werden, so dass relativ unerfahrene Benutzer trotz fehlender Kenntnis der kritischen Aspekte des Prozesses zuverlässige Messungen von verrauschten Kanten erhalten können. In einigen Ausführungsformen kann die kantenbezogene Ausrichtungskompensation in den Abläufen und/oder der Bedieneroberfläche eines Video-Werkzeugs für Kantenmerkmale vorgesehen werden, oder in einem Video-Werkzeugmodus vorgesehen werden, der das PFF-Verfahren ausführt, um eine Kantenposition und/oder ein Kantenprofil zu bestimmen.
In einigen Ausführungsformen umfasst das Video-Werkzeug für Kantenmerkmale eine Benutzeroberfläche mit mindestens einem Indikator des Bereichs von Interesse, wobei der Indikator einem Bild des Werkstücks überlagert wird, und das Verfahren umfasst weiterhin die Bereitstellung einer Anzeige, dass die kantenbezogene Ausrichtungskompensation vorgesehen wurde, indem ein Element angepasst wird, das dem Bild des Werkstücks in der Benutzeroberfläche überlagert wird. In bestimmten Ausführungen umfasst das Anpassen eines Elements, das dem Bild des Werkstücks in der Benutzeroberfläche überlagert wird, entweder das Ändern einer Eigenschaft eines Elements, das dem Bild des Werkstücks überlagert ist, oder das Zufügen eines Indikators einer kantenbezogenen Ausrichtungskompensation, wobei der Indikator dem Bild überlagert wird.
In einigen Ausführungsformen umfasst das Anpassen eines Elements, das dem Bild des Werkstücks in der Benutzeroberfläche überlagert wird, das Anpassen von mindestens einem der Folgenden: dem Indikator des Bereichs von Interesse, einem Kantenrichtungsindikator und einem Indikator der Richtung der Richtungsfilterung, um anzuzeigen, dass die kantenbezogene Ausrichtungskompensation vorgesehen wurde. Man wird verstehen, dass in verschiedenen spezifischen Anwendungen entweder der Kantenrichtungsindikator oder der Indikator der Richtung der Richtungsfilterung eine nominale Kantenformlinie der Benutzeroberfläche sein kann.
In einigen Ausführungsformen wird das Video-Werkzeug für Kantenmerkmale entsprechend eines geraden Kantenmerkmals konfiguriert, und das Anpassen des Indikators des Bereichs von Interesse umfasst das Positionieren des Indikators des Bereichs von Interesse derart, dass eine seiner Achsen rechtwinklig zu dem Kantenmerkmal ist, das Anpassen des Kantenrichtungsindikators umfasst das Positionieren des Kantenrichtungsindikators derart, dass er parallel zu dem Kantenmerkmal ist, und das Anpassen des Indikators der Richtung der Richtungsfilterung umfasst das Positionieren des Indikators der Richtung der Richtungsfilterung derart, dass er entweder parallel oder rechtwinklig zu dem Kantenmerkmal ist. In bestimmten anderen Ausführungsformen wird das Video-Werkzeug für Kantenmerkmale entsprechend entweder eines kreisförmigen Kantenmerkmals oder eines kreisbogenförmigen Kantenmerkmals konfiguriert, und das Anpassen des Indikators des Bereichs von Interesse umfasst das Positionieren des Indikators des Bereichs von Interesse derart, dass seine Ränder ungefähr konzentrisch zu dem Kantenmerkmal sind, das Anpassen des Kantenrichtungsindikators umfasst das Positionieren des Kantenrichtungsindikators derart, dass er ungefähr konzentrisch zu dem Kantenmerkmal ist, und das Anpassen des Indikators der Richtung der Richtungsfilterung umfasst das Positionieren des Indikators der Richtung der Richtungsfilterung derart, dass er ungefähr konzentrisch zu dem Kantenmerkmal ist.
In verschiedenen Ausführungsformen kann die Ausführung des Verfahrens einen der folgenden Schritte umfassen: a) Auswählen des Video-Werkzeugs für Kantenmerkmale derart, dass es ein Typ ist, der Abläufe für kantenbezogene Ausrichtungskompensation enthält, b) Auswählen eines Modus oder einer Option des Video-Werkzeugs für Kantenmerkmale, das Abläufe für kantenbezogene Ausrichtungskompensation enthält, c) Auswählen eines Richtungsfilterungsmodus oder -option des Video-Werkzeugs für Kantenmerkmale, das Abläufe für kantenbezogene Ausrichtungskompensation enthält, und d) Auswählen eines Werkzeugs für kantenbezogene Ausrichtungskompensation, das Abläufe für kantenbezogene Ausrichtungskompensation bereitstellt, die im Zusammenwirken mit dem Video-Werkzeug für Kantenmerkmale arbeiten. Das Analysieren der Bilddaten des mindestens einen Werkstückbilds im Bereich von Interesse, um die kantenbezogene Ausrichtungskompensation bereitzustellen, kann das Durchführen der Abläufe der kantenbezogenen Ausrichtungskompensation im Zusammenwirken mit Abläufen des Video-Werkzeugs für Kantenmerkmale umfassen.
In einigen Fällen wird das Verfahren während eines Lernmodus des Inspektionssystems mit maschineller Bildverarbeitung ausgeführt und entsprechende Abläufe werden in einem Teileprogramm aufgezeichnet. In anderen Fällen werden zumindest einige Schritte des Verfahrens während eines Programmlaufmodus des Inspektionssystems mit Bildverarbeitung ausgeführt, indem entsprechende, in einem Teileprogramm aufgezeichnete Abläufe durchgeführt werden.
In einigen Ausführungsformen umfasst das Bereitstellen der kantenbezogenen Ausrichtungskompensation das Charakterisieren des jeweiligen Versatzbetrags des Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung, die für die Richtungsfilterung der mehreren unterschiedlich fokussierten Bilder genutzt wird. In bestimmten Ausführungen kann eine Nachschlagtabelle genutzt werden, um die jeweiligen Versatzbeträge entsprechend der jeweils entsprechenden Position zu speichern.
In einigen Ausführungsformen umfasst das Charakterisieren des jeweiligen Versatzbetrags des Kantenmerkmals an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung: Betreiben des Video-Werkzeugs für Kantenmerkmale, um mehrere unterschiedlich fokussierte Bilder des Bereich von Interesse zu erfassen; Bestimmen von vorläufigen Profildaten für das Kantenmerkmal basierend auf den erfassten, mehreren unterschiedlich fokussierten Bildern des Bereichs von Interesse; Ausrichten, basierend auf den vorläufigen Profildaten, einer dem Video-Werkzeug für Kantenmerkmale zugeordneten Linienform nach dem Kantenmerkmal; und Charakterisieren des jeweiligen Versatzbetrags der ausgerichteten Linienform an jeweiligen Positionen entlang der Richtung der Richtungsfilterung. In einigen Ausführungsformen ist die dem Video-Werkzeug für Kantenmerkmale zugeordnete Linienform eine gerade Linie, und das Charakterisieren des jeweiligen Versatzbetrags der ausgerichteten Linienform an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung umfasst das Bestimmen eines Winkels zwischen der ausgerichteten geraden Linie und der Richtung der Richtungsfilterung. In einigen Ausführungsformen umfasst die dem Video-Werkzeug zugeordnete Linienform zumindest einen Abschnitt eines Kreises, die Richtung der Richtungsfilterung folgt einer Richtung parallel zu einem Filterungsrichtungskreis, und das Charakterisieren des jeweiligen Versatzbetrags der ausgerichteten Linienform an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung umfasst das Bestimmen des jeweiligen Versatzbetrags des ausgerichteten Kreisabschnitts relativ zur Filterungsrichtung.
In einigen Ausführungsformen umfasst das Verfahren das Betreiben des Video-Werkzeugs, um mehrere unterschiedlich fokussierte Bilder des Bereichs von Interesse während eines Lernmodus des Inspektionssystem mit maschineller Bildverarbeitung zu erfassen, und das Bestimmen von Lernmodus-Kantenprofilen an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung basierend auf den erfassten mehreren unterschiedlich fokussierten Bildern des Bereichs von Interesse. Weiterhin umfasst das Bereitstellen der kantenbezogenen Ausrichtungskompensation das Bestimmen eines Lernmodus-Kombinationskantenprofils basierend auf mehreren beteiligten Lernmodus-Kantenprofilen, die einen jeweiligen Versatzbetrag eines repräsentativen Lernmodus-Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung während des Lernmodus aufweisen, und Abläufe entsprechend des Verfahrens werden in einem Teileprogramm gespeichert, das eine gespeicherte Darstellung des Lernmodus-Kombinationskantenprofils enthält. In einigen Ausführungen umfasst das Verfahren ferner das Ausführen des Teileprogramms während eines Programmlaufmodus des Inspektionssystems mit maschineller Bildverarbeitung, wobei der Programmlaufmodus umfasst, während des Programmlaufmodus die kantenbezogene Ausrichtungskompensation bereitzustellen, die auf dem Bestimmen eines Programmlaufmodus-Kombinationskantenprofils basiert, das auf mehreren, zum Programmlaufmodus beitragenden Kantenprofilen basiert. Die Profile enthalten den jeweiligen Versatzbetrag eines Programmlaufmodus-Kantenmerkmals, das dem repräsentativen Lernmodus-Kantenmerkmal an jeweiligen Positionen entlang der Richtung der Richtungsfilterung während des Programmlaufmodus entspricht, wobei die Richtung der Richtungsfilterung des Programmlaufmodus basierend auf dem annähernden Maximieren einer Übereinstimmung des Programmlaufmodus-Kombinationskantenprofils mit dem Lernmodus-Kombinationskantenprofil abgestimmt wird. In einigen Ausführungsformen wird die Richtung der Richtungsfilterung des Lernmodus während des Lernmodus derart abgestimmt, dass ein Profilgradient, der dem repräsentativen Kantenmerkmal in dem Lernmodus-Kombinationskantenprofil entspricht, annähernd maximiert wird.
Nachfolgend werden verschiedene Ausführungsformen der Erfindung beschrieben. Die folgende Beschreibung bietet spezifische Einzelheiten für ein genaues Verständnis und eine klärende Beschreibung dieser Ausführungsformen. Der Fachmann wird jedoch verstehen, dass die Erfindung ohne viele dieser Einzelheiten durchgeführt werden kann. Außerdem sind einige hinlänglich bekannten Strukturen oder Funktionen nicht ausführlich gezeigt oder beschrieben, um eine unnötige Verschleierung der relevanten Beschreibung der verschiedenen Ausführungsformen zu vermeiden. Die in der nachfolgend vorgestellten Beschreibung verwendete Terminologie soll in ihrer umfassendsten sinnvollen Weise ausgelegt werden, auch wenn sie im Zusammenhang mit einer ausführlichen Beschreibung von bestimmten spezifischen Ausführungsformen der Erfindung verwendet wird.
1 ist ein Blockdiagramm eines beispielhaften Inspektionssystems mit Bildverarbeitung 10, das gemäß den hier beschriebenen Verfahren eingesetzt werden kann. Das Inspektionssystem mit maschineller Bildverarbeitung 10 umfasst eine Bildverarbeitungsmessmaschine 12, die zum Austausch von Daten und Steuerungssignalen betriebsbereit mit einem Steuerungscomputersystem 14 verbunden ist. Das Steuerungscomputersystem 14 ist ferner zum Austausch von Daten und Steuerungssignalen betriebsbereit mit einem Monitor oder einer Anzeige 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 verbunden. Der Monitor oder die Anzeige 16 kann eine Benutzeroberfläche anzeigen, die geeignet ist, die Betriebsabläufe des Inspektionssystems mit maschineller Bildverarbeitung 10 zu steuern und/oder zu programmieren.
Der Fachmann wird verstehen, dass das Steuerungscomputersystem 14 im Allgemeinen jedes beliebige Computersystem oder -gerät umfassen kann. Geeignete Computersysteme oder -geräte können Personal-Computer, Server-Computer, Mini-Computer, Zentralrechner, dezentralisierte Rechnerumgebungen, die beliebige der Vorgenannten enthalten, und dergleichen umfassen. Derartige Computersysteme oder -geräte können einen oder mehrere Prozessoren aufweisen, die eine Software ausführen, um die hier beschriebenen Funktionen durchzuführen. Prozessoren umfassen programmierbare Mehrzweck- oder zweckgebundene Mikroprozessoren, programmierbare Steuerungen, anwendungsspezifische integrierte Schaltungen (ASICs), programmierbare logische Schaltungen (PLDs) oder dergleichen, oder eine Kombination solcher Vorrichtungen. Die Software kann in einem Speicher, wie einem Direktzugriffspeicher (RAM), einem Festwertspeicher (ROM), Flash-Speicher oder dergleichen, oder einer Kombination solcher Komponenten gespeichert werden. Die Software kann ebenfalls in einer oder mehreren Speichervorrichtungen wie Magnetplatten oder Bildplatten, Flash-Speichervorrichtungen oder jeder beliebigen Art von nichtflüchtigen Speichermedien zum Speichern von Daten gespeichert werden. Die Software kann ein oder mehrere Programmmodule enthalten, die Routinen, Programme, Objekte, Komponenten, Datenstrukturen und dergleichen enthalten, die bestimmte Aufgaben ausführen oder bestimmte abstrakte Datentypen realisieren. In dezentralisierten Rechnerumgebungen kann die Funktionalität der Programmmodule kombiniert oder über mehrere Computersysteme oder -geräte hinweg verteilt werden und über Serviceabrufe abgerufen werden.
Die Bildverarbeitungsmessmaschine 12 umfasst einen beweglichen Werkstücktisch 32 und ein optisches Abbildungssystem 34, das ein Zoomobjektiv oder Wechselobjektive umfassen kann. Die Zoomobjektive oder Wechselobjektive bieten im Allgemeinen verschiedene Vergrößerungen für die durch das optische Abbildungssystem 34 gelieferten Bilder. Das Inspektionssystem mit maschineller Bildverarbeitung 10 ist in der Regel vergleichbar mit der oben angesprochenen QUICK VISION^®-Serie der Bildverarbeitungssysteme und der QVPAK^®-Software sowie ähnlichen, aus dem Stand der Technik bekannten, handelsüblichen Präzisionsinspektionssystemen mit Bildverarbeitung. Das Inspektionssystem mit maschineller Bildverarbeitung 10 wird ebenfalls in den allgemein zugeteilten US-Patent Nrn. 7,454,053 , 7,324,682 , 8,111,905 und 8,111,938 beschrieben, die jeweils vorliegend vollinhaltlich durch Bezugnahme mit aufgenommen werden.
2 ist ein Blockdiagramm eines Steuersystemabschnitts 120 und eines Abschnitts einer Bildverarbeitungskomponente 200 eines Inspektionssystems mit maschineller Bildverarbeitung 100 ähnlich dem Inspektionssystem mit maschineller Bildverarbeitung 10 von 1. Wie nachfolgend näher beschrieben wird, wird der Steuersystemabschnitt 120 zur Steuerung des Abschnitts der Bildverarbeitungskomponente 200 eingesetzt. Der Abschnitt der Bildverarbeitungskomponente 200 umfasst einen optischen Baugruppenabschnitt 205, Lichtquellen 220, 230 und 240 und einen Werkstücktisch 210 mit einem mittigen durchsichtigen Abschnitt 212. Der Werkstücktisch 210 ist steuerbar entlang den X- und Y-Achse beweglich, die in einer Ebene liegen, die im Allgemeinen parallel zu der Oberfläche des Tisches ist, auf dem ein Werkstück 20 positioniert werden kann. Der optische Baugruppenabschnitt 205 umfasst eine Kamera 260, einen Strahlteiler 291, ein Wechselobjektiv 250 und kann eine Objektivrevolverbaugruppe 280 mit den Objektiven 286 und 288 umfassen. Alternativ zu der Objektivrevolverbaugruppe kann eine feste oder auswechselbare Objektivlinse 250 mit veränderbarer Vergrößerung, oder eine Objektivlinsenkonfiguration oder dergleichen umfasst werden. Eine austauschbare Linse kann manuell oder automatisch ausgetauscht werden.
Die optische Baugruppenabschnitt 205 ist entlang einer Z-Achse, die im Allgemeinen orthogonal zu der X- und der Y-Achse verläuft, steuerbar bewegbar, indem ein steuerbarer Motor 294 eingesetzt wird, der einen Stellantrieb antreibt, um den optischen Baugruppenabschnitt 205 entlang der Z-Achse zu bewegen, um den Fokus des Bildes des Werkstücks 20 zu ändern. Der steuerbare Motor 294 ist mit der Eingabe/Ausgabe-Schnittstelle 130 über eine Signalleitung 296 verbunden.
Ein Werkstück 20 oder eine Wanne oder Haltevorrichtung, die mehrere Werkstücke 20 hält, die mittels des Inspektionssystems mit maschineller Bildverarbeitung 100 abgebildet werden sollen, wird auf den Werkstücktisch 210 abgelegt. Der Werkstücktisch 210 kann so gesteuert werden, dass er sich derart relativ zu dem optischen Baugruppenabschnitt 205 bewegt, dass sich die auswechselbare Objektivlinse 250 zwischen Stellen auf einem Werkstück 20 und/oder zwischen mehreren Werkstücken 20 bewegt. Eines oder mehrere der Folgenden: eine Tischbeleuchtung 220, eine Koaxialbeleuchtung 230 und eine Oberflächenbeleuchtung 240 (z. B. ein Ringlicht) kann Quellenlicht 222, 232, beziehungsweise 242 ausstrahlen, um das Werkstück oder die Werkstücke 20 zu beleuchten. Die Lichtquelle 230 kann Licht entlang einer Strecke ausstrahlen, die einen Spiegel 290 aufweist. Das Quellenlicht wird als Werkstücklicht 255 reflektiert oder übertragen, und das für die Abbildung genutzte Werkstücklicht durchläuft die austauschbare Objektivlinse 250 und die Objektivrevolverbaugruppe 280 und wird durch die Kamera 260 gesammelt. Die Bilder des Werkstücks (der Werkstücke) 20, aufgenommen von der Kamera 260, werden an eine Signalleitung 262 zum Steuersystemabschnitt 120 ausgegeben. Die Lichtquellen 220, 230 und 240 können über Signalleitungen oder Busse 221, 231 beziehungsweise 241 mit dem Steuersystemabschnitt 120 verbunden werden. Um die Bildvergrößerung zu ändern kann der Steuersystemabschnitt 120 über eine Signalleitung oder einen Bus 281 die Objektivrevolverbaugruppe 280 entlang der Achse 284 drehen, um eine Linse des Revolvers auszuwählen.
Wie in 2 dargestellt umfasst der Steuersystemabschnitt 120 in verschieden Ausführungsbeispielen eine Steuerung 125, die Eingabe/Ausgabe-Schnittstelle 130, einen Speicher 140, einen Werkstückprogrammgenerator und -umsetzer 170 und einen Stromversorgungsabschnitt 190. Diese Komponenten, wie auch die nachfolgend beschriebenen, zusätzlichen Komponenten, können jeweils durch einen oder mehrere Daten-/Steuerungsbusse und/oder Anwendungsprogrammierschnittstellen oder durch direkte Verbindungen zwischen den verschiedenen Elementen miteinander verbunden werden.
Die Eingabe/Ausgabe-Schnittstelle 130 umfasst eine Abbildungssteuerungsschnittstelle 131, eine Bewegungssteuerungsschnittstelle 132, eine Beleuchtungssteuerungsschnittstelle 133 und eine Linsensteuerungsschnittstelle 134. Die Bewegungssteuerungsschnittstelle 132 kann ein Positionssteuerungselement 132a und ein Geschwindigkeits-/Beschleunigungssteuerungselement 132b umfassen, obwohl solche Elemente zusammengeführt und/oder nicht unterscheidbar sein können. Die Beleuchtungssteuerungsschnittstelle 133 umfasst Beleuchtungssteuerelemente 133a–133n und 133fl, die beispielsweise die Auswahl, Leistung, Ein-/Aus-Schalter und gegebenenfalls das Abtastpuls-Timing für die verschiedenen entsprechenden Lichtquellen des Inspektionssystems mit maschineller Bildverarbeitung 100 steuern.
Der Speicher 140 kann einen Abschnitt eines Bilddateispeicher 141, einen Speicherabschnitt 142 für das Werkstückprogramm, der ein oder mehrere Teileprogramme oder dergleichen aufweisen kann, und einen Video-Werkzeugabschnitt 143 umfassen. Wie dargestellt umfasst der Video-Werkzeugabschnitt 143 repräsentative Video-Werkzeugabschnitte 143a und 143n, die das GUI, den Bildverarbeitungsablauf usw. für jedes der entsprechenden Video-Werkzeuge bestimmen. Der Video-Werkzeugabschnitt 143 kann ebenfalls insbesondere ein Kantenmerkmalwerkzeug mit Richtungsfilterung und Ausrichtungskompensation 143eft, wie nachfolgend näher beschrieben, umfassen, das Abläufe zum Bestimmen von Kantenprofilen umfassen kann, die beispielsweise im Zusammenhang mit einem „Box-Werkzeug” und einem „Bogen-Werkzeug” in der Bedienungsanleitung der QVPAK 3D CNC Bildverarbeitungsmessmaschine beschrieben werden, und die eine Signalverarbeitung einbeziehen, um die hier offenbarten Verfahren umzusetzen. Das Kantenmerkmalwerkzeug mit Richtungsfilter und Ausrichtungskompensation 143eft kann einen Abschnitt 143eracd aufweisen, der eine kantenbezogene Ausrichtungskompensation definiert, und der automatisch oder halbautomatisch die erwünschte Kompensation bestimmt, wie nachfolgend näher beschrieben wird. Der Video-Werkzeugabschnitt 143 umfasst ebenfalls einen Bereich-von-Interesse(ROI)-Generator 143roi, der automatische, halbautomatische und/oder manuelle Abläufe unterstützt, die verschiedene ROI definieren, die in verschiedenen im Video-Werkzeugabschnitt 143 enthaltenen Video-Werkzeugen betriebsfähig sind. In einigen Ausführungsformen kann das Kantenmerkmalwerkzeug mit Richtungsfilterung und Ausrichtungskompensation 143eft im Zusammenwirken mit dem, oder als Ergänzung des Betriebs des, Bereich-von-Interesse(ROI)-Generators 143roi arbeiten, um eine Ausgangsorientierung oder eine Position des Bereichs von Interesse abzustimmen, um einen Bereich von Interesse eines Video-Werkzeugs nach einem Kantenmerkmal auszurichten, um die Wiederholbarkeit der Kantenpositionsmessungen zu verbessern, wie nachfolgend näher beschrieben wird.
Im Rahmen dieser Offenbarung, und wie einem Durchschnittsfachmann bekannt ist, bezieht sich der Begriff Video-Werkzeug im Allgemeinen auf eine relativ komplexe Reihe von automatischen oder programmierten Abläufen, die ein Benutzer eines Bildverarbeitungsgeräts über eine relativ einfache Benutzeroberfläche (z. B. einer grafischen Benutzeroberfläche, editierbaren Fenstern, Menüs und dergleichen) einsetzen kann, ohne die schrittweise Abfolge von in dem Video-Werkzeug enthaltenen Abläufen zu erzeugen oder auf eine generalisierte textbasierte Programmiersprache oder dergleichen zurückzugreifen. Beispielsweise kann ein Video-Werkzeug eine Reihe von komplexen, vorprogrammierten Bildverarbeitungsabläufen und Berechnungen beinhalten, die im Einzelfall durch Abstimmen einiger Variablen oder Parameter angewandt und angepasst werden, welche die Abläufe und Berechnungen steuern. Zusätzlich zu den zugrundeliegenden Abläufen und Berechnungen umfasst das Video-Werkzeug die Benutzeroberfläche, die dem Benutzer ermöglicht, diese Parameter für einen bestimmten Fall des Video-Werkzeugs abstimmen zu können. Beispielsweise ermöglichen viele Video-Werkzeuge der maschinellen Bildverarbeitung einem Benutzer einen grafischen Bereich von Interesse (ROI) durch einfaches „Ziehen eines Griffs” mittels einer Maus zu konfigurieren, um die Positionsparameter einer Teilmenge eines Bildes zu definieren, das durch die Bildverarbeitungsabläufe eines bestimmten Falls eines Video-Werkzeugs analysiert werden soll. Es ist anzumerken, dass die sichtbaren Benutzeroberflächenmerkmale manchmal als das Video-Werkzeug bezeichnet werden, wobei die zugrundeliegenden Abläufe implizit beinhaltet sind.
Gemeinsam mit vielen Video-Werkzeugen und/oder Video-Werkzeugmerkmalen und -abläufen umfasst der Gegenstand der Richtungsfilterung und kantenbezogenen Ausrichtungskompensation dieser Offenbarung sowohl Schnittstellenmerkmale als auch zugrundeliegende Bildverarbeitungsabläufe und dergleichen, und die diesbezüglichen Merkmale können als Merkmale eines Video-Werkzeugs für Kantenmerkmale mit oder einschließlich Richtungsfilterung und Ausrichtungskompensation 143eft charakterisiert werden, die in dem Video-Werkzeugabschnitt 143 enthalten ist. Das Kantenmerkmalwerkzeug mit Richtungsfilterung und Ausrichtungskompensation 143eft bietet Abläufe, die genutzt werden können, um automatisch Richtungsfilterung und kantenbezogene Ausrichtungskompensation für die Bestimmung eines Profils eines Kantenmerkmals bereitzustellen, um die Wiederholbarkeit von diesbezüglichen Abläufen zur Bestimmung des Kantenprofils zu verbessern.
Verschiedene Werkzeugparameter und/oder Versatzcharakterisierungen, die während der Abläufe von Lernmodi des Kantenmerkmalwerkzeugs 143eft bestimmt werden, können bestimmt und während des Lernmodus in einem Teileprogramm gespeichert werden, wie nachfolgend näher beschrieben wird. Der Video-Werkzeugabschnitt 143 kann auch, oder stattdessen, ein herkömmliches Video-Werkzeug zur Kantenmessung enthalten, welches entsprechend bekannter Kantenerfassungs- oder Lokalisierungsverfahren arbeitet. In einer Ausführungsform kann der eine kantenbezogene Ausrichtungskompensation definierende Abschnitt 143eracd mit solch einem Werkzeug verknüpft werden oder anderweitig mit solch einem Werkzeug zusammenwirken. Beispielsweise können in einer Ausführungsform die hier offenbarten Abläufe der Richtungsfilterung und kantenbezogenen Ausrichtungskompensation als ein Modus für Richtungsfilterung und kantenbezogene Ausrichtungskompensation in einem Multimodus-Kantenprofilwerkzeug enthalten sein, das Modi aufweist, die mit den bekannten Kantenwerkzeugen vergleichbar sind (z. B. einem bekannten Box-Werkzeug, Bogen-Werkzeug, Kreis-Werkzeug). In einigen Ausführungsformen können das Kantenmerkmalwerkzeug mit Richtungsfilterung und Ausrichtungskompensation 143eft und das bekannte oder herkömmliche Kantenwerkzeug(e) separate Werkzeuge sein; in einigen Ausführungsformen können sie jedoch zwei Modi eines einzigen Kantenwerkzeugs sein. In einigen Ausführungsformen, in denen zwei Modi in einem einzigen Kantenwerkzeug vorkommen, kann der bestimmte Modus basierend auf manuellen und/oder automatischen Lernmodus-Abläufen (z. B. darauf basierend, wie unregelmäßig oder verrauscht die Kante ist, und/oder ob deren nominale Form bekannt ist) gewählt werden, wie weiter unten beschrieben wird.
Die Signalleitungen oder Busse 221, 231 und 241 der Tischbeleuchtung 220, die Koaxialleuchten 230 und 230', beziehungsweise die Oberflächenbeleuchtung 240, sind alle mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 von der Kamera 260 und die Signalleitung 296 von dem steuerbaren Motor 294 sind mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Zusätzlich dazu, dass die Signalleitung 262 Bilddaten leitet, kann sie ein Signal von der Steuerung 125 leiten, das die Bilderfassung einleitet.
Eine oder mehrere Anzeigevorrichtungen 136 (z. B. die Anzeige von 1) und eine oder mehrere Eingabevorrichtungen 138 (z. B. der Joystick 22, die Tastatur 24, und die Maus 26 von 1) können ebenfalls mit der Eingabe-/Ausgabeschnittstelle 130 verbunden werden. Die Anzeigevorrichtungen 136 und Eingabevorrichtungen 138 können verwendet werden, um eine Benutzeroberfläche anzuzeigen, die verschiedene Merkmale der grafischen Benutzeroberflächen (GUI) aufweisen kann, die dazu verwendet werden können, Inspektionsabläufe durchzuführen, und/oder um Teileprogramme zu schaffen und/oder Teileprogramme zu modifizieren, von der Kamera 260 aufgenommene Bilder zu betrachten, und/oder um den Bildverarbeitungssystem-Abschnitt 200 direkt zu steuern.
In verschiedenen Ausführungsbeispielen erzeugt der Benutzer, wenn er das Inspektionssystem mit maschineller Bildverarbeitung 100 nutzt, um ein Teileprogramm für das Werkstück 20 zu erzeugen, Teileprogrammanweisungen, indem er das Inspektionssystem mit maschineller Bildverarbeitung 100 in einem Lernmodus betreibt, um eine gewünschte Schulungssequenz für die Bildaufnahme bereitzustellen. Eine Schulungssequenz kann beispielsweise das Positionieren eines bestimmten Werkstückmerkmals eines repräsentativen Werkstücks im Sichtfeld (FOV), das Einstellen der Lichtstärke, das Fokussieren oder Autofokussieren, das Aufnehmen eines Bildes und das Bereitstellen einer auf das Bild angewandte Schulungssequenz umfassen (z. B. indem eine Instanz von einem der Video-Werkzeuge auf dieses Werkstückmerkmal angewendet wird). Der Lernmodus arbeitet so, dass die Sequenz(en) erfasst oder aufgezeichnet werden und in entsprechende Teileprogrammanweisungen umgewandelt werden. Wenn das Teileprogramm ausgeführt wird, bewirken diese Anweisungen, dass das Inspektionssystem mit maschineller Bildverarbeitung die erlernten Abläufe der Bildaufnahme und der Inspektion reproduziert, um dieses bestimmte Werkstückmerkmal (d. h., das entsprechende Merkmal an der entsprechenden Position) automatisch im Programmlaufmodus an einem Werkstück oder an Werkstücken zu inspizieren, die dem beim Erstellen des Teileprogramms verwendeten repräsentativen Werkstück entsprechen.
3 ist ein Diagramm 300, das einen quadratischen Filterungsunterbereich 305 und alternative Richtungsfilterungsunterbereiche 304Ydfs und 304Xdfs zeigt, die ein Bildpixelfeld (oder Pixelpositionen) 310 überlagern (z. B. entsprechend eines Abschnitts eines Bereichs von Interesse in einem Bild). Wie nachfolgend näher beschrieben wird, kann ein Video-Werkzeug für Kantenmerkmale vorgesehen werden, um Profildaten und/oder eine Position für ein Kantenmerkmal zu bestimmen (z. B. unter Nutzung von Points-From-Focus-Techniken). Bei einer traditionellen Points-From-Focus(PFF)-Rekonstruktion wird der örtliche Kontrast um jedes Bildpixel herum in einem quadratischen Unterbereich (z. B. dem quadratischen Unterbereich 305) ausgemittelt. Der quadratische Filterungsunterbereich (z. B. 7×7 Pixel) wird dazu benutzt, Rauschen in der Kontrastkurve zu reduzieren und eine zuverlässige Z-Tiefenrekonstruktion an der Pixelposition zu ermöglichen. Die X-Y-Auflösung einer rekonstruierten 3D Tiefenabbildung wird somit durch die quadratischen Filterungsunterbereiche in der X-Richtung und in der Y-Richtung in gleichem Masse reduziert. Im Unterschied dazu, wie nachfolgend näher beschrieben wird, kann durch Verwendung eines Richtungsfilterungsunterbereichs (DSF), in dem eine Abmessung länger als die andere ist, die X-Y-Auflösung entlang einer engeren Richtung wahlweise erhöht oder beibehalten werden. Als spezifische Beispiele, wie in 3 gezeigt, können ein DFS 304Ydfs (z. B. 48 Pixel breit, 1 Pixel hoch) für eine gute Profilauflösung in Bezug auf die Y-Richtung (das heißt, für ein entlang der Y-Richtung verlaufendes Z-Höhenprofil) und ein DFS 304Xdfs (z. B. 49 Pixel hoch, 1 Pixel breit) für eine gute Profilauflösung in Bezug auf die X-Richtung (das heißt, für ein entlang der X-Richtung verlaufendes Z-Höhenprofil) genutzt werden.
Es versteht sich, dass der DFS 304Ydfs (für Profilierung in Y-Richtung) und der DFS 304Xdfs (für Profilierung in X-Richtung) die gleiche Fläche aufweisen wie der quadratische Unterbereich 305, wobei jedoch eine Abmessung wesentlich enger als die andere ist, und somit die gleiche Anzahl an Pixeldaten zur Bestimmung einer Fokusmetrik bereitstellen, während gleichzeitig auch eine bessere Profilauflösung entlang dieser engeren Abmessung geboten wird. In einer Ausführung wird die Z-Tiefe für jeden DFS unter Verwendung eines bekannten Typs eines PFF-Ablaufs innerhalb des DFS berechnet und als die Z-Koordinate an der Position des zentralen Pixels CP des DFS zugeordnet, welcher eine X-Y-Position aufweist, die der X-Y-Koordinate der Punktwolke entspricht.
In einigen Ausführungsformen können dann die Z-Tiefen, die einer ausgewählten Anzahl von Punktwolken-X-Y-Pixelpositionen, die direkt nebeneinander entlang der Richtung der längeren Abmessung ihrer DFS liegen, auch ausgemittelt werden, um die Wiederholbarkeit eines Z-Tiefenprofils und/oder einer Kantenposition entlang der Richtung der engen Abmessung weiter zu verbessern. Entsprechend können in einer Ausführungsform die Richtungsfilterungsabläufe als Bestimmung einer Z-Höhe für „Kinder” der DFS, die Teil eines Eltern-DFS und kürzer als ein Eltern-DFS (z. B. 7, 9, 11 Pixel, usw.) sind, und als Ausmitteln der Gesamt-Z-Höhe, um die Gesamthöhe der Eltern-DFS zu bestimmen, beschrieben werden. Weiterhin können in einer Ausführungsform die Richtungsfilterungsabläufe als Bestimmen, in jedem Bild eines PFF-Stapels, einer Fokusmetrik für „Kinder”-DFS, die Teil einer Eltern-DFS und kürzer als diese sind (z. B. 7, 9, 11 Pixel usw.), und Ausmitteln der Fokusmetriken oder der berechneten Z-Tiefen der Kinder-DFS, um die Gesamtfokusmetrik oder die durchschnittliche Z-Tiefe der Eltern-DFS zu bestimmen, und Bestimmen einer Z-Höhe basierend auf den sich ergebenden ausgemittelten Fokusmetriken (Fokuskurve) oder der durchschnittlichen Z-Tiefe der Eltern-DFS beschrieben werden. Es versteht sich, dass im Allgemeinen solche Arten der Ausmittlung das Z-Höhenprofil entlang der Richtung der längeren Abmessung von DFS weiter glätten, was als Herabsetzung der Profilauflösung entlang dieser Richtung gedeutet werden könnte. In vielen Kantenmessungsanwendungen ist dies jedoch irrelevant.
Die 4A und 4B sind Diagramme 400A und 400B, die die zum Profilieren und/oder Lokalisieren von horizontalen und vertikalen Kanten genutzte Anwendung von Richtungsfilterungsunterbereichen verdeutlichen.
4A zeigt eine Menge von DFS 494A, die ein Bildpixelfeld (oder Pixelpositionen) 410A (z. B. entsprechend eines Abschnitts eines Bereichs von Interesse in einem Bild) überlagern. Die Schattierung in der Menge von DFS 404A stellt schematisch die abgebildete Oberflächenstruktur des zugrundeliegenden Werkstücks dar, und zeigt eine Oberfläche mit „horizontalen” Oberflächenmerkmalen (z. B. eine horizontale Kante), die eine variable Höhe entlang der Y-Richtung und eine relativ konstante Höhe entlang der X-Richtung aufweisen. Die DFS werden so bestimmt, dass, aus Gründen, die oben mit Bezug auf 3 dargelegt wurden, deren längere Abmessung ungefähr parallel zu den horizontalen Oberflächenmerkmalen ist. Somit kann jeder DFS der Menge 404A so verstanden werden, dass er dem vorangehend mit Bezug auf 3 dargelegten DFS 304Ydfs entspricht (z. B. mit einer relativ längeren X-Abmessung und einer relativ engeren Y-Abmessung) und ein relativ hochauflösendes Z-Profil entlang der Y-Richtung über die Oberflächen hinweg bereitstellen kann. Die X-Y-Koordinaten für jeden DFS in der Menge können deren zentralen Pixel oder Punkten CP entsprechen. So können die für jeden DFS bestimmten Z-Koordinaten Zcp (zum Beispiel basierend auf bekannten PFF-Kontrast- oder Fokuskurven-Verfahren) auf die Profillinie 404Aply entlang der Y-Richtung fallen.
4A stellt ebenfalls ein Z-Profil Zply dar, das heißt, ein Z-Profil entlang der Y-Richtung über die horizontalen Oberflächenmerkmale hinweg. Das Z-Profil Zply umfasst die Oberflächenhöhen Zcp, die für jeden DFS in der Menge 404A bestimmt werden, und die als entsprechende Z-Koordinaten der Punktwolke verwendet werden können. Es versteht sich, dass wenn ein Z-Profil entlang der Y-Richtung über die Oberflächenmerkmale hinweg an einer Position um ein Pixel (oder N Pixel) nach links von der Position der Profillinie 404Aply in Y-Richtung erwünscht wäre, dann könnte eine Menge von DFS analog der Menge 404A um ein Pixel (oder N Pixel) nach links verschoben werden, und die oben dargelegte Vorgehensweise könnte für diese Menge ausgeführt werden. Auf diese Weise kann auf Wunsch eine Z-Höhe für jede Pixelposition in einem Bereich von Interesse eines Video-Werkzeuges bestimmt werden. Es versteht sich dass sich, falls erwünscht, die längere Abmessung eines DFS über die volle Breite eines ROI erstrecken kann, wenn sich die zu profilierenden und/oder lokalisierenden horizontalen Merkmale über die volle Breite des ROI erstrecken. Alternativ können unter diesen Bedingungen Z-Koordinaten für eine gewünschte Gruppe von benachbarten DFS entlang der X-Richtung ausgemittelt werden, und die ausgemittelte Z-Koordinate kann, falls gewünscht, als die Z-Koordinate am Mittelpunkt der ausgemittelten Gruppe verwendet werden.
4B entspricht der 4A, außer dass die relevanten Oberflächenmerkmale vertikal und nicht horizontal sind. Sie zeigt eine Menge von DFS 404B, die ein Bildpixelfeld (oder Pixelpositionen) 410B (z. B. entsprechend eines Abschnitts eines Bereichs von Interesse in einem Bild) überlagern. Die Schattierung in der Menge der DFS 404B stellt schematisch die abgebildete Oberflächenstruktur des zugrundeliegenden Werkstücks dar und zeigt eine Oberfläche, die „vertikale” Oberflächenmerkmale (z. B. eine vertikale Kante) aufweist, die eine variable Höhe entlang der X-Richtung und eine relativ konstante Höhe entlang der Y-Richtung aufweisen. Die DFS werden so bestimmt, dass deren längere Abmessung ungefähr parallel zu den vertikalen Oberflächenmerkmalen ist. Somit kann jeder DFS der Menge 404B so verstanden werden, dass er dem vorangehend mit Bezug auf 3 dargelegten DFS 304Xdfs entspricht und ein relativ hochauflösendes Z-Profil entlang der X-Richtung über die Oberflächen hinweg bereitstellen kann. Die X-Y-Koordinaten für jeden DFS in der Menge können deren zentralen Pixeln oder Punkten CP entsprechen. So können die für jeden DFS bestimmten Z-Koordinaten Zcp auf die Profillinie 404Bplx entlang der X-Richtung fallen.
4B stellt ebenfalls ein Z-Profil Zplx dar, das heißt, ein Z-Profil entlang der X-Richtung über die vertikalen Oberflächenmerkmale hinweg. Das Z-Profil Zplx umfasst die Oberflächenhöhen Zcp, die für jeden DFS in der Menge 404B bestimmt werden. Es versteht sich, dass wenn ein Z-Profil entlang der X-Richtung über die Oberflächenmerkmale hinweg an einer Position um N Pixel oberhalb oder unterhalb der Position der Profillinie 404Bplx in X-Richtung erwünscht wäre, dann könnte eine Menge von DFS analog der Menge 404B entsprechend verschoben werden, und die oben dargelegte Vorgehensweise könnte für diese Menge ausgeführt werden. Auf diese Weise kann auf Wunsch eine Z-Höhe für jede Pixelposition in einem Bereich von Interesse eines Video-Werkzeuges bestimmt werden. Es versteht sich dass sich, falls erwünscht, die längere Abmessung eines DFS über die volle Höhe eines ROI erstrecken kann, wenn sich die zu profilierenden und/oder lokalisierenden vertikalen Merkmale über die volle Breite des ROI erstrecken. Alternativ können unter diesen Bedingungen Z-Koordinaten für eine gewünschte Gruppe von benachbarten DFS entlang der Y-Richtung ausgemittelt werden, und die ausgemittelte Z-Koordinate kann, falls gewünscht, als die Z-Koordinate am Mittelpunkt der ausgemittelten Gruppe verwendet werden.
5 zeigt die Ergebnisse von herkömmlichen PFF-Abläufen im Vergleich zur 6, die die Ergebnisse eines richtungsgefilterten PFF-Verfahrens zeigt, das für die hier offenbarten Kantenprofilierungs- und Lokalisierungssysteme und Verfahren bevorzugt wird. Die 5 ist eine Diagramm 500, das eine Profil- oder Tiefenabbildung 510 zeigt, die mittels eines bekannten PFF-Verfahrens mit quadratischen Filterungsunterbereichen für jedes Pixel rekonstruiert wurde. Die unterschiedlichen Schattierungen oder Farben in der deuten auf raue oder verrauschte Oberflächen und Kanten hin, und die weißen Flächen der Abbildung zeigen Bereiche an, in denen die Daten und/oder die Oberfläche als zu unregelmäßig oder verrauscht angesehen werden, um eine zuverlässige Höhe an dieser Position zu bestimmen. Es werden ebenfalls ein Profilrekonstruktionsbereich 520 (z. B. ein ROI eines Video-Werkzeugs) und ein entsprechendes Z-Profil 531 in einem Fenster 530 dargestellt. Der gezeigte Profilrekonstruktionsbereich 520 weist Kantenmerkmale 522 und 524 auf, die Beispiele für „verrauschte” Kanten einer horizontalen Kerbe sind (z. B. wie die Kanten von unregelmäßigen Oberflächen oder unregelmäßigen Kanten, die beim Sägen oder Laserschneiden durch ein Substrat erzeugt werden). Die Kantenmerkmale 522 und 524 befinden sich ungefähr an den Y-Positionen 512 und 514. Die Z-Profilkurve 531, die das Profil der horizontalen Kerbe zeigt, wird basierend auf der Ausmittlung der Z-Werte entlang der X-Richtung quer über den Profilrekonstruktionsbereich 520 in der Abbildung 510 bestimmt. Aufgrund dieser Ausmittlung über die volle Breite, kann die Profilkurve 531 als der Position der zentral gelegenen Z-Höhenprofillinie 504ply entsprechend angesehen werden. Die Z-Profilkurve 531 zeigt eine Nut mit unregelmäßigen Seitenprofilen 532 und 534, die Hinweise auf vertikalen Positionen 512 und 514 der Kantenmerkmale 522 und 524 geben, die sich mit der Breite des Nutgrunds zu überdecken scheinen. Wie nachfolgend näher mit Bezug auf die 6 beschrieben wird, führt die Verwendung der quadratischen Filterungsunterbereiche (z. B. 5×5 Pixel) in 5 dazu, dass die Z-Profilkurve 531 in der Figur auf in X- und Y-Richtung ausgemittelten oder gefilterten Daten basiert werden muss, was einen Verlust an Auflösung in Bezug auf die Y-Richtung verursacht, der für das Profilieren und/oder Lokalisieren der Kanten der Nut unerwünscht sein kann.
Die 6 ist ein Diagramm, das eine Profil- oder Tiefenabbildung 610 zeigt, die mittels Richtungsfilterungsunterbereichen (in diesem Falle 49 Pixel in X, 1 Pixel in Y) für jede zentrale Pixelposition rekonstruiert wurde, wie vorangehend dargelegt wurde. Ähnlich wie in 5 deuten die unterschiedlichen Schattierungen oder Farben in der Abbildung 610 auf raue oder verrauschte Oberflächen und Kanten hin, und die weißen Flächen der Abbildung zeigen Bereiche an, in denen Daten und/oder die Oberfläche als zu unregelmäßig oder verrauscht angesehen werden, um eine zuverlässige Höhe an dieser Position zu bestimmen. Ein Vergleich der Abbildungen 510 von 5 und 610 von 6 zeigt, dass die Ergebnisse in 6 weniger verrauscht entlang der X-Richtung sind und die Auflösung entlang der Y-Richtung, wie gewünscht, höher ist. Die horizontale Nut, die in 6 abgebildet ist, ist mit der in 5 abgebildeten horizontalen Nut identisch. Wie in 6 gezeigt, wird ebenfalls ein Profilrekonstruktionsbereich 620 (z. B. ein ROI eines Video-Werkzeugs) und ein entsprechendes Z-Profil 631 in einem Fenster 630 dargestellt.
Der gezeigte Profilrekonstruktionsbereich 620 weist die Kantenmerkmale 622 und 624 auf, die die Kanten der horizontalen Nut sind. Die Kantenmerkmale 622 und 624 befinden sich an den vertikalen Positionen 612 und 614. Die Z-Profilkurve 631, die das Profil der horizontalen Nut zeigt, wird basierend auf der Ausmittlung der Z-Werte entlang der X-Richtung quer über den Profilrekonstruktionsbereich 620 in der Abbildung 610 bestimmt. Aufgrund dieser Ausmittlung über die volle Breite kann die Profilkurve 631 als der Position der zentral gelegenen Z-Höhenprofillinie 604ply entsprechend angesehen werden. Es versteht sich jedoch, dass diese Ausmittlung in der X-Richtung keine Forderung ist. Beispielsweise könnte mit einer geringeren oder keiner Ausmittlung in der X-Richtung für jede von mehreren Höhenprofillinien eine Z-Profilkurve erstellt werden, die beispielsweise mit jeder Pixelspalte im Bereich 620 zusammenfällt, falls erwünscht.
Die Z-Profilkurve 631 zeigt wiederum Nut-Seitenprofile 632 und 634, die Hinweise auf die Y-Positionen 612 und 614 der Kantenmerkmale 622 und 624 geben, die sich mit der Breite des Nutgrunds zu decken scheinen. Im Gegensatz zur 5 verursacht die Nutzung der Richtungsfilterungsunterbereiche in 6 eine verbesserte Y-Profilauflösung der Z-Profilkurve 631. Mit anderen Worten, die Kurve 631 zeigt sich „schärfer”, mit weniger Rauschen, einer besseren Auflösung und mehr Einzelheiten für das Z-Profil entlang der Y-Richtung. Die Kurve 631 zeigt beispielsweise eine geringere Verrundung und eine bessere Definition der Ecken des Nutgrunds, was eine verbesserte Bestimmung der Position der Kantenpositionslinien 612 und 614 entsprechend der Kantenmerkmale 622 und 624 ergibt. Die entsprechende Verringerung in der Auflösung in der X-(d. h. horizontalen)Richtung aufgrund der Orientierung der Richtungsfilterungsunterbereiche kann in der Regel als akzeptabel angesehen werden, da es die eigentliche Aufgabe ist, ein genaues Z-Profil und/oder eine Kantenposition entlang der Y-Richtung für die horizontal ausgerichtete Nut zu erzielen.
Wie oben mit Bezug auf die 3–6 beschrieben können die Richtungsfilterungsunterbereiche (DFS) dazu genutzt werden, höher auflösende Z-Profile und/oder Positionen von Kantenmerkmalen zu erzielen, und sie sind insbesondere für verrauschte Kanten geeignet (z. B. Kanten von unregelmäßigen Oberflächen oder unregelmäßigen Kanten, die durch Sägen oder Laserschneiden erzeugt wurden). Zudem kann das Ausmitteln der Z-Höhen entlang einer Richtung parallel zu einer Kante in Kombination mit Richtungsfilterungsunterbereichen eingesetzt werden, um weiteres Rauschen zu verhindern, falls erwünscht. In den oben beschriebenen Beispielen wurde das Oberflächenmerkmal von Interesse (z. B. eine Kante) nach Reihen und Spalten ausgerichtet, und aus diesem Grunde wurde die DFS nach den Reihen und Spalten des Bildes ausgerichtet. Wie vorausgehend dargelegt gibt es jedoch die allgemeinere Forderung, dass die längere Richtung der Richtungsfilterung ungefähr parallel derart zu einem Kantenmerkmal ausgerichtet sein sollte, dass sie entlang einer nominalen „konstanten Höhenkonturlinie” der Kantenmerkmaltopografie weist. Wenn diese Bedingung erfüllt wird, dann wird die richtungsgefilterte oder ausgemittelte Fokusmetrik, die die Z-Höhenbestimmung für diesen DFS liefert, auf Bilddaten basiert, die einer geringen Abweichung der tatsächlichen Höhe entsprechen sollte, was zu einer besser wiederholbaren, genaueren und repräsentativeren Z-Höhe am Mittelpunkt dieses DFS führt. Wenn im Gegensatz dazu diese Bedingung nicht erfüllt wird, wird die richtungsgefilterte oder ausgemittelte Fokusmetrik, die die Z-Höhenbestimmung für diesen DSF liefert, auf Bilddaten basiert, die schräg über die Kante hinweg verlaufen und somit eine große Abweichung von tatsächlichen Höhen umfasst und damit eine wenig wiederholbare, weniger genaue und möglicherweise nicht repräsentative Z-Höhe am Mittelpunkt dieses DFS erzeugt. Wenn somit ein Kantenmerkmal von Interesse nicht genau nach Bildspalten oder -reihen ausgerichtet wird, dann muss der Richtungsfilterungsunterbereich, der zur Bestimmung einer Z-Höhe verwendet wird, noch nach dem Kantenmerkmal ausgerichtet werden und wird in der Regel nicht nach den Pixelspalten oder -reihen ausgerichtet, die das Rohbild bilden.
Um sicherzustellen, dass die längere Richtung der Richtungsfilterung ungefähr parallel zu einem Kantenmerkmal ausgerichtet ist, kann eine kantenbezogene Ausrichtungskompensation vorgesehen werden, wie nachfolgend mit Bezug auf die 7–12 näher beschrieben wird. In bestimmten Ausführungsformen kann die kantenbezogene Ausrichtungskompensation in automatischer oder halbautomatischer Form vorgesehen werden, so dass relativ unerfahrene Benutzer trotz fehlender Kenntnis der kritischen Aspekte des Prozesses zuverlässige Messungen von verrauschten Kanten erhalten können. In einigen Ausführungsformen kann die kantenbezogene Ausrichtungskompensation in den Abläufen und/oder der Bedieneroberfläche eines Video-Werkzeugs für Kantenmerkmale vorgesehen werden, oder in einem Video-Werkzeugmodus vorgesehen werden, der das PFF-Verfahren ausführt, um eine Kantenposition und/oder ein Kantenprofil zu bestimmen.
Verschiedene Techniken für kantenbezogene Ausrichtungskompensation werden in der gleichzeitig anhängenden und allgemein zugeteilten US Patentanmeldung Nr. 13/728,842 mit dem Titel „METHOD FOR IMPROVING REPEATABILITY IN EDGE LOCATION RESULTS OF A MACHINE VISION INSPECTION SYSTEM”, eingereicht am 27. Dezember 2012, beschrieben, die hiermit durch Bezugnahme vollinhaltlich mit aufgenommen wird. Die '842-Anmeldung beschreibt eine Kantenerkennungs- oder Kantenmess-Technik, die auf Intensitätsgradienten basiert und die verschiedene kantenbezogene Ausrichtungskompensationstechniken enthält, die auf Intensitätsabtastlinien basieren. Die darin beschriebene kantenbezogene Ausrichtungskompensation bietet beispielsweise eine verbesserte Zuverlässigkeit bei der Unterscheidung von eng beabstandeten Kanten. Obwohl die '842-Anmeldung nicht die Verwendung der kantenbezogenen Ausrichtungskompensation in Kombination mit Richtungsfilterung beschreibt, um eine PFF-basierte Kantenerkennung für verrauschte Kanten bereitzustellen, wie dies vorliegend offenbart wird, können einige der mit Bezug auf die 7A und 7B und nachfolgend beschrieben kantenbezogenen Ausrichtungskompensationstechniken sinngemäß durch in der '842-Anmeldung beschriebenen Merkmalen verstanden werden.
Beispielsweise entspricht in einem auf einem PFF-Modus oder -Verfahren basierenden Video-Werkzeug für Kantenmerkmale eine Z-Höhenprofillinie, wie die in den 4, 5 und 6 gezeigten Linien 404Aply, 404plx, 504ply und 604ply, den in der '842-Anmeldung gezeigten Intensitätsabtastlinien. Beispielsweise kann jeweils der Gradient der Abtastlinie oder der Gradient der Höhenprofillinie verwendet werden, um eine Kantenposition zu bestimmen, und sie entsprechen sich weitgehend in Bezug auf den Zweck der kantenbezogenen Ausrichtungskompensation.
Die 7A und 7B zeigen ein gerades Kantenmerkmal 725 in einen Sichtfeld 700 einer Benutzeroberfläche und vergleichen Versatzbeträge des Kantenmerkmals 725 entlang eines schematisch dargestellten, dem Video-Werkzeugs 705 zugeordneten ausgerichteten DFS, DFSa in 7A, und eines einem fehlausgerichteten Video-Werkzeugs 705' zugeordneten fehlausgerichteten DFS, DFSa' in 7B, sowie diesbezügliche Effekte in entsprechenden Höhenprofilen. 7A zeigt ein Sichtfeldfenster 700 mit einem darin enthaltenen Bild eines Werkstücks 20 (z. B. aufgenommen von der Kamera 260), welches in einer Benutzeroberfläche des Inspektionssystems mit maschineller Bildverarbeitung (z. B. dem Inspektionssystem mit maschineller Bildverarbeitung 100) enthalten sein kann. In 7A stellt eine gestrichelte Linie zum Zwecke der Erläuterung eine Kantenorientierung OE der Kante 725 in dem Bild dar. Ein Bereich von Interesse ROI definiert einen relevanten Abschnitt der Kante 725, wie durch den Indikator ROIin des Bereichs von Interesse angezeigt wird. In einer Ausführungsform kann der Bereich-von-Interesse-Generator 143roi im Zusammenwirken mit einem Kantenmerkmalswerkzeug 143eft arbeiten, um einen Bereich von Interesse ROI zu definieren. Aus Erläuterungszwecken zeigt die 7A ebenfalls zwei beispielhafte parallele Höhenlinien La und Lb, die in der Benutzeroberfläche des Kantenwerkzeugs angezeigt werden können oder auch nicht, in verschiedenen Ausführungsformen. Ebenfalls gezeigt wird ein Kantenselektor ES, der in einigen Ausführungsformen von einem Benutzer positioniert werden kann, um eine Kante, die erfasst werden soll, anzuzeigen oder zu markieren. Eine zweite Kante 726 wird ebenfalls in 7A gezeigt.
Der untere Teil der 7A ist ein Diagramm 710, das ein ideales oder tatsächliches Z-Höhenprofil Zpact und ein entsprechendes Z-Höhen-Gradientenprofil ZG (die Änderungsrate der Z-Höhe entlang der Profillinie) an Pixelpositionen (z. B. Pixelzahlen) entlang der zentralen Profillinie 704pl entsprechend dem Mittelpunkt (z. B. der X-Y-Koordinate) des ausgerichteten DFS, DFSa zeigt. Es sollte verstanden werden, dass in einer Ausführungsform ein Video-Werkzeug zum Lokalisieren eines Kantenmerkmals, das in einem wie hier offenbarten PFF-Modus arbeitet, einen Kantenpunkt oder eine Kantenposition entlang einer Z-Höhenprofillinie als die Position identifiziert, an der der maximale Z-Höhengradient auftritt (z. B. am Extremum in der Box 712). 7A zeigt ein Beispiel in welchem der beispielhafte DFS, DFSa nach der Kante 725 ausgerichtet ist. Aufgrund dieser Ausrichtung und vorausgesetzt dass die Kante 725 ungefähr gerade und gleichmäßig über ihre volle Länge ist (z. B., das ideale Z-Höhenprofil ist das gleiche entlang der Linien La, 704PL und Lb, zum Beispiel), schneidet der DFSa dann ein jeweiliges Z-Höhenprofil entsprechend eines jeden Pixels im DSFa in derselben Z-Höhe, wie durch die ausgerichtete Projektion eines jeden Pixels des DFSa entlang der Linie PROJall zum entsprechenden Höhenpunkt Zdfsa dargestellt wird. Dies bedeutet, dass die Kante 725 an einer Pixelposition entlang des DSFa nicht relativ zu einer anderen „versetzt” ist, das heißt, der Versatz Oab der Kante entlang des DFSa an einer Position relativ zu einer anderen wird ungefähr Null sein. Aufgrund dessen wird die tatsächliche Bildfokushöhe an allen Pixeln innerhalb des DFSa (mit Ausnahme des unvermeidlichen Verrauschens der Oberflächenhöhe und/oder des Bildes) ungefähr gleich sein, und der zugehörige Kontrast oder die Fokusmetrik wird die nominale Höhe Zdfsa genau wiedergeben, welche die richtige Z-Höhe ist, die dem DSFa zuzuordnen ist (z. B. als die gemessene Z-Höhe an der Position des DFSa entlang der Position der Profillinie 704pl). Ähnlich ausgerichtete DFS über den ROI hinweg werden aus den gleichen Gründen eine ähnliche Genauigkeit aufweisen, und das (die) sich ergebende(n) Z-Höhenprofil(e) wird (werden) die Position der Kante 725 mit guter Genauigkeit und hoher Auflösung entlang der Richtung der DFS anzeigen (z. B. einer Richtung quer zur Kante 725).
Im Gegensatz zu 7A zeigt 7B ein Sichtfeldfenster 700 mit einem darin enthaltenen Bild des Werkstücks 20, wobei der Bereich von Interesse ROI' und/oder der repräsentative DFS, DFSa' relativ zur Kante 725 gedreht oder „fehlausgerichtet” ist.
Der untere Teil von 7B ist ein Diagramm 720, das das ideale oder tatsächliche Z-Höhenprofil Zpact zeigt, das vorangehend mit Bezug auf 7A beschrieben wurde. 7B zeigt ein Beispiel in dem der beispielhafte DFS, DFSa' nicht nach der Kante 725 ausgerichtet ist. Aufgrund dieser Fehlausrichtung und vorausgesetzt, dass die Kante 725 ungefähr gerade und gleichmäßig über ihre volle Länge ist (z. B. das ideale Z-Höhenprofil ist das gleiche entlang der Linien La', 704pl' und Lb', zum Beispiel), schneidet der DFSa' dann ein jeweiliges Z-Höhenprofil entsprechend eines jeden Pixels im DFSa' in einer unterschiedlichen Z-Höhe, wie durch die ausgerichtete Projektion eines „obersten” Pixels des DFSa' entlang der Linie Projend1 zum entsprechenden Höhenpunkt Zdfsa'1 und die ausgerichtete Projektion eines „untersten” Pixels des DFSa' entlang der Linie Projend2 zum entsprechenden Höhenpunkt Zdfsa'2 dargestellt wird. Dies bedeutet dass die Kante 725 an einer Pixelposition entlang des DFSa' relativ zu einer anderen „versetzt” ist, das heißt, der Versatz Oab' der Kante 725 an einer Pixelposition entlang des DFSa relativ zu einer anderen beträchtlich sein kann, wie dies dargestellt ist. Aufgrund dessen wird die tatsächliche Bildfokushöhe in der Regel nicht an allen Pixeln innerhalb des DFSa' gleich sein, wie dies durch den im Diagramm 720 gezeigten Bereich von Z-Höhen Zrange-dfsa dargestellt wird. Dies bedeutet, dass die zugehörige Kontrastmetrik oder Fokusmetrik unterschiedlich fokussierte Bildabschnitte enthalten wird, derart, dass sie, wie in 7A gezeigt, die nominale Höhe am Mittelpunkt CP des DFSa' (e. g. Zdfsa), die die richtige Z-Höhe an der Position des Cp entlang der Profillinie 704pl' ist, nicht genau wiedergeben kann. Tatsächlich ist in dem in 7B gezeigten Beispiel ersichtlich, dass der DFSa' Bildabschnitte mit Z-Höhen aufweisen wird, die beträchtlich unter der nominalen Z-Höhe am Mittelpunkt CP des DFSa' liegen, was dazu führen wird, dass die Kontrastmetrik oder Fokusmetrik (und die gemessene Z-Höhe) des DFSa' fehlerhaft niedrig ist. Aus einer anderen Perspektive betrachtet kann man sagen dass aufgrund dessen, dass der DFSa' derart fehlausgerichtet ist, dass dessen längere Filterungsrichtung teilweise quer über die Kante 725 verläuft, eine gewisse Richtungsfilterung über die Kante 725 hinweg bereitgestellt wird, die die Höheninformation um die Kante 725 herum derart glättet und verzerrt, dass deren echtes Profil verloren geht. Ähnlich fehlausgerichtete DFS über den ROI' hinweg können aus demselben Grund ähnliche Ungenauigkeiten aufweisen, und die sich ergebenden Z-Höhenprofile werden die Position der Kante 725 mit ungenügender Genauigkeit und/oder Auflösung anzeigen.
Wie durch die 7A und 7B angedeutet wird, ist es für ein Video-Werkzeug, das DFS und eine PFF-Technik einsetzt, wünschenswert eine kantenbezogene Ausrichtungskompensation bereitzustellen, um den Versatz Oab' (der zum Beispiel dem Fehlausrichtungswinkel MA in 7 entspricht) entweder zu beseitigen oder zu kompensieren oder dergleichen, so dass die Bilddaten über einen DFS hinweg (oder über eine Menge von ausgemittelten Daten hinweg, die von anderen Richtungsfilterungstechniken verwendet werden, um die erfasste oder geschätzte Position von verrauschten Kanten zu verbessern) ungefähr dieselbe nominale Fokushöhe haben. Dies verbessert die Fähigkeit eines solchen Video-Kantenwerkzeugs, die gewünschte Z-Höhengenauigkeit und Auflösung bereitzustellen, wie in 7A dargestellt wird. Kantenbezogene Ausrichtungskompensation ist insbesondere möglich und wünschenswert für Kanten, die eine annähernd bekannte Form aufweisen (z. B. eine gerade oder kreisförmige Form, die einem Benutzer des Inspektionssystems bekannt ist und/oder in einem bestimmten Typ von Video-Werkzeug oder Parameter oder dergleichen wiedergegeben wird), wie nachfolgend näher beschrieben wird.
Um den Versatz (falls vorhanden) eines DFS-Pixels relativ zu einem anderen entlang eines Kantenmerkmals derart zu kompensieren, dass entsprechende Pixel der DFS einen Inhalt aufweisen, der in geeigneter Weise durch Analyse, die Ausmittelungs- oder Filterungsabläufe beinhaltet, kombinierbar ist (z. B. nominal ähnliche Z-Höhen), können verschiedene Verfahren eingesetzt werden, um den Versatz relativ zu einer vorläufigen Richtung festzustellen, die alternativ als eine Ursprungs-, Bezugs- oder Standard-Richtung bezeichnet werden kann, und die ebenfalls als eine vorläufige Richtung der Richtungsfilterung bezeichnet und/oder verwendet werden kann. In einer Ausführungsform kann beispielsweise eine vorläufige Z-Höhenabbildung für den ROI-basierten quadratischen Kontrastkern (z. B. den quadratischen Unterbereich 305) bestimmt werden. Dann können Z-Höhenprofile für mehrere parallele Linien quer zu der Kante bestimmt werden und in dieser Höhenabbildung entlang der Kante verteilt werden. Diese vorläufigen Profillinien können auf der Gesamtausrichtung des ROI basiert werden (z. B. rechtwinklig zu den Seiten des ROI), in einigen Ausführungsformen beispielsweise wie die Profillinien La' und Lb' in 7B. Vorläufige Kantenpunkte entsprechend der Kante, die zu referenzieren ist, können sich entlang einer jeden derartigen Profillinie befinden (z. B. entsprechend einer Z-Höhengradienten-Spitzenposition). Da die Bilddaten und/oder die zugrunde liegenden Oberflächen verrauscht sind, können in einigen Ausführungsformen mehrere Profillinien verwendet werden. Im Falle einer geraden Kante (wie in den 7A und 7B gezeigt), kann eine Linie auf diese Kantenpunkte angepasst werden und der Fehlausrichtungswinkel (z. B. der Winkel MA in 7B) dieser angepassten Linie relative zu dem ROI und/oder den vorläufigen oder vorgegebenen DFS-Richtungen dieses ROI können bestimmt werden. Der Unterschied des Versatzabstands der angepassten Linie von einer beispielhaften DFS-Richtung an zwei Positionen entlang des DFS wird sin(MA)·Abstand zwischen den beiden Positionen betragen. Ganz allgemein ist in verschiedenen Ausführungsformen das Video-Werkzeug zur Kantenmessung entweder ein Box-Werkzeug, ein Kreis-Werkzeug oder ein Bogen-Werkzeug, und das Charakterisieren des jeweiligen Versatzbetrags des Kantenmerkmals entlang den jeweiligen DFS umfasst das Ermitteln von Kantenpunkten, Anpassen einer dem Video-Werkzeug zugeordneter Linienform und Charakterisieren des jeweiligen Versatzbetrags der angepassten Linie an verschiedenen Positionen entlang einer vorläufigen oder vorgegebenen Filterungsrichtung, die für die Richtungsfilterung durch das Video-Werkzeug verwendet wird. Wenn das Video-Werkzeug ein Box-Werkzeug ist, ist die dem Video-Werkzeug zugeordnete Linienform eine gerade Linie, und das Charakterisieren des jeweiligen Versatzbetrags der angepassten Linie an verschieden Positionen entlang einer vorläufigen Richtung der Filterungsrichtung kann das Bestimmen eines Winkels zwischen der angepassten Linie und einer vorläufigen oder vorgegebenen DFS-Richtung dieses ROI umfassen. Wenn das Video-Werkzeug zur Kantenmessung ein Kreis-Werkzeug ist, dann können sich die vorläufigen Profillinien alle entlang von Radien befinden, die von einem Mittelpunkt des Kreiswerkzeugs ausgehen und die dem Video-Werkzeug zugeordnete Linienform ist ein Kreis, und das Charakterisieren des jeweiligen Versatzbetrags der angepassten Linie entlang jeweiligen vorläufigen Profillinien kann umfassen zu bestimmen, wo der angepasste Kreis sich mit den vorläufigen Profillinien schneidet. In jedem Falle wird man verstehen, dass nachdem ein Fehlausrichtungswinkel für eine gerade Kante charakterisiert worden ist (oder eine schwierigere Charakterisierung für die Fehlausrichtung einer angepassten kreisförmigen Kante relativ zu einem vorläufigen „DFS-Kreis oder -Bogen” gemacht wird, z. B. in einem Kreis- oder Bogen-Werkzeug), die Richtung des DFS in dem Werkzeug dann ordentlich entsprechend der oben dargelegten Prinzipien nach der Kante abgestimmt oder ausgerichtet werden kann. Wenn das Video-Werkzeug für Kantenmessung ein Kreis-Werkzeug oder ein Bogen-Werkzeug ist, dann können in einer Ausführungsform die jeweiligen DFS-Bögen alle „konzentrische” DFS sein, die rechtwinklig zu Radien verlaufen, die von einem Mittelpunkt des Kreis- oder Bogen-Werkzeugs ausgehen, die dem Video-Werkzeug zugeordnete Linienform kann ein Kreis sein (oder ein Abschnitt eines Kreises), und der Mittelpunkt des angepassten Kreises kann relativ zum Mittelpunkt des Kreis- oder Bogen-Werkzeugs oder dem Mittelpunkt der Abtastlinie bestimmt werden. Der Werkzeugmittelpunkt kann dann so abgestimmt werden, dass er mit dem Mittelpunkt des angepassten Kreises zusammenfällt, und die abgestimmtem Radien und zugehörigen bogenförmigen DFS-Positionen können berechnet werden.
Es versteht sich dass als Alternative für eine gerade Kante, ein Werkstück und eine Kamera relativ zu einander derart gedreht werden können, dass Pixelreihen oder -spalten der Kamera dazu verwendet werden, die DFS-Richtung zu definieren und entlang einer parallelen Richtung relativ zu der Kante auf dem Werkstück orientiert werden, obwohl dies in vielen Inspektionssystemen mit maschineller Bildverarbeitung eine langwierige oder unmögliche Alternative sein kann und deshalb in solchen Systemen nicht bevorzugt werden kann. In jedem Falle kann die Abstimmung der DFS-Richtung, derart, dass diese tatsächlich parallel zur Kante verläuft, als die kantenbezogene Ausrichtungskompensation betrachtet werden.
Es versteht sich, dass wahrscheinlich nicht alle Pixel in einem DFS genau mit einer Bildpixelposition zusammenfallen. In einem solchen Falle kann der Bildwert an einer „Pixel”-Position in dem für PPF-Abläufe verwendeten DFS durch Interpolation auf der Basis von umliegenden Bildpixeln gemäß verschiedener bekannter Verfahren bestimmt werden. Das Berechnen von interpolierter Bildintensität entlang einer gewünschten Linie und/oder Richtung auf der Basis von zuvor erhaltenen Bilddaten wird durch das US-Patent Nr. 7,567,713 von Ding gelehrt, das hiermit durch Bezugnahme vollinhaltlich mit aufgenommen wird.
Eine weitere Alternative eine Fehlausrichtung zu bestimmen kann umfassen, eine Suche durchzuführen, die die Orientierung und/oder Position eines einem Video-Werkzeug zugeordneten repräsentativen DFS oder einer Menge von DFS in der X-Y-Ebene verändert, und für jede Orientierung und/oder Position die Verteilung von Z-Höhen entlang der Richtung der Richtungsfilterung, die der jeweiligen Orientierung und/oder Position zugeordnet ist, zu charakterisieren. Die Breite der Verteilung charakterisiert im Wesentlichen den Versatz oder die Fehlausrichtung der zugehörigen Richtung der Richtungsfilterung. Die DFS-Orientierung und/oder Position kann dann auf die Orientierung und/oder Position mit der engsten Verteilung von Z-Höhen (z. B. die geringste Standardabweichung) in einem DFS oder einer Menge von DFS eingestellt werden, und dies kann als die kantenbezogene Ausrichtungskompensation betrachtet werden.
Eine weitere Alternative eine Fehlausrichtung zu bestimmen kann umfassen, eine Suche durchzuführen, die die Orientierung und/oder Position eines einem Video-Werkzeug zugeordneten repräsentativen DFS oder einer Menge von DFS in der X-Y-Ebene verändert, und für jede Orientierung und/oder Position mindestens ein vorläufiges Z-Höhenprofil zu bilden, das die Kante kreuzt. In einer solchen Ausführungsform werden die DFS in einer Weise definiert, die zu einem einzigen repräsentativen Verbundkantenprofil führt (das heißt, eine Z-Höhe über die Kante hinweg), das das durchschnittliche Z-Höhenprofil basierend auf der gesamten repräsentativen Menge der DFS darstellt. In jedem Falle werden die resultierenden vorläufigen Z-Höhenprofile ausgewertet. Die Schärfe der Kante, wie in den resultierenden Profilen charakterisiert, charakterisiert im Wesentlichen den Versatz oder die Fehlausrichtung der zugehörigen Richtung der Richtungsfilterung. Insbesondere ist diejenige Orientierung und/oder Position, die die engste Kante und/oder die engste Gradientenspitze und/oder die höchste Gradientenspitze in den Z-Höhenprofilen liefert, die Orientierung und/oder Position, die am besten ausgerichtet ist und die die kantenbezogene Ausrichtungskompensation und/oder die operative Richtung der Richtungsfilterung definiert. Anders ausgedrückt, diejenige Orientierung und/oder Position, die die engste Kante und/oder die engste Gradientenspitze und/oder die höchste Gradientenspitze in ihrem entsprechenden Z-Höhenprofil liefert, entspricht einer kantenbezogenen Ausrichtungskompensation, die im Wesentlichen den jeweiligen Versatzbetrag des Kantenmerkmals an den jeweiligen Positionen entlang einer Richtung der Richtungsfilterung minimiert, die zum Erstellen dieses Z-Höhenprofils verwendet wird. Die vorgenannte Verfahrensweise kann während des Lernmodus und/oder Programmlaufmodus eingesetzt werden. In einigen Ausführungsformen wird das während des Lernmodus bestimmte beste Z-Höhenprofil (welches der besten kantenbezogenen Ausrichtungskompensation entspricht) in einem Teileprogramm gespeichert, und während des Programmlaufmodus wird die Richtung der Richtungsfilterung des Programmablaufmodus dahingehend abgestimmt, eine Übereinstimmung des entsprechenden Z-Höhenprofils des Programmlaufmodus mit dem gespeicherten Z-Höhenprofil des Lernmodus annähernd zu maximieren. Andere Alternativen zur Bereitstellung einer kantenbezogenen Ausrichtungskompensation für eine DFS-Richtung werden Durchschnittsfachmann offensichtlich, wenn ihm diese Offenbarung zur Verfügung steht.
Es versteht sich dass wenn ein Teileprogramm erstellt wird, die Parameter, die eine bestimmte durch ein Video-Werkzeug für Kantenerkennung zu lokalisierende Werkstückkante charakterisieren (auch als „erlernte” Kantenparameter bezeichnet), auf die Ausrichtung des Video-Werkzeugs und auf DFS-Parameter basiert werden, da diese während des Lernmodus relativ zu der Kante orientiert werden. Wenn im Gegensatz dazu das Teileprogramm abläuft, um die entsprechende Kante an einem anderen Werkstück während eines Programmablaufmodus automatisch zu erkennen, kann die Werkstückkante dabei auf einen geringfügig unterschiedlichen Winkel oder eine unterschiedliche Position relativ zu dem programmierten Video-Werkzeug gedreht beziehungsweise verschoben werden, wodurch wahrscheinlicher wird, dass die erlernten Kantenparameter nicht in der Lage sind, eine Übereinstimmung mit den Charakteristiken der Kante während des Programmablaufmodus zu erzielen. Es versteht sich, dass insbesondere für verrauschte Kanten eine zuverlässige Kantenerkennung von Natur aus schwierig ist und der Spielraum für solche Fehler minimal sein kann. Um die Zuverlässigkeit der Kantenerkennung zu erhöhen kann es deshalb wünschenswert sein sicherzustellen, dass die DFS-Orientierung im Programmablaufmodus relativ zu einem Kantenmerkmal so ähnlich wie möglich zur DFS-Orientierung im Lernmodus ist, wodurch die Wahrscheinlichkeit einer Übereinstimmung zwischen den in einem Teileprogramm enthaltenen erlernten Kantenparametern und den während des Betriebsablaufs beobachteten Kantenparametern erhöht wird. In diesem Fall kann, in einer Ausführungsform, die Abstimmung der DFS-Richtung in einer Weise, dass sie während des Lernmodus und/oder des Programmablaufmodus tatsächlich parallel zur Kante ist, als die kantenbezogene Ausrichtungskompensation betrachtet werden. In einer weiteren Ausführungsform kann die tatsächliche Orientierung der DFS-Richtung relative zur Kante, oder eine andere Charakterisierung der DFS-Richtung (z. B. Z-Höhenprofil oder Verteilung für Z-Höhen, die entlang der DFS-Richtung auftreten) bestimmt und während des Lernmodus aufgezeichnet werden, und die DFS-Orientierung im Programmablaufmodus kann dann relativ zu der Kante abgestimmt werden, um bestmöglich mit der während des Lernmodus aufgezeichneten tatsächlichen DFS-Orientierung oder der anderen Charakterisierung übereinzustimmen. In diesem Falle kann die Abstimmung der DFS-Orientierung im Programmablaufmodus relativ zur Kante in einer Weise, dass sie mit der während des Lernmodus aufgezeichneten (z. B. basierend auf einer Korrelationsanalyse oder anderen bekannten Daten-/Profil-Vergleichstechniken) tatsächlichen DFS-Orientierung relativ zur Kante oder anderen DFS-Charakterisierung übereinstimmt, als die kantenbezogene Ausrichtungskompensation betrachtet werden. In einigen solchen Ausführungsformen kann die DFS-Richtung während des Lernmodus und/oder Programmablaufmodus derart abgestimmt werden, dass ein Gradient, der einem Kantenmerkmal in einem Z-Höhenprofil entspricht, das basierend auf DFS-Daten entlang einer zur längeren DFS-Abmessung rechtwinkligen Richtung bestimmt wird, annähernd maximiert wird. In jedem Falle erhöhen die oben dargelegten Vorgehensweisen die Zuverlässigkeit von Kantenerkennungsparametern, die für ein Werkstück im Lernmodus bestimmt werden und in einem Teileprogramm aufgezeichnet werden, wenn das Teileprogramm bei ähnlichen Werkstücken während des Programmablaufmodus angewandt wird.
Wie vorangehend dargelegt versteht es sich, dass in einigen Ausführungsformen die DFS-Richtung relativ zu dem Video-Werkzeug (z. B. dem Bereich des Interesses des Video-Werkzeugs) definiert werden kann, und Abstimmung und/oder Kompensation der DFS-Richtung kann das Abstimmen eines Elements oder Merkmals des Bereichs von Interesse umfassen. Es versteht sich daher, dass die DFS-Richtung in verschieden Ausführungsformen direkt (z. B. durch einen Video-Werkzeugparameter, der direkt mit dem DFS zusammenhängt) oder indirekt (z. B. durch ein zugehöriges Video-Werkzeug-Merkmal oder einen -Parameter) abgestimmt und/oder kompensiert werden kann.
Die 8A–8C zeigen ein PFF Box-Werkzeug 800 das positioniert ist, um Profil- und/oder Kantenposition-Daten für ein gerades Kantenmerkmal 825 in einem Werkstückbild zu bestimmen, und das verschiedene Ausführungsformen von Benutzeroberflächen des Video-Werkzeugs aufweist, um den Box-Werkzeugzustand in Bezug auf das Bereitstellen einer kantenbezogenen Ausrichtungskompensation anzuzeigen, die die DFS/Kantenversätze entsprechend der hier offenbarten Prinzipien im Wesentlichen eliminiert. Wie in den 8A–8C gezeigt umfasst das Box-Werkzeug eine Benutzeroberfläche mit mindestens einem Indikator des Bereichs von Interesse ROIin, wobei der Indikator einem Bild des Werkstücks überlagert ist und eine Anzeige liefert, die anzeigt, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde (oder nicht bereitgestellt wurde), und die dem Bild des Werkstücks in der Benutzeroberfläche überlagert ist. In einigen solchen Ausführungsformen kann das Abstimmen des Benutzeroberflächenelements umfassen, eine Eigenschaft eines oder mehrerer Elemente zu ändern, die dem Bild des Werkstücks überlagert sind (z. B. deren Farbe oder Linientyp oder dergleichen), oder einen dem Bild überlagerten Indikator der kantenbezogenen Ausrichtungskompensation (z. B. das Symbol oder Widget des kantenbezogenen Indikators ERin) zuzufügen oder abzustimmen. Wie in 8A gezeigt, wurde die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt (z. B., das Werkzeug wurde noch nicht im Lernmodus oder im Handmodus gefahren oder geschult). Folglich erscheint das GUI des Video-Werkzeugs in einem Ursprungszustand (z. B. in einem ungeschulten Zustand). In einigen Ausführungsformen kann der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt wurde. In anderen Ausführungsformen erscheint das GUI des Video-Werkzeugs einfach in seinem Ursprungszustand.
Wie in den 8B und 8C gezeigt, wurde die kantenbezogene Ausrichtungskompensation bereitgestellt (z. B., das Werkzeug wurde im Lernmodus oder Handmodus gefahren oder geschult). In dieser besonderen Ausführungsform haben interne Abläufe des Video-Werkzeugs den Versatz zwischen jeweiligen Positionen entlang einer Richtung der Richtungsfilterung eliminiert (z. B. durch Abstimmen der DFS-Richtung basierend auf einer vorläufigen Bestimmung des Fehlausrichtungswinkels, wie vorangehend dargelegt). Demzufolge kann in einigen Ausführungsformen der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In anderen Ausführungsbeispielen stimmt das GUI des Video-Werkzeugs eines seiner Elemente relativ zu seinem ursprünglichen Zustand in einer Weise ab, die angibt, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In 8, zum Beispiel, stimmt das Video-Werkzeug 800, das ein Box-Werkzeug ist, die Benutzeroberfläche ab, indem der Indikator des Bereichs von Interesse derart gedreht wird, dass eine seiner Achsen rechtwinklig zum Kantenmerkmal ist, während die andere Achse die Richtung der Richtungsfilterung darstellt und parallel zum Kantenmerkmal ist. In der 8C wird durch das Video-Werkzeug 800 ein oder mehrere Kantenrichtungsindikator(en) EDin derart bereitgestellt und/oder gedreht, dass er (sie) parallel zum Kantenmerkmal 825 ist (sind). In einer Ausführungsform kann einer der Kantenrichtungsindikatoren EDin als eine „Linienform” referenziert werden, die nach dem Kantenmerkmal ausgerichtet ist und, wie dargestellt, in einem Winkel relativ zu einer ursprünglichen oder vorgegebenen Filterungsrichtung orientiert ist (wie, z. B., durch die vertikalen Kanten des Indikators des Bereichs von Interesse ROIin dargestellt wird). Ein Winkel zwischen einem der Kantenrichtungsindikatoren EDin und einer der vertikalen Kanten des Indikators des Bereichs von Interesse ROIin kann daher dazu verwendet werden, den jeweiligen Versatzbetrag der ausgerichteten Linienform (z. B. des Kantenrichtungsindikators EDin) an jeweiligen Positionen entlang der ursprünglichen oder vorgegebenen Richtung der Richtungsfilterung (wie, z. B., durch die vertikale Kante des Indikators des Bereichs von Interesse ROIin dargestellt) zu charakterisieren.
Die 9A–9C zeigen ein PFF-Bogen-Werkzeug 900 das positioniert ist, um Profil- und/oder Kantenposition-Daten für ein kreisförmiges Kantenmerkmal 925 in einem Werkstückbild zu bestimmen, und das verschiedene Ausführungsformen von Benutzeroberflächen des Video-Werkzeugs aufweist, um den Bogen-Werkzeugzustand in Bezug auf das Bereitstellen einer kantenbezogenen Ausrichtungskompensation anzuzeigen, die die DFS/Kantenversätze entsprechend der hier offenbarten Prinzipien im Wesentlichen eliminiert. Die 9A–9C entsprechen sinngemäß den 8A–8C und können in ähnlicher Weise verstanden werden, weshalb nur eine kurze Beschreibung gegeben wird. Das Bogen-Werkzeug 900 umfasst eine Benutzeroberfläche mit einem Indikator des Bereichs von Interesse ROIin, der einem Bild des Werkstücks überlagert wird. Wie in 9A gezeigt, wurde die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt. Demzufolge erscheint das GUI des Video-Werkzeugs in einem Ursprungszustand (z. B. einem ungeschulten Zustand). In einigen Ausführungsformen kann der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt wurde. In anderen Ausführungsformen erscheint das GUI des Video-Werkzeugs einfach in seinem Ursprungszustand.
Wie in den 9B–9C gezeigt, wurde die kantenbezogene Ausrichtungskompensation bereitgestellt (z. B., das Werkzeug wurde im Lernmodus oder Handmodus gefahren oder geschult). In dieser besonderen Ausführungsform haben interne Abläufe des Video-Werkzeugs den Versatz zwischen der Kante und jeweiligen Positionen entlang einer kreisförmigen/tangentialen Richtung der Richtungsfilterung eliminiert (z. B. durch Abstimmen der DFS-Richtung basierend auf einer vorläufigen Bestimmung des Fehlausrichtungswinkels, wie vorangehend dargelegt). Demzufolge kann in einigen Ausführungsformen der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In anderen Ausführungsbeispielen stimmt das GUI des Video-Werkzeugs eines seiner Elemente relativ zu seinem ursprünglichen Zustand in einer Weise ab, die angibt, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. Beispielsweise stimmt das Video-Werkzeug 900 in 9B die Benutzeroberfläche ab, indem der Indikator des Bereichs von Interesse ROIin so positioniert wird, dass seine Bogengrenzlinien ungefähr konzentrisch mit dem Kantenmerkmal 925 sind. In 9C wird (werden) der (die) Kantenrichtungsindikator(en) EDin von dem Video-Werkzeug 900 derart bereitgestellt und/oder positioniert, dass er (sie) ungefähr konzentrisch mit dem Kantenmerkmal ist (sind). In einer Ausführungsform kann einer der Kantenrichtungsindikatoren EDin als eine „Linienform” referenziert werden, die nach dem Kantenmerkmal ausgerichtet ist und, wie dargestellt, in einem Winkel relativ zur ursprünglichen oder vorgegebenen Filterungsrichtung orientiert ist (wie, z. B., durch die bogenförmigen Kanten des Indikators des Bereichs von Interesse ROIin dargestellt). Ein Versatz zwischen einem der Kantenrichtungsindikatoren EDin und einer der bogenförmigen Kanten des Indikators des Bereichs von Interesse ROIin kann daher dazu verwendet werden, den jeweiligen Versatzbetrag der ausgerichteten Linienform (z. B. des Kantenrichtungsindikators EDin) an jeweiligen Positionen entlang der ursprünglichen oder vorgegebenen Filterungsrichtung (z. B. wie durch die Bogenkante des Indikators des Bereichs von Interesse ROIin dargestellt) zu charakterisieren. Es versteht sich, dass verschiedene Ausführungsformen eines Kreis-Werkzeugs gleichartige Merkmale wie die in den 9A–9C gezeigten Ausführungsformen des Kreis-Werkzeugs aufweisen können.
9A zeigt einen beispielhaften optionalen Suchgebietsindikator SA, der in einer Benutzeroberfläche von verschiedenen Video-Werkzeugen enthalten sein kann, um ein Suchgebiet anzuzeigen, das für Suchverfahren für die Ausrichtungskompensation benutzt wird, wie zuvor dargelegt. In einigen Ausführungsformen kann ein Benutzer die Größe des Suchgebiets abstimmen (z. B. durch Ziehen einer Seite oder Ecke), um eine schnellere Suche (z. B. ein kleineres Suchgebiet) oder eine robustere Suche (z. B. ein größeres Suchgebiet) zu bewirken.
Wie zuvor dargelegt bestimmt in einigen Ausführungsformen die kantenbezogene Ausrichtungskompensation den (die) jeweiligen Versatzbetrag (Versatzbeträge) an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung, und sie wird dazu verwendet, die Daten derart abzustimmen, dass der jeweilige Versatzbetrag des Kantenmerkmals an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung im Wesentlichen kompensiert wird, wie zuvor dargelegt. In solchen Ausführungsformen kann das Abstimmen des Benutzeroberflächenelements umfassen, mindestens entweder den Indikator des Bereichs von Interesse, einen Kantenrichtungsindikator oder eine Anzeige, die erkannten Kantenpunkte anzeigt, abzustimmen, um symbolisch den (die) jeweiligen Versatzbetrag (Versatzbeträge) darzustellen. Die 10A–10C und die 11A–11C zeigen Benutzeroberflächenmerkmale, die in solchen Ausführungsformen verwendet werden können.
Die 10A–10C entsprechen in einer allgemeinen Weise den 8A–8C und können in ähnlicher Weise verstanden werden, weshalb nur eine kurze Beschreibung gegeben wird. Das Box-Werkzeug 1000 umfasst eine Benutzeroberfläche mit einem Indikator eines Gebiets von Interesse ROIin, der einem Bild des Werkstücks überlagert ist. Wie in 10A gezeigt wird, wurde die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt. Demzufolge erscheint das GUI des Video-Werkzeugs in einem Ursprungszustand (z. B. einem ungeschulten Zustand). In einigen Ausführungsformen kann der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt wurde. In anderen Ausführungsformen erscheint das GUI des Video-Werkzeugs einfach in seinem Ursprungszustand.
Wie in den 10B und 10C gezeigt wird, wurde die kantenbezogene Ausrichtungskompensation bereitgestellt (z. B., das Werkzeug wurde im Lernmodus oder Handmodus gefahren oder geschult). In dieser besonderen Ausführungsform haben interne Abläufe des Video-Werkzeugs den Versatz an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung bestimmt (z. B. derart, dass er rechnerisch kompensiert werden kann, wie vorangehend dargelegt). Demzufolge kann in einigen Ausführungsformen der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In anderen Ausführungsbeispielen stimmt das GUI des Video-Werkzeugs eines seiner Elemente relativ zu seinem ursprünglichen Zustand in einer Weise ab, die angibt, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In 10B wird beispielsweise der Kantenrichtungsindikator EDin durch das GUI des Video-Werkzeugs derart bereitgestellt und/oder positioniert, dass er parallel zu dem Kantenmerkmal 1025 ist und/oder er zeigt einen Winkel zwischen dem Kantenmerkmal 1025 und einer Linie an, die auf die ursprüngliche oder vorgegebene Richtung der Richtungsfilter hinweist (welche, z. B., als parallel zu den vertikalen Kanten des Indikators des Bereichs von Interesse ROIin gezeigt wird). In 10C wird durch die GUI eine erkannte Kantenpunktdarstellung DEP bereitgestellt und/oder positioniert, oder eine Linie auf die erkannten Kantenpunkte angepasst, ungefähr entlang des Kantenmerkmals. In bestimmten Ausführungen kann eine auf die erkannten Kantenpunkte angepasste Linie dazu verwendet werden, einen Winkel relativ zu der ursprünglichen oder vorgegeben Richtung der Richtungsfilterung (die, z. B. parallel zu den vertikalen Kanten des Indikators des Bereichs von Interesse ROIin gezeigt wird) anzuzeigen, und/oder ein horizontaler Abstand jeweils zwischen den erkannten Kantenpunktdarstellungen DEP und einer die Richtung der Richtungsfilterung darstellenden Linie kann dazu verwendet werden, den jeweiligen Versatzbetrag an jeweiligen Positionen (z. B. an jeder erkannten Kantenpunktdarstellung DEP) entlang der ursprünglichen oder vorgegebenen Richtung der Filterrichtung zu charakterisieren.
Die 11A–11C entsprechen in einer allgemeinen Weise den 9A–9C und können in ähnlicher Weise verstanden werden, weshalb nur eine kurze Beschreibung gegeben wird. Das Bogen-Werkzeug 1100 umfasst eine Benutzeroberfläche mit einem Indikator des Gebiets von Interesse ROIin, der einem Bild des Werkstücks überlagert ist. Wie in 11A gezeigt, wurde die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt. Demzufolge erscheint das GUI des Video-Werkzeugs in einem Ursprungszustand (z. B. einem ungeschulten Zustand). In einigen Ausführungsformen kann der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation noch nicht bereitgestellt wurde. In anderen Ausführungsformen erscheint das GUI des Video-Werkzeugs einfach in seinem Ursprungszustand.
Wie in den 11B und 11C gezeigt, wurde die kantenbezogene Ausrichtungskompensation bereitgestellt (z. B., das Werkzeug wurde im Lernmodus oder Handmodus gefahren oder geschult). In dieser besonderen Ausführungsform haben interne Abläufe des Video-Werkzeugs den Versatz an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung bestimmt (z. B. derart, dass er rechnerisch kompensiert werden kann, wie vorangehend dargelegt). Demzufolge kann in einigen Ausführungsformen der optionale kantenbezogene Indikator ERin in einem Zustand angezeigt werden, der darauf hinweist, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In anderen Ausführungsbeispielen stimmt das GUI des Video-Werkzeugs eines seiner Elemente relativ zu seinem ursprünglichen Zustand in einer Weise ab, die angibt, dass die kantenbezogene Ausrichtungskompensation bereitgestellt wurde. In 11B, zum Beispiel, stellt das GUI des Video-Werkzeugs den Kantenrichtungsindikator EDin bereit und/oder positioniert ihn derart, dass dessen Krümmung ungefähr konzentrisch oder deckungsgleich mit dem Kantenmerkmal 1125 ist, und/oder zeigt einen Winkel zwischen dem Kantenmerkmal 1125 und einer Linie an, die die ursprüngliche oder vorgegebene Richtung der Richtungsfilterung (die, z. B., als konzentrisch zu den Bogenkanten des Indikators des Bereichs von Interesse ROIin gezeigt wird) andeutet. In 11C, stellt es eine erkannte Kantenpunktdarstellung(en) DEP bereit und/oder positioniert diese, oder eine an die erkannten Kantenpunkte angepasste Linie, ungefähr entlang des Kantenmerkmals. In bestimmten Ausführungen kann eine an die erkannten Kantenpunkte angepasste Linie dazu benutzt werden, einen Winkel relativ zur ursprünglichen oder vorgegebenen Richtung der Filterungsrichtung (die, z. B., als konzentrisch mit den Bogenkanten des Indikators des Bereich von Interesse ROIin gezeigt wird) anzuzeigen, und/oder ein Abstand jeweils zwischen den erkannten Kantenpunktdarstellungen DEP und einer die Richtung der Richtungsfilterung darstellenden Linie kann dazu verwendet werden, den jeweiligen Versatzbetrag an jeweiligen Positionen (z. B. an jeder erkannten Kantenpunktdarstellung DEP) entlang der ursprünglichen oder vorgegebenen Richtung der Filterungsrichtung zu charakterisieren.
In verschiedenen Ausführungsformen, kann die Ausführung der Verfahren der hier offenbarten kantenbezogenen Ausrichtungskompensation einen der folgenden Schritte umfassen: a) Auswählen des Video-Werkzeugs für Kantenmerkmale derart, dass es ein Typ ist, der Abläufe zur kantenbezogenen Ausrichtungskompensation enthält, b) Auswählen eines Modus oder einer Option der kantenbezogenen Ausrichtungskompensation des Video-Werkzeugs für Kantenmerkmale, das Abläufe zur kantenbezogenen Ausrichtungskompensation enthält, c) Auswählen eines Richtungsfilterungsmodus oder einer Option des Video-Werkzeugs für Kantenmerkmale, das Abläufe zur kantenbezogenen Ausrichtungskompensation enthält, und d) Auswählen eines Werkzeugs zur kantenbezogenen Ausrichtungskompensation, das Abläufe zur kantenbezogenen Ausrichtungskompensation bereitstellt, die mit dem Video-Werkzeug für Kantenmerkmale zusammenarbeiten. In solchen Ausführungsformen kann der Schritt des Analysierens der mehreren jeweiligen Positionen entlang einer Richtung der Richtungsfilterung, um die kantenbezogene Ausrichtungskompensation bereitzustellen, umfassen, die kantenbezogene Ausrichtungskompensation im Zusammenwirken mit Abläufen des Video-Werkzeugs für Kantenmerkmale durchzuführen.
In einigen Fällen wird das Verfahren während eines Lernmodus des Inspektionssystems mit maschineller Bildverarbeitung durchgeführt, und die entsprechenden Abläufe werden in einem Teileprogramm aufgezeichnet. In anderen Fällen werden zumindest einige Schritte des Verfahrens während eines Programmablaufmodus des Inspektionssystems mit maschineller Bildverarbeitung durchgeführt, indem entsprechende, in einem Teileprogramm aufgezeichnete, Abläufe durchgeführt werden.
In einigen Ausführungsformen kann das Verfahren umfassen, die kantenbezogene Ausrichtungskompensation anzuwenden, um die Richtung der Richtungsfilterung derart abzustimmen, dass für den jeweiligen Versatzbetrag des Kantenmerkmals an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung zumindest ein Punkt der folgenden Punkte zutrifft: er wird a) im Wesentlichen beseitigt, b) im Wesentlichen kompensiert, und c) im Wesentlichen an einen zuvor bestimmten jeweiligen Versatzbetrag eines entsprechenden Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung angepasst.
Es versteht sich, dass diese in den 8–22 gezeigten Statusindikatoren für die kantenbezogene Ausrichtungskompensation lediglich beispielhaft und nicht einschränkend sind.
12 ist ein Ablaufdiagramm eines Verfahrens für eine verbesserte Kantenerkennung von Kanten von unregelmäßigen Oberflächen in einem Inspektionssystem mit maschineller Bildverarbeitung. An einem Block 1210 wird ein Video-Werkzeug bereitgestellt, das einen Abschnitt umfasst, der den Bereich von Interesse definiert. Das Video-Werkzeug für Kantenmerkmale ist konfiguriert, um Profildaten für ein Kantenmerkmal in dem Bereich von Interesse basierend auf mehreren unterschiedlich fokussierten Bildern des Bereichs von Interesse zu bestimmen. In einem spezifischen Ausführungsbeispiel können solche Bilder im Rahmen von Points-From-Focus(PFF)-Abläufen erhalten werden.
An einem Block 1220 wird ein Werkstück in ein Sichtfeld des Inspektionssystems mit maschineller Bildverarbeitung gelegt. An einem Block 1230 wird das Video-Werkzeug für Kantenmerkmale betrieben, um einen Bereich von Interesse für das Video-Werkzeug zu definieren, der ein Kantenmerkmal in einem Bild des erfassten Werkstücks enthält. An einem Block 1240 wird das Video-Werkzeug für Kantenmerkmale betrieben, um Bilddaten von mindestens einem Werkstückbild im Bereich von Interesse zu analysieren, um eine kantenbezogene Ausrichtungskompensation bereitzustellen. Die kantenbezogene Ausrichtungskompensation bezieht sich auf eine wesentliche Minimierung eines jeweiligen Versatzbetrags des Kantenmerkmals an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung, die genutzt wird, um mehrere unterschiedlich fokussierte Bilder gerichtet zu filtern, bevor die Profildaten für das Kantenmerkmal bestimmt werden.
Die 13 ist ein Ablaufdiagramm eines Verfahrens 1300 zum Bestimmen von Profildaten für ein Kantenmerkmal basierend auf einer Richtungsfilterung. An einem Block 1310 wird das Video-Werkzeug betrieben, um die mehreren unterschiedlich fokussierten Bilder zu erfassen. An einem Block 1320 wird die kantenbezogene Ausrichtungskompensation angewendet, um die Richtung der Richtungsfilterung abzustimmen. An einem Block 1330 werden die mehreren fokussierten Bilder nach der Anwendung der kantenbezogenen Ausrichtungskompensation gerichtet gefiltert. An einem Block 1340 werden die Profildaten für das Kantenmerkmal basierend auf den richtungsgefilterten, mehreren unterschiedlich fokussierten Bildern bestimmt.
Die 14 ist ein Ablaufdiagramm eines Verfahrens 1400 zum Durchführen der Richtungsfilterung unter Nutzung von Unterbereichen, die relativ zu Pixelpositionen auf der Basis von Points-From-Pixel (PFF) definiert werden. An einem Block 1410 werden mehrere unterschiedlich fokussierte Bilder richtungsgefiltert, wobei ein Richtungsfilterungsunterbereich (DFS) genutzt wird, der relativ zu einem Punkt, der einer PFF-basierten Pixelposition entspricht, in jedem der mehreren Bilder definiert wird. Jeder DFS ist so geformt, dass er entlang der Richtung der Richtungsfilterung eine längere Abmessung aufweist, die größer als eine kurze Abmessung entlang einer zweiten Richtung ist, die ungefähr rechtwinklig zur Richtung der Richtungsfilterung ist. An einem Block 1420 wird die kantenbezogene Ausrichtungskompensation verwendet, um die Richtung der Richtungsfilterung abzustimmen. Die Abstimmung wird derart durchgeführt, dass für den Versatzbetrag des Kantenmerkmals entlang der Richtung der Richtungsfilterung mindestens wenigstens einer der folgenden Punkte gilt: a) er wird im Wesentlichen beseitigt und b) im Wesentlichen kompensiert, bevor die Richtungsfilterung ausgeführt wird.
Aus dem Vorstehenden wird verständlich, dass spezifische Ausführungsformen der Erfindung hier zum Zwecke der Erläuterung beschrieben werden, dass jedoch verschiedene Abänderungen vorgenommen werden können, ohne vom Schutzumfang der Erfindung abzuweichen. Folglich wird die Erfindung außer durch die anhängenden Ansprüche nicht eingeschränkt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6542180 [0002]
US 7627162 [0004]
US 5790710 [0005]
US 7454053 [0040]
US 7324682 [0040]
US 8111905 [0040]
US 8111938 [0040]
US 7567713 [0076]

Zitierte Nicht-Patentliteratur

„Robust Autofocusing in Microscopy” von Jan-Mark Geusebroek und Arnold Smeulders in ISIS Technical Report Series, Band 17, November 2000 [0005]

Claims

Verfahren zum Bestimmen von Profildaten für ein Kantenmerkmal in einem Inspektionssystem mit maschineller Bildverarbeitung (10), umfassend: ein Video-Werkzeug für Kantenmerkmale (143eft) mit einem einen Bereich von Interesse definierenden Abschnitt, wobei das Video-Werkzeug für Kantenmerkmale (143eft) konfiguriert ist, Profildaten für ein Kantenmerkmal im Bereich von Interesse (ROI) basierend auf mehreren unterschiedlich fokussierten Bildern des Bereichs von Interesse (ROI) zu bestimmen; das Verfahren umfassend: Ablegen eines Werkstücks (20) in ein Sichtfeld des Inspektionssystems mit maschineller Bildverarbeitung (10); Betreiben des Video-Werkzeugs für Kantenmerkmale (143eft), um einen Bereich von Interesse des Video-Werkzeugs zu definieren, der ein Kantenmerkmal in einem erfassten Bild des Werkstücks (20) aufweist; und Betreiben des Video-Werkzeugs für Kantenmerkmale (143eft), um Bilddaten von mindestens einem Werkstückbild im Bereich von Interesse (ROI) zu analysieren, um eine kantenbezogene Ausrichtungskompensation bereitzustellen, die sich auf eine wesentliche Minimierung eines jeweiligen Versatzbetrags des Kantenmerkmals an jeweiligen Positionen entlang einer Richtung der Richtungsfilterung bezieht, die für eine Richtungsfilterung der mehreren unterschiedlich fokussierten Bilder genutzt wird, bevor die Profildaten für das Kantenmerkmal bestimmt werden.
Verfahren nach Anspruch 1, wobei die kantenbezogene Ausrichtungskompensation dazu verwendet werden kann, die Richtung der Richtungsfilterung derart abzustimmen, dass für den jeweiligen Versatzbetrag des Kantenmerkmals an den jeweiligen Positionen entlang der Richtung der Richtungsfilterung zumindest einer der folgenden Punkte zutrifft: er wird a) im Wesentlichen beseitigt, b) im Wesentlichen kompensiert, und c) im Wesentlichen an einen zuvor bestimmten jeweiligen Versatzbetrag eines entsprechenden Kantenmerkmals an jeweiligen Positionen entlang der Richtung der Richtungsfilterung angepasst.
Verfahren nach Anspruch 1, ferner umfassend: Betreiben des Video-Werkzeugs (143eft), um die mehreren unterschiedlich fokussierten Bilder zu erfassen; Anwenden der kantenbezogenen Ausrichtungskompensation, um die Richtung der Richtungsfilterung abzustimmen; Richtungsfiltern der mehreren unterschiedlich fokussierten Bilder nach dem Anwenden der kantenbezogenen Ausrichtungskompensation, und Bestimmen der Profildaten für das Kantenmerkmal basierend auf den richtungsgefilterten mehreren unterschiedlich fokussierten Bildern.
Verfahren nach Anspruch 3, wobei das Richtungsfiltern der mehreren unterschiedlich fokussierten Bilder die Verwendung eines Richtungsfilterungsunterbereichs (DFS) umfasst, der relativ zu einem Punkt entsprechend einer Pixelposition auf PFF-Basis in jedem der mehreren Bilder definiert wird, wobei jeder DFS entlang der Richtung der Richtungsfilterung eine längere Abmessung aufweist, die größer ist als eine kurze Abmessung entlang einer zweiten Richtung, die ungefähr senkrecht zur Richtung der Richtungsfilterung verläuft; und die kantenbezogene Ausrichtungskompensation dazu benutzt wird, um die Richtung der Richtungsfilterung derart abzustimmen, dass für den Versatzbetrag des Kantenmerkmals entlang der Richtung der Richtungsfilterung zumindest einer der folgenden Punkte zutrifft: er wird a) im Wesentlichen beseitigt, und b) im Wesentlichen kompensiert, bevor die Richtungsfilterung ausgeführt wird.
Verfahren nach Anspruch 4, wobei die kurze Abmessung höchstens 5 Pixel beträgt und die längere Abmessung mindestens das Dreifache der kurzen Abmessung beträgt, und entweder eine Z-Höhe oder eine PFF-Metrik, die der PFF-basierten Pixelposition des DFS zugeordnet ist, wird ausschließlich basierend auf den in diesem DFS enthaltenen Pixeln bestimmt.
Verfahren nach Anspruch 1, wobei das Video-Werkzeug für Kantenmerkmale eine Benutzeroberfläche umfasst, die mindestens einen Indikator des Bereichs von Interesse enthält, der einem Bild des Werkstücks (20) überlagert ist, und das Verfahren ferner umfasst, einen Hinweis bereitzustellen, dass die kantenbezogene Ausrichtungskompensation durch mindestens einen der folgenden Schritte bereitgestellt worden ist: a) Abstimmen der Position eines Elements, das dem Bild des Werkstücks (20) in der Benutzeroberfläche überlagert ist, b) Ändern einer Eigenschaft eines Elements, das dem Bild des Werkstücks (20) überlagert ist, und c) Zufügen eines Indikators der kantenbezogenen Ausrichtungskompensation, der dem Bild überlagert ist.
Verfahren nach Anspruch 1, wobei: das Verfahren einen der folgenden Schritte umfasst: a) Auswählen des Video-Werkzeugs für Kantenmerkmale (143eft) derart, dass es ein Typ ist, der Abläufe für kantenbezogene Ausrichtungskompensation enthält, b) Auswählen eines Modus oder einer Option des Video-Werkzeugs für Kantenmerkmale (143eft), das Abläufe für kantenbezogene Ausrichtungskompensation enthält, c) Auswählen eines Richtungsfilterungsmodus oder -option des Video-Werkzeugs für Kantenmerkmale (143eft), das Abläufe für kantenbezogene Ausrichtungskompensation enthält, und d) Auswählen eines Werkzeugs für kantenbezogene Ausrichtungskompensation, das Abläufe für kantenbezogene Ausrichtungskompensation bereitstellt, die im Zusammenwirken mit dem Video-Werkzeug für Kantenmerkmale (143eft) arbeiten; das Analysieren der Bilddaten von mindestens einem Werkstückbild im Bereich von Interesse (ROI), um die kantenbezogene Ausrichtungskompensation bereitzustellen, das Durchführen der Abläufe der kantenbezogenen Ausrichtungskompensation im Zusammenwirken mit Abläufen des Video-Werkzeugs für Kantenmerkmale (143eft) umfasst.
Verfahren nach Anspruch 1, wobei das Bereitstellen der kantenbezogenen Ausrichtungskompensation umfasst, den jeweiligen Versatzbetrag des Kantenmerkmals an jeweiligen Positionen entlang einer dem Video-Werkzeug für Kantenmerkmale (143eft) zugeordneten vorgegebenen Richtung zu charakterisieren, das Verfahren umfassend: Betreiben des Video-Werkzeugs für Kantenmerkmale (143eft), um mehrere unterschiedlich fokussierte Bilder des Bereichs von Interesse (ROI) zu erfassen; Bestimmen von vorläufigen Profildaten für das Kantenmerkmal basierend auf den erfassten mehreren unterschiedlich fokussierten Bildern des Bereichs von Interesse (ROI); Ausrichten, basierend auf den vorläufigen Profildaten, einer dem Video-Werkzeug für Kantenmerkmale (143eft) zugeordneten Linienform nach dem Kantenmerkmal; und Charakterisieren des jeweiligen Versatzbetrags der ausgerichteten Linienform an jeweiligen Positionen entlang der vorgegeben Richtung.
Verfahren nach Anspruch 1, wobei das Verfahren ferner umfasst: Betreiben des Video-Werkzeugs (143eft), um mehrere unterschiedlich fokussierte Bilder des Bereichs von Interesse während eines Lernmodus des Inspektionssystems mit maschineller Bildverarbeitung zu erfassen; Bestimmen mehrerer repräsentativer Kombinations-Z-Höhenprofile über das Kantenmerkmal hinweg, wobei jedes repräsentative Kombinations-Z-Höhenprofil auf einer entsprechenden Richtung der Richtungsfilterung basiert, die zum Richtungsfiltern der mehreren unterschiedlich fokussierten Bilder benutzt wird, bevor diese repräsentativen Kombinations-Z-Höhenprofile bestimmt werden; Bestimmen eines der mehreren repräsentativen Kombinations-Z-Höhenprofile, das im Wesentlichen den jeweiligen Versatzbetrag des Kantenmerkmals an jeweiligen Positionen entlang einer Richtung der Filterungsrichtung minimiert, die benutzt wird, um dieses repräsentative Kombinations-Z-Höhenprofil bereitzustellen; und Bestimmen der kantenbezogenen Ausrichtungskompensation basierend auf der Richtung der Richtungsfilterung, die demjenigen der mehreren repräsentativen Kombinations-Z-Höhenprofile entspricht, das den jeweiligen Versatzbetrag des Kantenmerkmals im Wesentlichen minimiert.
Verfahren nach Anspruch 9, wobei das Bestimmen eines der mehreren repräsentativen Kombinations-Z-Höhenprofile, das den jeweiligen Versatzbetrag im Wesentlichen minimiert, das Bestimmen desjenigen Kombinations-Z-Höhenprofils umfasst, das einen maximalen Profilgradienten aufweist, der dem repräsentativen Kantenmerkmal unter den mehreren repräsentativen Kombinations-Z-Höhenprofilen entspricht.