DE112020001064T5

DE112020001064T5 - System und verfahren zur einstellbaren produktionslinienprüfung

Info

Publication number: DE112020001064T5
Application number: DE112020001064.3T
Authority: DE
Inventors: Yonatan HYATT; Harel Boren
Original assignee: Inspekto AMV Ltd
Current assignee: Inspekto AMV Ltd
Priority date: 2019-03-04
Filing date: 2020-03-01
Publication date: 2021-12-09
Also published as: WO2020178815A3; US20220148152A1; IL265163B; WO2020178815A2; IL265163A

Abstract

Ein visuelles Prüfsystem und Verfahren beinhalten das Empfangen einer Eingabe von einer Kamera, einschließlich eines Bildes eines Gegenstandes auf einer Prüflinie, und basierend auf der Eingabe die Berechnung einer erwarteten Leistungsfähigkeit des Systems. Die erwartete Leistungsfähigkeit kann einem Benutzer auf dem Bildschirm angezeigt werden. Eine angepasste erwartete Leistungsfähigkeit kann basierend auf angepassten Parametern des Systems und Eingaben des Benutzers berechnet werden, und die angepasste erwartete Leistungsfähigkeit kann dem Benutzer auf dem Bildschirm angezeigt werden.

Description

FELD
Die vorliegende Erfindung bezieht sich auf visuelle Prüfverfahren, z. B. auf die bildbasierte Prüfung von Gegenständen auf einer Produktionslinie.
HINTERGRUND
Die Prüfung während des Produktionsprozesses hilft die Qualität der Produkte zu kontrollieren, indem Defekte identifiziert und daraufhin gehandelt wird, z. B. indem sie behoben oder defekte Teile aussortiert werden, und ist somit nützlich für die Verbesserung der Produktivität, die Verringerung der Defektquote und die Reduzierung von Nacharbeit und Abfall.
Automatisierte visuelle Prüfverfahren werden in Produktionslinien eingesetzt, um visuell erkennbare Anomalien zu identifizieren, die einen funktionalen oder ästhetischen Einfluss auf die Integrität eines hergestellten Teils haben können. Die heute auf dem Markt befindlichen Lösungen für die visuelle Prüfung von Produktionslinien beruhen auf maßgeschneiderten, automatisierten visuellen Prüfsystemen, die in der Regel sehr teuer sind und eine fachkundige Integration von Hardware- und Softwarekomponenten sowie eine fachkundige Wartung dieser Komponenten während der Lebensdauer der Prüflösung und der Produktionslinie erfordern.
Zusätzlich zu den anfänglich hohen Kosten des Systems verursacht jeder neu hergestellte Artikel oder jeder neu identifizierte Defekt Ausfallzeiten, die in Monaten gemessen werden können, und zwar von der Initiierung eines Projekts bis zu dessen Einsatz. In der Zwischenzeit ist ein Werk gezwungen, teures internes/externes Personal für die Qualitätssicherung (QS), die Anschnittkontrolle, die Sortierung oder andere Aufgaben einzusetzen oder das Risiko und/oder die Produktionseinbußen zu tragen, die entstehen, wenn in einem oder mehreren Teilen der Produktionslinien des Werks keine dieser Aufgaben ausgeführt werden.
Es besteht eine zunehmende Diskrepanz zwischen dem Bedarf der Industrieanlagen an Flexibilität und Verbesserung einerseits und dem schwerfälligen und teuren Einrichtungsprozess der heutigen Prüflösungen andererseits.
ZUSAMMENFASSUNG
Ausführungsformen der Erfindung stellen ein einstellbares bildbasiertes Prüfsystem und -Verfahren bereit, bei dem ein Benutzer vor Beginn der Prüfphase über die erwartete Prüfleistungsfähigkeit in Bezug auf einen geprüften Gegenstand informiert wird. Der Benutzer (z. B. der Leiter der Prüflinie eines Werks) kann dann die Parameter des Prüfsystems und/oder des geprüften Gegenstands anpassen, um die erwartete Leistungsfähigkeit zu ändern (typischerweise zu verbessern).
Vorabinformationen über die Leistungsfähigkeit der Prüfung verringern die Frustration des Benutzers und ermöglichen es dem Benutzer, die Leistungsfähigkeit in Echtzeit zu verbessern oder an die Bedürfnisse des Benutzers oder der Anlage anzupassen.
Die Prüfleistungsfähigkeit, d. h. die Qualität der Defekterkennung und/oder anderer Prüfaufgaben (z. B. Defekterkennung, Qualitätssicherung (QS), Sortieren und/oder Zählen, Anschnitt usw.), kann durch Parameter bestimmt werden, die die Prüfergebnisse beeinflussen. Ein Parameter, der sich auf die Prüfergebnisse auswirkt, ist zum Beispiel die Mindestgröße eines erkennbaren Defekts. Defekte, die unterhalb der Mindestgröße eines erkennbaren Defekts liegen, werden möglicherweise nicht erkannt.
In einem anderen Beispiel ist die Erkennungszeit ein Parameter, der die Ergebnisse der Prüfung beeinflusst. Die Erkennungszeit, die die Zeitspanne zwischen dem Empfang des Bildes des Gegenstands und der Erkennung eines Defekts auf dem Gegenstand und möglicherweise der Ausgabe von Defektinformationen an einen Benutzer pro Gegenstand beinhaltet, wirkt sich nämlich auf die Gesamtprüfungszeit pro Charge oder Prüfverfahren einer bekannten Anzahl von Gegenständen aus.
In einer Ausführungsform beinhaltet ein visuelles Prüfsystem einen Prozessor, der mit einer Benutzerschnittstelle und einer Kamera kommuniziert. Der Prozessor empfängt von der Kamera Eingabe, die ein Bild eines Gegenstandes auf einer Prüflinie beinhaltet. Basierend auf der Eingabe berechnet der Prozessor eine erwartete Leistungsfähigkeit des Systems und gibt über die Benutzerschnittstelle die erwartete Leistungsfähigkeit aus.
In einer Ausführungsform empfängt der Prozessor ein Bild eines Gegenstandes auf einer Prüflinie und berechnet eine minimale erkennbare Defektgröße, typischerweise in Größeneinheiten wie metrischen oder imperialen Einheiten, basierend auf dem Abstand der Kamera zu dem Gegenstand. Die minimale erkennbare Defektgröße kann an den Benutzer ausgegeben werden, z. B. über die Benutzerschnittstelle, so dass der Benutzer die minimale erkennbare Defektgröße kennt und nur Gegenstände mit erwarteten Defektgrößen, die über der minimalen erkennbaren Defektgröße liegen, in den Prüfprozess einbeziehen kann. Alternativ kann der Benutzer den Abstand des Gegenstands zur Kamera anpassen und/oder die Zoomstufe ändern, um die erkennbare Defektgröße zu verringern oder zu erhöhen.
In einer anderen Ausführungsform empfängt der Prozessor ein Bild eines Gegenstands auf einer Prüflinie und bestimmt (oder schätzt) basierend auf dem Bild eine Erkennungszeit. Die Erkennungszeit kann z. B. basierend auf Prüfparametern bestimmt werden, wie hier weiterhin beschrieben. Eine Anpassung der Prüfparameter kann die Erkennungszeit erhöhen oder verringern. Die ermittelte Erkennungszeit kann an den Benutzer ausgegeben werden, z. B. über die Benutzerschnittstelle, so dass der Benutzer die voraussichtliche Dauer des Prozesses kennt und die Parameter anpassen kann, um die Erkennungszeit zu ändern und/oder die Prozesse effizienter zu planen.
Figurenliste
Zum besseren Verständnis wird die Erfindung nun anhand bestimmter Beispiele und Ausführungsformen unter Bezugnahme auf die folgenden illustrativen Figuren beschrieben. In den Figuren:

1 zeigt schematisch ein System zur Prüfung einer Produktionslinie, das gemäß Ausführungsformen der Erfindung betrieben werden kann;
2 zeigt schematisch ein Verfahren zur visuellen Prüfung, das Berechnen einer minimal erkennbaren Defektgröße beinhaltet, gemäß einer Ausführungsform der Erfindung;
3A und B zeigen schematisch ein Verfahren zur visuellen Prüfung, das Darstellen der minimal erkennbaren Defektgröße für einen Benutzer beinhaltet, gemäß Ausführungsformen der Erfindung;
4 zeigt schematisch ein Verfahren zur visuellen Prüfung, basierend auf einer Vielzahl von Bildern gemäß Ausführungsformen der Erfindung;
5 zeigt schematisch ein Verfahren zur visuellen Prüfung, das Bestimmen einer Vielzahl von minimal erkennbaren Defektgrößen für verschiedene Bereiche des Gegenstandes beinhaltet, gemäß Ausführungsformen der Erfindung;
6A und B zeigen schematisch ein Verfahren zur visuellen Prüfung, das Bestimmen der Erkennungszeit beinhaltet, gemäß einer Ausführungsform der Erfindung;
7 zeigt schematisch ein Verfahren zur visuellen Prüfung, das Bestimmen der Erkennungszeit basierend auf einer erkannten Bewegung beinhaltet, gemäß einer Ausführungsform der Erfindung; und
8 zeigt schematisch ein Verfahren zur visuellen Prüfung, das Bestimmen der Erkennungszeit basierend auf einer Vielzahl von Bildern beinhaltet, gemäß einer Ausführungsform der Erfindung.

DETAILLIERTE BESCHREIBUNG
Ausführungsformen der Erfindung stellen Prüfprozesse oder -aufgaben bereit, wie z. B. Defekterkennung, Sortieren und/oder Zählen. Diese Aufgaben, insbesondere die Defekterkennung, sind wichtig für die Qualitätssicherung (QS), die Anschnittbildung und die Sortierung an Produktionslinien und sind folglich nützlich für die Verbesserung der Produktivität, der Produktionsprozesse und der Arbeitsabläufe, die Verringerung der Defektraten und die Reduzierung von Nacharbeit und Abfall.
Der Begriff „Defekt“ kann beispielsweise einen sichtbaren Defekt auf der Fläche eines Gegenstands, eine unerwünschte Größe, Form oder Farbe des Gegenstands oder von Teilen des Gegenstands, eine unerwünschte Anzahl von Teilen des Gegenstands, eine falsche oder fehlende Montage seiner Schnittstellen, ein gebrochenes oder verbranntes Teil beinhalten, eine falsche Ausrichtung eines Gegenstands oder von Teilen eines Gegenstands, ein falscher oder defekter Strichcode und ganz allgemein jeder Unterschied zwischen einer defektfreien Probe und dem geprüften Gegenstand, der für einen Benutzer, d. h. einen menschlichen Prüfer in der Produktionslinie, auf den Bildern erkennbar wäre. In einigen Ausführungsformen kann ein Defekt auch Defekte beinhalten, die nur in vergrößerten oder hochauflösenden Bildern sichtbar sind, z. B. in Bildern, die mit Mikroskopen oder anderen Spezialkameras aufgenommen wurden.
Prüfprozesse gemäß Ausführungsformen der Erfindung beinhalten typischerweise eine Einrichtungsphase vor einer Prüfphase.
In einer Ausführungsform werden in der Einrichtungsphase Proben eines möglicherweise defektfreien Gegenstands (defektfreie Gegenstände) auf einer Prüflinie abgebildet. Diese Bilder (auch als „Einrichtungsbilder“ bezeichnet) werden von einem Prozessor analysiert und dienen dann als Referenzbilder für Machine-Learning-Algorithmen, die in der Prüfphase ausgeführt werden.
In der Prüfphase werden die geprüften Gegenstände (hergestellte Gegenstände, die auf Defekte geprüft werden sollen) abgebildet, und die von jedem geprüften Gegenstand gesammelten Bilddaten werden durch Computer-Vision-Algorithmen, wie Machine-Learning-Verfahren, analysiert, um einen oder mehrere Defekte an jedem geprüften Gegenstand zu erkennen.
Sobald ein Defekt an einem geprüften Gegenstand festgestellt wird, können Defektinformationen, wie z. B. die Art des Defekts, der Ort des Defekts, seine Größe usw., an den Benutzer ausgegeben werden.
In der Einrichtungsphase lernt ein Prozessor Parameter von Bildern defektfreier Gegenstände, z. B. Bildgebungsparameter (z. B. Belichtungszeit, Fokus und Beleuchtung), räumliche Eigenschaften und eindeutig repräsentative Merkmale eines defektfreien Gegenstands in Bildern. Diese Parameter können z. B. durch die Analyse von Bildern eines defektfreien Gegenstands mit verschiedenen Bildgebungsparametern und durch die Analyse der Beziehung zwischen verschiedenen Bildern eines gleichen Typs eines defektfreien Gegenstands gelernt werden. Die Registrierung von Einrichtungsbildern kann analysiert werden, um optimale Parameter zu finden, die die beste Ausrichtung zwischen den Bildern ermöglichen und eine äußere Begrenzung des Gegenstands erkennen lassen.
Diese Analyse, die verschiedene Bildgebungsparameter verwendet und mehrere Bilder von defektfreien Gegenständen während der Einrichtungsphase vergleicht, ermöglicht es, einen gleichen Typ von Gegenstand (entweder defektfrei oder mit einem Defekt) in einem neuen Bild (z. B. einem neuen Bild, das in der auf die Einrichtungsphase folgenden Prüfphase aufgenommen wurde) zu erkennen, unabhängig von der Bildgebungsumgebung des neuen Bildes.
Obwohl hier ein bestimmtes Beispiel für eine Ausführungsform einer Einrichtungs- und Prüfphase eines visuellen Prüfprozesses beschrieben wird, ist zu beachten, dass Ausführungsformen der Erfindung auch mit anderen Einrichtungs- und Prüfprozeduren von visuellen Prüfprozessen praktiziert werden können.
Der Begriff „gleichartige Gegenstände“ oder ähnliches bezieht sich auf Gegenstände oder Objekte, die die gleiche physikalische Beschaffenheit aufweisen und einander in Form und Abmessungen und möglicherweise Farbe und anderen physikalischen Merkmalen ähnlich sind. Typischerweise können Gegenstände einer einzelnen Produktionsserie, einer Charge gleichartiger Gegenstände oder einer Charge von Gegenständen in der gleichen Phase der Produktionslinie „gleichartige Gegenstände“ sein. Handelt es sich bei den geprüften Gegenständen beispielsweise um Sanitärprodukte, sind verschiedene Waschbecken derselben Charge gleichartige Gegenstände. Gleichartige Gegenstände können sich innerhalb zulässiger Toleranzen voneinander unterscheiden.
In Ausführungsformen der Erfindung können die während der Einrichtungsphase gewonnenen Informationen verwendet werden, um die in der folgenden Prüfphase zu erwartende Prüfleistungsfähigkeit zu berechnen (oder möglicherweise zu schätzen). Einem Benutzer (z. B. dem Leiter der Prüflinie oder dem Bediener einer Anlage) kann die zu erwartende Prüfleistungsfähigkeit vor Beginn der Prüfphase mitgeteilt werden, so dass der Benutzer das Prüfsystem entsprechend planen und/oder anpassen kann.
In einer Ausführungsform beinhaltet ein visueller Prüfprozess den Empfang einer Eingabe von einer Kamera an einem Prozessor, wobei die Eingabe ein Bild eines Gegenstandes auf einer Prüflinie beinhaltet. In einer Einrichtungsphase des Prüfprozesses, auf die eine Prüfphase folgt, wird basierend auf der Eingabe eine erwartete Leistungsfähigkeit des Systems während der Prüfphase berechnet. Die erwartete Leistungsfähigkeit wird dann an einen Benutzer ausgegeben, typischerweise vor der Prüfphase.
In der folgenden Beschreibung werden verschiedene Aspekte der vorliegenden Erfindung beschrieben. Zu Erklärungszwecken werden spezifische Konfigurationen und Details dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung zu vermitteln. Dem Fachmann wird jedoch klar sein, dass die vorliegende Erfindung auch ohne die hierin dargestellten spezifischen Details ausgeführt werden kann. Darüber hinaus können bekannte Merkmale weggelassen oder vereinfacht werden, um die vorliegende Erfindung nicht zu beeinträchtigen.
Sofern nicht ausdrücklich anders angegeben, wie aus den folgenden Erörterungen ersichtlich, wird davon ausgegangen, dass sich die in der gesamten Spezifikation verwendeten Begriffe wie „Analysieren“, „Verarbeiten“, „Rechnen“, „Berechnen“, „Bestimmen“, „Erkennen“, „Identifizieren“, „Lernen“ oder dergleichen auf die Aktionen und/oder Prozesse eines Computers oder Rechen-Systems beziehen, oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physikalische, z. B. elektronische, Größen in den Registern und/oder Speichern des Rechen-Systems dargestellt werden, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physikalische Größen in den Speichern, Registern oder anderen derartigen Geräten zur Speicherung, Übertragung oder Anzeige von Informationen des Rechen-Systems dargestellt werden. Sofern nicht anders angegeben, beziehen sich diese Begriffe auf automatische Aktionen eines Prozessors, unabhängig von und ohne Aktionen eines menschlichen Bedieners.
Ein beispielhaftes System, das für bildbasierte Prüfprozesse gemäß Ausführungsformen der Erfindung verwendet werden kann, ist in 1 schematisch dargestellt. In einer Ausführungsform beinhaltet das System einen Prozessor 102, der mit einer oder mehreren Kamera(s) 103 und mit einem Gerät, wie z. B. einem Benutzerschnittstellengerät 106 und/oder anderen Geräten, wie z. B. einem Speichergerät 108, kommuniziert.
Komponenten des Systems können verdrahtet oder drahtlos miteinander kommunizieren und können geeignete Anschlüsse und/oder Netzwerk-Hubs beinhalten. In einigen Ausführungsformen kann der Prozessor 102 mit einem Gerät, wie z. B. dem Speichergerät 108 und/oder dem Benutzerschnittstellengerät 106, über einen Controller, wie z. B. eine speicherprogrammierbare Steuerung (SPS), kommunizieren, die typischerweise in Fertigungsprozessen verwendet wird, z. B. für Datenverarbeitung, Speicherung, Verarbeitungsleistung und Kommunikationsfähigkeiten. Ein Controller kann mit dem Prozessor 102, dem Speichergerät 108, dem Benutzerschnittstellengerät 106 und/oder anderen Komponenten des Systems über USB, Ethernet, geeignete Verkabelung usw. kommunizieren.
Prozessor 102 kann beispielsweise einen oder mehrere Prozessoren beinhalten und kann eine Zentralrecheneinheit (CPU), eine Grafikprozessoreinheit (GPU), ein digitaler Signalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA), ein Mikroprozessor, ein Controller, ein Chip, ein Mikrochip, eine integrierte Schaltung (IC) oder ein anderer geeigneter Mehrzweck- oder spezifischer Prozessor oder Controller sein. Der Prozessor 102 kann lokal eingebettet oder entfernt sein.
Das Benutzerschnittstellengerät 106 kann einen Bildschirm, wie z. B. einen Monitor oder einen Bildschirm, zur Anzeige von Bildern, Befehlen und/oder Benachrichtigungen für einen Benutzer (z. B. über Text oder andere auf dem Monitor angezeigte Inhalte) beinhalten. Das Benutzerschnittstellengerät 106 kann auch dafür ausgelegt sein, Eingaben von einem Benutzer zu empfangen. Zum Beispiel kann das Benutzerschnittstellengerät 106 einen Monitor und eine Tastatur und/oder eine Maus und/oder einen Touchscreen beinhalten, um Benutzereingaben zu ermöglichen.
Speichergerät 108 kann ein Server sein, der z. B. flüchtige und/oder nichtflüchtige Speichermedien wie ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD) beinhaltet. Das Speichergerät 108 kann lokal oder aus der Ferne, z. B. in der Cloud, angeschlossen sein. In einigen Ausführungsformen kann das Speichergerät 108 Software zum Empfangen und Verwalten von Bilddaten enthalten, die sich auf Einrichtungsbilder und Bilder von geprüften Gegenständen beziehen. So können beispielsweise Datenbanken und Nachschlagetabellen auf dem Speichergerät 108 gepflegt und verwaltet werden.
Kamera(s) 103, die so eingerichtet sind, dass sie ein Bild einer Prüflinie 105 erhalten, werden typischerweise in Bezug auf die Prüflinie 105 (z. B. ein Förderband) platziert und fixiert, so dass Gegenstände (z. B. Gegenstand 104), die auf der Prüflinie 105 platziert sind, sich innerhalb des FOV 103' der Kamera 103 befinden.
In einigen Ausführungsformen kann die Kamera 103 in Bezug auf die Prüflinie 105 mit Hilfe einer Halterung platziert und befestigt werden, die mehrere verstellbare Segmente beinhaltet, die über Drehgelenke miteinander verbunden sind. Die Halterung kann an jedem an der Produktionslinie vorhandenen Aluminiumprofil oder an jeder anderen Fläche befestigt werden. So kann beispielsweise die Bewegung eines Förderbandes oder anderer Teile der Prüflinie über die Halterung in eine Bewegung oder Vibration der Kamera umgesetzt werden. Die Halterung und/oder die Kamera können mit Stabilisatoren zur Schwingungsdämpfung versehen sein, dennoch kann eine gewisse Bewegung der Kamera auftreten.
Kamera 103 kann einen CCD- oder CMOS- oder einen anderen geeigneten Bildsensor beinhalten. Die Kamera 103 kann eine 2D- oder 3D-Kamera sein. In einigen Ausführungsformen kann die Kamera 103 eine Standardkamera beinhalten, die z. B. mit mobilen Geräten wie Smartphones oder Tablets geliefert wird. In anderen Ausführungsformen handelt es sich bei der Kamera 103 um eine Spezialkamera, z. B. eine Kamera für die Aufnahme von hochauflösenden Bildern. In anderen Ausführungsformen beinhaltet die Kamera 103 eine nicht-optische Kamera, wie z. B. eine Neutronenkamera, eine RADAR-Kamera und dergleichen.
Das System kann auch eine Lichtquelle, wie z. B. eine LED oder eine andere geeignete Lichtquelle, beinhalten, um das Kamera-FOV 103' zu beleuchten, z. B. um den Gegenstand 104 auf der Prüflinie 105 zu beleuchten.
Prozessor 102 empfängt Bilddaten (die Daten wie Pixelwerte, die die Intensität des reflektierten Lichts darstellen, sowie Teil- oder Vollbilder oder Videos beinhalten können) von Gegenständen auf der Prüflinie 105 von der (den) einen oder mehreren Kamera(s) 103 und führt Prozesse gemäß Ausführungsformen der Erfindung aus.
Prozesse gemäß Ausführungsformen der Erfindung beinhalten die Anwendung von Erkennungsalgorithmen, die typischerweise eine Abfolge automatisch durchgeführter Schritte beinhalten, die darauf ausgelegt sind, Objekte auf einer Prüflinie anhand von Bildern zu erkennen und die Objekte basierend auf den Anforderungen des Prüfprozesses zu klassifizieren. Eine Anforderung eines Prüfprozesses kann beispielsweise darin bestehen, Defekt auf dem Objekt zu erkennen und/oder andere Prüfaufgaben durchzuführen, wie QS, Sortieren und/oder Zählen, Anschnitt usw. Erkennungsalgorithmen beinhalten gemäß Ausführungsformen der Erfindung typischerweise den Einsatz von Computer-Vision-Techniken.
In einigen Ausführungsformen kann eine gewünschte Zoomstufe der Kamera 103 durch Ändern des optischen Zooms (z. B. Objektivzoom) oder digital, z. B. durch Ändern des ausgeschnittenen Bereichs des Bildes, auf dem der Prozessor 102 Erkennungsalgorithmen ausführt und der für den Benutzer sichtbar ist, erreicht werden. Beispielsweise kann das vom Sensor der Kamera 103 ausgegebene Bild ein 20-Megapixel-Bild sein, und das Bild, auf dem der Prozessor 102 Erkennungsalgorithmen ausführt und das für den Benutzer sichtbar ist, ist ein 5-Megapixel-Bild. Handelt es sich bei dem 5-Megapixel-Bild um eine verkleinerte Version des vollen 20-Megapixel-Bildes, so ist kein Digitalzoom wirksam. Handelt es sich bei dem 5-Megapixel-Bild um eine verkleinerte Version eines 10-Megapixel-Teilbildes, das Teil des ursprünglichen 20-Megapixel-Bildes ist, so wird ein Zoomeffekt erzielt. Handelt es sich bei dem 5-Megapixel-Bild um eine kopierte Version eines 5-Megapixel-Teilbildes des ursprünglichen 20-Megapixel-Bildes, so wird der maximal mögliche Zoom in diesem Aufbau erzielt.
Prozessor 102 steht typischerweise in Verbindung mit einer Speichereinheit 112. Speichereinheit 112 kann zumindest einen Teil der von der/den Kamera(s) 103 empfangenen Bilddaten speichern.
Speichereinheit 112 kann zum Beispiel einen Direktzugriffsspeicher (RAM), einen dynamischen RAM (DRAM), einen Flash-Speicher, einen flüchtigen Speicher, einen nichtflüchtigen Speicher, einen Cache-Speicher, einen Puffer, eine Kurzzeitspeichereinheit, eine Langzeitspeichereinheit oder andere geeignete Speichereinheiten oder Speichereinheiten beinhalten.
In einigen Ausführungsformen speichert die Speichereinheit 112 ausführbare Befehle, die, wenn sie vom Prozessor 102 ausgeführt werden, die Durchführung von Operationen des Prozessors 102, wie hier beschrieben, ermöglichen.
In einer Ausführungsform empfängt der Prozessor 102 eine Vielzahl von Einrichtungsbildern eines Gegenstands und wendet Computer-Vision- und Bildverarbeitungstechniken und -algorithmen an, um die Bilder zu analysieren (z. B. wie oben beschrieben). Der Prozessor 102 berechnet dann die erwartete Prüfungsleistungsfähigkeit des Systems für den Gegenstand und gibt die erwartete Prüfungsleistungsfähigkeit aus, z. B. über das Benutzerschnittstellengerät 106.
Die Prüfleistungsfähigkeit, also typischerweise die Qualität einer Prüfung, z. B. die Qualität der Defekterkennung, kann durch Parameter bestimmt werden, die die Prüfergebnisse beeinflussen.
In einer Ausführungsform ist ein Parameter, der sich auf die Prüfergebnisse auswirkt, die Mindestgröße eines erkennbaren Defekts.
Die Anzahl der Pixel, die eine minimale erkennbare Größe des Systems darstellt, hängt typischerweise von Parametern des Systems ab, wie z. B. der Anzahl der Pixel im Sensor der Kamera 103, der Stärke oder dem Typ des Prozessors, der zur Analyse der Bilder verwendet wird, usw. Die minimale erkennbare Größe (in Form von Pixeln) ist für jedes System bekannt und kann in den Prozessor 102 eingegeben werden. Diese minimale erkennbare Größe des Systems kann als Linie, Kästchen, Blob, Kreis oder eine andere Form auf einem Bild dargestellt werden, das einem Benutzer über das Benutzerschnittstellengerät 106 präsentiert wird. Diese Darstellung gibt dem Benutzer einen visuellen Hinweis auf die anfänglich erwartete Mindestgröße des vom System erkennbaren Defekts. Eine minimale erkennbare Defektgröße (die die anfänglich erwartete minimale erkennbare Größe des Systems oder eine aktualisierte Größe sein kann) kann auch in Nicht-Pixel-Einheiten, wie z. B. metrischen und/oder imperialen Einheiten, berechnet und dem Benutzer angezeigt werden.
In einigen Ausführungsformen kann der Prozessor 102 die minimale erkennbare Defektgröße für einen Gegenstand basierend auf einer optimalen Fokuseinstellung der Kamera 103 berechnen, die für den Gegenstand 104 ermittelt wurde. Für jede Kamera kann unter Verwendung der Zoomstufe und der Fokuseinstellung direkt ein Abstand der Kamera zum Gegenstand berechnet werden. Alternativ oder zusätzlich kann der Prozessor 102 vom Benutzer des Systems eine Eingabe bezüglich des Abstands der Kamera zum Gegenstand verlangen.
In einigen Ausführungsformen kann der Prozessor basierend auf dem Bild des Gegenstandes einen Abstand der Kamera von dem Gegenstand bestimmen und basierend auf dem Abstand der Kamera von dem Gegenstand die minimale erkennbare Defektgröße bestimmen.
Unter Verwendung des Abstands des Gegenstands von der Kamera kann das System eine Datenbank oder eine Nachschlagetabelle mit Werten verwenden, die die wahrscheinliche minimale erkennbare Defektgröße für den ermittelten Kameraabstand zeigen, und so einen Wert der minimalen erkennbaren Defektgröße bestimmen.
In einigen Ausführungsformen kann der Prozessor die minimale erkennbare Defektgröße basierend auf einem Rauschpegel bestimmen, der aus einer Vielzahl von Bildern eines Gegenstands auf der Prüflinie berechnet wird. In einigen Ausführungsformen kann einem Benutzer nach einem anfänglichen Einrichtungsbild ein aktualisierter Wert für die minimale erkennbare Defektgröße angezeigt werden, wenn genügend Bilder des Gegenstands gesammelt wurden, um den Rauschpegel des spezifischen Gegenstands zu bestimmen. Ein Gegenstand, der sich vollständig wiederholt und keine (oder nur geringe) Unterschiede zwischen zwei Proben des Gegenstands aufweist, hat beispielsweise eine minimale Defektgröße, die sogar kleiner ist als die wahrscheinliche minimale Defektgröße für den Abstand der Kamera zum Gegenstand. Ein Gegenstand mit sehr hohen Toleranzen und Unterschieden zwischen zwei Proben des Gegenstands hat eine minimale erkennbare Defektgröße, die größer ist als die wahrscheinliche minimale erkennbare Defektgröße für den Abstand der Kamera von dem Gegenstand. Diese aktualisierte Information kann dem Benutzer ausgegeben werden.
In einem Beispiel, das in 2 schematisch dargestellt ist, kann der Prozessor 102 ein Bild eines Gegenstands auf einer Inspektionslinie (202) empfangen, typischerweise ein Einrichtungsbild, z. B. von der Kamera 103. Der Prozessor 102 kann dann eine minimale erkennbare Defektgröße basierend auf einem Abstand der Kamera zum Gegenstand (204) berechnen. Die minimale erkennbare Defektgröße kann dann an einen Benutzer (206) ausgegeben werden, z. B. über das Benutzerschnittstellengerät 106.
Die minimale erkennbare Defektgröße kann ein Durchschnittswert oder eine andere statistische Berechnung von Daten (z. B. zuvor berechnete Größen) sein, die beispielsweise auf typischen, in der Industrie hergestellten Gegenständen basieren, die in Labors oder an Produktionslinien auf die minimale erkennbare Defektgröße getestet und für die zukünftige Verwendung gespeichert wurden.
In einer Ausführungsform wird dem Benutzer zunächst eine minimale erkennbare Defektgröße ausgegeben. Darüber hinaus kann eine Nachricht ausgegeben werden (z. B. über das Benutzerschnittstellengerät 106), wobei sich die Nachricht auf eine Zoomstufe der Kamera bezieht. Die Nachricht kann z. B. Informationen darüber enthalten, wie die Zoomstufe und/oder der Abstand der Kamera zum Gegenstand geändert werden kann, um die minimale erkennbare Defektgröße zu ändern. Der Benutzer kann dann den Abstand der Kamera zu dem Gegenstand anpassen (was beispielsweise durch eine physische Änderung der Position der Kamera relativ zu dem Gegenstand, durch eine Änderung des optischen Zooms oder elektronisch, z. B. durch eine digitale Änderung der Zoomstufe der Kamera, erfolgen kann) und so die Berechnung einer angepassten Größe bewirken und dem Benutzer bereitstellen. So kann ein Benutzer eine anfängliche minimale erkennbare Defektgröße einstellen, indem er den Abstand der Kamera zu dem Gegenstand verändert, und er kann in Echtzeit sehen, wie sich seine Einstellung des Kameraabstands auf die minimale Größe auswirkt.
Das Berechnen einer minimalen erkennbaren Defektgröße kann beispielsweise durch Vorberechnen des iFOV der Kamera erfolgen, d. h. des Winkels in Radiant, der von jedem Pixel des Kamerasensors abgedeckt wird. Anhand des Abstands der Kamera zum Gegenstand kann die von jedem Pixel des Kamerasensors abgetastete physische Größe gemessen werden, und die minimale erkennbare Defektgröße für die Kamera kann somit in eine tatsächliche physische Größe umgerechnet werden.
In einigen Ausführungsformen kann der Prozessor 102 von dem Benutzer eine Eingabe bezüglich des Abstands der Kamera von dem Gegenstand verlangen. Der Abstand der Kamera von dem Gegenstand kann von einem Benutzer eingegeben werden (z. B. kann der Abstand von einem Benutzer über das Benutzerschnittstellengerät 106 eingegeben werden), so dass der Prozessor den Abstand von dem Benutzer empfängt.
In anderen Ausführungsformen kann der Prozessor die Entfernung von einem anderen Prozessor oder Gerät empfangen. Zum Beispiel kann der Abstand eines Gegenstandes von der Kamera durch den Prozessor 102 oder einen anderen Prozessor basierend auf einer Bildanalyse berechnet werden. So kann beispielsweise die Größe und/oder Position des Gegenstandes (oder andere Objekte bekannter Größe) im Bild verwendet werden, um den Abstand der Kamera zum Gegenstand zu berechnen. Alternativ oder zusätzlich kann ein spezieller Entfernungssensor (z. B. unter Verwendung von Laser-, IR- oder anderen geeigneten Methoden zur Entfernungsmessung) verwendet werden, um die Entfernung der Kamera von dem Gegenstand zu bestimmen.
In einer Ausführungsform kann der Prozessor 102 den optimalen Fokus für den Gegenstand bestimmen (z. B. basierend auf der verwendeten Kameraoptik und des Zooms) und den Abstand der Kamera zum Objekt basierend auf dem optimalen Fokus berechnen, wobei unter Verwendung einer vorab durchgeführten Kalibrierung der Kamera der genaue Abstand für jede Fokusstufe bestimmt wird.
In einer Ausführungsform, die in 3A schematisch dargestellt ist, wird dem Benutzer eine anfängliche minimale erkennbare Defektgröße 35 als Form (z. B. Linie, Kasten, Blob, Kreis usw.) angezeigt, deren Größe mit der Anzahl der Pixel korreliert, die die minimale erkennbare Größe des Systems darstellen. In einem Beispiel wird die minimale erkennbare Defektgröße 35 einem Bild 36 des Gegenstands 34 überlagert, das über Benutzerschnittstellengerät 106 angezeigt wird. Sobald eine Größe in Nicht-Pixel-Einheiten berechnet wurde (z. B. wie oben beschrieben), kann die minimale erkennbare Defektgröße 35 dem Benutzer in Nicht-Pixel-Einheiten angezeigt werden, z. B. in metrischen (oder anderen Größeneinheiten).
So kann die minimale erkennbare Defektgröße 35 z. B. zunächst eine Linie von Pixeln oder ein Kästchen (mehrere Linien von Pixeln) umfassen und dann geändert werden, um z. B. die in Zentimetern oder Millimetern angegebene Größe zu erhalten.
In einer Ausführungsform kann eine akzeptable minimale erkennbare Größe von einem Benutzer eingegeben werden, z. B. über das Benutzerschnittstellengerät 106. Zum Beispiel kann ein Benutzer eine akzeptable Größe in Zentimetern (oder einer anderen Größeneinheit) eingeben, und der Prozessor 102 übersetzt die eingegebene Größe in Pixel und dann in den empfohlenen Abstand des Gegenstands von der Kamera und/oder die Zoomstufe der Kamera, um die vom Benutzer eingegebene Größe zu erhalten. In anderen Ausführungsformen kann ein Benutzer eine akzeptable Größe eingeben, indem er auf einem Bild des Gegenstandes eine akzeptable Mindestgröße in Pixeln des Bildes angibt.
In einigen Ausführungsformen kann eine akzeptable minimale detektierbare Größe in Pixeln oder Nicht-Pixel-Einheiten aus einer Datenbank mit einer Vielzahl von zuvor ermittelten akzeptablen Größen berechnet werden. Eine akzeptable Größe kann z.B. als Prozentsatz von zuvor eingegebenen oder berechneten akzeptablen Defektgrößen für ähnliche Defekte an gleichartigen oder ähnlichen Gegenständen berechnet werden. Beispielsweise kann eine Größe, die nicht weniger als 85 % des Durchschnitts der zuvor eingegebenen oder berechneten Größen beträgt, vom System als akzeptable Standardgröße verwendet werden.
Wie in 3B schematisch dargestellt, wird eine minimale detektierbare Defektgröße in Nicht-Pixel-Einheiten basierend auf der anfänglich erwarteten minimalen erkennbaren Größe des Systems und basierend auf einem Abstand der Kamera von dem Gegenstand berechnet (302). Die gewünschte minimale erkennbare Defektgröße wird bestimmt (304), z.B. basierend auf Eingaben eines Benutzers oder basierend auf Berechnungen, wie oben beschrieben. Anhand der Eingaben aus den Schritten 302 und 304 kann bestimmt werden, ob die bestimmte minimale detektierbare Größe, basierend auf dem aktuellen Abstand der Kamera von dem Gegenstand, geringer ist als die gewünschte Größe (306). Ist dies der Fall, kann das System eine Warnung an den Benutzer ausgeben, z. B. um den Abstand der Kamera zum Gegenstand anzupassen (zu vergrößern oder zu verringern) (308). Alternativ oder zusätzlich kann das System die minimale erkennbare Größe ausgeben, z. B. in Größeneinheiten wie Zentimetern oder in Pixeln (310).
Eines der Hauptanliegen während der ersten Schritte der Einrichtungsphase, während der Benutzer die Zoomstufe für die Inspektionsphase wählt, ist die erkennbare Defektgröße. Die oben beschriebenen Ausführungsformen stellen ein verbessertes System und Verfahren bereit, das es ermöglicht, dem Benutzer während dieser ersten Schritte zumindest eine erwartete erkennbare Defektgröße zu präsentieren, und das es dem Benutzer ermöglicht (und ihn möglicherweise anweist), die Zoomstufe (und/oder den Abstand der Kamera zum Gegenstand) anzupassen, um die erkennbare Defektgröße zu verbessern, falls erforderlich.
Während weiterer Schritte der Einrichtungsphase werden zusätzliche Einrichtungsbilder gesammelt und eine weitere Analyse der zusätzlichen Bilder durchgeführt, auf deren Grundlage die minimale Defektgröße aktualisiert werden kann.
In einer Ausführungsform, die in 4 schematisch dargestellt ist, erhält der Prozessor 102 eine Vielzahl von Einrichtungsbildern (402), aus denen der Rauschpegel des Prüfprozesses bestimmt werden kann (404). Der Rauschpegel kann z. B. relative Toleranzwerte zwischen gleichartigen Teilen, Oberflächenabweichungen und Artefakte (die keine Defekte sind) usw. umfassen. Die minimale erkennbare Defektgröße kann basierend auf dem ermittelten Rauschpegel aktualisiert werden (406). Beispielsweise kann die erwartete Mindestgröße erhöht werden, wenn der Rauschpegel hoch ist, und verringert werden, wenn der Rauschpegel niedrig ist.
In einigen Fällen können sich verschiedene Bereiche eines Gegenstands in Bezug auf Textur, Muster, Farbe usw. unterscheiden und folglich unterschiedliche Rauschpegel aufweisen. Einige Bereiche können bewegliche Teile oder andere Merkmale enthalten, die zum Rauschpegel beitragen können.
In einer Ausführungsform, die in 5 schematisch dargestellt ist, bestimmt der Prozessor 102 eine Vielzahl von minimalen erkennbaren Defektgrößen, jede Größe für einen anderen Bereich eines einzelnen Gegenstandes. In diesem Beispiel beinhaltet ein Gegenstand 54 in Bild 56 verschiedene Bereiche 501, 502 und 503. Bereich 502 kann bei allen gleichartigen Gegenständen 54 relativ ähnlich sein, so dass er einen niedrigen Rauschpegel und eine relativ kleine Defektgröße 5022 aufweist. Bereiche 501 und 503 beinhalten bewegliche Teile oder Muster, die sich zwischen gleichartigen Gegenständen 54 unterscheiden und daher größere minimale Defektgrößen 5011 und 5033 aufweisen.
In einigen Ausführungsformen können dem Benutzer in der Einrichtungsphase mehrere minimal erkennbare Defektgrößen pro Gegenstand präsentiert werden.
Ein weiteres Beispiel für einen Parameter, der die Prüfergebnisse beeinflusst, abgesehen von oder zusätzlich zu der minimalen erkennbaren Defektgröße, beinhaltet die Erkennungszeit. Die „Erkennungszeit“ beinhaltet die Zeitspanne zwischen dem Erhalt des Bildes des Gegenstandes und Erkennen eines Defekts auf dem Gegenstand oder Durchführen einer anderen Prüfaufgabe, wie oben beschrieben. Erkennen eines Defekts kann die Durchführung eines Durchlaufs von Defekterkennungsalgorithmen auf dem Bild des Gegenstands und möglicherweise die Ausgabe von Defektinformationen an einen Benutzer umfassen.
Diese Zeitspanne kann durch mehrere Parameter beeinflusst werden. Diese Parameter, die auch als „Prüfparameter“ bezeichnet werden, sind Parameter, die vom Benutzer eingestellt werden können und deren Einstellung zu einer Verlängerung oder Verkürzung der Erkennungszeit führt. So kann beispielsweise die Größe und/oder Form des zu prüfenden Gegenstands die Zeit bestimmen, die erforderlich ist, um eine gute Registrierung der Einrichtungsbilder zu erreichen, die für die Erkennung des Gegenstands und für die anschließende Defekterkennung notwendig sein kann. Alternativ oder zusätzlich kann die Größe des spezifischen Bereichs, der mit der Defekterkennung assoziiert ist, die für die Defekterkennung erforderliche Zeit beeinflussen. Die Beleuchtungsbedingungen in der Umgebung können eine Änderung der Kamera- und/oder Beleuchtungsparameter erforderlich machen, was Zeit kostet. Außerdem können der Gegenstand und/oder die Kamera durch die Bewegung der Prüflinie oder durch bewegliche Teile im Gegenstand oder aus anderen Gründen in Bewegung geraten. In der Regel ist völlige Ruhe erforderlich, um brauchbare Bilder von Gegenständen zu erhalten. Daher kann die Zeit, die die Kamera und/oder der Gegenstand benötigen, um vollständige Ruhe zu erreichen, auch die Erkennungszeit beeinflussen. In anderen Fällen kann ein komplizierter Gegenstand mehr als ein Bild pro Gegenstand erfordern, wobei jedes Bild einen anderen Fokus und/oder eine andere Belichtung hat, um Bilder zu erhalten, die alle Aspekte des Gegenstands abdecken. Einer oder mehrere dieser und möglicherweise andere Prüfparameter können die Erkennungszeit beeinflussen.
Einige Ausführungsformen der Erfindung stellen dem Benutzer eine anfängliche Erkennungszeit zur Verfügung. Durch die Anpassung eines oder mehrerer Prüfparameter wird eine angepasste Erkennungszeit berechnet und dem Benutzer bereitgestellt. Auf diese Weise kann der Benutzer eine anfängliche Erkennungszeit einstellen, indem er Prüfparameter anpasst, und er kann in Echtzeit sehen, wie seine Anpassungen die Erkennungszeit beeinflussen. Diese Anpassungen erfolgen in der Regel zu Beginn der Einrichtungsphase. Sobald die Einrichtungsphase fortgesetzt wird, kann Information über die tatsächliche Erkennungszeit, z. B. basierend auf dem eingestellten Parameter, gesammelt und zur Berechnung der tatsächlichen Erkennungszeit verwendet werden. Die tatsächliche Erkennungszeit kann dem Benutzer gegen Ende oder am Ende der Einrichtungsphase angezeigt werden.
In einer Ausführungsform bestimmt der Prozessor 102 eine Erkennungszeit basierend auf einem Bild des Gegenstands und berechnet die erwartete Leistungsfähigkeit des Systems basierend auf der Erkennungszeit.
Der Prozessor 102 kann die Erkennungszeit basierend auf der Registrierung einer Vielzahl von Bildern eines Gegenstandes auf einer Prüflinie bestimmen.
In einigen Ausführungsformen bestimmt der Prozessor 102 die Erkennungszeit basierend auf der Größe eines bestimmten Bereichs des Gegenstandes, z. B. des mit der Defekterkennung assoziierten Bereichs.
In einigen Ausführungsformen bestimmt der Prozessor 102 die Erkennungszeit basierend auf früheren Bildern gleichartiger Gegenstände.
Der Prozessor 102 kann die Erkennungszeit basierend auf einer Eigenschaft des Gegenstands im Bild bestimmen. Die Eigenschaft des Gegenstands in dem Bild kann die Größe des Gegenstands in dem Bild und/oder die Größe eines bestimmten Bereichs auf dem Gegenstand beinhalten. Der Prozessor kann, z. B. über Benutzerschnittstellengerät 106, Benutzereingaben akzeptieren, die sich auf die Größe des Gegenstands und/oder auf die Größe des Bereichs auf dem Gegenstand beziehen.
In einer anderen Ausführungsform beinhaltet die Eigenschaft des Gegenstands im Bild die Bewegung von mindestens einem Teil des Gegenstands im Bild. Der Prozessor kann die Erkennungszeit basierend auf der Bewegung des Gegenstandes und/oder von Teilen des Gegenstandes und/oder basierend auf der Bewegung der Kamera bestimmen.
In einer Ausführungsform, die in den 6A und 6B schematisch dargestellt ist, empfängt der Prozessor 102 ein Bild eines Gegenstandes 64 auf einer Prüflinie (typischerweise ein Einrichtungsbild) (602) und bestimmt eine anfängliche Erkennungszeit basierend auf einem vorbestimmten Bereich des Gegenstandes in dem Bild (604). Der vorbestimmte Bereich kann den gesamten Gegenstand beinhalten, wie er durch die Begrenzungsform 63 definiert ist, und/oder bestimmte Bereiche innerhalb des Gegenstands, z. B. wie sie durch die Begrenzungsform 65 definiert sind.
Eine erste Erkennungszeit 67 wird dann an einen Benutzer ausgegeben (606). Das Bild des Gegenstands und die Begrenzungsformen 63 und 65, die dem Gegenstand 64 überlagert sind, und/oder die Erkennungszeit können dem Benutzer auf dem Display 66 angezeigt werden. Der Benutzer kann zu diesem Zeitpunkt die Prüfparameter anpassen, z. B. über den Bildschirm 66 (wie unten beschrieben). Der Prozessor 102 kann eine angepasste Erkennungszeit basierend auf dem angepassten Parameter berechnen und die angepasste Zeit an den Benutzer ausgeben.
Während der Einrichtungsphase werden zusätzliche Bilder eines gleichartigen Gegenstandes empfangen und von Prozessor 102 (608) analysiert, und die tatsächliche Erkennungszeit kann basierend auf der Analyse der zusätzlichen Bilder berechnet werden. Die Analyse kann zum Beispiel Bestimmen der Zeit beinhalten, die Prozessor 102 benötigt, um die Registrierung der Einrichtungsbilder zu erreichen, um die Erkennung des Gegenstands in einem neuen Bild zu ermöglichen.
Die tatsächliche Erkennungszeit kann dann dem Benutzer angezeigt werden (610). Zusätzlich zur Anzeige der Erkennungszeiten kann auf dem Display 66 Information angezeigt werden, wie die Erkennungszeit verkürzt werden kann. In einer Ausführungsform kann der Prozessor 102 eine Meldung über die Größe des Bereichs auf dem Gegenstand ausgeben und auf dem Display 66 anzeigen. Die Meldung kann zum Beispiel Anweisungen zur Verkleinerung des zu prüfenden Bereichs enthalten. In anderen Ausführungsformen kann die Meldung oder Information die Zeit umfassen, die der Gegenstand benötigt, um vollständige Ruhe zu erreichen, und/oder Vorschläge zur Verbesserung oder Reduzierung der Umgebungsbeleuchtung.
Ein Bereich, der den gesamten Gegenstand oder einen bestimmten Interessenbereich (ROI) auf dem Gegenstand umfassen kann, kann beispielsweise durch eine Begrenzungsform, wie ein Polygon oder eine Kreisform, definiert werden, die den abgebildeten Gegenstand in der Nähe der Ränder des Gegenstands umschließt oder den Bereich umschließt. Die Begrenzungsform kann z. B. eine farbige Linie, eine gestrichelte Linie oder eine andere Art von Linie, ein Polygon oder eine andere Form sein, die den Bereich umgibt.
Ein ROI kann ein Bereich auf dem Gegenstand sein, der mit der Defekterkennung assoziiert ist. Ein ROI kann zum Beispiel ein Bereich auf dem Gegenstand sein, in dem ein Benutzer eine Defekterkennung wünscht, oder ein Bereich auf dem Gegenstand, in dem der Benutzer keine Defekterkennung wünscht. Auf diese Weise können spezifische, begrenzte Bereiche definiert werden, auf denen Erkennungsalgorithmen ausgeführt werden können, anstatt den Algorithmus unnötigerweise auf einem ganzen Bild laufen zu lassen. Außerdem können gleichartige Gegenstände Abweichungen und Artefakte aufweisen, die keine Defekt sind. Beispielsweise können gleichartige Gegenstand Textur-, Muster- oder Farbunterschiede oder bewegliche Teile auf der Gegenstandoberfläche aufweisen, die nicht als Defekte angesehen werden. Diese Abweichungsbereiche können als ROI definiert werden, in denen Erkennungsalgorithmen, wie z. B. Defekterkennungsalgorithmen, nicht angewandt werden, wodurch eine falsche Erkennung von Defekten vermieden wird.
In einigen Ausführungsformen kann eine Angabe des vorbestimmten Bereichs vom Benutzer eingegeben werden, z. B. durch Zeichnen einer Begrenzungsform oder anderer Angaben auf der Anzeige 66. In einigen Ausführungsformen wird eine anfängliche Begrenzungsform von einem Benutzer eingegeben oder angegeben, und sowohl eine Benutzerangabe als auch automatische Algorithmen können zum Erstellen der Begrenzungsform verwendet werden. Beispielsweise kann eine Segmentierung auf Pixelebene oder eine automatische Segmentierung verwendet werden, um das Bild in verschiedene Segmente aufzuteilen und dem Benutzer die Möglichkeit zu geben, die Segmente auszuwählen, die den Gegenstand darstellen. In einigen Ausführungsformen kann ein Benutzer eine Begrenzungsform markieren (z. B. auf einer Anzeige 66), und ein automatischer Algorithmus erstellt dann ein Polygon (oder eine andere geeignete Form), das sich an die Grenze des Gegenstands anpasst, die der vom Benutzer eingegebenen Begrenzungsform am nächsten kommt. In anderen Beispielen kann der automatische Algorithmus ein Polygon (oder eine andere geeignete Form) aus einem vom Benutzer gewählten Segment erstellen.
In einer Ausführungsform, die in 7 schematisch dargestellt ist, wird die Erkennungszeit anhand der Bewegung des Gegenstands und/oder der Kamera, die den Gegenstand abbildet, bestimmt. Der Prozessor 102 kann ein Bild eines Gegenstands auf einer Prüflinie (702) empfangen, typischerweise ein Einrichtungsbild. Das Bild des Gegenstands kann aufgrund der Bewegung des Gegenstands oder von Teilen des Gegenstands oder der Bewegung der Kamera unscharf sein. In einigen Fällen, wenn es sich um einen komplizierten Gegenstand handelt, z. B. wenn der Gegenstand eine 3D-Struktur aufweist, kann es sein, dass verschiedene Teile des Gegenstands einen unterschiedlichen Fokus der Kamera benötigen und daher auf dem Bild verschwommen oder teilweise unscharf erscheinen.
Schärfe oder Unschärfe können beispielsweise bestimmt werden, indem die Position eines Gegenstands (oder von Teilen eines Gegenstands) zwischen zwei aufeinanderfolgenden Bildern überprüft wird, indem der Gegenstand zwischen den Bildern registriert wird oder die Position des Gegenstands (oder eines Teils des Gegenstands) in jedem einer Vielzahl von Bildern registriert wird, um festzustellen, ob er sich in jedem der Bilder in derselben Position befindet, oder indem ein Abgleich auf Pixelebene zwischen zwei aufeinanderfolgenden Bildern durchgeführt wird, indem dichte Techniken wie optischer Fluss ausgeführt werden und überprüft wird, dass kein Pixel eine Bewegung zwischen den beiden aufeinanderfolgenden Bildern aufweist.
Wenn der Gegenstand (oder ein Teil des Gegenstands) unscharf ist (704), wird ein weiteres Bild dieses Gegenstands aufgenommen und auf Unschärfe geprüft. Wenn die Bewegung des Gegenstands und/oder der Kamera zum Stillstand gekommen ist, darf das nächste Bild nicht unscharf sein. Wenn der Gegenstand (oder ein Teil des Gegenstands) nicht unscharf ist (704), können Erkennungsalgorithmen (z. B. Defekterkennung) auf dem Bild ausgeführt und eine Erkennungszeit bestimmt werden (706). In diesem Fall würde die Erkennungszeit die Zeit umfassen, die erforderlich ist, um alle unscharfen Bilder des Gegenstands zu erfassen, bis ein scharfes Bild vorliegt.
Im Falle eines komplizierten Gegenstandes können mehrere Bilder desselben Gegenstandes erforderlich sein, um ein brauchbares Bild aller Aspekte des Gegenstandes zu erhalten. Die Erkennungszeit kann basierend auf der Anzahl der erforderlichen Bilder und der Zeit, die für den Erhalt jedes einzelnen Bildes benötigt wird, bestimmt werden.
Wie bereits erwähnt, wird dem Benutzer typischerweise zu Beginn der Einrichtungsphase eine anfängliche Erkennungszeit mitgeteilt. Der Benutzer kann die Erkennungszeit durch Anpassung der Prüfparameter anpassen und in Echtzeit sehen, wie sich seine Anpassungen auf die Erkennungszeit auswirken.
Die anfänglichen und/oder angepassten Erkennungszeiten können basierend auf zuvor erhaltenen Bildern mit zuvor bestimmten Erkennungszeiten berechnet werden.
In einigen Ausführungsformen kann eine Datenbank Erkennungszeiten beinhalten, die für gleichartige oder unterschiedliche Arten von Gegenständen gemessen wurden, die in der Vergangenheit inspiziert wurden, und z. B. in der Speichervorrichtung 108 verwaltet werden. Der Prozessor 102 kann die anfänglichen und/oder angepassten Erkennungszeiten berechnen, indem er in der Datenbank die Zeiten nachschlägt, die für Parameter gemessen wurden, die den aktuellen Parametern ähnlich sind. Zum Beispiel kann ein Benutzer eine Begrenzungsform zeichnen, um einen Gegenstand in einem aktuellen Bild zu definieren. Die Begrenzungsform kann einen Bereich von X anfänglichen cm² abdecken. Die Erkennungszeit der zuvor untersuchten Bereiche von X anfänglichen cm² beträgt T-anfänglich. T-anfänglich wird dann an den Benutzer als die anfängliche Erkennungszeit ausgegeben. Der Benutzer kann den Bereich verkleinern, indem er die Begrenzungsform enger an die Grenzen des Gegenstands heranführt oder einen kleineren Bereich des Gegenstands definiert. Die verkleinerte Fläche beträgt X angepasste cm². Die Berechnung der Erkennungszeit T-angepasst kann wie oben beschrieben und/oder basierend auf zuvor untersuchtem Bereiche von X angepassten cm2 erfolgen. T-angepasst kann dann dem Benutzer als die angepasste Erkennungszeit angezeigt werden.
In einer Ausführungsform, die in 8 schematisch dargestellt ist, empfängt der Prozessor 102 in den ersten Schritten der Einrichtungsphase ein aktuelles Bild eines Gegenstands auf einer Prüflinie (802). Das aktuelle Bild wird mit zuvor erhaltenen Bildern verglichen, für die zuvor die Erkennungszeit bestimmt wurde (804), und die Erkennungszeit des aktuellen Bildes wird basierend auf dem Vergleich bestimmt (806).
Die anfänglichen und/oder angepassten Zeiten sind in der Regel geschätzte Zeiten. Sobald die Einrichtungsphase fortgesetzt wird, kann Information über die tatsächliche Erkennungszeit gesammelt und verwendet werden, um die tatsächliche Erkennungszeit zu berechnen. Die tatsächliche Erkennungszeit kann dem Benutzer gegen Ende oder am Ende der Einrichtungsphase angezeigt werden.
In einigen Ausführungsformen werden dem Benutzer entweder eine oder beide der minimalen Defektgröße und der Erkennungszeit frühzeitig während des Prüfprozesses angezeigt (möglicherweise mit Anweisungen, wie diese Parameter zu verbessern sind). Diese Vorabinformation über die Prüfleistungsfähigkeit verringert die Frustration des Anwenders und kann ihn in die Lage versetzen, die Leistungsfähigkeit zu verbessern oder an die Bedürfnisse des Anwenders oder der Anlage anzupassen. Somit stellen Ausführungsformen der Erfindung verbesserte Systeme und Verfahren für die visuelle Prüfung in einer Produktionslinie bereit.

Claims

Ein visuelles Prüfsystem umfassend: einen Prozessor, der mit einer Benutzerschnittstelle und einer Kamera kommuniziert, wobei der Prozessor dazu eingerichtet ist, eine Kameraeingabe, einschließlich eines Bildes eines Gegenstands auf einer Prüflinie, zu empfangen; basierend auf der Eingabe während einer Einrichtungsphase eine erwartete Leistungsfähigkeit des Systems während einer Prüfphase zu berechnen, die auf die Einrichtungsphase folgt; und die erwartete Leistungsfähigkeit über die Benutzerschnittstelle auszugeben.
Das System nach Anspruch 1, wobei der Prozessor dazu eingerichtet ist, eine Erkennungszeit basierend auf dem Bild des Gegenstandes zu bestimmen, wobei die Erkennungszeit eine Zeitspanne zwischen Empfangen des Bildes des Gegenstands und Erkennen eines Defektes an dem Gegenstand ist; und die erwartete Leistungsfähigkeit basierend auf der Erkennungszeit zu berechnen.
Das System nach Anspruch 2, wobei der Prozessor dazu eingerichtet ist, die Erkennungszeit basierend auf der Registrierung einer Vielzahl von Bildern eines Gegenstandes auf der Prüflinie zu bestimmen.
Das System nach Anspruch 2, wobei der Prozessor dazu eingerichtet ist, die Erkennungszeit basierend auf der Größe eines bestimmten Bereichs des Gegenstands zu bestimmen, wobei der Bereich mit der Defekterkennung assoziiert ist.
Das System nach Anspruch 2, wobei der Prozessor dazu eigerichtet ist, die Erkennungszeit basierend auf früheren Bildern eines gleichartigen Gegenstandes zu bestimmen.
Ein System zur visuellen Prüfung umfassend: einen Prozessor, der mit einer Benutzerschnittstelle und einer Kamera kommuniziert, wobei der Prozessor dazu eingerichtet ist, ein Bild eines Gegenstands auf einer Prüflinie zu empfangen; eine Erkennungszeit basierend auf dem Bild zu bestimmen, wobei die Erkennungszeit eine Zeitspanne zwischen Empfangen des Bildes des Gegenstands und Erkennen eines Defekts an dem Gegenstand ist; und über die Benutzerschnittstelle die Erkennungszeit auszugeben.
Das System nach Anspruch 6, wobei der Prozessor dazu eingerichtet ist, die Erkennungszeit basierend auf einer Eigenschaft des Gegenstandes in dem Bild zu bestimmen.
Das System nach Anspruch 7, wobei die Eigenschaft des Gegenstandes in dem Bild eine Größe des Gegenstandes in dem Bild umfasst.
Das System nach Anspruch 7, wobei die Eigenschaft des Gegenstandes die Größe eines bestimmten Bereichs auf dem Gegenstand umfasst.
Das System nach Anspruch 7, wobei die Eigenschaft des Gegenstandes in dem Bild die Bewegung von zumindest einem Teil des Gegenstandes in dem Bild umfasst.
Das System nach Anspruch 6, wobei der Prozessor zum Aktualisieren der Erkennungszeit basierend auf Änderungen des Kamerazooms; und Ausgeben einer aktualisierten Erkennungszeit, eingerichtet ist.
Das System nach Anspruch 6, wobei der Prozessor dazu eingerichtet ist, die Erkennungszeit basierend auf der Bewegung der Kamera zu bestimmen.
Das System nach Anspruch 6, wobei der Prozessor dazu eingerichtet ist, die Erkennungszeit basierend auf zuvor bestimmten Erkennungszeiten, die früheren Bildern eines gleichartigen Gegenstandes entsprechen, zu bestimmen.
Ein visuelles Prüfverfahren umfassend: Empfangen eines Bildes eines Gegenstands auf einer Prüflinie; Bestimmen einer initialen Erkennungszeit basierend auf einem Bereich des Gegenstands in dem Bild; Ausgeben der initialen Erkennungszeit an einen Benutzer; Berechnen einer angepassten Erkennungszeit basierend auf angepassten, vom Benutzer eingegebenen Parametern; und Ausgeben der angepassten Zeit an den Benutzer.
Das Verfahren nach Anspruch 14, wobei der Bereich einen ganzen Gegenstand umfasst.
Das Verfahren nach Anspruch 14, wobei der Bereich einen bestimmten Bereich innerhalb des Gegenstands umfasst, wobei der Bereich durch eine Begrenzungsform definiert ist.
Das Verfahren nach Anspruch 14 umfassend: Empfangen zusätzlicher Bilder eines gleichartigen Gegenstandes; Berechnen einer tatsächlichen Erkennungszeit basierend auf der Analyse der zusätzlichen Bilder; und Anzeigen der tatsächlichen Erkennungszeit an den Benutzer.
Das Verfahren nach Anspruch 17, wobei Analyse der zusätzlichen Bilder ein Bestimmen einer Zeitdauer zum Erreichen der Registrierung der zusätzlichen Bilder umfasst, um die Erkennung des Gegenstands in einem neuen Bild zu ermöglichen.
Das Verfahren nach Anspruch 14 umfassend Darstellen von Information an den Benutzer, wie die Erkennungszeit verkürzt werden kann.