DE69228659T2 - Bildverarbeitungsverfahren für industriellen optischen sensor - Google Patents

Bildverarbeitungsverfahren für industriellen optischen sensor

Info

Publication number
DE69228659T2
DE69228659T2 DE69228659T DE69228659T DE69228659T2 DE 69228659 T2 DE69228659 T2 DE 69228659T2 DE 69228659 T DE69228659 T DE 69228659T DE 69228659 T DE69228659 T DE 69228659T DE 69228659 T2 DE69228659 T2 DE 69228659T2
Authority
DE
Germany
Prior art keywords
image
data
image data
optical sensor
auxiliary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69228659T
Other languages
English (en)
Other versions
DE69228659D1 (de
Inventor
Hiroshi Fanuc Dai-3 Vira-Karamatsu Yamanasi 401-05 Katsuhisa
Fumikazu Room 8-106 Fanuc Minamitsuru-Gun Amanashi 401-05 Terawaki
Atsushi Room 7-207 Fanuc Minamitsuru-Gun Yamanashi 401-05 Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE69228659D1 publication Critical patent/DE69228659D1/de
Application granted granted Critical
Publication of DE69228659T2 publication Critical patent/DE69228659T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren für einen optischen Sensor zur Objekterkennung, der als ein Sehorgan eines Industrieroboters oder dgl. benutzt wird.
  • Herkömmlicherweise ist ein optischer Sensor in eine Fertigungsstraße einbezogen, und die jeweiligen Positionen und Lagen von zu erfassenden Objekten, die der Fertigungsstraße nacheinander zugeführt werden, werden in Aufeinanderfolge mittels des optischen Sensors erfaßt. Die erfaßten Daten werden in die Daten für das Koordinatensystem einer Maschine, beispielsweise eines Roboters, transformiert und als Korrekturdaten zu dem Roboter oder einer anderen Maschine übertragen. Dann wird der Betrieb des Roboters oder der Maschine in Übereinstimmung mit den empfangenen Korrekturdaten korrigiert.
  • Um die Korrekturdaten mittels eines Systems zu gewinnen, das den optischen Sensor benutzt, der in der zuvor beschriebenen Weise angeordnet ist, werden Einlerndaten benötigt, um ein Bild zu verarbeiten, das mittels einer Kamera fotografiert ist, das Objekt zu identifizieren und die Position und Lage desselben zu erfassen. Bei einem derartigen herkömmlichen Verfahren müssen diese Einlerndaten indessen durch Erfassen des Werts eines Parameters zur Einstellung aus einem Bild (Muster) des Objekts gesetzt werden.
  • Es ist jedoch unmöglich zu prüfen, ob die Einlerndaten, welche in der zuvor genannten Weise gewonnen sind, die durchschnittlichen Daten der erfaßten Objekte, die der Fertigungsstraße nacheinander zugeführt worden sind, repräsentieren. In einigen Fällen müssen die gegenwärtigen Einlern daten, falls die Objekte, die nacheinander an die Fertigungsstraße geliefert werden, im Verlaufe der Zeit Änderungen unterworfen werden, modifiziert werden, um mit einer solchen Situation fertig zu werden. Wenn die Einlerndaten zum Erfassen eines Lochs in einer Komponente beispielsweise von einem Muster gewonnen sind, können solche Komponenten, die der Fertigungsstraße nacheinander zugeführt werden, ein wenig Öl haben, das von einem bestimmten Zeitpunkt an und nach diesem an deren Löchern haftet. In einem solchen Fall stimmen diese Einlerndaten nicht mehr für die Erfassung solcher Löcher, weswegen eine Modifizierung erforderlich ist.
  • Demzufolge ist es, um abschätzen zu können, ob die Einlerndaten, welche einmal festgelegt sind, zu der gegenwärtigen Situation passen oder nicht, oder um die Einlerndaten zum Zwecke einer höheren Zuverlässigkeit zu modifizieren, notwendig, so viele zuvor verarbeitete Bilddaten wie möglich zu überprüfen. Die Speicherkapazität eines Einzelbildspeichers des optischen Sensors ist äußerst begrenzt, so daß so viele Bilddaten, wie notwendig sind, unter normalen Bedingungen nicht gespeichert und gehalten werden können. Es sei ausdrücklich darauf hingewiesen, daß ein Bild, das in Reaktion auf einen Aufnahmebefehl durch die Kamera fotografiert ist, in dem Bildspeicher (Einzelbildspeicher), nachdem es der Verarbeitung für die Graustufenschattierung mittels eines Bildprozessors unterzogen wurde, gespeichert wird. Normalerweise beansprucht ein Graustufenbild in dem Einzelbildspeicher eine Kapazität von 256 · 256 · 1 Bytes, und die Anzahl von Bilddaten, die der Einzelbildspeicher speichern kann, reicht unter Berücksichtigung der Beschränkungen durch einen Teil der Hardware von ungefähr 4 bis 20.
  • Wenn eine erfolglose Verarbeitung stattgefunden hat, beispielsweise wenn ein Fehler in der Erfassung oder eine falsche Erfassung aufgetreten ist, muß das sich ergebende fehlerhafte Bild untersucht werden, um die Ursache des Fehlers festzustellen. Da der herkömmliche optische Sensor kein Mittel zum Speichern oder Halten des fehlerhaften Bildes hat, muß, um die Ursache eines solchen Fehlers festzustellen, der laufende Betrieb unterbrochen werden, um das Objekt, mit dem die Kamera befaßt ist, erneut aufzunehmen.
  • Auf dem Gebiet der Medizin ist es aus der Druckschrift JP-A-60-204183 bekannt, Bildinformationsdaten von einem Endoskop auf einer Aufzeichnungsplatte eines optischen Systems großer Aufzeichnungskapazität zu speichern. Auf diese Weise können das Aufzeichnen und die Wiedergabe sehr schnell und leicht durchgeführt werden, und die medizinische Information kann elektronisch aufbereitet und auf einem Medium großer Speicherkapazität aufgezeichnet werden.
  • Die Aufgabe der vorliegenden Erfindung besteht darin, ein Bildverarbeitungsverfahren für einen industriellen optischen Sensor zu schaffen, der in der Lage ist, richtige Einlerndaten auf der Grundlage einer Anzahl von früheren Bilddaten zu gewinnen und eine Untersuchung hinsichtlich der Ursache einer erfolglosen Verarbeitung, falls eine solche vorliegt, vorzunehmen, nachdem der Vorgang beendet ist.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren vorgesehen zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden, und das Verfahren Schritte umfaßt zum
  • Laden eines Einzelbildspeichers mit Bilddaten eines Objekts, das durch eine Kamera aufgenommen ist,
  • Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
  • Auslesen der Bilddaten aus dem Einzelbildspeicher,
  • Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
  • Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern, und
  • nachfolgenden Übertragen nichterfaßbarer oder falsch erfaßter Bilddaten, die in der Hilfsspeichereinrichtung gespeichert sind, von der Hilfsspeichereinrichtung zu dem Einzelbildspeicher zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten Vorverarbeitungsprozessen und dann einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild zu untersuchen, um die Ursache des Scheiterns bei der Objekterfassung zu ermitteln.
  • Gemäß einer anderen Ausführungsform der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren vorgesehen zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden und das Verfahren Schritte umfaßt zum
  • Laden ein Einzelbildspeichers mit Bilddaten eines Objekts, das durch eine Kamera aufgenommen ist,
  • Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
  • Auslesen der Bilddaten aus dem Einzelbildspeicher,
  • Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
  • Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern,
  • nachfolgenden Nacheinanderübertragen normal erfaßter Bilddaten, die in der Hilfsspeichereinrichtung gespeichert sind, von der Hilfsspeichereinrichtung zu dem Einzelbildspeicher zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild durch Überwachen der positionsmäßigen Beziehung zwischen dem Objekt und einem angezeigten Zeichen (z. B. einem Kreuz), das mit einem bestimmten Punkt auf dem angezeigten Objekt zusammenfallen sollte, zu untersuchen.
  • Vorzugsweise enthalten die Identifizierungsdaten zumindest eine Art solcher Daten, wie Daten zum Spezifizieren der Bilddaten oder eines erfaßten Werts für die Bilddaten, einen Programmnamen, Kalibrierungsdaten, Korrekturdaten und dgl., wenn der optische Sensor eine Vielzahl von Kameras enthält, wobei Identifizierungsdaten einer Kamera, die benutzt wird, um das betreffende Bild einzubringen, an die zuvor genannten Identifizierungsdaten angefügt werden können. Außerdem können Identifizierungsdaten, die bezeichnend für eine erfolglose Verarbeitung sind, wie ein Fehler bei der Erfassung, falls etwas derartiges vorliegt, an die Identifizierungsdaten angefügt werden.
  • Vorzugsweise wird als die Hilfsspeichereinrichtung eine Speichereinrichtung großer Kapazität, wie eine optische Platte, eine photomagnetische Platte, eine Festplatte, ein sog. Kassetten-Streamer oder ein DAT (Digital Audio Tape) benutzt.
  • Vorzugsweise werden von solchen Bilddaten, die in dem Einzelbildspeicher gespeichert sind, alle diejenigen einer erfolglosen Erfassung zur Speicherung zu der Hilfsspeichereinrichtung übertragen, während nur einige der normal erfaßten Bilddaten auf einer vorbestimmten Grundlage selektiv übertragen und gespeichert werden.
  • Gemäß der vorliegenden Erfindung, wie sie zuvor beschrieben ist, ist die Hilfsspeichereinrichtung an dem industriellen optischen Sensor angebracht, so daß alle Bilddaten, die durch Aufnahme mittels der Kamera gewonnen und in dem Einzelbildspeicher gespeichert sind, mit notwendigen Identifizierungsdaten durch Anfügen derselben ergänzt und zu der Hilfsspeichereinrichtung übertragen werden, um darin gespeichert und gehalten zu werden. Beim Feststellen oder Prüfen, ob die anfänglich erstellten Einlerndaten geeignet sind oder nicht, oder beim Untersuchen der Ursache einer erfolglosen Verarbeitung, falls eine solche vorliegt, werden nach dem Ende des Vorgangs die Bilddaten, welche in der Speichereinrichtung gesichert sind, einzeln zu dem Einzelbildspeicher übertragen, und es wird das frühere Bildverarbeitungsprogramm reproduktiv ausgeführt. Demzufolge können eine Anzahl von Bilddaten, die verarbeitet wurden, bevor die Fertigungsstraße gestoppt wird, gesichert und reproduziert werden, so daß danach die Zuverlässigkeit der erstellten Einlerndaten eingeschätzt werden kann. Auf diese Weise kann bei der weiteren Ausführung der Bildverarbeitung nach diesem Punkt festgestellt werden, ob die gegenwärtig erstellten Einlerndaten modifiziert werden sollten oder nicht, und außerdem kann die Richtigkeit des Ergebnisses der tatsächlichen Modifizierung unter Benutzung der gesicherten Bilddaten geprüft werden. Außerdem können danach Erfassungsfehler des optischen Sensors an der betreffenden Stelle ohne Stoppen der Fertigungsstraße reproduziert werden, um dadurch die notwendige Verbesserung des optischen Sensorsystems zum Zwecke einer höheren Betriebsleistungsfähigkeit zu ermöglichen.
  • Fig. 1 zeigt ein Blockschaltbild eines optischen Sensors zum Durchführen eines Ausführungsbeispiels eines Verfahrens gemäß der vorliegenden Erfindung.
  • Fig. 2 zeigt ein Flußdiagramm, das die Arbeitsweise des einen Ausführungsbeispiels des Verfahrensgemäß der vorliegenden Erfindung darstellt.
  • Fig. 1 zeigt ein Blockschaltbild, das den wesentlichen Teil eines optischen Sensors zum Durchführen eines Verfahrens gemäß der vorliegenden Erfindung darstellt. In Fig. 1 bezeichnet das Bezugszeichen 11 eine Haupt-Zentralverarbeitungseinheit (im folgenden als Haupt-CPU bezeichnet). Die Haupt-CPU 11 ist durch einen Bus 21 mit einem Datenspeicher 12, einem Programmspeicher 13, einer Schaltpultschnittstelle 14, einer Monitorschnittstelle 15, einem Einzelbildspeicher 16, einem Bildprozessor 17, einer Kameraschnittstelle 18, einer Kommunikationsschnittstelle 19 und einer SCSI- (Small Computer System-)Schnittstelle 20 verbunden, wobei diese Elemente als Ganzes eine Bildverarbeitungsvorrichtung 10 bilden.
  • Der Datenspeicher 12, der aus einem nichtflüchtigen RAM gebildet ist, wird mit Einlerndaten und verschiedenartigen anderen Daten für die Bildverarbeitung geladen. Der Programmspeicher 13 wird mit Anwendungsprogrammen, die durch Benutzer erstellt sind, geladen. Die Schaltpultschnittstelle 14 ist mit einem Schaltpult 23 verbunden. Das Schaltpult 23 ist mit verschiedenartigen Befehlstasten und Zehnerblocktasten versehen, mittels derer Operationen für eine Dateneinstellung und -eingabe, eine Aufbereitung, eine Registrierung, eine Ausführung usw. der Anwendungsprogramme durchgeführt werden. Ferner ist das Schaltpult 23 mit einem Anzeigebildschirm versehen, auf dem die Inhalte von Befehlen und Operationen, Menüs für die Dateneinstellung, eine Programmliste usw. angezeigt werden können.
  • Die Monitorschnittstelle 15 ist mit einem Monitorgerät zum Anzeigen eines Bildes, das in dem Einzelbildspeicher 16 gespeichert ist, und eines aktuellen Bildes, das durch eine Kamera 22 aufgenommen ist, verbunden. Der Einzelbildspeicher 16 wird mit Pixeldaten eines Objekts, das mittels der Kamera 22 fotografiert ist, geladen, und die Daten werden zu einem Graustufenbild verarbeitet. Diese Pixeldaten basieren auf einem Sensor-Koordinatensystem. Der Bildprozessor 17 verarbeitet das Bild, das in dem Einzelbildspeicher 16 gespeichert ist, um dadurch das Objekt zu identifizieren und dessen Position und Lage zu erfassen.
  • Die Kameraschnittstelle 19 ist mit der Kamera 22 verbunden, die dazu benutzt wird, die Objekte, die nacheinander einer Fertigungsstraße zugeführt werden, zu fotografieren. Die Kommunikationsschnittstelle 19 ist mit einem System (nicht gezeigt), beispielsweise einem Roboter, verbunden, das ein optisches Sensorsystem benutzt.
  • Obgleich die zuvor beschriebene Anordnung ähnlich derjenigen eines herkömmlichen optischen Sensors ist, unterscheidet sich das vorliegende Ausführungsbeispiel davon insbesondere dadurch, daß die vorgesehene Bildverarbeitung unter Benutzung des optischen Sensors, mit dem eine Hilfsspeichereinrichtung als ein externer Speicher verbunden ist, mittels der SCSI 20 ausgeführt werden kann. Im einzelnen ist die SCSI 20 mit einer photomagnetischen Platteneinrichtung als die Hilfsspeichereinrichtung 25 verbunden. Die Hilfsspeichereinrichtung 25 ist nicht auf die photomagnetische Platteneinrichtung beschränkt und kann eine Festplatte, eine optische Platte oder eine andere Speichereinrichtung sein, sofern diese Einrichtungen in der Lage sind, die Daten bei Geschwindigkeiten, die gleich hoch wie die Geschwindigkeit der photomagnetische Einrichtung sind, einzuschreiben und auszulesen. Alternativ dazu kann ein Kassetten-Streamer, ein DAT- (Digital Audio Tape-)Aufzeichnungsgerät oder eine andere Speichereinrichtung, in denen Daten bei niedrigeren Geschwindigkeiten eingeschrieben und ausgelesen werden, benutzt werden. Irgendeine dieser Speichereinrichtungen hat eine Speicherkapazität von einigen Megabytes oder mehr und kann einige tausend bis zehntausend Bilddaten oder mehr speichern. Mit der Hochgeschwindigkeits-Speichereinrichtung können die Daten insbesondere beinahe gleichzeitig mit der Ausführung der Bildverarbeitung gespeichert werden.
  • Im folgenden wird die Arbeitsweise des vorliegenden Ausführungsbeispiels unter Bezugnahme auf das Flußdiagramm gemäß Fig. 2 beschrieben. Wenn ein Bildverarbeitungs-Startbefehl von außen über die Kommunikationsschnittstelle 19 eingegeben ist, startet die Haupt-CPU 11 ein Bildverarbeitungsprogramm, das in dem Programmspeicher 13 gespeichert ist, woraufhin zuerst über die Kameraschnittstelle 18 ein Bildmomentaufnahmebefehl an die Kamera 22 geliefert wird. Ein Bild, das mittels der Kamera 22 aufgenommen ist, wird, nachdem es mittels des Bildprozessors 17 der Verarbeitung für eine Graustufenschattierung unterzogen ist, in den Einzelbildspeicher 16 geladen (Schritt S1). Dann gibt die Haupt-CPU 11 einen Objekterfassungsbefehl an den Bildprozessor 17 aus. Daraufhin führt der Bildprozessor 17 in Reaktion auf diesen Befehl eine Bildverarbeitung unter Benutzung von Einlerndaten aus, die zuvor für das Bild, welches in dem Einzelbildspeicher 16 gespeichert ist, gewonnen sind, um dadurch das Objekt zu identifizieren und die Position und die Lage desselben zu erfassen (Schritt S2).
  • Nach der Ausführung der Bildverarbeitung in dieser Weise werden die Daten der erfaßten Position und Lage des Objekts als die Daten des Koordinatensystems des optischen Sensors in die Daten eines Roboter-Koordinatensystems transformiert (Schritt S3), und die transformierten Informationen werden als Korrekturdaten durch die Kommunikationsschnittstelle 19 zu dem Roboter übertragen (Schritt S4).
  • Andererseits werden die Bilddaten jedesmal dann, wenn die Bilddaten (Quell-Bilddaten) durch die Kamera aufgenommen und in dem Einzelbildspeicher 16 gespeichert sind, nacheinander durch die SCSI 20 zu der Hilfsspeichereinrichtung 25 übertragen, um darin gespeichert zu werden (Schritt S5). Wenn alle Quell-Bilddaten auf diese Weise in der Hilfsspeichereinrichtung 25 gespeichert sind, werden Informationen über das Programm, welches für die Bildverarbeitung benutzt wird, wie ein Kennzeichnungsbit für das Bildverarbeitungsprogramm, das Datum, eine Seriennummer, ein tatsächlich erfaßter Wert, Korrekturdaten, Kalibrierungsdaten usw. angefügt. Falls der optische Sensor eine Vielzahl von Kameras enthält, werden außerdem die Identifizierungsnummern der Kameras, die benutzt werden, um das Bild einzuholen, angefügt. Im Falle einer erfolglosen Verarbeitung, beispielsweise beim Auftreten eines Fehlers bei der Erfassung, wird außerdem eine Kennzeichnung dieses Fehlers angefügt. Diese angefügten Informationsteile werden automatisch mittels der Haupt-CPU 11 in Übereinstimmung mit dem Verarbeitungsprogramm, das vorab in dem Programmspeicher 13 gespeichert wurde, an die Quell-Bilddaten angefügt.
  • Dann wird, um zu prüfen, ob die erstellten Einlerndaten für die Bildverarbeitung, welche ausgeführt worden ist, geeignet sind, oder um die Ursache des Erfassungsfehlers zu untersuchen, durch Unterbrechung des Betriebs der Fertigungsstraße, die in Betrieb gewesen ist, die Bildeingabequelle von der Kamera 22 zu der Hilfsspeichereinrichtung 25 durch Eingabe des Umschaltbefehls über das Schaltpult 23 für die Bedienungsperson umgeschaltet.
  • Daraufhin veranlaßt die Bedienungsperson zuerst, daß die Menüs der Daten, welche aus der Hilfsspeichereinrichtung aufzurufen sind, auf dem Bildschirm des Schaltpults 23 angezeigt werden, und wählt eines der Menüs durch Betätigung von Tasten aus, um dadurch nacheinander nichterfaßtbare oder falsch erfaßte Bilddaten zum Einschreiben in den Einzelbildspeicher 16 aufzurufen. Für diese Bilddaten führt der Bildprozessor 17 nacheinander Vorverarbeitungen, wie für eine Graustufenschattierung, eine Bildvignettierung, eine Randhervorhebung usw., aus und führt dann das Bildverarbeitungsprogramm erneut aus. Durch Überwachen des Ergebnisses auf dem Bildschirm des Monitorgeräts 24 untersucht die Bedienungsperson die Ursache des Fehlers bei der Objekterfassung.
  • Nachfolgend wird ein weiteres der Menüs auf dem Bildschirm des Schaltpults 23 ausgewählt, wodurch normal erfaßte Bilddaten eines optionalen Objekts nacheinander zum Einschreiben in den Einzelbildspeicher 16 aus der Hilfsspeichereinrichtung 25 aufgerufen werden. Für diese Bilddaten führt der Bildprozessor 17 das selbe Bildverarbeitungsprogramm wie zuvor beschrieben in richtiger Aufeinanderfolge aus. Es wird veranlaßt, daß das verarbeitete Bild auf dem Monitor TV 24 erscheint. Gleichzeitig wird ein Punkt (Merkmalsdaten) zum Bestimmen der Position des Objekts, das durch den optischen Sensor erkannt ist, auf dem Bildschirm des Monitorgeräts 24 angezeigt. Wenn der optische Sensor z. B. dazu benutzt wird, ein Loch in einem Erzeugnis zu erkennen, wird ein Kreuz, das dem Zentrum des Lochs entspricht, welches durch den optischen Sensor erkannt ist, in dem Bild des Objekts dargestellt, das auf dem Bildschirm des Monitorgeräts 24 angezeigt wird. Dann stellt die Bedienungsperson durch Überwachen des Bildes des Objekts auf dem Bildschirm des Monitorgeräts 24 fest, ob die Bildverarbeitung richtig ausgeführt worden ist oder nicht, und durch Überwachen der Beziehung zwischen dem Objekt und dem Kreuz, ob die Merkmalsdaten durch den üblichen Sensor korrekt eingeholt sind oder nicht, d. h. durch Überwachen, ob das Kreuz immer genau in dem Zentrum des Lochs positioniert ist oder nicht oder ob der Mittelpunkt der kleinen Schwankung des Kreuzes, falls eine solche vorliegt und falls die Schwankung in verschiedenen Richtungen erfolgt, mit the Zentrum des Lochs zusammenfällt oder nicht. Falls kein zufriedenstellendes Ergebnis erzielt ist, startet die Bedienungsperson eine Operation zum Modifizieren der Einlerndaten. Dann erstellt die Bedienungsperson (vorläufig) neue Einlerndaten mittels des Schaltpults 23. Daraufhin werden die Daten in den Datenspeicher 12 geladen. Nachfolgend überträgt die Bedienungsperson die Quell-Bilddaten erneut durch Tastenbetätigung an dem Schaltpult 23 von der Hilfsspeichereinrichtung 25 zu dem Einzelbildspeicher 16. Diese Bilddaten werden gemäß dem Bildverarbeitungsprogramm auf der Grundlage der modifizierten Einlerndaten verarbeitet, und es wird veranlaßt, daß das Ergebnis auf dem Monitor TV 24 erscheint. Dann prüft die Bedienungsperson, ob sich das Kreuz in dem Zentrum des Lochs in dem Objekt oder dem Bild auf dem Bildschirm des Monitorgeräts 24 befindet oder nicht, und wiederholt die Operation zum Modifizieren der Einlerndaten durch Ausprobieren ("trial and error"), bis ein zufriedenstellendes Ergebnis gewonnen ist.
  • Auf diese Weise kann die Ursache des Erfassungsfehlers für die frühere Bildverarbeitung untersucht werden, und es kann danach außerdem sogar für die normal erfaßten Bilddaten geprüft werden, ob die erstellten Einlerndaten optimal sind oder nicht. In gleicher Weise kann unter Benutzung der gespeicherten erfaßten Daten und dgl. geprüft werden, ob die Korrekturdaten richtig berechnet sind oder nicht.
  • In dem Ausführungsbeispiel, das zuvor beschrieben ist, werden alle der Bilder, die durch die Kamera 22 aufgenommen sind, in der Hilfsspeichereinrichtung 25 gespeichert. Alternativ dazu kann die Hilfsspeichereinrichtung 25 jedoch derart aufgebaut sein, daß sie alle derjenigen Bilder, deren Erfassung fehlgeschlagen ist, und einige der normal erfaßten Bilder in regelmäßigen Intervallen speichert.

Claims (7)

1. Bildverarbeitungsverfahren zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden, und das Verfahren Schritte umfaßt zum
Laden eines Einzelbildspeichers (16) mit Bilddaten eines Objekts, das durch eine Kamera (22) aufgenommen ist,
Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
Auslesen der Bilddaten aus dem Einzelbildspeicher (16),
Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung (25) und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern, und
nachfolgenden Übertragen nichterfaßbarer oder falsch erfaßter Bilddaten, die in der Hilfsspeichereinrichtung (25) gespeichert sind, von der Hilfsspeichereinrichtung (25) zu dem Einzelbildspeicher (16) zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten Vorverarbeitungsprozessen und dann einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild zu untersuchen, um die Ursache des Scheiterns bei der Objekterfassung zu ermitteln.
2. Bildverarbeitungsverfahren zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden und das Verfahren Schritte umfaßt zum
Laden ein Einzelbildspeichers (16) mit Bilddaten eines Objekts, das durch eine Kamera (22) aufgenommen ist,
Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
Auslesen der Bilddaten aus dem Einzelbildspeicher (16),
Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung (25) und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern, und
nachfolgenden Nacheinanderübertragen normal erfaßter Bilddaten, die in der Hilfsspeichereinrichtung (25) gespeichert sind, von der Hilfsspeichereinrichtung (25) zu dem Einzelbildspeicher (16) zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild durch Überwachen der positionsmäßigen Beziehung zwischen dem Objekt und einem angezeigten Zeichen (z. B. einem Kreuz), das mit einem bestimmten Punkt auf dem angezeigten Objekt zusammenfallen sollte, zu untersuchen.
3. Bildverarbeitungsverfahren für einen industriellen optischen Sensor nach Anspruch 1 oder 2, wobei die Identifizierungsdaten zumindest eine Art solcher Daten, wie Daten zum Spezifizieren der Bilddaten oder eines erfaßten Werts für die Bilddaten, einen Programmnamen, Kalibrierungsdaten, Korrekturdaten und dgl., enthalten.
4. Bildverarbeitungsverfahren für einen industriellen optischen Sensor nach einem der vorhergehenden Ansprüche, bei dem Identifizierungsdaten einer Kamera, die benutzt wird, um das betreffende Bild aufzunehmen, an die Identifizierungsdaten angefügt werden, wenn der optische Sensor eine Vielzahl von Kameras enthält.
5. Bildverarbeitungsverfahren für einen industriellen optischen Sensor nach einem der vorhergehenden Ansprüche, bei dem Identifizierungsdaten, die bezeichnend für eine erfolglose Verarbeitung, wie ein Scheitern bei der Erfassung, falls ein solcher Fall vorliegt, an die Identifizierungsdaten angefügt werden.
6. Bildverarbeitungsverfahren für einen industriellen optischen Sensor nach einem der vorhergehenden Ansprüche, wobei die Hilfsspeichereinrichtung (25) eine Speichereinrichtung großer Kapazität, wie eine optische Platte, eine photomagnetische Platte, eine Festplatte, ein sog. Kassetten-Streamer oder ein DAT (Digital Audio Tape), ist.
7. Bildverarbeitungsverfahren für einen industriellen optischen Sensor nach einem der vorhergehenden Ansprüche, bei dem von solchen Bilddaten, die in dem Einzelbildspeicher (16) gespeichert sind, alle diejenigen, welche eine erfolglose Erfassung betreffen, zur Speicherung zu der Hilfsspeichereinrichtung (25) übertragen werden, während die normal erfaßten Bilddaten in einem vorbestimmten Prozeß reduziert werden, bevor sie übertragen und gespeichert werden.
DE69228659T 1991-07-05 1992-07-06 Bildverarbeitungsverfahren für industriellen optischen sensor Expired - Lifetime DE69228659T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP3191291A JP2921718B2 (ja) 1991-07-05 1991-07-05 産業用視覚センサにおける画像処理方法
PCT/JP1992/000853 WO1993001558A1 (en) 1991-07-05 1992-07-06 Image processing method for industrial visual sensor

Publications (2)

Publication Number Publication Date
DE69228659D1 DE69228659D1 (de) 1999-04-22
DE69228659T2 true DE69228659T2 (de) 1999-07-22

Family

ID=16272126

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69228659T Expired - Lifetime DE69228659T2 (de) 1991-07-05 1992-07-06 Bildverarbeitungsverfahren für industriellen optischen sensor

Country Status (4)

Country Link
EP (1) EP0547245B1 (de)
JP (1) JP2921718B2 (de)
DE (1) DE69228659T2 (de)
WO (1) WO1993001558A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0891543A (ja) * 1994-09-28 1996-04-09 Omron Corp 画像処理方法およびその装置
JP3876275B2 (ja) * 2002-12-27 2007-01-31 博 有澤 多視点ビデオキャプチャシステム
FI123049B (fi) * 2007-09-03 2012-10-15 Mapvision Ltd Oy Tallentava konenäköjärjestelmä
JP6962858B2 (ja) 2018-04-27 2021-11-05 ファナック株式会社 画像管理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5672771A (en) * 1979-11-19 1981-06-17 Toshiba Corp Picture information storage system
JPS58115700A (ja) * 1981-12-28 1983-07-09 Toyota Motor Corp 画像処理装置の自己診断方法
JPS60204183A (ja) * 1984-03-28 1985-10-15 Olympus Optical Co Ltd 医療用画像情報記録再生装置

Also Published As

Publication number Publication date
EP0547245A1 (de) 1993-06-23
EP0547245B1 (de) 1999-03-17
DE69228659D1 (de) 1999-04-22
EP0547245A4 (de) 1994-10-12
JPH0512409A (ja) 1993-01-22
JP2921718B2 (ja) 1999-07-19
WO1993001558A1 (en) 1993-01-21

Similar Documents

Publication Publication Date Title
DE102018200155B4 (de) Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
DE69417075T2 (de) Bilddatenaufzeichnung
DE3013833C2 (de) Vorrichtung zur Prüfung eines auf einem Gegenstand befindlichen Musters auf Fehler
DE102018128158A1 (de) Vorrichtung zur inspektion des erscheinungsbilds
DE69114881T2 (de) Analysevorrichtung zur Rettung von Halbleiterspeicherfehlern.
DE69124817T2 (de) Verfahren und Gerät zur Aufzeichnung von Daten
DE3248928C2 (de)
DE69322010T2 (de) Verfahren und Steuergerät für Selbstdiagnose
DE69326175T2 (de) Daten-Reprogrammierungsverfahren in einem EEPROM und in einer EEPROM-Karte
DE19839680B4 (de) Verfahren und Vorrichtung zur Veränderung des Speicherinhalts von Steuergeräten
DE3501592A1 (de) Verfahren und vorrichtung zur wiederherstellung des normalzustands im bewegungsablauf einer maschine
EP2463101A1 (de) System und Verfahren zur Erzeugung und Inspektion von Drucken mit statischen und variablen Inhalten
DE4133590A1 (de) Verfahren zur klassifikation von signalen
DE69228659T2 (de) Bildverarbeitungsverfahren für industriellen optischen sensor
EP0436818B1 (de) Diagnosesystem für eine digitale Steuereinrichtung
DE112016007054B4 (de) Anzeigevorrichtung und Anzeigesteuerverfahren
DE68922045T2 (de) Informationsaufzeichnungsmedium und dasselbe verwendendes Aufzeichnungs/-Wiedergabegerät.
DE2723706A1 (de) Einrichtung zum adressenvergleich
DE102019216321A1 (de) Bildverarbeitungsvorrichtung
US6356671B1 (en) Image processing method for an industrial visual sensor
DE112021003600T5 (de) Zustandsüberwachungsvorrichtung und Zustandsüberwachungsverfahren für Industriemaschinen
DE3318765C2 (de)
DE4018969C2 (de)
DE102015209033A1 (de) Verfahren und Vorrichtung zum Liefern einer Prüfantwort
DE69929397T2 (de) Informationsaufzeichnungsverfahren und -gerät

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)