DE69228659T2 - Bildverarbeitungsverfahren für industriellen optischen sensor - Google Patents
Bildverarbeitungsverfahren für industriellen optischen sensorInfo
- Publication number
- DE69228659T2 DE69228659T2 DE69228659T DE69228659T DE69228659T2 DE 69228659 T2 DE69228659 T2 DE 69228659T2 DE 69228659 T DE69228659 T DE 69228659T DE 69228659 T DE69228659 T DE 69228659T DE 69228659 T2 DE69228659 T2 DE 69228659T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- data
- image data
- optical sensor
- auxiliary storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003287 optical effect Effects 0.000 title claims description 36
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren für einen optischen Sensor zur Objekterkennung, der als ein Sehorgan eines Industrieroboters oder dgl. benutzt wird.
- Herkömmlicherweise ist ein optischer Sensor in eine Fertigungsstraße einbezogen, und die jeweiligen Positionen und Lagen von zu erfassenden Objekten, die der Fertigungsstraße nacheinander zugeführt werden, werden in Aufeinanderfolge mittels des optischen Sensors erfaßt. Die erfaßten Daten werden in die Daten für das Koordinatensystem einer Maschine, beispielsweise eines Roboters, transformiert und als Korrekturdaten zu dem Roboter oder einer anderen Maschine übertragen. Dann wird der Betrieb des Roboters oder der Maschine in Übereinstimmung mit den empfangenen Korrekturdaten korrigiert.
- Um die Korrekturdaten mittels eines Systems zu gewinnen, das den optischen Sensor benutzt, der in der zuvor beschriebenen Weise angeordnet ist, werden Einlerndaten benötigt, um ein Bild zu verarbeiten, das mittels einer Kamera fotografiert ist, das Objekt zu identifizieren und die Position und Lage desselben zu erfassen. Bei einem derartigen herkömmlichen Verfahren müssen diese Einlerndaten indessen durch Erfassen des Werts eines Parameters zur Einstellung aus einem Bild (Muster) des Objekts gesetzt werden.
- Es ist jedoch unmöglich zu prüfen, ob die Einlerndaten, welche in der zuvor genannten Weise gewonnen sind, die durchschnittlichen Daten der erfaßten Objekte, die der Fertigungsstraße nacheinander zugeführt worden sind, repräsentieren. In einigen Fällen müssen die gegenwärtigen Einlern daten, falls die Objekte, die nacheinander an die Fertigungsstraße geliefert werden, im Verlaufe der Zeit Änderungen unterworfen werden, modifiziert werden, um mit einer solchen Situation fertig zu werden. Wenn die Einlerndaten zum Erfassen eines Lochs in einer Komponente beispielsweise von einem Muster gewonnen sind, können solche Komponenten, die der Fertigungsstraße nacheinander zugeführt werden, ein wenig Öl haben, das von einem bestimmten Zeitpunkt an und nach diesem an deren Löchern haftet. In einem solchen Fall stimmen diese Einlerndaten nicht mehr für die Erfassung solcher Löcher, weswegen eine Modifizierung erforderlich ist.
- Demzufolge ist es, um abschätzen zu können, ob die Einlerndaten, welche einmal festgelegt sind, zu der gegenwärtigen Situation passen oder nicht, oder um die Einlerndaten zum Zwecke einer höheren Zuverlässigkeit zu modifizieren, notwendig, so viele zuvor verarbeitete Bilddaten wie möglich zu überprüfen. Die Speicherkapazität eines Einzelbildspeichers des optischen Sensors ist äußerst begrenzt, so daß so viele Bilddaten, wie notwendig sind, unter normalen Bedingungen nicht gespeichert und gehalten werden können. Es sei ausdrücklich darauf hingewiesen, daß ein Bild, das in Reaktion auf einen Aufnahmebefehl durch die Kamera fotografiert ist, in dem Bildspeicher (Einzelbildspeicher), nachdem es der Verarbeitung für die Graustufenschattierung mittels eines Bildprozessors unterzogen wurde, gespeichert wird. Normalerweise beansprucht ein Graustufenbild in dem Einzelbildspeicher eine Kapazität von 256 · 256 · 1 Bytes, und die Anzahl von Bilddaten, die der Einzelbildspeicher speichern kann, reicht unter Berücksichtigung der Beschränkungen durch einen Teil der Hardware von ungefähr 4 bis 20.
- Wenn eine erfolglose Verarbeitung stattgefunden hat, beispielsweise wenn ein Fehler in der Erfassung oder eine falsche Erfassung aufgetreten ist, muß das sich ergebende fehlerhafte Bild untersucht werden, um die Ursache des Fehlers festzustellen. Da der herkömmliche optische Sensor kein Mittel zum Speichern oder Halten des fehlerhaften Bildes hat, muß, um die Ursache eines solchen Fehlers festzustellen, der laufende Betrieb unterbrochen werden, um das Objekt, mit dem die Kamera befaßt ist, erneut aufzunehmen.
- Auf dem Gebiet der Medizin ist es aus der Druckschrift JP-A-60-204183 bekannt, Bildinformationsdaten von einem Endoskop auf einer Aufzeichnungsplatte eines optischen Systems großer Aufzeichnungskapazität zu speichern. Auf diese Weise können das Aufzeichnen und die Wiedergabe sehr schnell und leicht durchgeführt werden, und die medizinische Information kann elektronisch aufbereitet und auf einem Medium großer Speicherkapazität aufgezeichnet werden.
- Die Aufgabe der vorliegenden Erfindung besteht darin, ein Bildverarbeitungsverfahren für einen industriellen optischen Sensor zu schaffen, der in der Lage ist, richtige Einlerndaten auf der Grundlage einer Anzahl von früheren Bilddaten zu gewinnen und eine Untersuchung hinsichtlich der Ursache einer erfolglosen Verarbeitung, falls eine solche vorliegt, vorzunehmen, nachdem der Vorgang beendet ist.
- Gemäß einer Ausführungsform der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren vorgesehen zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden, und das Verfahren Schritte umfaßt zum
- Laden eines Einzelbildspeichers mit Bilddaten eines Objekts, das durch eine Kamera aufgenommen ist,
- Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
- Auslesen der Bilddaten aus dem Einzelbildspeicher,
- Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
- Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern, und
- nachfolgenden Übertragen nichterfaßbarer oder falsch erfaßter Bilddaten, die in der Hilfsspeichereinrichtung gespeichert sind, von der Hilfsspeichereinrichtung zu dem Einzelbildspeicher zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten Vorverarbeitungsprozessen und dann einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild zu untersuchen, um die Ursache des Scheiterns bei der Objekterfassung zu ermitteln.
- Gemäß einer anderen Ausführungsform der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren vorgesehen zum Prüfen von Objekt-Bildern, die von einem optischen Sensor, der in einer Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte Erzeugnisse sind, die industriell bearbeitet werden und das Verfahren Schritte umfaßt zum
- Laden ein Einzelbildspeichers mit Bilddaten eines Objekts, das durch eine Kamera aufgenommen ist,
- Verarbeiten der Bilddaten in Übereinstimmung mit einem Verarbeitungsprogramm,
- Auslesen der Bilddaten aus dem Einzelbildspeicher,
- Anfügen von Identifizierungsdaten an die ausgelesenen Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
- Übertragen der sich ergebenden Daten zu einer Hilfsspeichereinrichtung und Speichern dieser Daten darin, um in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu speichern,
- nachfolgenden Nacheinanderübertragen normal erfaßter Bilddaten, die in der Hilfsspeichereinrichtung gespeichert sind, von der Hilfsspeichereinrichtung zu dem Einzelbildspeicher zur Prüfung der übertragenen Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die unter Bezugnahme auf relevante Identifizierungsdaten, die an die Bilddaten angefügt sind, getroffen ist, wobei das ausgewählte Bild auf einem Bildschirm angezeigt wird und die entsprechenden Bilddaten einer Wiedergabeausführung durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen werden, das in Abhängigkeit von den Identifizierungsdaten, welche dem Bild zugeordnet sind, ausgewählt ist, wodurch das Bild eines Objekts nachfolgend überprüft wird, um dieses Bild durch Überwachen der positionsmäßigen Beziehung zwischen dem Objekt und einem angezeigten Zeichen (z. B. einem Kreuz), das mit einem bestimmten Punkt auf dem angezeigten Objekt zusammenfallen sollte, zu untersuchen.
- Vorzugsweise enthalten die Identifizierungsdaten zumindest eine Art solcher Daten, wie Daten zum Spezifizieren der Bilddaten oder eines erfaßten Werts für die Bilddaten, einen Programmnamen, Kalibrierungsdaten, Korrekturdaten und dgl., wenn der optische Sensor eine Vielzahl von Kameras enthält, wobei Identifizierungsdaten einer Kamera, die benutzt wird, um das betreffende Bild einzubringen, an die zuvor genannten Identifizierungsdaten angefügt werden können. Außerdem können Identifizierungsdaten, die bezeichnend für eine erfolglose Verarbeitung sind, wie ein Fehler bei der Erfassung, falls etwas derartiges vorliegt, an die Identifizierungsdaten angefügt werden.
- Vorzugsweise wird als die Hilfsspeichereinrichtung eine Speichereinrichtung großer Kapazität, wie eine optische Platte, eine photomagnetische Platte, eine Festplatte, ein sog. Kassetten-Streamer oder ein DAT (Digital Audio Tape) benutzt.
- Vorzugsweise werden von solchen Bilddaten, die in dem Einzelbildspeicher gespeichert sind, alle diejenigen einer erfolglosen Erfassung zur Speicherung zu der Hilfsspeichereinrichtung übertragen, während nur einige der normal erfaßten Bilddaten auf einer vorbestimmten Grundlage selektiv übertragen und gespeichert werden.
- Gemäß der vorliegenden Erfindung, wie sie zuvor beschrieben ist, ist die Hilfsspeichereinrichtung an dem industriellen optischen Sensor angebracht, so daß alle Bilddaten, die durch Aufnahme mittels der Kamera gewonnen und in dem Einzelbildspeicher gespeichert sind, mit notwendigen Identifizierungsdaten durch Anfügen derselben ergänzt und zu der Hilfsspeichereinrichtung übertragen werden, um darin gespeichert und gehalten zu werden. Beim Feststellen oder Prüfen, ob die anfänglich erstellten Einlerndaten geeignet sind oder nicht, oder beim Untersuchen der Ursache einer erfolglosen Verarbeitung, falls eine solche vorliegt, werden nach dem Ende des Vorgangs die Bilddaten, welche in der Speichereinrichtung gesichert sind, einzeln zu dem Einzelbildspeicher übertragen, und es wird das frühere Bildverarbeitungsprogramm reproduktiv ausgeführt. Demzufolge können eine Anzahl von Bilddaten, die verarbeitet wurden, bevor die Fertigungsstraße gestoppt wird, gesichert und reproduziert werden, so daß danach die Zuverlässigkeit der erstellten Einlerndaten eingeschätzt werden kann. Auf diese Weise kann bei der weiteren Ausführung der Bildverarbeitung nach diesem Punkt festgestellt werden, ob die gegenwärtig erstellten Einlerndaten modifiziert werden sollten oder nicht, und außerdem kann die Richtigkeit des Ergebnisses der tatsächlichen Modifizierung unter Benutzung der gesicherten Bilddaten geprüft werden. Außerdem können danach Erfassungsfehler des optischen Sensors an der betreffenden Stelle ohne Stoppen der Fertigungsstraße reproduziert werden, um dadurch die notwendige Verbesserung des optischen Sensorsystems zum Zwecke einer höheren Betriebsleistungsfähigkeit zu ermöglichen.
- Fig. 1 zeigt ein Blockschaltbild eines optischen Sensors zum Durchführen eines Ausführungsbeispiels eines Verfahrens gemäß der vorliegenden Erfindung.
- Fig. 2 zeigt ein Flußdiagramm, das die Arbeitsweise des einen Ausführungsbeispiels des Verfahrensgemäß der vorliegenden Erfindung darstellt.
- Fig. 1 zeigt ein Blockschaltbild, das den wesentlichen Teil eines optischen Sensors zum Durchführen eines Verfahrens gemäß der vorliegenden Erfindung darstellt. In Fig. 1 bezeichnet das Bezugszeichen 11 eine Haupt-Zentralverarbeitungseinheit (im folgenden als Haupt-CPU bezeichnet). Die Haupt-CPU 11 ist durch einen Bus 21 mit einem Datenspeicher 12, einem Programmspeicher 13, einer Schaltpultschnittstelle 14, einer Monitorschnittstelle 15, einem Einzelbildspeicher 16, einem Bildprozessor 17, einer Kameraschnittstelle 18, einer Kommunikationsschnittstelle 19 und einer SCSI- (Small Computer System-)Schnittstelle 20 verbunden, wobei diese Elemente als Ganzes eine Bildverarbeitungsvorrichtung 10 bilden.
- Der Datenspeicher 12, der aus einem nichtflüchtigen RAM gebildet ist, wird mit Einlerndaten und verschiedenartigen anderen Daten für die Bildverarbeitung geladen. Der Programmspeicher 13 wird mit Anwendungsprogrammen, die durch Benutzer erstellt sind, geladen. Die Schaltpultschnittstelle 14 ist mit einem Schaltpult 23 verbunden. Das Schaltpult 23 ist mit verschiedenartigen Befehlstasten und Zehnerblocktasten versehen, mittels derer Operationen für eine Dateneinstellung und -eingabe, eine Aufbereitung, eine Registrierung, eine Ausführung usw. der Anwendungsprogramme durchgeführt werden. Ferner ist das Schaltpult 23 mit einem Anzeigebildschirm versehen, auf dem die Inhalte von Befehlen und Operationen, Menüs für die Dateneinstellung, eine Programmliste usw. angezeigt werden können.
- Die Monitorschnittstelle 15 ist mit einem Monitorgerät zum Anzeigen eines Bildes, das in dem Einzelbildspeicher 16 gespeichert ist, und eines aktuellen Bildes, das durch eine Kamera 22 aufgenommen ist, verbunden. Der Einzelbildspeicher 16 wird mit Pixeldaten eines Objekts, das mittels der Kamera 22 fotografiert ist, geladen, und die Daten werden zu einem Graustufenbild verarbeitet. Diese Pixeldaten basieren auf einem Sensor-Koordinatensystem. Der Bildprozessor 17 verarbeitet das Bild, das in dem Einzelbildspeicher 16 gespeichert ist, um dadurch das Objekt zu identifizieren und dessen Position und Lage zu erfassen.
- Die Kameraschnittstelle 19 ist mit der Kamera 22 verbunden, die dazu benutzt wird, die Objekte, die nacheinander einer Fertigungsstraße zugeführt werden, zu fotografieren. Die Kommunikationsschnittstelle 19 ist mit einem System (nicht gezeigt), beispielsweise einem Roboter, verbunden, das ein optisches Sensorsystem benutzt.
- Obgleich die zuvor beschriebene Anordnung ähnlich derjenigen eines herkömmlichen optischen Sensors ist, unterscheidet sich das vorliegende Ausführungsbeispiel davon insbesondere dadurch, daß die vorgesehene Bildverarbeitung unter Benutzung des optischen Sensors, mit dem eine Hilfsspeichereinrichtung als ein externer Speicher verbunden ist, mittels der SCSI 20 ausgeführt werden kann. Im einzelnen ist die SCSI 20 mit einer photomagnetischen Platteneinrichtung als die Hilfsspeichereinrichtung 25 verbunden. Die Hilfsspeichereinrichtung 25 ist nicht auf die photomagnetische Platteneinrichtung beschränkt und kann eine Festplatte, eine optische Platte oder eine andere Speichereinrichtung sein, sofern diese Einrichtungen in der Lage sind, die Daten bei Geschwindigkeiten, die gleich hoch wie die Geschwindigkeit der photomagnetische Einrichtung sind, einzuschreiben und auszulesen. Alternativ dazu kann ein Kassetten-Streamer, ein DAT- (Digital Audio Tape-)Aufzeichnungsgerät oder eine andere Speichereinrichtung, in denen Daten bei niedrigeren Geschwindigkeiten eingeschrieben und ausgelesen werden, benutzt werden. Irgendeine dieser Speichereinrichtungen hat eine Speicherkapazität von einigen Megabytes oder mehr und kann einige tausend bis zehntausend Bilddaten oder mehr speichern. Mit der Hochgeschwindigkeits-Speichereinrichtung können die Daten insbesondere beinahe gleichzeitig mit der Ausführung der Bildverarbeitung gespeichert werden.
- Im folgenden wird die Arbeitsweise des vorliegenden Ausführungsbeispiels unter Bezugnahme auf das Flußdiagramm gemäß Fig. 2 beschrieben. Wenn ein Bildverarbeitungs-Startbefehl von außen über die Kommunikationsschnittstelle 19 eingegeben ist, startet die Haupt-CPU 11 ein Bildverarbeitungsprogramm, das in dem Programmspeicher 13 gespeichert ist, woraufhin zuerst über die Kameraschnittstelle 18 ein Bildmomentaufnahmebefehl an die Kamera 22 geliefert wird. Ein Bild, das mittels der Kamera 22 aufgenommen ist, wird, nachdem es mittels des Bildprozessors 17 der Verarbeitung für eine Graustufenschattierung unterzogen ist, in den Einzelbildspeicher 16 geladen (Schritt S1). Dann gibt die Haupt-CPU 11 einen Objekterfassungsbefehl an den Bildprozessor 17 aus. Daraufhin führt der Bildprozessor 17 in Reaktion auf diesen Befehl eine Bildverarbeitung unter Benutzung von Einlerndaten aus, die zuvor für das Bild, welches in dem Einzelbildspeicher 16 gespeichert ist, gewonnen sind, um dadurch das Objekt zu identifizieren und die Position und die Lage desselben zu erfassen (Schritt S2).
- Nach der Ausführung der Bildverarbeitung in dieser Weise werden die Daten der erfaßten Position und Lage des Objekts als die Daten des Koordinatensystems des optischen Sensors in die Daten eines Roboter-Koordinatensystems transformiert (Schritt S3), und die transformierten Informationen werden als Korrekturdaten durch die Kommunikationsschnittstelle 19 zu dem Roboter übertragen (Schritt S4).
- Andererseits werden die Bilddaten jedesmal dann, wenn die Bilddaten (Quell-Bilddaten) durch die Kamera aufgenommen und in dem Einzelbildspeicher 16 gespeichert sind, nacheinander durch die SCSI 20 zu der Hilfsspeichereinrichtung 25 übertragen, um darin gespeichert zu werden (Schritt S5). Wenn alle Quell-Bilddaten auf diese Weise in der Hilfsspeichereinrichtung 25 gespeichert sind, werden Informationen über das Programm, welches für die Bildverarbeitung benutzt wird, wie ein Kennzeichnungsbit für das Bildverarbeitungsprogramm, das Datum, eine Seriennummer, ein tatsächlich erfaßter Wert, Korrekturdaten, Kalibrierungsdaten usw. angefügt. Falls der optische Sensor eine Vielzahl von Kameras enthält, werden außerdem die Identifizierungsnummern der Kameras, die benutzt werden, um das Bild einzuholen, angefügt. Im Falle einer erfolglosen Verarbeitung, beispielsweise beim Auftreten eines Fehlers bei der Erfassung, wird außerdem eine Kennzeichnung dieses Fehlers angefügt. Diese angefügten Informationsteile werden automatisch mittels der Haupt-CPU 11 in Übereinstimmung mit dem Verarbeitungsprogramm, das vorab in dem Programmspeicher 13 gespeichert wurde, an die Quell-Bilddaten angefügt.
- Dann wird, um zu prüfen, ob die erstellten Einlerndaten für die Bildverarbeitung, welche ausgeführt worden ist, geeignet sind, oder um die Ursache des Erfassungsfehlers zu untersuchen, durch Unterbrechung des Betriebs der Fertigungsstraße, die in Betrieb gewesen ist, die Bildeingabequelle von der Kamera 22 zu der Hilfsspeichereinrichtung 25 durch Eingabe des Umschaltbefehls über das Schaltpult 23 für die Bedienungsperson umgeschaltet.
- Daraufhin veranlaßt die Bedienungsperson zuerst, daß die Menüs der Daten, welche aus der Hilfsspeichereinrichtung aufzurufen sind, auf dem Bildschirm des Schaltpults 23 angezeigt werden, und wählt eines der Menüs durch Betätigung von Tasten aus, um dadurch nacheinander nichterfaßtbare oder falsch erfaßte Bilddaten zum Einschreiben in den Einzelbildspeicher 16 aufzurufen. Für diese Bilddaten führt der Bildprozessor 17 nacheinander Vorverarbeitungen, wie für eine Graustufenschattierung, eine Bildvignettierung, eine Randhervorhebung usw., aus und führt dann das Bildverarbeitungsprogramm erneut aus. Durch Überwachen des Ergebnisses auf dem Bildschirm des Monitorgeräts 24 untersucht die Bedienungsperson die Ursache des Fehlers bei der Objekterfassung.
- Nachfolgend wird ein weiteres der Menüs auf dem Bildschirm des Schaltpults 23 ausgewählt, wodurch normal erfaßte Bilddaten eines optionalen Objekts nacheinander zum Einschreiben in den Einzelbildspeicher 16 aus der Hilfsspeichereinrichtung 25 aufgerufen werden. Für diese Bilddaten führt der Bildprozessor 17 das selbe Bildverarbeitungsprogramm wie zuvor beschrieben in richtiger Aufeinanderfolge aus. Es wird veranlaßt, daß das verarbeitete Bild auf dem Monitor TV 24 erscheint. Gleichzeitig wird ein Punkt (Merkmalsdaten) zum Bestimmen der Position des Objekts, das durch den optischen Sensor erkannt ist, auf dem Bildschirm des Monitorgeräts 24 angezeigt. Wenn der optische Sensor z. B. dazu benutzt wird, ein Loch in einem Erzeugnis zu erkennen, wird ein Kreuz, das dem Zentrum des Lochs entspricht, welches durch den optischen Sensor erkannt ist, in dem Bild des Objekts dargestellt, das auf dem Bildschirm des Monitorgeräts 24 angezeigt wird. Dann stellt die Bedienungsperson durch Überwachen des Bildes des Objekts auf dem Bildschirm des Monitorgeräts 24 fest, ob die Bildverarbeitung richtig ausgeführt worden ist oder nicht, und durch Überwachen der Beziehung zwischen dem Objekt und dem Kreuz, ob die Merkmalsdaten durch den üblichen Sensor korrekt eingeholt sind oder nicht, d. h. durch Überwachen, ob das Kreuz immer genau in dem Zentrum des Lochs positioniert ist oder nicht oder ob der Mittelpunkt der kleinen Schwankung des Kreuzes, falls eine solche vorliegt und falls die Schwankung in verschiedenen Richtungen erfolgt, mit the Zentrum des Lochs zusammenfällt oder nicht. Falls kein zufriedenstellendes Ergebnis erzielt ist, startet die Bedienungsperson eine Operation zum Modifizieren der Einlerndaten. Dann erstellt die Bedienungsperson (vorläufig) neue Einlerndaten mittels des Schaltpults 23. Daraufhin werden die Daten in den Datenspeicher 12 geladen. Nachfolgend überträgt die Bedienungsperson die Quell-Bilddaten erneut durch Tastenbetätigung an dem Schaltpult 23 von der Hilfsspeichereinrichtung 25 zu dem Einzelbildspeicher 16. Diese Bilddaten werden gemäß dem Bildverarbeitungsprogramm auf der Grundlage der modifizierten Einlerndaten verarbeitet, und es wird veranlaßt, daß das Ergebnis auf dem Monitor TV 24 erscheint. Dann prüft die Bedienungsperson, ob sich das Kreuz in dem Zentrum des Lochs in dem Objekt oder dem Bild auf dem Bildschirm des Monitorgeräts 24 befindet oder nicht, und wiederholt die Operation zum Modifizieren der Einlerndaten durch Ausprobieren ("trial and error"), bis ein zufriedenstellendes Ergebnis gewonnen ist.
- Auf diese Weise kann die Ursache des Erfassungsfehlers für die frühere Bildverarbeitung untersucht werden, und es kann danach außerdem sogar für die normal erfaßten Bilddaten geprüft werden, ob die erstellten Einlerndaten optimal sind oder nicht. In gleicher Weise kann unter Benutzung der gespeicherten erfaßten Daten und dgl. geprüft werden, ob die Korrekturdaten richtig berechnet sind oder nicht.
- In dem Ausführungsbeispiel, das zuvor beschrieben ist, werden alle der Bilder, die durch die Kamera 22 aufgenommen sind, in der Hilfsspeichereinrichtung 25 gespeichert. Alternativ dazu kann die Hilfsspeichereinrichtung 25 jedoch derart aufgebaut sein, daß sie alle derjenigen Bilder, deren Erfassung fehlgeschlagen ist, und einige der normal erfaßten Bilder in regelmäßigen Intervallen speichert.
Claims (7)
1. Bildverarbeitungsverfahren zum Prüfen von
Objekt-Bildern, die von einem optischen Sensor, der in einer
Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte
Erzeugnisse sind, die industriell bearbeitet werden, und
das Verfahren Schritte umfaßt zum
Laden eines Einzelbildspeichers (16) mit Bilddaten eines
Objekts, das durch eine Kamera (22) aufgenommen ist,
Verarbeiten der Bilddaten in Übereinstimmung mit einem
Verarbeitungsprogramm,
Auslesen der Bilddaten aus dem Einzelbildspeicher (16),
Anfügen von Identifizierungsdaten an die ausgelesenen
Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
Übertragen der sich ergebenden Daten zu einer
Hilfsspeichereinrichtung (25) und Speichern dieser Daten darin, um
in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu
speichern, und
nachfolgenden Übertragen nichterfaßbarer oder falsch
erfaßter Bilddaten, die in der Hilfsspeichereinrichtung (25)
gespeichert sind, von der Hilfsspeichereinrichtung (25) zu
dem Einzelbildspeicher (16) zur Prüfung der übertragenen
Bilddaten in Abhängigkeit von einer Auswahl eines Bildes,
die unter Bezugnahme auf relevante Identifizierungsdaten,
die an die Bilddaten angefügt sind, getroffen ist, wobei
das ausgewählte Bild auf einem Bildschirm angezeigt wird
und die entsprechenden Bilddaten Vorverarbeitungsprozessen
und dann einer Wiedergabeausführung durch ein geeignetes
Bild-Verarbeitungsprogramm unterzogen werden, das in
Abhängigkeit von den Identifizierungsdaten, welche dem Bild
zugeordnet sind, ausgewählt ist, wodurch das Bild eines
Objekts nachfolgend überprüft wird, um dieses Bild zu
untersuchen, um die Ursache des Scheiterns bei der
Objekterfassung zu ermitteln.
2. Bildverarbeitungsverfahren zum Prüfen von
Objekt-Bildern, die von einem optischen Sensor, der in einer
Arbeitsumgebung installiert ist, gewonnen sind, wobei die Objekte
Erzeugnisse sind, die industriell bearbeitet werden und das
Verfahren Schritte umfaßt zum
Laden ein Einzelbildspeichers (16) mit Bilddaten eines
Objekts, das durch eine Kamera (22) aufgenommen ist,
Verarbeiten der Bilddaten in Übereinstimmung mit einem
Verarbeitungsprogramm,
Auslesen der Bilddaten aus dem Einzelbildspeicher (16),
Anfügen von Identifizierungsdaten an die ausgelesenen
Daten in Übereinstimmung mit dem Verarbeitungsprogramm und
Übertragen der sich ergebenden Daten zu einer
Hilfsspeichereinrichtung (25) und Speichern dieser Daten darin, um
in dieser Bilddaten einer Vielzahl von Objekt-Bildern zu
speichern, und
nachfolgenden Nacheinanderübertragen normal erfaßter
Bilddaten, die in der Hilfsspeichereinrichtung (25)
gespeichert sind, von der Hilfsspeichereinrichtung (25) zu dem
Einzelbildspeicher (16) zur Prüfung der übertragenen
Bilddaten in Abhängigkeit von einer Auswahl eines Bildes, die
unter Bezugnahme auf relevante Identifizierungsdaten, die
an die Bilddaten angefügt sind, getroffen ist, wobei das
ausgewählte Bild auf einem Bildschirm angezeigt wird und
die entsprechenden Bilddaten einer Wiedergabeausführung
durch ein geeignetes Bild-Verarbeitungsprogramm unterzogen
werden, das in Abhängigkeit von den Identifizierungsdaten,
welche dem Bild zugeordnet sind, ausgewählt ist, wodurch
das Bild eines Objekts nachfolgend überprüft wird, um
dieses Bild durch Überwachen der positionsmäßigen Beziehung
zwischen dem Objekt und einem angezeigten Zeichen (z. B.
einem Kreuz), das mit einem bestimmten Punkt auf dem
angezeigten Objekt zusammenfallen sollte, zu untersuchen.
3. Bildverarbeitungsverfahren für einen industriellen
optischen Sensor nach Anspruch 1 oder 2, wobei die
Identifizierungsdaten zumindest eine Art solcher Daten, wie Daten
zum Spezifizieren der Bilddaten oder eines erfaßten Werts
für die Bilddaten, einen Programmnamen, Kalibrierungsdaten,
Korrekturdaten und dgl., enthalten.
4. Bildverarbeitungsverfahren für einen industriellen
optischen Sensor nach einem der vorhergehenden Ansprüche, bei
dem Identifizierungsdaten einer Kamera, die benutzt wird,
um das betreffende Bild aufzunehmen, an die
Identifizierungsdaten angefügt werden, wenn der optische Sensor eine
Vielzahl von Kameras enthält.
5. Bildverarbeitungsverfahren für einen industriellen
optischen Sensor nach einem der vorhergehenden Ansprüche, bei
dem Identifizierungsdaten, die bezeichnend für eine
erfolglose Verarbeitung, wie ein Scheitern bei der Erfassung,
falls ein solcher Fall vorliegt, an die
Identifizierungsdaten angefügt werden.
6. Bildverarbeitungsverfahren für einen industriellen
optischen Sensor nach einem der vorhergehenden Ansprüche,
wobei die Hilfsspeichereinrichtung (25) eine
Speichereinrichtung großer Kapazität, wie eine optische Platte, eine
photomagnetische Platte, eine Festplatte, ein sog.
Kassetten-Streamer oder ein DAT (Digital Audio Tape), ist.
7. Bildverarbeitungsverfahren für einen industriellen
optischen Sensor nach einem der vorhergehenden Ansprüche, bei
dem von solchen Bilddaten, die in dem Einzelbildspeicher
(16) gespeichert sind, alle diejenigen, welche eine
erfolglose Erfassung betreffen, zur Speicherung zu der
Hilfsspeichereinrichtung (25) übertragen werden, während die normal
erfaßten Bilddaten in einem vorbestimmten Prozeß reduziert
werden, bevor sie übertragen und gespeichert werden.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3191291A JP2921718B2 (ja) | 1991-07-05 | 1991-07-05 | 産業用視覚センサにおける画像処理方法 |
PCT/JP1992/000853 WO1993001558A1 (en) | 1991-07-05 | 1992-07-06 | Image processing method for industrial visual sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69228659D1 DE69228659D1 (de) | 1999-04-22 |
DE69228659T2 true DE69228659T2 (de) | 1999-07-22 |
Family
ID=16272126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69228659T Expired - Lifetime DE69228659T2 (de) | 1991-07-05 | 1992-07-06 | Bildverarbeitungsverfahren für industriellen optischen sensor |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP0547245B1 (de) |
JP (1) | JP2921718B2 (de) |
DE (1) | DE69228659T2 (de) |
WO (1) | WO1993001558A1 (de) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0891543A (ja) * | 1994-09-28 | 1996-04-09 | Omron Corp | 画像処理方法およびその装置 |
JP3876275B2 (ja) * | 2002-12-27 | 2007-01-31 | 博 有澤 | 多視点ビデオキャプチャシステム |
FI123049B (fi) * | 2007-09-03 | 2012-10-15 | Mapvision Ltd Oy | Tallentava konenäköjärjestelmä |
JP6962858B2 (ja) | 2018-04-27 | 2021-11-05 | ファナック株式会社 | 画像管理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5672771A (en) * | 1979-11-19 | 1981-06-17 | Toshiba Corp | Picture information storage system |
JPS58115700A (ja) * | 1981-12-28 | 1983-07-09 | Toyota Motor Corp | 画像処理装置の自己診断方法 |
JPS60204183A (ja) * | 1984-03-28 | 1985-10-15 | Olympus Optical Co Ltd | 医療用画像情報記録再生装置 |
-
1991
- 1991-07-05 JP JP3191291A patent/JP2921718B2/ja not_active Expired - Fee Related
-
1992
- 1992-07-06 DE DE69228659T patent/DE69228659T2/de not_active Expired - Lifetime
- 1992-07-06 EP EP92914391A patent/EP0547245B1/de not_active Expired - Lifetime
- 1992-07-06 WO PCT/JP1992/000853 patent/WO1993001558A1/ja active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP0547245A1 (de) | 1993-06-23 |
EP0547245B1 (de) | 1999-03-17 |
DE69228659D1 (de) | 1999-04-22 |
EP0547245A4 (de) | 1994-10-12 |
JPH0512409A (ja) | 1993-01-22 |
JP2921718B2 (ja) | 1999-07-19 |
WO1993001558A1 (en) | 1993-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018200155B4 (de) | Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor | |
DE69417075T2 (de) | Bilddatenaufzeichnung | |
DE3013833C2 (de) | Vorrichtung zur Prüfung eines auf einem Gegenstand befindlichen Musters auf Fehler | |
DE102018128158A1 (de) | Vorrichtung zur inspektion des erscheinungsbilds | |
DE69114881T2 (de) | Analysevorrichtung zur Rettung von Halbleiterspeicherfehlern. | |
DE69124817T2 (de) | Verfahren und Gerät zur Aufzeichnung von Daten | |
DE3248928C2 (de) | ||
DE69322010T2 (de) | Verfahren und Steuergerät für Selbstdiagnose | |
DE69326175T2 (de) | Daten-Reprogrammierungsverfahren in einem EEPROM und in einer EEPROM-Karte | |
DE19839680B4 (de) | Verfahren und Vorrichtung zur Veränderung des Speicherinhalts von Steuergeräten | |
DE3501592A1 (de) | Verfahren und vorrichtung zur wiederherstellung des normalzustands im bewegungsablauf einer maschine | |
EP2463101A1 (de) | System und Verfahren zur Erzeugung und Inspektion von Drucken mit statischen und variablen Inhalten | |
DE4133590A1 (de) | Verfahren zur klassifikation von signalen | |
DE69228659T2 (de) | Bildverarbeitungsverfahren für industriellen optischen sensor | |
EP0436818B1 (de) | Diagnosesystem für eine digitale Steuereinrichtung | |
DE112016007054B4 (de) | Anzeigevorrichtung und Anzeigesteuerverfahren | |
DE68922045T2 (de) | Informationsaufzeichnungsmedium und dasselbe verwendendes Aufzeichnungs/-Wiedergabegerät. | |
DE2723706A1 (de) | Einrichtung zum adressenvergleich | |
DE102019216321A1 (de) | Bildverarbeitungsvorrichtung | |
US6356671B1 (en) | Image processing method for an industrial visual sensor | |
DE112021003600T5 (de) | Zustandsüberwachungsvorrichtung und Zustandsüberwachungsverfahren für Industriemaschinen | |
DE3318765C2 (de) | ||
DE4018969C2 (de) | ||
DE102015209033A1 (de) | Verfahren und Vorrichtung zum Liefern einer Prüfantwort | |
DE69929397T2 (de) | Informationsaufzeichnungsverfahren und -gerät |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) |