-
Allgemeiner Stand der Technik
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zur Berechnung der Bildwahrscheinlichkeit eines aus einem Eingangsbild erfassten Zielobjekts.
-
2. Beschreibung des Stands der Technik
-
Bisher wird zum Beispiel bei der Erfassung eines Bilds eines bestimmten Zielobjekts aus einem Bild in dem Sichtfeld einer Bildaufnahmevorrichtung unter Verwendung einer Bildverarbeitungsvorrichtung ein Feature-Matching zwischen Standardinformationen, die das Zielobjekt ausdrücken, (als Modellmuster oder Vorlage oder dergleichen bezeichnet) und dem durch die Bildaufnahmevorrichtung erlangten Eingangsbild vorgenommen. Im Allgemeinen wird bestimmt, dass die Erfassung des Zielobjekts erfolgreich ist, wenn zum Beispiel der Übereinstimmungsgrad zwischen dem Modellmuster und dem Bild des Zielobjekts ein bestimmtes Ausmaß (einen bestimmten Schwellenwert) überschritten hat.
-
Wenn nun der verwendete Schwellenwert für den Übereinstimmungsgrad zu niedrig ist, werden als Zielobjekt ungeeignete Objekte erfasst (Fehlerfassung), und wenn andererseits der Schwellenwert für den Übereinstimmungsgrad zu hoch ist, werden Objekte, deren Erfassung als Zielobjekt erwünscht ist, nicht erfasst (Nichterfassung). Daher wird die Einstellung der Erfassungsparameter, die den Schwellenwert für den Übereinstimmungsgrad enthalten, zum Beispiel durch einen Betreiber unter mehrmaliger Wiederholung der Erfassung durch Ausprobieren vorgenommen.
-
Doch bisher offenbart zum Beispiel die Patentoffenlegungsschrift
JP 2016 -
57 918 A eine Bildverarbeitungsvorrichtung, die unter Verwendung mehrerer Lernbilder und mehrerer Lehrdaten eine Bereichsaufteilung erlernt, auf Basis des erlernten Ergebnisses eine Bereichsaufteilung vornimmt, Bereiche, die als Ergebnis der Vornahme der Bereichsaufteilung richtig aufgeteilt werden konnten, und Bereiche, die nicht richtig aufgeteilt werden konnten, kombiniert und ein neues Lernbild erzeugt und unter Verwendung dieses Bilds erneut eine Bereichsaufteilung erlernt.
-
Außerdem offenbart bisher zum Beispiel die Patentoffenlegungsschrift
JP 2010 -
191 772 A eine Lernvorrichtung, die das Lernen so vornimmt, dass sie ein positives Bild, in dem ein Objekt abgebildet ist, und ein negatives Bild, in dem es nicht abgebildet ist, zu einem Erzeugungsbild ausführt, aus dem Erzeugungsbild Merkmalspunkte extrahiert, das Erzeugungsbild einer Filterverarbeitung durch mehrere Filter unterzieht und ein mehrfach gefiltertes Bild erlangt, aus dem gefilterten Bild eine statistische Größe eines Pixelwerts für jeden von mehreren kleinen Bereichen in der Umgebung des Merkmalspunkts ermittelt, und die ermittelten statistischen Größen als Merkmalsgrößen der Merkmalspunkte ansetzt und das Identifikationsobjekt richtig identifizieren kann.
-
Ferner wird bisher zum Beispiel in der Patentoffenlegungsschrift
JP 2016 -
62 524 A ein Datenverarbeitungssystem offenbart, das ein Eingangsbild in mehrere Bereiche aufteilt, jedem der aufgeteilten Bereiche ein Lehrlabel anfügt, auf Basis von Bildern, in denen das Bild in dem Bereich ausgeschnitten wurde, und der Lehrlabels ein Lernen vornimmt, und auf Basis des erlernten Modells Bereiche, die das Zielobjekt enthalten, aus dem Bild erfasst.
-
Ferner wird bisher zum Beispiel in der Patentschrift Nr.
JP 5234833 B2 eine Gesichtsausdruckserkennungsvorrichtung offenbart, die aus Bilddaten Bereiche extrahiert, in denen das Gesicht eines Menschen mit einem Gesichtsausdruck, der einem bestimmten Schlüsselbegriff entspricht, abgebildet ist, und durch Eingeben der aus diesen Bereichen erlangten Merkmalsgrößen in eine Lernvorrichtung ein Lernen vornimmt und dadurch einen Unterscheider bildet, der Gesichtsausdrücke eines Menschen unterscheiden kann.
-
Außerdem wird bisher zum Bespiel in der Internationalen Veröffentlichung
WO 2014/084218 A1 eine Zielobjekterkennungsvorrichtung offenbart, die ein Eingangsbild in mehrere Bereiche aufteilt, eine Maske anwendet, wenn in aufgeteilten Subbildern kein Teil eines Zielobjekts abgebildet ist, aus den anderen Bereichen als jenen, in denen die Maske angewendet wurde, Merkmale extrahiert und in eine Lernvorrichtung eingibt und dadurch ein Lernen vornimmt und durch einen durch das Lernen ermöglichten Unterscheider unterscheidet, ob das Zielobjekt in bestimmten Bereichen in dem Bild abgebildet ist.
-
Wie oben erwähnt wird zum Beispiel die Einstellung der Erfassungsparameter, die den Schwellenwert für den Übereinstimmungsgrad zwischen einem Modellmuster und dem Bild eines Zielobjekts enthalten, zum Beispiel durch einen Betreiber unter mehrmaliger Wiederholung der Erfassung durch Ausprobieren vorgenommen. Dabei hängt die Definition des Übereinstimmungsgrads von dem Erfassungsalgorithmus ab; mit anderen Worten werden für den Übereinstimmungsgrad nur Merkmale der verwendeten Bilder bei einem bestimmten Erfassungsalgorithmus verwendet. Wenn zum Beispiel wie bei der generalisierten Hough-Transformation ein Algorithmus angewendet wird, der ein Zielobjekt als Merkmale von Kantenpunkten in einem Bild erfasst, wird der Übereinstimmungsgrad auf Basis des Übereinstimmungszustands der Kantenpunkte berechnet; doch auch wenn die Kantenpunkte übereinstimmen, kommt es vor, dass Stellen erfasst werden, die bei Betrachtung durch einen Menschen offensichtlich falsch sind.
-
Das heißt, es ist zum Beispiel mühsam, die Erfassungsparameter so einzustellen, dass nur von dem Betreiber beabsichtigte Objekte erfasst werden. Außerdem kommt es vor, dass durch den innerhalb des Erfassungsalgorithmus berechneten Überstimmungsgrad nicht dafür gesorgt werden kann, dass nur von dem Betreiber beabsichtigte Objekte erfasst werden. In einem solchen Fall ist denkbar, auf Basis des Erfassungsergebnisses des Erfassungsalgorithmus erneut eine Wahrscheinlichkeit (die Wahrscheinlichkeit, dass das Bild des Zielobjekts richtig ist, oder den Grad, der die Sicherheit des Bilds des Zielobjekts zeigt, die Plausibilität des Erfolgs bei der Erfassung) zu berechnen und unter Verwendung dieser Wahrscheinlichkeit zu bestimmen, ob eine Erfassung erfolgt ist oder nicht. Beispielsweise gibt es auch Fälle, in denen es günstiger ist, die Wahrscheinlichkeit zu berechnen, während den Merkmalen bestimmter Stellen ein hohes Gewicht gegeben wird und anderen Stellen ein geringes Gewicht gegeben wird. Ferner sind auch Fälle möglich, in denen es günstiger ist, die Wahrscheinlichkeit unter Verwendung anderer Merkmale als der in dem Erfassungsalgorithmus verwendeten Merkmale zu berechnen (zu ermitteln).
-
Auch der Artikel „Improving part based object detection by unsupervised, online boosting“ von Bo Wu und Ram Nevatia, erschienen in 2007 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2007, beschäftigt sich mit der bildbasierten Erkennung von Objekten. Dabei wird ein unüberwachtes Online-Lernverfahren vorgeschlagen, welches ein Orakel zum automatischen Segmentieren und Labeln von Objekten, sowie einen Online-Lernalgorithmus aufweist, der einen bestehenden Klassifikator basierend auf einzelnen Samples unter Verwendung der Ergebnisse des Orakels modifiziert.
-
Die
US 2016/0026900 A1 zeigt eine Bildverarbeitungsvorrichtung, die das Folgende aufweist: eine Eingangsempfangseinheit, die ein Lernbild und ein Label für eine richtige Antwort empfängt, eine Verarbeitungseinheit, die Klassifikatordaten und ein Verarbeitungszielbild erzeugt, und eine Speichereinheit. Dabei führt die Verarbeitungseinheit die folgenden Schritte aus: Erzeugen des Verarbeitungszielbilds, das die Gesamtheit oder ein Teil des Lernbildes ist; Berrechnen einer Merkmalsmenge des Verarbeitungszielbildes; Erzeugen der Klassifikatordaten auf der Grundlage von Trainingsdaten, die eine Menge aus der Merkmalsmenge und dem Label für die richtige Antwort sind, das dem Lernbild zugewiesen ist, das der Merkmalsmenge entspricht; Erzeugen einer Bildgruppe auf der Grundlage des Lernbildes oder des Verarbeitungszielbildes; Klassifizieren jedes Bildes der Bildgruppe unter Verwendung der Klassifikatordaten, um eine Klassifizierungsbewertung jedes Bildes zu berechnen; und Neuerstellen des Verarbeitungszielbildes auf der Grundlage der Klassifizierungsbewertung und der Bildgruppe.
-
Die vorliegende Erfindung hat die Aufgabe, ausgehend von der
US 2016/0026900 A1 eine verbesserte Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, wodurch die Bildwahrscheinlichkeit eines Zielobjekts passend berechnet wird und das Zielobjekt richtig erfasst werden kann.
-
Kurzdarstellung der Erfindung
-
Die Lösung der Aufgabe erfolgt durch eine Bildverarbeitungsvorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Bildverarbeitungsverfahren mit den Merkmalen des Anspruchs 11. Vorteilhafte Weiterbildungen sind in den jeweiligen Unteransprüchen angegeben.
-
Einfache Erklärung der Zeichnungen
-
Die vorliegende Erfindung wird durch Bezugnahme auf die folgenden beiliegenden Zeichnungen noch klarer verstanden werden.
- 1 ist eine Ansicht, die ein Beispiel für ein Werkzeugmaschinensystem, das eine Steuervorrichtung für einen optischen Sensor umfasst, in der eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung angewendet wird, schematisch zeigt;
- 2 ist eine Ansicht, die ein Beispiel für ein Robotersystem, das eine Steuervorrichtung für einen optischen Sensor umfasst, in der eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung angewendet wird, schematisch zeigt;
- 3 ist ein Blockdiagramm, das die vorliegende Ausführungsform der Bildverarbeitungsvorrichtung zeigt;
- 4 ist eine Ansicht, die ein Beispiel für eine maschinelle Lerneinrichtung, die in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform ausgebildet ist, schematisch zeigt;
- 5 ist ein Blockdiagramm, das ein Beispiel für die in 4 gezeigte maschinelle Lerneinrichtung zeigt;
- 6 ist ein Ablaufdiagramm, das ein Beispiel für die Modellmuster-Erstellungsverarbeitung durch die Bildverarbeitungsvorrichtung nach der vorliegenden Ausführungsform zeigt;
- 7 ist eine Ansicht, die ein Beispiel für den Modellmuster-Bestimmungsbereich in einem aufgenommenen Bild zeigt;
- 8 ist ein Ablaufdiagramm, das ein Beispiel für die Lernverarbeitung durch die Bildverarbeitungsvorrichtung nach der vorliegenden Ausführungsform zeigt;
- 9 ist eine Ansicht zur Erklärung der Labelbestimmungsverarbeitung in dem in 8 gezeigten Ablaufdiagramm;
- 10 ist ein Ablaufdiagramm zur Erklärung eines Beispiels für die Lernverarbeitung in dem in 8 gezeigten Ablaufdiagramm;
- 11 ist eine Ansicht zur Erklärung eines Beispiels für die Teilbildausschneideverarbeitung in dem in 10 gezeigten Ablaufdiagramm;
- 12 ist eine Ansicht zur Erklärung einer Abwandlung der Verarbeitung in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform; und
- 13A und 13B sind Ansichten zur Erklärung von weiteren Abwandlungen der Verarbeitung in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform.
-
Ausführliche Erklärung
-
Nachstehend erfolgt unter Bezugnahme auf die beiliegenden Zeichnungen eine ausführliche Besprechung einer Ausführungsform der Bildverarbeitungsvorrichtung und des Bildverarbeitungsverfahrens nach der vorliegenden Erfindung. 1 ist eine Ansicht, die ein Beispiel für ein Werkzeugmaschinensystem 100A, das eine Steuervorrichtung für einen optischen Sensor umfasst, in der eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung angewendet wird, schematisch zeigt, und 2 ist eine Ansicht, die ein Beispiel für ein Robotersystem 100B, das eine Steuervorrichtung für einen optischen Sensor umfasst, in der eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung angewendet wird, schematisch zeigt.
-
In 1 zeigt das Bezugszeichen 101 ein Zielobjekt, 102 einen Werktisch, 110 einen optischen Sensor, 120 eine Steuervorrichtung für den optischen Sensor, und 121 eine Bildverarbeitungsvorrichtung. Bei dem Zielobjekt (ein Werkstück) 101 kann es sich um Objekte mit verschiedenen Formen aus verschiedenen Materialien wie Metall, Holz, Stein, Harz oder dergleichen handeln. Die Werkzeugmaschine (die Werkzeugmaschine selbst ist nicht dargestellt) ist eine Vorrichtung, um an diesen Zielobjekten 101 eine Bearbeitung wie Schneiden, Bohren, Schleifen, Polieren, Walzen, Schmieden, Biegen oder dergleichen vorzunehmen, und sie kann eine Drehbank, eine Bohrbank, eine Bohrmaschine, eine Fräsmaschine, eine Zahnradfräsmaschine, eine Schleifmaschine oder dergleichen sein. Es muss nicht betont werden, das sie auch CNC-Werkzeugmaschinen (computerisierte numerisch gesteuerte Werkzeugmaschinen) umfasst.
-
Wie in 1 gezeigt umfasst die Steuervorrichtung 120 für den optischen Sensor eine Bildverarbeitungsvorrichtung 121, und erhält sie zum Beispiel Eingangsbilddaten (ein Eingangsbild) von dem optischen Sensor 110, der an einer Stelle, an der er das auf dem Werktisch 102 angeordnete Zielobjekt 101 aufnehmen kann, fixiert eingerichtet ist. Dann nimmt die Werkzeugmaschine auf Basis des Ausgangs von der Steuervorrichtung 120 für den optischen Sensor sowie eines eingegebenen bestimmten Programms eine bestimmte Verarbeitung an dem Zielobjekt 101 vor.
-
Der optische Sensor 110 kann eine elektronische Kamera sein, die ein Aufnahmeelement wie eine CCD (ladungsgekoppelte Vorrichtung) oder dergleichen aufweist, das ein Graustufenbild oder ein Farbbild aufnimmt, doch kann er zum Beispiel auch eine Stereokamera oder ein 3D-Sensor sein, die bzw. der ein Distanzbild oder eine dreidimensionale Punktgruppe erlangen kann. Die dreidimensionale Punktgruppe kann eine Punktgruppe auf der Konturlinie des Zielobjekts 101 sein, aber auch eine Punktgruppe auf der Fläche des Zielobjekts 101 sein.
-
In 2 bezeichnet das Bezugszeichen 111 einen Roboter, 112 eine Hand und 113 eine Robotersteuervorrichtung. Wie in 2 gezeigt umfasst die Steuervorrichtung 120 für den optischen Sensor die Bildverarbeitungsvorrichtung 121, und erhält sie zum Beispiel Eingangsbilddaten (ein Eingangsbild) einer Aufnahme des auf dem Werktisch 102 angeordneten Zielobjekts 101 durch den an einer bestimmten Stelle an der Fingerspitze des Roboters 111 angebrachten optischen Sensor 110. Dann steuert die Robotersteuervorrichtung 113 den Roboter 111 und die Hand 112 und dergleichen auf Basis des Ausgangs von der Steuervorrichtung 120 für den optischen Sensor und eines eingegebenen bestimmten Programms und wird eine bestimmte Handlung an dem Zielobjekt 101 vorgenommen.
-
3 ist ein Blockdiagramm, das die vorliegende Ausführungsform der Bildverarbeitungsvorrichtung zeigt. Wie in 3 gezeigt weist die Bildverarbeitungsvorrichtung 121 eine Bildverarbeitungseinheit 122, die eine maschinelle Lerneinrichtung 2 umfasst, eine Modellmusterspeichereinheit 126 und eine Erfassungsergebnisspeichereinheit 127 auf. An die Bildverarbeitungsvorrichtung 121 sind der optische Sensor 110, ein Steuerpult 131 und eine Anzeigevorrichtung 132 und dergleichen angeschlossen. Die Bildverarbeitungseinheit 122 umfasst neben der maschinellen Lerneinrichtung 2 eine Zielobjekterfassungseinheit 123, eine Entsprechungspunktwahleinheit 124 und eine Modellmusterkorrektureinheit 125. Die Zielobjekterfassungseinheit 123 verwendet das erlernte Modellmuster und erfasst das Zielobjekt aus den Eingangsdaten (dem Eingangsbild), und die Entsprechungspunktwahleinheit 124 beurteilt und wählt zum Beispiel, ob ein extrahierter Merkmalspunkt als diesem Merkmalspunkt entsprechender Entsprechungspunkt gültig ist oder nicht. Die Modellmusterkorrektureinheit 125 nimmt zum Beispiel eine Korrekturverarbeitung des Modellmusters vor.
-
Die Modellmusterspeichereinheit 126 speichert zum Beispiel ein erlerntes Modellmuster. Die Erfassungsergebnisspeichereinheit 127 speichert das Erfassungsergebnis des unter Verwendung des erlernten Modellmusters aus den Eingangsdaten (dem Eingangsbild) erfassten Zielobjekts. Die einzelnen in der Bildverarbeitungsvorrichtung 121 enthaltenen Einheiten werden durch Software an einem Computer, der eine MPU (Mikroverarbeitungseinheit), einen ROM (Nurlesespeicher) und einen RAM (Direktzugriffsspeicher) umfasst, ausgeführt. Die maschinelle Lerneinrichtung 2 wird später unter Bezugnahme auf Zeichnungen ausführlich beschrieben.
-
Der optische Sensor 110 ist über ein Kommunikationskabel an die Bildverarbeitungsvorrichtung 121 angeschlossen und gibt zum Beispiel aufgenommene Bilddaten an die Bildverarbeitungsvorrichtung 121 aus. Das Steuerpult 131 ist über ein Kommunikationskabel an die Bildverarbeitungsvorrichtung 121 angeschlossen und wird zum Beispiel für Einstellungen und dergleichen zur Erfassung des Zielobjekts 101 durch die Bildverarbeitungsvorrichtung 121 verwendet. Die Anzeigevorrichtung 132 ist durch ein Kommunikationskabel an die Bildverarbeitungsvorrichtung 121 angeschlossen und zeigt zum Beispiel das durch den optischen Sensor 110 aufgenommene Bild oder die mittels des Steuerpults 131 eingestellten Einstellinhalte an.
-
Es muss nicht betont werden, dass der optische Sensor 110, das Steuerpult 131 und die Anzeigevorrichtung 132 auch einstückig mit der Bildverarbeitungsvorrichtung 121 ausgeführt sein können und verschiedene Abwandlungen und Änderungen möglich sind. Die maschinelle Lerneinheit 2 (die Bildverarbeitungsvorrichtung 121) kann zum Beispiel auch in die Robotersteuervorrichtung 113 des Robotersystems 100B von 2 aufgenommen sein, doch können die Steuervorrichtung 120 für den optischen Sensor und die Robotersteuervorrichtung 113 auch als gesonderte unabhängige Vorrichtungen ausgebildet werden.
-
4 ist eine Ansicht, die ein Beispiel für die maschinelle Lerneinrichtung, die in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform ausgebildet ist, schematisch zeigt. Wie in 4 gezeigt umfasst die maschinelle Lerneinrichtung 2 eine Zustandsbeobachtungseinheit 21, eine Lerneinheit 22, eine Ausgangsverwendungseinheit 23 und eine Labelerlangungseinheit 24. Die Zustandsbeobachtungseinheit 21 erhält zum Beispiel die Erfassungsposition, die Lage, die Größe und ein Bild der erfassten Stelle als Eingangsdaten von der Umgebung 1, und die Labelerlangungseinheit 24 erhält zum Beispiel den Erfolg oder Misserfolg der Erfassung. Die Ausgangsverwendungseinheit 23 berechnet (ermittelt) zum Beispiel die Wahrscheinlichkeit (die Wahrscheinlichkeit, dass das Bild des Zielobjekts richtig ist, oder den Grad, der die Sicherheit des Bilds des Zielobjekts zeigt, die Plausibilität des Erfolgs bei der Erfassung). Die Ausgangsverwendungseinheit 23 kann neben der Berechnung der Wahrscheinlichkeit mit verschiedenen anderen Funktionen, bei denen der Ausgang der maschinellen Lerneinheit 22 verwendet wird, versehen werden.
-
Das heißt, die Labelerlangungseinheit 24 erlangt ein Label (Lehrdaten), verwendet zum Beispiel das Eingangsbild (die Bilddaten), und erhält für jedes von wenigstens einem aus dem Eingangsbild ausgeschnittenen Teilbild eine Kombination mit einem Lehrlabel (OK/NG, Erfolg/Misserfolg, ganzzahliger Wert, reeller Wert). Als Bereich für das Ausschneiden des Teilbilds ist zum Beispiel der Bereich, der das Modellmuster umgibt, möglich, doch kann auch ein vorab relativ in Bezug auf das Modellmuster festgelegter Bereich angewendet werden. Die Lerneinheit 22 erhält das Teilbild, wofür das Bild in dem Bereich ausgeschnitten wurde, und das Lehrlabel, nimmt ein maschinelles Lernen (maschinelles Lernen: überwachtes Lernen) vor, erstellt ein Lernmodell, und berechnet unter Verwendung dieses Lernmodells die Bildwahrscheinlichkeit des Zielobjekts 101 aus dem Teilbild.
-
Hier nimmt die Lerneinheit ein „überwachtes Lernen“ vor und erstellt auf Basis von durch die Zustandsbeobachtungseinheit 21 beobachteten Zustandsvariablen (Erfassungsposition, Lage, Größe und Teilbild der erfassten Stelle) sowie durch die Labelerlangungseinheit 24 erlangter Label (Erfolg/Misserfolg der Erfassung: OK/NG) ein Lernmodell. In 4 wird als Umgebung 1 beispielhaft die an dem Werkzeugmaschinensystem 100A ausgebildete Bildverarbeitungsvorrichtung 121 (die Steuervorrichtung 120 für den optischen Sensor) erklärt, doch besteht selbstverständlich keine Beschränkung darauf.
-
5 ist ein Blockdiagramm, das ein Beispiel für die in 4 gezeigte maschinelle Lerneinrichtung zeigt, wobei die Lerneinheit 22 durch eine Fehlerberechnungseinheit 221 und eine Lernmodellaktualisierungseinheit 222 gebildet ist. Wie in 5 gezeigt umfasst die Lerneinheit 22 die Fehlerberechnungseinheit 221, die den Ausgang der Zustandsbeobachtungseinheit 21 (Zustandsvariable) und Label (Lehrdaten) erhält und einen Fehler berechnet, und die Lernmodellaktualisierungseinheit 222, die den Ausgang der Zustandsbeobachtungseinheit und den Ausgang der Fehlerberechnungseinheit 221 erhält und das Lernmodell aktualisiert. Die maschinelle Lerneinrichtung 2 (die Lerneinheit 22) ist nicht auf die Vornahme des überwachten Lernens beschränkt, sondern kann auch ein Lernen, das nur mit „Erfolg“ (OK) versehene Kombinationen verwendet, vornehmen und für die Teilbilder, die für dieses Lernen verwendet wurden, als Wahrscheinlichkeit ausgeben, in welchem Ausmaß sie sich unterscheiden, oder für alle Erfassungen OK ansetzen und das Lernen (unüberwachtes Lernen) darauf basierend vornehmen. Das heißt, es wird möglich, dass die maschinelle Lerneinrichtung 2 durch enges (strenges) Fassen der bei dem Erfassungsalgorithmus verwendeten Parameter nur die ungefähr als OK angesehenen Bilddaten verwendet und ein unüberwachtes Lernen vornimmt.
-
Die in die Fehlerberechnungseinheit 221 eingegebenen Label entsprechen dem Ausgang der Labelerlangungseinheit 24 in 4. Die Wahrscheinlichkeitsberechnungseinheit 25 entspricht zum Beispiel der Ausgangsverwendungseinheit 23 in der oben besprochenen 4 und berechnet (ermittelt) auf Basis des Ausgangs der Lerneinheit 22 (der Lernmodellaktualisierungseinheit 222) die Wahrscheinlichkeit (die Wahrscheinlichkeit, dass das Bild des Zielobjekts richtig ist, oder den Grad, der die Sicherheit des Bilds des Zielobjekts zeigt, die Plausibilität des Erfolgs bei der Erfassung) und gibt diese aus. Auf diese Weise kann durch die Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform die Bildwahrscheinlichkeit des Zielobjekts passend berechnet werden und das Zielobjekt richtig erfasst werden.
-
Die maschinelle Lerneinrichtung 2 kann auch einen Allzweck-Rechner oder Prozessor verwenden, doch wenn zum Beispiel eine GPGPU (Allzweck-Berechnung auf Grafikprozessoreinheiten) oder ein großformatiger PC-Cluster oder dergleichen verwendet wird, wird eine schnellere Verarbeitung möglich. Außerdem kann die maschinelle Lerneinrichtung 2 mit wenigstens einer anderen maschinellen Lerneinrichtung verbunden werden und ist ein wechselseitiger Austausch oder eine gemeinsame Nutzung des durch die Lerneinheit 22 der maschinellen Lerneinrichtung 2 erstellten Lernmodells mit der wenigstens einen anderen maschinellen Lerneinrichtung möglich. Es muss nicht betont werden, dass die maschinelle Lerneinrichtung 2 (die Lerneinheit 22) zum Beispiel ein durch die oben genannte GPGPU oder dergleichen gebildetes neuronales Netzwerk enthalten kann.
-
Um eine Fehlerfassung eines Hintergrundbilds als Bild (Iw) des Zielobjekts 101 zu vermeiden, können zum Beispiel zufällig aus dem Hintergrundbild erlangte Stellen als Nichterfassungs-Lehrdaten hinzugefügt werden. Bei der Lernberechnung und der Berechnung der Wahrscheinlichkeit nach dem Lernen kann ein durch Skalieren oder Scherverformen gemäß der Größe des Erfassungsergebnisses geändertes Bild als Bild des vorab für die Erfassungsposition und Lage festgelegten Bereichs eingesetzt werden. Konkret wird es möglich, das Lernen rasch voranzutreiben, wenn zum Beispiel bei einer Erfassung des Zielobjekts mit dem Doppelten des gelehrten Modellmusters das Bild des bestimmten Bereichs auf das Doppelte vergrößert verwendet wird.
-
Außerdem kann das Lernen durch Verwenden eines Merkmals (zum Beispiel einer Kante), das durch das gleiche Verfahren wie das bei dem Erfassungsalgorithmus verwendete Merkmalsextraktionsverfahren extrahiert wurde, oder eines Merkmals (zum Beispiel der Helligkeit oder des Helligkeitsgradienten), das durch ein anderes Verfahren als das bei dem Erfassungsalgorithmus verwendete Merkmalsextraktionsverfahren extrahiert wurde, aus dem Bild des Bereichs, der vorab für die Erfassungsstelle und die Lage festgelegt wurde, rascher als bei Verwendung des Bilds, so wie es ist, vorangetrieben werden.
-
Ferner wird das Lernen stufenweise vorgenommen und werden die Lehrdaten bei der ersten Stufe unter weitem Fassen der Erfassungsparameter (mit einem großen Fehlerbereich) erstellt und die Erfassungsparameter im Verlauf des Lernens allmählich verengt (der Fehlerbereich verkleinert). Dann wird die Wahrscheinlichkeit nach dem ersten Lernen durch das neu erlernte Berechnungsverfahren berechnet und das Ergebnis verwendet. Dadurch kann das Lernen vorangetrieben werden, ohne dass zu viele Fehlerfassungen auftreten.
-
Durch die Wahrscheinlichkeit, die durch das erlernte Berechnungsverfahren berechnet wurde, kann dann der Schwellenwert für die Bestimmung der Erfassung oder der Nichterfassung automatisch festgelegt werden. Die Wahrscheinlichkeit kann eine skalare Größe sein oder eine Vektorgröße sein. Oder die maschinelle Lerneinrichtung 2 kann nicht die Wahrscheinlichkeit ausgeben, sondern zum Beispiel in der maschinellen Lerneinrichtung 2 den Erfolg oder Misserfolg (OK/NG) der Erfassung bestimmen und direkt ein Label ausgeben. Nachstehend wird die Verarbeitung durch die Bildverarbeitungsvorrichtung nach der vorliegenden Ausführungsform ausführlich besprochen.
-
6 ist ein Ablaufdiagramm, das ein Beispiel für die Modellmuster-Erstellungsverarbeitung durch die Bildverarbeitungsvorrichtung nach der vorliegenden Ausführungsform zeigt, und 7 ist eine Ansicht, die ein Beispiel für den Modellmuster-Bestimmungsbereich in einem aufgenommenen Bild zeigt. Wie in 6 gezeigt wird bei Beginn der Modellmuster-Erstellungsverarbeitung in Schritt ST11 ein Zielobjekt 101 auf dem Werkstisch 102, das als Modellmuster erlernt werden soll, durch den optischen Sensor (die Kamera) 110 aufgenommen, und zu Schritt ST12 übergegangen. Vorzugsweise wird so vorgegangen, dass die Positionsbeziehung zwischen dem optischen Sensor 110 und dem Zielobjekt 101 jener bei der Erfassung eines Zielobjekts 101 bei der tatsächlichen Tätigkeit oder dergleichen gleich wird.
-
In Schritt ST12 wird wie in 7 gezeigt der Bereich Ia in dem aufgenommenen Bild, in dem das Bild Iw des Zielobjekts 101 abgebildet ist, durch ein Rechteck als Mustermodellbestimmungsbereich bestimmt. Es muss nicht betont werden, dass die Verarbeitung zur Bestimmung des Mustermodellbereichs Ia in Schritt ST12 nicht auf einen wie in 7 gezeigten Rechteckbereich beschränkt ist, sondern auch ein kreisförmiger oder elliptischer Bereich möglich ist. Das heißt, in 7 wird in dem aufgenommenen Bild ein Bildkoordinatensystem definiert und der rechteckige Modellmusterbestimmungsbereich Ia so festgelegt, dass er das Bild des Zielobjekts 101 in diesem Bildkoordinatensystem enthält. Die Verarbeitung zur Bestimmung des Modellmusterbestimmungsbereichs Ia kann zum Beispiel mittels Eingaben durch den Betreiber (Verwender) an dem Steuerpult 131, während er das Bild durch die Anzeigevorrichtung 132 betrachtet, vorgenommen werden, doch kann zum Beispiel auch die Bildverarbeitungseinheit 122 Stellen mit einem großen Helligkeitsgradienten in dem Bild als Kontur des Bilds Iw des Zielobjekts 101 ermitteln und den Modellmusterbestimmungsbereich Ia automatisch so bestimmen, dass dieses Bild Iw darin enthalten ist.
-
Dann wird zu Schritt ST13 übergegangen und werden zum Beispiel Kantenpunkte in dem Bereich des Modellmusterbestimmungsbereichs Ia als Merkmalspunkte extrahiert und physikalische Größen wie die Position, die Lage (die Richtung des Helligkeitsgradienten) und die Größe des Helligkeitsgradienten usw. ermittelt. Es ist zum Beispiel auch möglich, in dem bestimmten Bereich ein Modellmusterkoordinatensystem zu definieren und die Position und die Lage der Kantenpunkte von Werten, die durch das Bildkoordinatensystem ausgedrückt sind, in Werte, die durch das Modellmusterkoordinatensystem ausgedrückt sind, umzuwandeln.
-
Dann wird zu Schritt S14 übergegangen und werden die physikalischen Größen der extrahierten Kantenpunkte als Merkmalspunkte, die das Modellmuster bilden, in der Modellmusterspeichereinheit 126 gespeichert. Bei der obigen Erklärung wurden Kantenpunkte als Merkmalspunkte verwendet, doch braucht nicht betont zu werden, dass die Merkmalspunkte nicht auf Kantenpunkte beschränkt sind. Es ist auch möglich, aus dem Bild Iw des Zielobjekts 101 Kantenpunkte oder SIFT(skaleninvariante Merkmalstransformations)-Merkmalspunkte oder dergleichen zu extrahieren und nicht als Merkmalspunkte, die das Modellmuster bilden, einzusetzen, sondern das Modellmuster durch derartiges Anordnen von geometrischen Figuren wie Linienabschnitten, Rechtecken, Kreisen oder dergleichen, dass sie der Konturlinie des in dem Bild Iw abgebildeten Zielobjekt 101 entsprechen, zu erstellen. In diesem Fall werden die Merkmalspunkte zum Beispiel in passenden Abständen auf den geometrischen Formen, die die Konturlinie bilden, eingerichtet.
-
Ferner kann das Modellmuster auch auf Basis von CAD-Daten oder dergleichen erstellt werden, wobei das Modellmuster im Fall von zweidimensionalen CAD-Daten durch das gleiche Verfahren wie das Verfahren, das geometrische Figuren verwendet, erstellt wird, während im Fall von dreidimensionalen CAD-Daten die durch die CAD-Daten ausgedrückte Form des Zielobjekts auf ein Bild projiziert wird und aus dem projizierten Bild Merkmalspunkte extrahiert werden und als Merkmalspunkte eingesetzt werden können.
-
8 ist ein Ablaufdiagramm, das ein Beispiel für die Lernverarbeitung durch die Bildverarbeitungsvorrichtung nach der vorliegenden Ausführungsform zeigt. Wie in 8 gezeigt wird bei Beginn der Lernverarbeitung zunächst in Schritt ST21 die Erstellung (das Lehren) eines Modellmusters vorgenommen, und dann zu Schritt ST22 übergegangen und die Bestimmung der Eingangsbilder vorgenommen. Hier wird das Modellmuster in Schritt ST21 unter Verwendung der durch die Kamera (den optischen Sensor) 110 aufgenommenen Bilder gelehrt, und werden als Eingangsbilder in Schritt ST21 zum Beispiel mehrere Bilder, die das Bild Iw des Zielobjekts 101 enthalten, vorbereitet.
-
Als nächstes wird zu Schritt ST23 übergegangen und wird für jedes der Eingangsbilder eine Erfassung des Zielobjekts (101) vorgenommen und zu Schritt ST24 übergegangen. Da hier erwünscht ist, dass sowohl richtige Erfassungen als auch falsche Erfassungen erlangt werden können, wird die Erfassung bei weit gefassten Erfassungsparametern (mit einem vergrößerten Fehlerbereich) vorgenommen. Die Verarbeitung zur Erfassung des Zielobjekts in Schritt ST23 wird zum Beispiel für eine der Bildanzahl NI entsprechende Anzahl von Malen vorgenommen. Als Erfassungsparameter gibt es verschiedene Parameter wie zum Beispiel den Bereich der Größe in Bezug auf das Modellmuster, den Bereich der Scherverformung, den Bereich der erfassten Stelle, den Bereich des Winkels, den Prozentsatz der Übereinstimmung von Kantenpunkten des Modellmusters und Kantenpunkten des Bilds, den Schwellenwert für die Entfernung, damit ein Kantenpunkt des Modellmusters als mit einem Kantenpunkt des Bilds übereinstimmend angesehen wird, und den Schwellenwert für den Kontrast der Kantenpunkte.
-
In Schritt ST24 wird zum Beispiel das Erfassungsergebnis an der Anzeigevorrichtung 132 angezeigt und durch den Betreiber visuell überprüft und mit dem Label „Erfolg“ (OK) oder „Misserfolg“ (NG) versehen. 9 ist eine Ansicht zur Erklärung der Labelbestimmungsverarbeitung in dem in 8 gezeigten Ablaufdiagramm, und wie in 9 gezeigt versieht die Labelbestimmungsverarbeitung in Schritt ST24 die Bilder Iw1, Iw21, Iw22, Iw31 bis Iw33, ... von Zielobjekten 101, die in mehreren Modellmusterbestimmungsbereichen Ia1, Ia2, Ia3, ... enthalten sind, mit dem Label OK oder NG. Hier kann die Erfassung zum Beispiel auch unter engem Fassen der Erfassungsparameter vorgenommen werden und das Lernen nur durch richtige Erfassungsergebnisse vorgenommen werden. In diesem Fall ist zum Beispiel eine visuelle Überprüfung durch den Betreiber (das Versehen mit dem Label OK oder NG) nicht erforderlich. Es muss nicht betont werden, dass die Bilder Iw1, Iw21, Iw22, Iw31 bis Iw33, ... des Zielobjekts 101 auch einzeln aufgegriffen werden können und das Versehen mit dem Label OK oder NG für die jeweiligen aufgegriffenen Bilder Iw1, Iw21, Iw22, Iw31 bis Iw33, ... vorgenommen werden kann.
-
In 9 sind alle in den Modellmusterbestimmungsbereichen Ia1, Ia2, Ia3 enthaltenen Bilder Iw1, Iw21, Iw22, Iw31 bis Iw33 von Zielobjekten 101 mit den Labeln OK, NG und OK versehen, doch muss nicht betont werden, dass es wie in dem Modellmusterbestimmungsbereich Ian auch möglich ist, das Bild Iwnl eines Zielobjekts 101 als OK anzusetzen und Iwn2 als NG anzusetzen. Das Versehen mit dem Label OK oder NG kann zum Beispiel automatisch - mit OK (Erfolg), wenn das Erfassungsergebnis wenigstens einen Schwellenwert beträgt, und NG (Misserfolg), wenn es geringer als der Schwellenwert ist - vorgenommen werden, doch ist es auch möglich, dass der Betreiber Label nach der automatischen Vornahme der Labelvergabe korrigiert.
-
Dann wird zu Schritt ST25 übergegangen, das Lernen (maschinelles Lernen: zum Beispiel überwachtes Lernen) vorgenommen, und die Verarbeitung beendet. Das Lernen in diesem Schritt ST25 wird zum Beispiel durch die unter Bezugnahme auf 4 und 5 erklärte maschinelle Lerneinrichtung 2 vorgenommen. Die Lernverarbeitung in Schritt ST25 kann zum Beispiel für eine der Anzahl der Modellmuster NR entsprechende Anzahl von Malen vorgenommen werden oder für eine vorab festgelegte Anzahl von Malen vorgenommen werden. Wenn zum Beispiel nach dem Lernen eine Erfassung vorgenommen wird, wird die Wahrscheinlichkeit durch das erlernte Lernmuster berechnet und bestimmt, ob es sich um eine richtige Erfassung handelt oder nicht. Eine Berechnung der Wahrscheinlichkeit vor der Vornahme des Lernens kann zum Beispiel vorgenommen werden, um den bei der Fehlerrückführung während des Lernens verwendeten Fehler zu berechnen. Eine Berechnung der Wahrscheinlichkeit nach der Vornahme des Lernens kann zum Beispiel verwendet werden, um zu bestimmen, ob ein Bild eines tatsächlich erfassten Zielobjekts richtig ist oder nicht. Die Berechnungen der Wahrscheinlichkeit von Bildern von Zielobjekten vor und nach der Vornahme des Lernens können Bilder verwenden, für die Bilder von vorab festgelegten Bereichen in Bezug auf die Position und die Lage des erfassten Zielobjekts verarbeitet und umgewandelt wurden.
-
10 ist ein Ablaufdiagramm zur Erklärung eines Beispiels für die Lernverarbeitung in dem in 8 gezeigten Ablaufdiagramm und dient zur Erklärung eines Beispiels für das in Schritt ST25 vorgenommene Lernen (unterstütztes Lernen). 11 ist eine Ansicht zur Erklärung eines Beispiels für die Teilbildausschneideverarbeitung in dem in 10 gezeigten Ablaufdiagramm.
-
Wie in 10 gezeigt werden bei Beginn der Lernverarbeitung in Schritt ST31 Teilbilder von Bereichen, die zum Beispiel durch die erfasste Position und Lage vorab festgelegt wurden, aus einem Eingangsbild ausgeschnitten, und wird zu Schritt ST32 übergegangen. Das heißt, in Schritt ST31 werden dann, wenn wie in 11 gezeigt in dem Eingangsbild (dem Bild des Bereichs Ia) zum Beispiel Bilder IwA bis IwD von vier Zielobjekten 101 enthalten sind, vier Bereiche IaA, IaB, IaC, IaD, die jeweils ein Teilbild IwA, IwB, IwC, IwD enthalten, ausgeschnitten.
-
In Schritt ST32 werden die einzelnen Pixelwerte der Teilbilder in das Lernmodell eingegeben und wird die Wahrscheinlichkeit berechnet. Hier ist als Bewertung zum Beispiel eine Einrichtung auf einen Wert von 0 bis 1 möglich.
-
Dann wird zu Schritt ST33 übergegangen und zum Beispiel bei einem Label des Erfassungsergebnisses „Erfolg“ (OK) 1,0 und umgekehrt bei „Misserfolg“ (NG) 0,0 angesetzt, die Abweichung zu der berechneten Wahrscheinlichkeit berechnet, und zu Schritt ST34 übergegangen. In Schritt ST34 wird das Lernmodell (werden die Parameter des Lernmodells) aktualisiert. Das heißt, in Schritt ST34 wird bei dem Lernmodell eine Fehlerrückführung des Fehlers vorgenommen und werden die Parameter des Lernmodells aktualisiert. Die Verarbeitung von Schritt ST31 bis ST34 wird zum Beispiel für eine der Anzahl der Erfassungsergebnisse NR entsprechende Anzahl von Malen ausgeführt.
-
Wenn nun zum Beispiel die Lernverarbeitung abgeschlossen ist, kann die maschinelle Lerneinrichtung 2, die gelernt hat, verwendet werden und eine Berechnung der Wahrscheinlichkeit vorgenommen werden. Das heißt, es wird eine Erfassung von Zielobjekten aus neu erlangten Eingangsbildern unter Verwendung des bereits vorhandenen Erfassungsalgorithmus vorgenommen, und aus den Eingangsbildern werden Teilbilder, in denen ein Zielobjekt enthalten ist, ausgeschnitten. Dann werden die jeweiligen Teilbilder in die maschinelle Lerneinrichtung 2 eingegeben und wird die Wahrscheinlichkeit berechnet. Auf Basis dieser berechneten Wahrscheinlichkeit kann beurteilt werden, ob Bilder von erfassten Zielobjekten richtige Erfassungsergebnisse sind oder nicht. Dadurch wird es auch möglich, nicht richtige Erfassungsergebnisse nicht zu verwenden, oder kann bei Detektion eines gewissen Zielobjekts auch beurteilt werden, ob dieses Zielobjekt qualitativ gut oder mangelhaft ist.
-
12 ist eine Ansicht zur Erklärung einer Abwandlung der Verarbeitung in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform. Nachdem Teilbilder von Bereichen, die durch die erfasste Position und Lage vorab festgelegt wurden, aus dem oben genannten Eingangsbild ausgeschnitten wurden, können die Teilbilder so umgewandelt werden, dass zum Beispiel die Position, die Lage, die Größe und die Verdrehung mit dem Modellmuster übereingestimmt wird. Das heißt, wenn wie in 12 gezeigt die Position, die Lage, die Größe und die Verdrehung für die Teilbilder IwAA, IwBB, IwCC, IwDD von vier Zielobjekten 101, für die Teilbilder von Bereichen, die durch die erfasste Position und Lage vorab festgelegt wurden, aus einem Eingangsbild (Ia) ausgeschnitten wurden, so umgewandelt (standardisiert) werden, dass sie mit dem Modellmuster übereingestimmt werden, kommt es dazu, dass die vier Bereiche IaAA, IaBB, IaCC, IaDD jeweils standardisierte Teilbilder IwAA', IwBB', IwCC', IwDD' enthalten.
-
Dadurch kommt es dazu, dass an gleichen Eingabestellen des Lernmodells Pixelwerte von gleichen Teilen (entsprechenden Teilen) eingegeben werden. Hier kann dann, wenn zum Beispiel die Erfassungsposition in einer kleineren Einheit als ein Pixel (Bildelement) erlangt werden kann, auch das Teilbild in einer kleineren Einheit als ein Pixel verschoben werden.
-
Ferner werden nach dem Ausschneiden der Teilbilder Merkmalsgrößen aus den Teilbildern extrahiert und diese Merkmalsgrößen in das Lernmodell eingegeben. Hier können die Merkmalsgrößen auch mehrere Arten sein, und können sie zum Beispiel der Helligkeitsgradient, die Neigung des Helligkeitsgradienten oder Kantenpunkte oder dergleichen sein. Es ist auch möglich, die aus den Teilbildern extrahierten Merkmalsgrößen und die Teilbilder gleichzeitig in das Lernmodell einzugeben.
-
Bei der Vornahme des Lernens können auch Ausschlussbereiche, die nicht für das Lernen verwendet werden, bestimmt werden. Wenn so Ausschlussbereiche in Bezug auf das Modellmuster bestimmt werden, können die Ausschlussbereiche an das Erfassungsergebnis angepasst verschoben werden. Dadurch können in den für das Lernen verwendeten Teilbildern Ausschlussbereiche bestimmt werden, und wird es zum Beispiel dann, wenn an Teilbildern eine Drehung oder eine Positionsanpassung vorgenommen wurde, möglich, die Ausschlussbereiche so, wie sie sind, zu verwenden.
-
Ferner kann die Lernverarbeitung als anderes Abwandlungsbeispiel stufenweise vorgenommen werden. Das heißt, zu Beginn (bei der ersten Stufe) werden Lehrdaten erstellt, während die Erfassungsparameter weit gefasst sind (der Fehlerbereich groß ist), und im Verlauf des Lernens (mit dem Übergang zu späteren Stufen) werden die Erfassungsparameter allmählich verengt (wird der Fehlerbereich verkleinert) und kann das Lernen erneut vorgenommen werden.
-
Konkret wird bei der anfänglichen Bildung von Lehrdaten zum Beispiel die Größe auf 0,9 bis 1,1 eingerichtet und der Prozentsatz der Übereinstimmung der Kanten auf wenigstens 60 % eingerichtet. Dann wird bei der Bildung der Lehrdaten für das nächste Lernen zum Beispiel die Größe auf 0,95 bis 1,05 eingerichtet und der Prozentsatz der Übereinstimmung der Kanten auf 80 % eingerichtet. Es muss nicht betont werden, dass diese Werte lediglich Beispiele darstellen.
-
13A und 13B sind Ansichten zur Erklärung von weiteren Abwandlungen der Verarbeitung in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform, wobei 13A einen Fall zeigt, in dem die Klassifikation in „Erfolg“ (OK) und „Misserfolg“ (NG) durch einen Schwellenwert Tha erfolgt, und 13B einen Fall zeigt, in dem der „Erfolg“ durch einen Schwellenwert Thb klassifiziert wird. Als weiteres Abwandlungsbeispiel für die Verarbeitung in der Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform kann zum Beispiel der Schwellenwert für die Bestimmung der Erfassung oder der Nichterfassung mit der von der maschinellen Lerneinheit 2 ausgegebenen Wahrscheinlichkeit automatisch festgelegt werden. Dies kann zum Beispiel durch die folgende Vorgangsweise erfolgen.
-
Zunächst werden die Teilbilder in den Lehrdaten einzeln in die maschinelle Lerneinrichtung 2 eingegeben und wird der Übereinstimmungsgrad erlangt. Der erlangte Übereinstimmungsgrad wird demgemäß, ob das Label der „Erfolg“ oder der „Misserfolg“ ist, klassifiziert und gespeichert. Dann wird aus der Ansammlung der Übereinstimmungsgrade, deren Label der „Erfolg“ ist, und der Ansammlung der Übereinstimmungsgrade, deren Label der „Misserfolg“ ist, die jeweilige Wahrscheinlichkeitsverteilung ermittelt. Hier kann für die Wahrscheinlichkeitsverteilung zum Beispiel die normale Mischverteilung angewendet werden. Aus der ermittelten Wahrscheinlichkeitsverteilung wird der Schwellenwert für die Klassifikation in „Erfolg“ und „Misserfolg“ berechnet.
-
Hier ist es wie in 13A gezeigt möglich, den Wert Tha, an dem die beiden Wahrscheinlichkeitsverteilungen des „Erfolgs“ und des „Misserfolgs“ einander schneiden, als Schwellenwert festzulegen, doch kann auch ein Wert, der gleich oder höher als eine vorab festgelegte Wahrscheinlichkeit in der Wahrscheinlichkeitsverteilung des „Erfolgs“ wird, als Schwellenwert Thb festgelegt werden.
-
Ferner ist es auch möglich, den Lehrdaten andere Bereiche als das Zielobjekt in einem Eingangsbild als Beispiel für einen „Misserfolg“ hinzuzufügen. Dies kann zum Beispiel durch die folgende Vorgangsweise erfolgen. Zunächst wird zufällig ein Erfassungsergebnis erzeugt. Dann wird verifiziert, dass das Erfassungsergebnis für wenigstens einen bestimmten Bereich von einem richtigen Erfassungsergebnis abweicht. Zum Beispiel wird verifiziert, dass das Erfassungsergebnis beispielweise im Hinblick auf die Position, den Winkel oder den Maßstab im Raum der Position, des Winkels oder des Maßstabs für wenigstens einen bestimmten Bereich abweicht. Dann wird das Erfassungsergebnis mit dem Label „Misserfolg“ versehen gespeichert.
-
Dadurch können zum Beispiel andere Bereiche als das Zielobjekt in einem Eingabebild nur schwer als „Erfolg“ erfasst werden. Durch Vornehmen der Erfassung unter Verengen der Erfassungsparameter, Ansetzen des Erfassungsergebnisses als „Erfolg“, und Lernen unter Kombination mit automatisch hinzugefügten „Misserfolgen“ kann das Lernen (überwachtes Lernen) zum Beispiel ohne Anfügen von Labeln durch den Betreiber vorgenommen werden.
-
Durch die Bildverarbeitungsvorrichtung und das Bildverarbeitungsverfahren nach der vorliegenden Erfindung wird die Wirkung hervorgebracht, dass die Bildwahrscheinlichkeit eines Zielobjekts passend berechnet wird und das Zielobjekt richtig erfasst werden kann.
-
Im Vorhergehenden wurde eine Ausführungsform beschrieben, doch wurden alle angegebenen Beispiele und Bedingungen mit der Absicht angegeben, das Verständnis des Konzepts der Erfindung und der auf die Technik angewandten Erfindung zu unterstützen. Insbesondere ist nicht beabsichtigt, dass die angegebenen Beispiele und Bedingungen den Umfang der Erfindung beschränken. Derartige Angaben in der Beschreibung zeigen auch keine Vorteile und Nachteile der Erfindung. Es wurde eine ausführliche Erklärung einer Ausführungsform der Erfindung vorgenommen, doch sollte sich verstehen, dass verschiedene Änderungen, Ersetzungen oder Abwandlungen erfolgen können, ohne von dem Geist und dem Umfang der Erfindung abzuweichen.
