DE112021008069T5

DE112021008069T5 - Bildverarbeitungsvorrichtung, Komponentengreifsystem, Bildverarbeitungsverfahren und Komponentengreifverfahren

Info

Publication number: DE112021008069T5
Application number: DE112021008069.5T
Authority: DE
Inventors: Atsushi Yamamoto
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2024-05-23
Also published as: WO2023042307A1; CN117916771A; JPWO2023042307A1

Abstract

Das zusammengesetzte Bild Ic wird durch Kombinieren des Graustufenbilds Ig (Helligkeitsbild) und des Tiefenbilds Id erzeugt, die jeweils die Mehrzahl von Komponenten darstellen (Schritt S201). In dem so erzeugten zusammengesetzten Bild Ic verbleibt die Form der Komponente P in einfacher Weise bei einer relativ hohen Position von der Mehrzahl von Komponenten P und das zusammengesetzte Bild Ic ist zum Bestätigen einer solchen Komponente P nützlich.

Description

TECHNISCHES GEBIET
Diese Erfindung betrifft eine Technik zum Greifen einer Mehrzahl von Komponenten, die in einem Behälter gelagert sind, durch eine Robotergreifeinrichtung bzw. einen Roboteraktor und ist besonders gut auf ein „bin picking“ („Griff in die Kiste bzw. den Behälter“) anwendbar.
HINTERGRUND DER ERFINDUNG
Im Patentdokument 1 wird beim Greifen von unordentlich angehäuften Komponenten durch eine Robotergreifeinrichtung ein erfasstes Bild der Komponenten zum Erkennen der zu greifenden Komponente verwendet. Insbesondere wird ein Bereich mit einer Helligkeit, die mit einer vorgegebenen Schwelle identisch oder höher als diese ist, von dem erfassten Bild der angehäuften Komponenten festgelegt und Punktwolkendaten werden für diesen Bereich erzeugt.
DOKUMENTENLISTE
PATENTDOKUMENTE
Patentdokument 1: JP 2015-147256 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Zum zuverlässigen Greifen einer Komponente beim „bin picking“ ist es bevorzugt, eine Komponente vor der Robotergreifeinrichtung, d.h., an einer hohen Position, von einer Mehrzahl von angehäuften Komponenten zu greifen. Mit dem Verfahren von Patentdokument 1 werden jedoch die Punktwolkendaten für den beschränkten Bereich, die eine Helligkeit aufweisen, die mit der Schwelle identisch oder höher als diese ist, in dem aufgenommenen Bild erzeugt. Folglich können, wenn die Helligkeit des aufgenommenen Bilds nicht genau die Höhen der Komponenten wiedergibt, nicht notwendigerweise davon ausgegangen werden, dass die erzeugten Punktwolkendaten beim Erkennen der Komponente an der hohen Position nützlich sind.
Diese Erfindung wurde im Hinblick auf das vorstehende Problem entwickelt und soll eine Technik bereitstellen, die beim Erkennen einer Komponente an einer relativ hohen Position von einer Mehrzahl von Komponenten, die in einem Behälter gelagert sind, nützlich ist.
LÖSUNG DES PROBLEMS
Eine Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst: eine Bilderfassungseinrichtung, die zum Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt, ausgebildet ist; und eine Bildzusammensetzungseinrichtung, die zum Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds, die durch die Bilderfassungseinrichtung erfasst worden sind, ausgebildet ist.
Ein Bildverarbeitungsverfahren gemäß der Erfindung umfasst: Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt; und Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds.
In der bzw. dem Bildverarbeitungsvorrichtung und -verfahren, die derart ausgebildet sind, wird das zusammengesetzte Bild durch Kombinieren des Helligkeitsbilds und des Tiefenbilds, welche jeweils die Mehrzahl von Komponenten darstellen, erzeugt. In dem auf diese Weise erzeugten zusammengesetzten Bild verbleibt die Form der Komponente in einer einfachen Weise an einer relativ hohen Position von der Mehrzahl von Komponenten und das zusammengesetzte Bild ist beim Erkennen einer solchen Komponente nützlich.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass das Helligkeitsbild eine Helligkeit Vg für jedes Pixel darstellt, das Tiefenbild eine Tiefe Vd für jedes Pixel darstellt, das zusammengesetzte Bild einen zusammengesetzten Wert Vc für jedes Pixel darstellt, und die Bildzusammensetzungseinrichtung das zusammengesetzte Bild durch Berechnen eines zusammengesetzten Werts Vc erzeugt, der durch Gewichten der Helligkeit Vg durch die Tiefe Vd erhalten wird. In dem auf diese Weise zusammengesetzten Bild verbleibt die Form der Komponente an einer relativ hohen Position von der Mehrzahl von Komponenten in einer einfachen Weise und das zusammengesetzte Bild ist beim Erkennen einer solchen Komponente nützlich.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass die Bildzusammensetzungseinrichtung das zusammengesetzte Bild auf der Basis der folgenden Gleichung erzeugt: $Vc = Vd \times (1 + Vg / max (Vg))$
wobei max(Vg) ein maximaler Wert der Helligkeiten Vg ist, die in das Helligkeitsbild einbezogen sind. In dem zusammengesetzten Bild, das auf diese Weise erzeugt worden ist, verbleibt die Form der Komponente an einer relativ hohen Position von der Mehrzahl von Komponenten in einer einfachen Weise und das zusammengesetzte Bild ist beim Erkennen einer solchen Komponente nützlich.
Die Bildverarbeitungsvorrichtung kann ferner eine Erfolgswahrscheinlichkeit-Berechnungseinrichtung umfassen, die zum Erzeugen einer Mehrzahl von Zielkomponentenbildern, die voneinander verschiedene Komponenten darstellen, durch Einstellen eines Greifeinrichtungsbereichs, der einen Bereich einer Robotergreifeinrichtung für die Komponente darstellt, und Erzeugen des Zielkomponentenbilds, das die Komponente darstellt, die in den Greifeinrichtungsbereich einbezogen ist, auf der Basis des zusammengesetzten Bilds, und Berechnen einer Greiferfolgswahrscheinlichkeit, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente, die durch das Zielkomponentenbild dargestellt ist, zu greifen, für jedes der Mehrzahl von Zielkomponentenbildern, ausgebildet ist. Bei einem solchen Aufbau wird der Greifeinrichtungsbereich, der den Bereich der Robotergreifeinrichtung darstellt, für die Komponente, die in das zusammengesetzte Bild einbezogen ist, eingestellt, und das Zielkomponentenbild, das die Komponente darstellt, die in den Greifeinrichtungsbereich einbezogen ist, wird auf der Basis des zusammengesetzten Bilds erzeugt und die Greiferfolgswahrscheinlichkeit wird für jedes Zielkomponentenbild berechnet. In dem dabei verwendeten zusammengesetzten Bild verbleibt die Form der Komponente bei einer relativ hohen Position in einer einfachen Weise, wie es vorstehend beschrieben worden ist. Daher kann das Zielkomponentenbild, das die Komponente an einer relativ hohen Position aufweist, mit anderen Worten, die Komponente mit einer relativ hohen Greiferfolgswahrscheinlichkeit, zuverlässig erzeugt werden.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass die Erfolgswahrscheinlichkeit-Berechnungseinrichtung ein Zielkomponentenbild von der Mehrzahl von Zielkomponentenbildern auf der Basis der Greiferfolgswahrscheinlichkeiten auswählt, die jeweils für die Mehrzahl von Zielkomponentenbildern berechnet worden sind, und bestimmt, die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist. Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponente durch die Robotergreifeinrichtung vermindert werden.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass die Erfolgswahrscheinlichkeit-Berechnungseinrichtung das Zielkomponentenbild mit der höchsten Greiferfolgswahrscheinlichkeit von den Zielkomponentenbildern, die eine vorgegebene Ausschlussbedingung von der Mehrzahl von Zielkomponentenbildern nicht erfüllen, als das eine Zielkomponentenbild auswählt. Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponente durch die Robotergreifeinrichtung zuverlässig vermindert werden.
Beispielsweise ist die vorgegebene Ausschlussbedingung eine Bedingung, bei der ein Abstand zwischen einem Ende des Behälters und dem Zielkomponentenbild weniger als ein vorgegebener Wert ist. Auf diese Weise kann das Auftreten einer Situation verhindert werden, bei der das Greifen der Komponente aufgrund einer Wandoberfläche am Ende des Behälters fehlschlägt.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass die Erfolgswahrscheinlichkeit-Berechnungseinrichtung ein neuronales Netzwerk umfasst, das eine Beziehung des Zielkomponentenbilds und der Greiferfolgswahrscheinlichkeit unter Verwendung von Erfolg/Fehlschlag eines Greifens, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente, die durch das Zielkomponentenbild dargestellt ist, zu greifen, als Trainingsdaten gelernt hat, und die Greiferfolgswahrscheinlichkeit für jedes der Mehrzahl von Zielkomponentenbildern durch das neuronale Netzwerk berechnet wird. Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponente durch die Robotergreifeinrichtung zuverlässig vermindert werden, wobei ein Lernergebnis des neuronalen Netzwerks genutzt wird.
Es kann davon ausgegangen werden, dass die Erfindung zum Lernen durch ein solches neuronales Netzwerk geeignet ist. D.h., es wird als ein Beispiel eines Lernverfahrens des neuronalen Netzwerks angesehen, sowohl das Helligkeitsbild als auch das Tiefenbild in das neuronale Netzwerk einzugeben und zu bewirken, dass das neuronale Netzwerk eine Beziehung dieser Bilder und der Greiferfolgswahrscheinlichkeit lernt. Für das neuronale Netzwerk ist es jedoch schwierig, die Greiferfolgswahrscheinlichkeit der Robotergreifeinrichtung auf der Basis der Verknüpfung der Helligkeit der Komponente, die durch das Helligkeitsbild dargestellt ist, und der Komponente, die durch das Tiefenbild dargestellt ist, zu lernen, und auch der Rechenaufwand ist groß. Andererseits kann, da das zusammengesetzte Bild, das durch Kombinieren des Helligkeitsbilds und des Tiefenbilds erhalten wird, in das neuronale Netzwerk in der Erfindung eingegeben wird, das neuronale Netzwerk auf der Basis dieses zusammengesetzten Bilds lernen. Als Ergebnis kann das Lernen relativ einfach durchgeführt werden und der Rechenaufwand kann ebenfalls vermindert werden.
Die Bildverarbeitungsvorrichtung kann ferner eine Erfolg/Fehlschlag-Bestimmungseinrichtung umfassen, die zum Erfassen von Greifzustandsinformationen, die einen Zustand darstellen, in dem die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in der Stellung gegriffen wird, die durch das eine Zielkomponentenbild dargestellt ist, und Bestimmen eines Erfolgs/Fehlschlags des Greifens der Komponente durch die Robotergreifeinrichtung ausgebildet ist. Bei einem solchen Aufbau kann bestätigt werden, ob das Greifen der Komponente, die auf der Basis der Greiferfolgswahrscheinlichkeiten ausgewählt worden ist, die für die Zielkomponentenbilder erhalten worden sind, erfolgreich war oder nicht.
Es sollte beachtet werden, dass verschiedene spezifische Inhalte der Greifzustandsinformationen angenommen werden können. Beispielsweise kann die Erfolg/Fehlschlag-Bestimmungseinrichtung eine Masse, die durch ein Massenmessgerät gemessen wird, wenn die Robotergreifeinrichtung die Komponente, die von dem Behälter gegriffen worden ist, auf dem Massenmessgerät anordnet, als die Greifzustandsinformationen erfassen. Die Erfolg/Fehlschlag-Bestimmungseinrichtung kann ein Bild, das durch Aufnehmen der Komponente, die durch die Robotergreifeinrichtung gegriffen worden ist, durch eine Kamera erhalten worden ist, als die Greifzustandsinformationen erfassen. In dem letztgenannten Fall kann die Erfolg/Fehlschlag-Bestimmungseinrichtung eine Mehrzahl von Bildern, die durch Aufnehmen der Komponente, die durch die Robotergreifeinrichtung gegriffen worden ist, von voneinander verschiedenen Richtungen durch die Kamera erhalten worden sind, als die Greifzustandsinformationen erfassen.
Die Bildverarbeitungsvorrichtung kann so ausgebildet sein, dass die Erfolgswahrscheinlichkeit-Berechnungseinrichtung bewirkt, dass das neuronale Netzwerk auf der Basis eines Ergebnisses des Erfassens der Greifzustandsinformationen für die Komponente, die durch die Robotergreifeinrichtung gegriffen wird, erneut lernt. Bei einem solchen Aufbau wird das erneute Lernen des neuronalen Netzwerks gemäß einem Erfolg/Fehlschlag-Ergebnis des Greifens der Komponente durchgeführt, die auf der Basis der Greiferfolgswahrscheinlichkeiten ausgewählt wird, die für die Zielkomponentenbilder erhalten worden sind, und die Berechnungsgenauigkeit der Greiferfolgswahrscheinlichkeit durch das neuronale Netzwerk kann verbessert werden.
Ein Komponentengreifsystem gemäß der Erfindung umfasst: die Bildverarbeitungsvorrichtung; und eine Robotergreifeinrichtung, welche die Komponente auf der Basis der Bestimmung der Bildverarbeitungsvorrichtung greift, ein Zielkomponentenbild aus der Mehrzahl von Zielkomponentenbildern auszuwählen und die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist.
Ein Komponentengreifverfahren gemäß der Erfindung umfasst: Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt; Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds; Erzeugen einer Mehrzahl von Zielkomponentenbildern, die jeweils voneinander verschiedene Komponenten darstellen, durch Einstellen eines Greifeinrichtungsbereichs, der einen Bereich einer Robotergreifeinrichtung für die Komponente darstellt, und Erzeugen des Zielkomponentenbilds, das die Komponente darstellt, die in den Greifeinrichtungsbereich einbezogen ist, auf der Basis des zusammengesetzten Bilds, und Berechnen einer Greiferfolgswahrscheinlichkeit, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente zu greifen, die durch das Zielkomponentenbild dargestellt ist, für jedes der Mehrzahl von Zielkomponentenbildern; Auswählen eines Zielkomponentenbilds von der Mehrzahl von Zielkomponentenbildern auf der Basis der Greiferfolgswahrscheinlichkeiten, die jeweils für die Mehrzahl von Zielkomponentenbildern berechnet worden sind, und Bestimmen, die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist; und Greifen der Komponente durch die Robotergreifeinrichtung auf der Basis einer Bestimmung, ein Zielkomponentenbild von der Mehrzahl von Zielkomponentenbildern auszuwählen und die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist.
In dem Komponentengreifsystem und -verfahren, die so ausgebildet sind, wird das zusammengesetzte Bild durch Kombinieren des Helligkeitsbilds und des Tiefenbilds erzeugt, welche jeweils die Mehrzahl von Komponenten darstellen. In dem auf diese Weise erzeugten zusammengesetzten Bild verbleibt die Form der Komponente an einer relativ hohen Position von der Mehrzahl von Komponenten in einfacher Weise und das zusammengesetzte Bild ist beim Erkennen einer solchen Komponente nützlich. Ferner greift die Robotergreifeinrichtung die Komponente auf der Basis eines Ergebnisses des Erkennens der Komponente auf diese Weise. Daher kann die Komponente durch die Robotergreifeinrichtung mit einer hohen Erfolgswahrscheinlichkeit gegriffen werden.
EFFEKT DER ERFINDUNG
Gemäß der Erfindung kann ein Bild (zusammengesetztes Bild) erhalten werden, das beim Erkennen einer Komponente an einer relativ hohen Position von einer Mehrzahl von Komponenten, die in einem Behälter gelagert sind, nützlich ist.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 ist eine Draufsicht, die schematisch ein Beispiel eines Komponentengreifsystems gemäß der Erfindung zeigt.
2 ist eine perspektivische Ansicht, die schematisch eine Robotergreifeinrichtung zeigt, die zum Greifen einer Komponente in dem Komponentengreifsystem von 1 verwendet wird.
3 ist ein Blockdiagramm, das ein Beispiel des elektrischen Aufbaus der Steuervorrichtung zeigt.
4A ist ein Flussdiagramm, das ein Beispiel eines „bin picking“ zeigt, das in dem Komponentengreifsystem von 1 durchgeführt wird.
4B ist ein Flussdiagramm, das ein Beispiel einer Einfügungsbildverarbeitung zeigt, die beim „bin picking“ von 4A durchgeführt wird.
4C ist ein Flussdiagramm, das ein Beispiel einer Greiflogik zeigt, die beim „bin picking“ von 4A durchgeführt wird.
4D ist ein Flussdiagramm, das ein Beispiel der Bestimmung der zu greifenden Komponente zeigt, die in der Greiflogik von 4C durchgeführt wird.
5A ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden.
5B ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden.
5C ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden.
5D ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden.
5E ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden.
6A ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Greiflogik von 4C durchgeführt werden.
6B ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Greiflogik von 4C durchgeführt werden.
6C ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Greiflogik von 4C durchgeführt werden.
7 ist ein Diagramm, das schematisch Vorgänge zeigt, die in der Greiflogik von 4C durchgeführt werden.
8A ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Sammeln von Lerndaten des neuronalen Ausrichtungsnetzwerks zeigt.
8B ist ein Diagramm, das schematisch ein Beispiel der Positionsbestimmungsmaske zeigt, die aus dem Einfügungsbild erzeugt worden ist.
9A ist ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Ausrichtungsnetzwerk die Lerndaten lernt, die in der 8A gesammelt worden sind.
9B ist ein Diagramm, das schematisch ein Beispiel zeigt, bei dem die Verwendung der Maske beim Berechnen der Verlustfunktion vorteilhaft ist.
10A ist ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Greifklassifizierungsnetzwerk lernt.
10B ist ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Greifklassifizierungsnetzwerk lernt.
10C ist ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Greifklassifizierungsnetzwerk lernt.
11 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum erneuten Lernen des neuronalen Greifklassifizierungsnetzwerks der Greifklassifizierungsnetzwerkeinheit zeigt.
12 ist eine Modifizierung des neuronalen Greifklassifizierungsnetzwerks der Greifklassifizierungsnetzwerkeinheit.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Die 1 ist eine Draufsicht, die schematisch ein Beispiel eines Komponentengreifsystems gemäß der Erfindung zeigt, und die 2 ist eine perspektivische Ansicht, die schematisch eine Robotergreifeinrichtung zeigt, die zum Greifen einer Komponente in dem Komponentengreifsystem von 1 verwendet wird. In diesen und den weiteren Figuren sind eine X-Richtung, die eine horizontale Richtung ist, eine Y-Richtung, die eine horizontale Richtung orthogonal zu der X-Richtung ist, und eine Z-Richtung, die eine vertikale Richtung ist, in einer geeigneten Weise gezeigt. Diese X-, Y- und Z-Richtungen bilden ein globales Koordinatensystem. Wie es in der 1 gezeigt ist, umfasst das Komponentengreifsystem 1 eine Steuervorrichtung 3 und einen Arbeitsroboter 5 und der Arbeitsroboter 5 führt einen Vorgang („bin picking“) auf der Basis einer Steuerung durch die Steuervorrichtung 3 durch.
Insbesondere sind ein Komponentenbehälter 91 und eine Bestückungsablage 92 in einem Arbeitsraum des Arbeitsroboters 5 angeordnet. Der Komponentenbehälter 91 umfasst eine Mehrzahl von unterteilten Lagern 911 zum Lagern von Komponenten, und in jedem unterteilten Lager 911 ist eine Mehrzahl von Komponenten angehäuft. Die Bestückungsablage 92 umfasst eine Mehrzahl von unterteilten Lagern 921 zum Lagern der Komponenten und eine vorgegebene Anzahl von Komponenten ist in jedem unterteilten Lager 921 angeordnet. Der Arbeitsroboter 5 greift die Komponente von dem unterteilten Lager 911 des Komponentenbehälters 91 („bin picking“) und überführt die Komponente zu dem unterteilten Lager 921 der Bestückungsablage 92. Ferner ist ein Abfallbehälter 93 zwischen dem Komponentenbehälter 91 und der Bestückungsablage 92 angeordnet und wenn eine fehlerhafte Komponente erfasst wird, entsorgt der Arbeitsroboter 5 diese fehlerhafte Komponente in den Abfallbehälter 93.
Der Arbeitsroboter 5 ist ein Scara-Roboter mit einer Robotergreifeinrichtung 51, die an einer Spitze angeordnet ist, und überführt die Komponente von dem Komponentenbehälter 91 zu der Bestückungsablage 92 und entsorgt die Komponente in den Abfallbehälter 93, und zwar durch Greifen der Komponente durch die Robotergreifeinrichtung 51 und Bewegen der Robotergreifeinrichtung 51. Diese Robotergreifeinrichtung 51 weist einen Freiheitsgrad in der X-Richtung, der Y-Richtung und der Z-Richtung sowie einer θ-Richtung auf, wie es in der 2 gezeigt ist. Dabei ist die θ-Richtung eine Drehrichtung, die auf einer Drehachse parallel zu der Z-Richtung zentriert ist. Ferner umfasst die Robotergreifeinrichtung 51 zwei Klauen 511, die in einer Greifrichtung G angeordnet sind, und jede Klaue 511 weist eine flache Plattenform orthogonal zu der Greifrichtung G auf. Die Robotergreifeinrichtung 51 kann einen Abstand zwischen den zwei Klauen 511 in der Greifrichtung G vergrößern und verkleinern und greift die Komponente durch dazwischen Anordnen der Komponente in der Greifrichtung G durch diese Klauen 511. Es sollte beachtet werden, dass, obwohl die Greifrichtung G in der 2 parallel zur X-Richtung ist, die Greifrichtung G selbstverständlich gegebenenfalls in Bezug auf die X-Richtung geneigt ist, und zwar abhängig von der Position der Robotergreifeinrichtung 51 in der θ-Richtung.
Ferner umfasst das Komponentengreifsystem 1 zwei Kameras 81, 83 und ein Massenmessgerät 85. Die Kamera 81 ist eine Draufsichtkamera, die ein Bild einer Mehrzahl von Komponenten, die in dem unterteilten Lager 911 des Komponentenbehälters 91 angehäuft sind, von der Z-Richtung (von oben) erzeugt, und ist auf den Arbeitsraum des Arbeitsroboters 5 von der Z-Richtung gerichtet. Diese Kamera 81 nimmt ein Graustufenbild (zweidimensionales Bild), das ein Bildgebungsziel (Komponenten) durch eine Helligkeit darstellt, und ein Tiefenbild (dreidimensionales Bild) auf, das einen Abstand zu dem Bildgebungsziel darstellt. Ein Phasenverschiebungsverfahren und ein Stereoabgleichverfahren können als spezifisches Verfahren zum Erhalten eines Tiefenbilds eingesetzt werden. Die Kamera 83 ist eine Seitenansichtkamera, die Bilder der Komponente, die durch die Robotergreifeinrichtung 51 gegriffen wird, von der Y-Richtung erzeugt und ist horizontal an einer Basis der Robotergreifeinrichtung 51 montiert. Diese Kamera 83 nimmt ein Graustufenbild (zweidimensionales Bild) auf, das ein Bildgebungsziel (Komponente) durch eine Helligkeit darstellt. Ferner misst das Massenmessgerät 85 die Masse der Komponente, die in dem unterteilten Lager 921 der Bestückungsablage 92 angeordnet ist.
Die 3 ist ein Blockdiagramm, das ein Beispiel des elektrischen Aufbaus der Steuervorrichtung zeigt. Die Steuervorrichtung 3 ist beispielsweise ein Personalcomputer, der mit einer Recheneinheit 31, einem Speicher 35 und einer Ul (Nutzerschnittstelle) 39 ausgestattet ist. Die Recheneinheit 31 ist beispielsweise ein Prozessor, der mit einer CPU (zentralen Verarbeitungseinheit) und dergleichen versehen ist und eine Hauptsteuereinrichtung 311 und einen Bildprozessor 4 umfasst. Diese Hauptsteuereinrichtung 311 und dieser Bildprozessor 4 sind in der Recheneinheit 31 durch Implementieren eines vorgegebenen Programms ausgebildet. Die Hauptsteuereinrichtung 311 steuert eine Hardware, welche die Robotergreifeinrichtung 51, die Kameras 81, 83 und das Massenmessgerät 85, die vorstehend genannt worden sind, umfasst, und der Bildprozessor 4 führt eine Bildverarbeitung zum Erkennen der Komponente durch, die durch die Robotergreifeinrichtung 51 gegriffen werden soll. Insbesondere umfasst der Bildprozessor 4 eine Bildzusammensetzungseinrichtung 41, einen Einfügungsbilderzeuger 43, eine Ausrichtungsnetzwerkeinheit 45 und eine Greifklassifizierungsnetzwerkeinheit 47. Deren Funktionen werden später detailliert beschrieben.
Der Speicher 35 ist eine Speichervorrichtung, wie z.B. eine HDD (Festplatte) oder ein SSD (Festkörperlaufwerk), und speichert beispielsweise das Programm und Daten zur Ausbildung der Hauptsteuereinrichtung 311 oder des Bildprozessors 4 in der Recheneinheit 31. Ferner umfasst die UI 39 eine Eingabevorrichtung, wie z.B. eine Tastatur oder Maus, und eine Ausgabevorrichtung, wie z.B. eine Anzeige, und überträgt Informationen, die durch einen Bediener unter Verwendung der Eingabevorrichtung eingegeben werden, zu der Recheneinheit 31 und der UI 39, und zeigt ein Bild, das einer Anweisung von der Recheneinheit 31 entspricht, auf der Anzeige an.
Die 4A ist ein Flussdiagramm, das ein Beispiel eines „bin picking“ zeigt, das in dem Komponentengreifsystem von 1 durchgeführt wird, die 4B ist ein Flussdiagramm, das ein Beispiel einer Einfügungsbildverarbeitung zeigt, die beim „bin picking“ von 4A durchgeführt wird, die 4C ist ein Flussdiagramm, das ein Beispiel einer Greiflogik zeigt, die beim „bin picking“ von 4A durchgeführt wird, und die 4D ist ein Flussdiagramm, das ein Beispiel der Bestimmung der zu greifenden Komponente zeigt, die in der Greiflogik von 4C durchgeführt wird.
Im Schritt S101 des „bin picking“ von 4A werden Draufsichtbilder einer Mehrzahl von Komponenten, die in den unterteilten Lagern 911 des Komponentenbehälters 91 angehäuft sind, durch die Kamera 81 aufgenommen. Ein Graustufenbild Ig und ein Tiefenbild Id werden als die vorstehend beschriebenen Draufsichtbilder aufgenommen. Die Hauptsteuereinrichtung 311 überträgt diese Bilder Id, Ig, die von der Kamera 81 erhalten worden sind, zu der Bildzusammensetzungseinrichtung 41 des Bildprozessors 4 und die Bildzusammensetzungseinrichtung 41 führt die Einfügungsbildverarbeitung durch (Schritt S102).
Die 5A bis 5E sind Diagramme, die schematisch Vorgänge zeigen, die in der Einfügungsbildverarbeitung von 4B durchgeführt werden. Im Schritt S201 der Einfügungsbildverarbeitung von 4B erzeugt die Bildzusammensetzungseinrichtung 41 ein zusammengesetztes Bild Ic (5C) durch Kombinieren des Graustufenbilds Ig ( 5A) und des Tiefenbilds Id (5B).
Wie es in der 5A gezeigt ist, handelt es sich bei dem Graustufenbild Ig um Bilddaten, die aus einer Mehrzahl von Pixeln PX zusammengesetzt sind, die zweidimensional in der X-Richtung und der Y-Richtung angeordnet sind, und eine Helligkeit Vg des Pixels PX für jedes der Mehrzahl von Pixeln PX darstellen. Es sollte beachtet werden, dass in der 5A eine Bezeichnung verwendet wird, die ein Pixel PX durch eine Kombination (m, n) von „m“, das eine Zeilenzahl angibt, und „n“, das eine Spaltenzahl angibt, festlegt, und das Pixel PX(m, n) des Graustufenbilds Ig die Helligkeit Vg(m, n) aufweist. Es sollte beachtet werden, dass die Helligkeit Vg(m, n) einen größeren Wert aufweist, wenn ein entsprechender Teil heller ist.
Wie es in der 5B gezeigt ist, handelt es sich entsprechend dem Graustufenbild Ig bei dem Tiefenbild Id um Bilddaten, die aus einer Mehrzahl von Pixeln PX zusammengesetzt sind und eine Tiefe (Abstand) des Pixels PX für jedes der Mehrzahl von Pixeln PX darstellen. Ferner wird in der 5B eine Bezeichnung verwendet, die derjenigen von 5A entspricht, und das Pixel PX(m, n) des Tiefenbilds Id weist eine Tiefe Vd(m, n) auf. Es sollte beachtet werden, dass die Tiefe Vd(m, n) einen größeren Wert aufweist, wenn eine Tiefe an einem entsprechenden Teil geringer ist (mit anderen Worten, wenn die Position des zugewandten Teils höher ist).
Wie es in der 5C gezeigt ist, handelt es sich entsprechend dem Graustufenbild Ig bei dem zusammengesetzten Bild Ic um Bilddaten, die aus einer Mehrzahl von Pixeln PX zusammengesetzt sind und einen zusammengesetzten Wert Vc des Pixels PX für jedes der Mehrzahl von Pixeln PX darstellen. Ferner wird auch in der 5C eine Bezeichnung verwendet, die derjenigen von 5A entspricht, und das Pixel PX(m, n) des zusammengesetzten Bilds Ic weist einen zusammengesetzten Wert Vc(m, n) auf.
Ein solcher zusammengesetzter Wert Vc(m, n) wird auf der Basis der folgenden Gleichung berechnet: $Vc (m, n) = Vd (m, n) \times (1 + Vg (m, n) / max (Vg))$
wobei max(Vg) eine maximale Helligkeit von den Helligkeiten Vg ist, die in dem Graustufenbild Ig vorliegen. D.h., der zusammengesetzte Wert Vc ist die Helligkeit Vg, die durch die Tiefe Vd gewichtet ist, und das zusammengesetzte Bild Ic ist ein tiefengewichtetes Graustufenbild. Es sollte beachtet werden, dass in der vorstehenden Gleichung die Helligkeit Vg, die auf die maximale Helligkeit normalisiert ist, mit der Tiefe Vd (gewichtet) multipliziert wird. Die Normalisierung ist jedoch nicht essentiell und der zusammengesetzte Wert Vc kann durch Multiplizieren der Helligkeit Vg mit der Tiefe Vd (gewichtet) berechnet werden. Kurz gesagt kann der zusammengesetzte Wert Vc so festgelegt werden, dass er sowohl von der Helligkeit Vg als auch von der Tiefe Vd abhängt.
In der 5D ist ein experimentelles Ergebnis des Erzeugens des zusammengesetzten Bilds Ic aus dem Graustufenbild Ig und dem Tiefenbild Id gezeigt. Bei dem Graustufenbild Ig (vor dem Filtern) handelt es sich um zweidimensionale Bilddaten, die durch die Kamera 81 erhalten worden sind, und bei dem Graustufenbild Ig (nach dem Filtern) handelt es sich um zweidimensionale Bilddaten, bei denen vorgegebene Komponenten (Hochfrequenzkomponenten) der zweidimensionalen Bilddaten, die durch die Kamera 81 erhalten worden sind, durch Filtern entfernt worden sind. Ferner handelt es sich bei dem Tiefenbild Id (vor dem Filtern) um die dreidimensionalen Bilddaten, die durch die Kamera 81 erhalten worden sind, und bei dem Tiefenbild Id (nach dem Filtern) handelt es sich um dreidimensionale Bilddaten, bei denen vorgegebene Komponenten (Hochfrequenzkomponenten) der dreidimensionalen Bilddaten, die durch die Kamera 81 erhalten worden sind, durch Filtern entfernt worden sind. Das zusammengesetzte Bild Ic ist ein tiefengewichtetes Graustufenbild, das durch Kombinieren des Graustufenbilds Ig und des Tiefenbilds Id nach dem Filtern durch die vorstehende Gleichung erhalten wird. Dabei ist, wenn ein Bereich (elliptischer Bereich), der durch einen Pfeil in jedem von Feldern des „Graustufenbilds Ig (nach dem Filtern)“ und des „zusammengesetzten Bilds Ic“ bezeichnet ist, genauer betrachtet wird, die Komponente, die in dem Graustufenbild Ig (nach dem Filtern) deutlich gezeigt ist, in dem zusammengesetzten Bild Ic nicht gezeigt. Dies resultiert aus der Tatsache, dass diese Komponente eine große Tiefe (mit anderen Worten, eine geringe Höhe) aufwies und der Helligkeit Vg dieser Komponente eine geringe Gewichtung verliehen wurde. Wie es soeben beschrieben worden ist, weist die Kombination aus dem Graustufenbild Ig und dem Tiefenbild Id einen Effekt des Betonens der Komponente an einer hohen Position auf. Es sollte beachtet werden, dass das Filtern, das in der 5D eingesetzt wird, nicht essentiell ist und entsprechende Effekte selbst dann erhalten werden können, wenn das Filtern gegebenenfalls weggelassen wird.
Das zusammengesetzte Bild Ic, das im Schritt S201 von 4B erzeugt worden ist, wird von der Bildzusammensetzungseinrichtung 41 zu dem Einfügungsbilderzeuger 43 ausgegeben, und der Einfügungsbilderzeuger 43 führt Bildverarbeitungen von Schritt S202 bis S204 für das zusammengesetzte Bild Ic durch. Spezifische Inhalte dieser Bildverarbeitungen sind in der 5E gezeigt. Im Schritt S202 wird ein binäres zusammengesetztes Bild Ic durch Binärisieren des zusammengesetzten Bilds Ic durch eine vorgegebene Schwelle erhalten. In diesem binären zusammengesetzten Bild Ic scheint ein geschlossener Bereich mit einer großen Helligkeit (weiß) der Komponente zu entsprechen. Mit anderen Worten, der geschlossene Bereich in dem binären zusammengesetzten Bild Ic kann als Komponente P erkannt werden. Im Schritt S203 führt der Einfügungsbilderzeuger 43 ein Markieren zum Zuordnen von voneinander verschiedenen Markierungen (Zahlen) zu den verschiedenen Komponenten P (geschlossene Bereiche Rc) des binären zusammengesetzte Bilds Ic durch.
Im Schritt S204 wird ein Schneidbereich Rc zum Schneiden eines Bilds, das die Komponente P umfasst, aus dem binären zusammengesetzten Bild Ic eingestellt. Insbesondere wird der Schneidbereich Rc so eingestellt, dass er die Position der Robotergreifeinrichtung 51 beim Greifen der Komponente P zeigt. Dieser Schneidbereich Rc ist zu einem Bereich äquivalent, der durch die Robotergreifeinrichtung 51 gegriffen werden soll (zu greifender Bereich), und die Robotergreifeinrichtung 51 kann die Komponente P greifen, die in dem Schneidbereich Rc vorliegt. Beispielsweise sind in dem Feld „Einfügungsbild Ip“ von 5E Teile, die den zwei Klauen 511 der Robotergreifeinrichtung 51 entsprechen, die von oberhalb auf die Komponente P(2) zum Greifen der Komponente P gerichtet sind, durch weiße durchgezogene Linien (parallel zur Y-Richtung) des Schneidbereichs Rc dargestellt, und Bewegungswege von beiden Enden jeder Klaue 511 sind durch weiße gestrichelte Linien (parallel zur X-Richtung) dargestellt. Wie es aus diesem Beispiel ersichtlich ist, sind die Klauen 511 parallel zur Y-Richtung und ein Drehwinkel der Robotergreifeinrichtung 51 in der θ-Richtung ist Null. D.h., der Schneidbereich Rc wird in einem Zustand festgelegt, bei dem der Drehwinkel der Robotergreifeinrichtung 51 in der Θ-Richtung Null ist. Dann erfasst der Einfügungsbilderzeuger 43 ein Bild innerhalb des Schneidbereichs Rc als Einfügungsbild Ip von dem binären zusammengesetzten Bild Ic (Einfügungsbilderzeugung). Dieses Einfügungsbild Ip wird für jede Komponente P erzeugt, die im Schritt S203 markiert worden ist.
Wie es in der 4A gezeigt ist, wird dann, wenn die Einfügungsbildverarbeitung von Schritt S102 abgeschlossen ist, die Greiflogik (4C) von Schritt S103 durchgeführt. Die 6A bis 6C und 7 sind Diagramme, die schematisch Vorgänge zeigen, die in der Greiflogik von 4C durchgeführt werden. Beim Starten der Greiflogik von 4C werden Einfügungsbildinformationen (6A), die eine Mehrzahl der Einfügungsbilder Ip darstellen, die durch die Einfügungsbildverarbeitung im Schritt S102 erfasst worden sind, von der Bildzusammensetzungseinrichtung 41 zu der Ausrichtungsnetzwerkeinheit 45 ausgegeben. Wie es in der 6A gezeigt ist, stellen die Einfügungsbildinformationen das Einfügungsbild Ip, die Markierungsnummer dieses Einfügungsbilds Ip und die Position des Schneidbereichs Rc dieses Einfügungsbilds Ip zusammenhängend dar. Die Form des Schneidbereichs Rc ist für jedes Einfügungsbild Ip identisch und die Position des Schneidbereichs Rc (Schneidposition) ist durch eine X-Koordinate, eine Y-Koordinate und eine θ-Koordinate eines geometrischen Schwerpunkts des Schneidbereichs Rc festgelegt.
Im Gegensatz dazu setzt im Schritt S301 von 4C die Ausrichtungsnetzwerkeinheit 45 einen Zählwert zum Zählen der Markierungen der Mehrzahl von Einfügungsbildern Ip, die durch die Einfügungsbildinformationen dargestellt sind, auf Null zurück (Schritt S301) und inkrementiert diesen Zählwert (Schritt S302).
Im Schritt S303 bestimmt die Ausrichtungsnetzwerkeinheit 45, ob eine Fläche eines Gegenstands (weißer geschlossener Bereich), der in das Einfügungsbild Ip mit dem vorliegenden Zählwert einbezogen ist, geeignet ist. Insbesondere wird die Gegenstandsfläche mit jeder einer unteren Schwelle und einer oberen Schwelle, die größer ist als die untere Schwelle, verglichen. Wenn die Gegenstandsfläche kleiner ist als die untere Schwelle oder größer ist als die obere Schwelle, wird bestimmt, dass die Gegenstandsfläche nicht geeignet ist („NEIN“ im Schritt S303) und es wird zum Schritt S302 zurückgekehrt. Wenn andererseits die Gegenstandsfläche mit der unteren Schwelle identisch oder größer als diese ist und mit der oberen Schwelle identisch oder kleiner als diese ist, wird bestimmt, dass die Gegenstandsfläche geeignet ist („JA“ Im Schritt S303") und es wird zu dem Schritt S304 fortgefahren.
Im Schritt S304 berechnet die Ausrichtungsnetzwerkeinheit 45 ein Korrekturausmaß zum Korrigieren der Position des Schneidbereichs Rc auf der Basis des Einfügungsbilds Ip des vorliegenden Zählwerts. D.h., die Ausrichtungsnetzwerkeinheit 45 umfasst ein neuronales Ausrichtungsnetzwerk und dieses neuronale Ausrichtungsnetzwerk gibt das Korrekturausmaß (Δx, Δy, Δθ) des Schneidbereichs Rc aus, wenn das Einfügungsbild Ip eingegeben wird. Eine Beziehung des Einfügungsbilds Ip und des Korrekturausmaßes des Schneidbereichs Rc wird mittels der 6C beschrieben.
In dem Feld „Schneidbereich Rc“ von 6C sind der Schneidbereich Rc und das Einfügungsbild Ip, das innerhalb des Schneidbereichs Rc geschnitten ist, gezeigt. In dem Feld „korrigierter Schneidbereich Rcc“ ist gezeigt, dass ein korrigierter Schneidbereich Rc, der durch Korrigieren der Position des Schneidbereichs Rc gemäß dem Korrekturausmaß (Δx, Δy, Δθ) erhalten wird, auf dem Schneidbereich Rc und dem Einfügungsbild Ip überlagert ist. Der Schneidbereich Rc und der korrigierte Schneidbereich Rcc weisen die gleiche Form auf und der Schneidbereich Rc, der jeden der folgenden dafür durchgeführten Vorgänge aufweist, fällt mit dem korrigierten Schneidbereich Rcc zusammen:

• Parallelbewegung in der X-Richtung um einen Korrekturabstand Δx ... X-Richtung-Parallelvorgang
• Parallelbewegung in der Y-Richtung um einen Korrekturabstand Δy ... Y-Richtung-Parallelvorgang
• Drehbewegung in der θ-Richtung um einen Korrekturwinkel Δθ ... θ-Richtung-Drehvorgang.

Ferner wird eine Fehlausrichtung zwischen einem Zentrum des korrigierten Schneidbereichs R und der Komponente P verglichen mit einer Fehlausrichtung zwischen einem Zentrum des Schneidbereichs Rc und der Komponente P verbessert. D.h., die Korrektur des Schneidbereichs Rc ist eine Korrektur zur Verbesserung der Fehlausrichtung zwischen dem Schneidbereich Rc und der Komponente P und ferner eine Korrektur zum Umwandeln des Schneidbereichs Rc in den korrigierten Schneidbereich Rcc, so dass die Komponente P zentriert ist. Als Reaktion auf die Eingabe des Einfügungsbilds Ip gibt das neuronale Ausrichtungsnetzwerk der Ausrichtungsnetzwerkeinheit 45 das Korrekturausmaß (Δx, Δy, Δθ) zum Korrigieren des Schneidbereichs Rc dieses Einfügungsbilds Ip und Berechnen des korrigierten Schneidbereichs Rcc aus. Dabei kann ein Berechnen des Korrigierens des Schneidbereichs Rc um dieses Korrekturausmaß und ein Umwandeln des Schneidbereichs Rc in den korrigierten Schneidbereich Rcc durch ein Produkt einer Rotationsmatrix zum Drehen des Schneidbereichs Rc um Δθ in der θ-Richtung und einer Translationsmatrix zum parallelen Bewegen des Schneidbereichs Rc um Δy in der Y-Richtung, während der Schneidbereich Rc um Δx in der X-Richtung parallel bewegt wird, durchgeführt werden. Ferner kann, wenn eine Vergrößerung oder Verkleinerung des Bilds berücksichtigt werden muss, eine Skalierungsmatrix multipliziert werden.
Es sollte beachtet werden, dass es dann, wenn die Komponente P eine Form aufweist, die in einer vorgegebenen Richtung lang ist, wie in einem Beispiel von 6C, bevorzugt ist, ein Zentrieren derart durchzuführen, dass eine Richtung der langen Achse der Komponente P orthogonal zu der Greifrichtung G der Robotergreifeinrichtung 51 ist. Auf diese Weise kann die Komponente P durch die Robotergreifeinrichtung 51 präzise gegriffen werden.
Im Schritt S305 erzeugt die Ausrichtungsnetzwerkeinheit 45 den korrigierten Schneidbereich Rcc durch Korrigieren des Schneidbereichs Rc auf der Basis des Korrekturausmaßes, das durch das neuronale Ausrichtungsnetzwerk ausgegeben wird, und erfasst ein Bild innerhalb des korrigierten Schneidbereichs Rcc von dem binären zusammengesetzten Bild Ic als korrigiertes Einfügungsbild Ipc (Erzeugung eines korrigierten Einfügungsbilds). Die Schritte S302 bis S305 werden wiederholt, bis die Schritte S302 bis S305 für alle Markierungen (mit anderen Worten, alle Einfügungsbilder Ip), die in die Einfügungsbildinformationen einbezogen sind, abgeschlossen sind (Einheit „JA“ Im Schritt S306).
Wenn die Korrektur für alle Markierungen abgeschlossen ist, werden korrigierte Einfügungsbildinformationen (6B), die eine Mehrzahl der korrigierten Einfügungsbilder Ipc darstellen, von der Ausrichtungsnetzwerkeinheit 45 zu der Greifklassifizierungsnetzwerkeinheit 47 ausgegeben. Wie es in der 6B gezeigt ist, stellen die korrigierten Einfügungsbildinformationen das korrigierte Einfügungsbild Ipc, die Markierungsnummer dieses korrigierten Einfügungsbilds Ipc und die Position des korrigierten Schneidbereichs Rcc dieses korrigierten Einfügungsbilds Ipc zusammenhängend dar. Die Form des korrigierten Schneidbereichs Rcc ist für jedes korrigierte Einfügungsbild Ipc identisch, und die Position des korrigierten Schneidbereichs Rc (Schneidposition) ist durch eine X-Koordinate, eine Y-Koordinate und eine θ-Koordinate eines geometrischen Schwerpunkts des korrigierten Schneidbereichs Rc festgelegt.
Im Schritt S307 berechnet die Greifklassifizierungsnetzwerkeinheit 47 eine Greiferfolgswahrscheinlichkeit für jedes der Mehrzahl von korrigierten Einfügungsbildern Ipc, die durch die korrigierten Einfügungsbildinformationen dargestellt werden. Insbesondere wird eine Erfolgswahrscheinlichkeit (Greiferfolgswahrscheinlichkeit) in dem Fall berechnet, bei dem versucht wird, die Komponente P, die durch das korrigierte Einfügungsbild Ipc dargestellt ist, das in dem korrigierten Schneidbereich Rcc geschnitten worden ist, mit der Robotergreifeinrichtung 51 zu greifen, die sich an der Position (x + Δx, y + Δy, θ + Δθ) des korrigierten Schneidbereichs Rcc befindet. D.h., die Greifklassifizierungsnetzwerkeinheit 47 umfasst ein neuronales Greifklassifizierungsnetzwerk und dieses neuronale Greifklassifizierungsnetzwerk gibt die Greiferfolgswahrscheinlichkeit aus, die dem korrigierten Einfügungsbild Ipc entspricht, wenn das korrigierte Einfügungsbild Ipc eingegeben wird. Auf diese Weise werden die Greiferfolgswahrscheinlichkeitsinformationen erfasst, die in der 7 gezeigt sind. Wie es in der 7 gezeigt ist, stellen die Greiferfolgswahrscheinlichkeitsinformationen das korrigierte Einfügungsbild Ipc, die Markierungsnummer dieses korrigierten Einfügungsbilds Ipc, die Position des korrigierten Schneidbereichs Rcc dieses korrigierten Einfügungsbilds Ipc und die Greiferfolgswahrscheinlichkeit dieses korrigierten Einfügungsbilds Ipc zusammenhängend dar. Es sollte beachtet werden, dass die Greiferfolgswahrscheinlichkeit in einem Beispiel von 7 durch einen Wert von 0 bis 1 dargestellt ist, jedoch als Prozentsatz dargestellt werden kann.
Im Schritt S308 bestimmt die Hauptsteuereinrichtung 311 die zu greifende Komponente P auf der Basis der Greiferfolgswahrscheinlichkeitsinformationen, die von der Greifklassifizierungsnetzwerkeinheit 47 ausgegeben werden. Bei der Bestimmung der zu greifenden Komponente von 4D werden die jeweiligen korrigierten Einfügungsbilder Ipc der Greiferfolgswahrscheinlichkeitsinformationen in einer absteigenden Reihenfolge gemäß der Greiferfolgswahrscheinlichkeit sortiert (Schritt S401). D.h., das korrigierte Einfügungsbild Ipc mit einer höheren Greiferfolgswahrscheinlichkeit wird in einen höheren Rang sortiert.
Ferner werden für die korrigierten Einfügungsbilder Ipc mit der gleichen Greiferfolgswahrscheinlichkeit die korrigierten Einfügungsbilder Ipc in einer absteigenden Reihenfolge gemäß der Gegenstandsfläche sortiert, die in das korrigierte Einfügungsbild Ipc einbezogen ist. D.h., das korrigierte Einfügungsbild Ipc mit einer größeren Gegenstandsfläche wird in einen höheren Rang sortiert. Ein Zählwert einer Sortierreihenfolge wird im Schritt S403 auf Null zurückgesetzt und dieser Zählwert wird im Schritt S404 inkrementiert.
Im Schritt S405 wird bestimmt, ob die Komponente P, die in das korrigierte Einfügungsbild Ipc des vorliegenden Zählwerts einbezogen ist, nahe an einem Ende des unterteilten Lagers 911 (Behälters) des Komponentenbehälters 91 vorliegt oder nicht. Insbesondere wird bestimmt, dass die Komponente P nahe an dem Ende des Behälters vorliegt („JA“ im Schritt S405), wenn ein Abstand zwischen der Position des korrigierten Schneidbereichs Rcc, von dem das korrigierte Einfügungsbild Ipc geschnitten worden ist, und einer Wandoberfläche des unterteilten Lager 911 weniger als ein vorgegebener Wert ist, und es wird zu dem Schritt S404 zurückgekehrt. Wenn andererseits dieser Abstand mit dem vorgegebenen Wert identisch oder größer als dieser ist, wird bestimmt, dass die Komponente P nicht nahe am Ende des Behälters vorliegt („NEIN“ im Schritt S405) und es wird zu dem Schritt S406 fortgefahren. Im Schritt S406 wird das korrigierte Einfügungsbild Ipc des vorliegenden Zählwerts als ein korrigiertes Einfügungsbild Ipc ausgewählt, das die zu greifende Komponente P darstellt. Dann wird zu dem Flussdiagramm von 4A zurückgekehrt.
Im Schritt S104 von 4A wird die Robotergreifeinrichtung 51 zu der Position bewegt, die durch den korrigierten Schneidbereich Rcc dargestellt ist, die dem einen korrigierten Einfügungsbild Ipc entspricht, das im Schritt S103 ausgewählt wird, und greift die Komponente P, die durch das eine korrigierte Einfügungsbild Ipc dargestellt ist. Ein Bild der Komponente P, die durch die Robotergreifeinrichtung 51 gegriffen wird, wird durch die Kamera 83 im Schritt S105 aufgenommen, und die Hauptsteuereinrichtung 311 bestimmt die Komponente P, die durch die Robotergreifeinrichtung 51 gegriffen wird, aus dem Bild, das durch die Kamera 83 im Schritt S106 aufgenommen worden ist. Ferner bestimmt die Hauptsteuereinrichtung 311, ob die Anzahl der gegriffenen Komponente P 1 ist oder nicht (Schritt S107). Wenn die Anzahl nicht 1 ist („NEIN“ im Schritt S107), wird bewirkt, dass die Robotergreifeinrichtung 51 diese Komponenten P zu dem unterteilten Lager 911 des Komponentenbehälters 91 zurückführt (Schritt S108). Ferner bestimmt, wenn die Anzahl der gegriffenen Komponente P 1 ist („JA“ im Schritt S107), die Hauptsteuereinrichtung 311, ob die gegriffene Komponente P normal ist oder nicht (Schritt S109). Wenn eine Anomalie vorliegt, wie z.B. eine zu kleine Fläche, welche die Komponente P darstellt („NEIN“ im Schritt S109), wird bewirkt, dass die Robotergreifeinrichtung 51 diese Komponente P in den Abfallbehälter 93 entsorgt (Schritt S110).
Andererseits bewirkt, wenn die Komponente P normal ist („JA“ im Schritt S109), die Hauptsteuereinrichtung 311, dass die Robotergreifeinrichtung 51 diese Komponente P in dem unterteilten Lager 921 der Bestückungsablage 92 anordnet (Schritt S111). Anschließend misst die Hauptsteuereinrichtung 311 die Masse durch das Massenmessgerät 85 (Schritt S112) und bestimmt, ob die Masse, die durch das Massenmessgerät 85 angegeben wird, geeignet ist oder nicht (Schritt S113). Insbesondere kann die Bestimmung auf der Basis der zunehmenden Masse durchgeführt werden, die den Komponenten P entspricht, die auf der Bestückungsablage 92 angeordnet sind. Die Hauptsteuereinrichtung 311 teilt dem Bediener unter Verwendung der UI 39 eine Anomalie mit, wenn die Masse nicht geeignet ist („NEIN“ im Schritt S113), wohingegen die Hauptsteuereinrichtung 311 zu dem Schritt S101 zurückkehrt, wenn die Masse geeignet ist („JA“ im Schritt S113).
Das Vorstehende ist der Inhalt des „bin picking“, das in dem Komponentengreifsystem 1 durchgeführt wird. In der vorstehenden Greiflogik berechnet die Ausrichtungsnetzwerkeinheit 45 das Korrekturausmaß (Δx, Δy, Δθ) zum Korrigieren des Schneidbereichs Rc auf der Basis des Einfügungsbilds Ip, das von dem Schneidbereich Rc geschnitten wird. Insbesondere berechnet die Ausrichtungsnetzwerkeinheit 45 das Korrekturausmaß des Schneidbereichs Rc von dem Einfügungsbild Ip unter Verwendung des neuronalen Ausrichtungsnetzwerks. Als nächstes wird ein Verfahren zum Bewirken, dass dieses neuronale Ausrichtungsnetzwerk die Beziehung des Einfügungsbilds Ip und des Korrekturausmaßes des Schneidbereichs Rc lernt, beschrieben.
Die 8A ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Sammeln von Lerndaten des neuronalen Ausrichtungsnetzwerks zeigt. Dieses Flussdiagramm wird durch die Recheneinheit 31 der Steuervorrichtung 3 durchgeführt. Bei der Abarbeitung dieses Flussdiagramms wird in der Recheneinheit 31 ein Simulator zum Durchführen eines „bin picking“ in einem Komponentengreifsystem 1 (nachstehend gegebenenfalls als „virtuelles Komponentengreifsystem 1“ bezeichnet), das virtuell durch eine Berechnung bereitgestellt wird, ausgebildet. Dieser Simulator führt virtuell einen Vorgang des Betreibens der Robotergreifeinrichtung 51 zum Greifen der Komponente P von dem unterteilten Lager 911 des Komponentenbehälters 91 durch Berechnen auf der Basis von physikalischen Parametern, wie z.B. der Erdbeschleunigung und eines Reibungskoeffizienten, durch.
Im Schritt S501 wird bestätigt, ob eine erforderliche Anzahl von Datenteilen zum Lernen erfasst worden ist oder nicht. Diese erforderliche Anzahl kann z.B. durch den Bediener im Vorhinein eingestellt werden. Das Flussdiagramm von 8A ist fertig abgearbeitet, wenn diese erforderliche Anzahl von Datenteilen bereits erfasst worden ist („JA“ im Schritt S501), wohingegen zum Schritt S502 fortgefahren wird, wenn die Anzahl von erfassten Datenteilen weniger als die erforderliche Anzahl ist („NEIN“ im Schritt S501).
Im Schritt S502 wird bestimmt, ob ausreichend Komponenten P in dem unterteilten Lager 911 des Komponentenbehälters 91, der in dem virtuellen Komponentengreifsystem 1 angeordnet ist, gelagert sind oder nicht. Insbesondere kann eine Bestimmung auf der Basis dessen durchgeführt werden, ob die Anzahl der Komponenten P mit einer vorgegebenen Anzahl identisch oder nicht. Wenn die Anzahl der Komponenten P in dem unterteilten Lager 911 des Komponentenbehälters 91 weniger als die vorgegebene Anzahl beträgt („NEIN“ im Schritt S502), wird die Anzahl der Komponenten P in dem unterteilten Lager 911 des Komponentenbehälters 91 durch Zurücksetzen auf einen Anfangswert erhöht (Schritt S503) und es wird zu dem Schritt S501 zurückgekehrt. Wenn andererseits die Anzahl der Komponenten P in dem unterteilten Lager 911 des Komponentenbehälters 91 mit der vorgegebenen Anzahl identisch oder größer als diese ist („JA“ im Schritt S502), wird zu dem Schritt S504 fortgefahren.
Im Schritt S504 wird ein zusammengesetztes Bild Ic wie in dem Fall des vorstehend genannten realen Komponentengreifsystems 1 in dem virtuellen Komponentengreifsystem 1 erzeugt. Anschließend wird ein binäres zusammengesetztes Bild Ic durch Binärisieren dieses zusammengesetzten Bilds Ic erzeugt und ein Markieren wird für jede Komponente P durchgeführt, die in dieses binäre zusammengesetzte Bild Ic einbezogen ist (Schritt S505). Dann wird ein Schneidbereich Rc für jede der markierten Komponenten P eingestellt und ein Einfügungsbild Ip wird geschnitten (Schritt S506).
Ein Zählwert des Zählens der jeweiligen Einfügungsbilder Ip wird im Schritt S507 zurückgesetzt und der Zählwert wird im Schritt S508 inkrementiert. Dann wird in einer Weise, die der vorstehenden Weise ähnlich ist, bestimmt, ob eine Fläche eines Gegenstands (weißer geschlossener Bereich), der in das Einfügungsbild Ip des vorliegenden Zählwerts einbezogen ist, geeignet ist oder nicht (Schritt S509). Es wird zu dem Schritt S508 zurückgekehrt, wenn die Fläche des Gegenstands ungeeignet ist („NEIN“ im Schritt S509), wohingegen zu dem Schritt S510 fortgefahren wird, wenn die Fläche des Gegenstands geeignet ist („JA“ im Schritt S509).
Wenn ein Einfügungsbild Ip mit einer geeigneten Fläche des Gegenstands auf diese Weise ausgewählt wird, erzeugt die Hauptsteuereinrichtung 311 aus diesem einen Einfügungsbild Ip eine Positionsbestimmungsmaske Mp (8B) (Schritt S510). Die 8B ist ein Diagramm, das schematisch ein Beispiel der Positionsbestimmungsmaske zeigt, die aus dem Einfügungsbild erzeugt worden ist. Diese Positionsbestimmungsmaske Mp weist einen Umriss mit der gleichen Form wie das Einfügungsbild Ip auf (mit anderen Worten, den Schneidbereich Rc), und ein Komponentenreferenzmuster Pr mit der gleichen Form wie die Komponente P, die in das Einfügungsbild Ip einbezogen ist, ist in der Mitte der Positionsbestimmungsmaske Mp angeordnet. Dieses Komponentenreferenzmuster Pr wird so erzeugt, dass es eine Pixelanzahl in jeder der vertikalen und der horizontalen Richtung der Komponente P (mit anderen Worten, den weißen, geschlossenen Bereich), die in das Einfügungsbild Ip einbezogen ist, aufweist. Diese Positionsbestimmungsmaske Mp ist ein Modell eines idealen Einfügungsbilds Ip, bei dem sich die Komponente P in der Mitte befindet. Dann wird das Einfügungsbild Ip mit der Positionsbestimmungsmaske Mp verknüpft, die aus diesem Einfügungsbild Ip erzeugt worden ist, und in einer Einfügungsbildliste gespeichert (Schritt S511).
Wenn die jeweiligen Schritte bis zu dem Schritt S511 auf diese Weise abgeschlossen worden sind, wird zu dem Schritt S501 zurückgekehrt. Die Schritte S501 bis S511 werden wiederholt durchgeführt, bis die erforderliche Anzahl von Datenteilen erfasst worden ist, d.h., bis die Anzahl von Paaren aus dem Einfügungsbild Ip und der Positionsbestimmungsmaske Mp, die in der Einfügungsbildliste gespeichert sind, die erforderliche Anzahl erreicht.
Die 9A ist ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Ausrichtungsnetzwerk die Lerndaten lernt, die in der 8A gesammelt worden sind. Dieses Flussdiagramm wird durch die Recheneinheit 31 der Steuervorrichtung 3 abgearbeitet. Im Schritt S601 wird bestimmt, ob die Anzahl von Lernvorgängen eine vorgegebene Anzahl erreicht hat oder nicht. Diese vorgegebene Anzahl kann beispielsweise im Vorhinein durch den Bediener eingestellt werden.
Im Schritt S602 wird ein nicht-gelerntes Einfügungsbild Ip, das aus der Einfügungsbildliste ausgewählt worden ist, zu dem neuronalen Ausrichtungsnetzwerk der Ausrichtungsnetzwerkeinheit 45 weitergegeben. Dadurch wird das Korrekturausmaß (Δx, Δy, Δθ), das dem Einfügungsbild Ip entspricht, von dem neuronalen Netzwerk der Ausrichtungsnetzwerkeinheit 45 ausgegeben. Ferner erzeugt die Ausrichtungsnetzwerkeinheit 45 ein korrigiertes Einfügungsbild Ipc durch Schneiden des binären zusammengesetzten Bilds Ic (im Schritt S505 erzeugt) innerhalb des korrigierten Schneidbereichs Rcc, der durch Korrigieren des Schneidbereichs Rc um dieses Korrekturausmaß erhalten worden ist (Schritt S603).
Im Schritt S604 überlappt die Ausrichtungsnetzwerkeinheit 45 die Positionsbestimmungsmaske Mp, die dem Einfügungsbild Ip entspricht, das im Schritt S602 ausgewählt worden ist, und das korrigierte Einfügungsbild Ipc, so dass deren Umrisse übereinstimmen, und berechnet einen mittleren quadratischen Fehler zwischen dem Komponentenreferenzmuster Pr der Positionsbestimmungsmaske Mp und der Komponente P, die in das korrigierte Einfügungsbild Ipc einbezogen ist, als Verlustfunktion. Dann wird im Schritt S605 diese Verlustfunktion in das neuronale Ausrichtungsnetzwerk zurückgeführt (Fehlerrückführung), wodurch Parameter des neuronalen Ausrichtungsnetzwerks aktualisiert werden.
Es sollte beachtet werden, dass die Verlustfunktion sogar ohne die Verwendung der Positionsbestimmungsmaske Mp berechnet werden kann. D.h., ein Hauptachsenwinkel kann aus einem Moment des Bilds der Komponente P berechnet werden und ein mittlerer quadratischer Fehler zwischen diesem Hauptachsenwinkel und einem vorgegebenen Referenzwinkel kann als die Verlustfunktion festgelegt werden. Andererseits ist in einem Fall, der in der 9B gezeigt ist, die Verwendung der Positionsbestimmungsmaske Mp vorteilhaft. Die 9B ist ein Diagramm, das schematisch ein Beispiel zeigt, bei dem die Verwendung der Maske beim Berechnen der Verlustfunktion vorteilhaft ist. Eine Komponente P, die in ein korrigiertes Einfügungsbild Ipc einbezogen ist, das in der 9B gezeigt ist, weist eine Zickzack-Form auf und es ist schwierig, einen Hauptachsenwinkel von einem Moment eines Bilds dieser Komponente P zu erhalten. Daher wird die Positionsbestimmungsmaske Mp hinsichtlich einer Berücksichtigung der Komponenten P mit verschiedenen Formen verwendet.
Im Schritt S606 wird das Einfügungsbild Ip (Prüfdaten), das von den Einfügungsbildern Ip, die in der Einfügungsbildliste gespeichert sind, für die Prüfung im Vorhinein festgelegt worden ist und nicht zum Lernen verwendet wird, zu dem neuronalen Ausrichtungsnetzwerk mit den aktualisierten Parametern weitergegeben, wodurch das Korrekturausmaß berechnet wird. Dann wird auf der Basis dieses Korrekturausmaßes die Verlustfunktion unter Verwendung der Positionsbestimmungsmaske Mp, welche diesen Prüfdaten entspricht, in der gleichen Weise wie in den vorstehend beschriebenen Schritten S603 bis S604 berechnet.
Die Recheneinheit 31 speichert die Verlustfunktion, die im Schritt S606 berechnet wird, jedes Mal, wenn der Schritt S606 durchgeführt wird, und berechnet einen minimalen Wert einer Mehrzahl der auf diese Weise gespeicherten Verlustfunktionen. Dann bestätigt die Recheneinheit 31, ob die kürzlich berechnete Verlustfunktion den minimalen Wert aktualisiert hat. Insbesondere wird im Schritt S607 bestimmt, ob der minimale Wert nicht aktualisiert worden ist, d.h., ob die Verlustfunktion, die größer ist als der minimale Wert, zehnmal aufeinander folgend berechnet worden ist. Es wird zu dem Schritt S601 zurückgekehrt, wenn die Verlustfunktion, die mit dem minimalen Wert identisch oder kleiner als dieser ist, in den vergangenen zehn Mal berechnet worden ist („NEIN“ Im Schritt S607), wohingegen das Flussdiagramm von 9A fertig abgearbeitet ist, wenn die Verlustfunktion, die größer ist als der minimale Wert, zehnmal aufeinander folgend berechnet worden ist („JA“ im Schritt S607). Es sollte beachtet werden, dass die Wiederholungsanzahl nicht auf zehn Mal beschränkt ist und gegebenenfalls in einer geeigneten Weise geändert werden kann.
In der vorstehenden Greiflogik berechnet die Greifklassifizierungsnetzwerkeinheit 47, wenn das korrigierte Einfügungsbild Ipc in die Greifklassifizierungsnetzwerkeinheit 47 eingegeben wird, die Greiferfolgswahrscheinlichkeit in dem Fall eines Greifens der Komponente P, die in das korrigierte Einfügungsbild Ipc einbezogen ist, durch die Robotergreifeinrichtung 51 an der Position, die durch das korrigierte Einfügungsbild Ipc dargestellt ist. Insbesondere berechnet die Greifklassifizierungsnetzwerkeinheit 47 die Greiferfolgswahrscheinlichkeit aus dem korrigierten Einfügungsbild Ipc unter Verwendung des neuronalen Greifklassifizierungsnetzwerks. Als nächstes wird ein Verfahren zum Bewirken beschrieben, dass das neuronale Greifklassifizierungsnetzwerk eine Beziehung des korrigierten Einfügungsbilds Ipc und der Greiferfolgswahrscheinlichkeit lernt.
Die 10A bis 10C sind ein Beispiel eines Flussdiagramms zum Bewirken, dass das neuronale Greifklassifizierungsnetzwerk lernt. Dieses Flussdiagramm wird durch die Recheneinheit 31 der Steuervorrichtung 3 abgearbeitet. Ferner wird wie beim Lernen des vorstehenden neuronalen Ausrichtungsnetzwerks beim Lernen des neuronalen Greifklassifizierungsnetzwerks ein Simulator zum Aufbauen eines virtuellen Komponentengreifsystems 1 verwendet.
In dem Flussdiagramm von 10A werden Lerndaten wie diejenigen von 8A gesammelt. D.h., die Schritte S701 bis S709 von 10A entsprechen den Schritten S501 bis S509 von 8A, ausgenommen der folgende Punkt. D.h., im Schritt S701 wird nicht die erfasste Anzahl von Datenteilen bestimmt, sondern ob die Anzahl von Lernvorgängen eine vorgegebene Anzahl erreicht hat oder nicht, wird im Schritt S701 bestimmt. Diese vorgegebene Anzahl kann beispielsweise im Vorhinein durch den Bediener eingestellt werden.
In dem Flussdiagramm von 10A berechnet, wenn ein Einfügungsbild Ip mit einer geeigneten Gegenstandsfläche durch Durchführen der Schritte S701 bis S709 ausgewählt wird, die Ausrichtungsnetzwerkeinheit 45 ein Korrekturausmaß, das dem Einfügungsbild Ip entspricht, unter Verwendung des vorstehenden neuronalen Ausrichtungsnetzwerks mit abgeschlossenem Lernen (Schritt S710) und speichert das Einfügungsbild Ip und das Korrekturausmaß zusammenhängend in einer Korrekturausmaßliste (Schritt S711). Die Schritte S708 bis S711 werden wiederholt, bis ein Zählwert maximal wird („JA“ Im Schritt S712), und Paare aus dem Einfügungsbild Ip und dem Korrekturausmaß werden nacheinander in der Korrekturausmaßliste gespeichert. Wenn der Zählwert maximal wird („JA“ im Schritt S712), wird zu dem Schritt S712 von 10B fortgefahren.
Im Schritt S712 führt die Ausrichtungsnetzwerkeinheit 45 einen Vorgang durch, der einen korrigierten Schneidbereich Rcc durch Korrigieren des Schneidbereichs Rc des Einfügungsbilds Ip auf der Basis des Korrekturausmaßes erzeugt, und erzeugt ein korrigiertes Einfügungsbild Ipc auf der Basis des korrigierten Schneidbereichs Rcc für jedes Paar aus dem Einfügungsbild Ip und dem Korrekturausmaß, das in der Korrekturausmaßliste gespeichert ist. Dadurch wird eine Mehrzahl der korrigierten Einfügungsbilder Ipc erzeugt. Es sollte beachtet werden, dass eine spezifische Vorgehensweise des Erzeugens des korrigierten Einfügungsbilds Ipc derart ist, wie es vorstehend beschrieben ist.
Im Schritt S713 wird bestätigt, ob eine erforderliche Anzahl von Datenteilen zum Lernen erfasst worden ist oder nicht. Diese erforderliche Anzahl kann beispielsweise im Vorhinein durch den Bediener eingestellt werden. Es wird zu dem später beschriebenen (10C) Schritt S717 fortgefahren, wenn diese erforderliche Anzahl von Datenteilen bereits erfasst worden ist („JA“ im Schritt S713), wohingegen zu dem Schritt S714 fortgefahren wird, wenn die Anzahl von erfassten Datenteilen weniger als die erforderliche Anzahl ist („NEIN“ im Schritt S713).
Im Schritt S714 wird ein korrigiertes Einfügungsbild Ipc zufällig (z.B. auf der Basis einer Ausgabe eines Zufallszahlengenerators) aus einer Mehrzahl der korrigierten Einfügungsbilder Ipc, die im Schritt S712 erzeugt worden sind, ausgewählt. Dann wird im Schritt S715 das Greifen der Komponente P, die in das eine korrigierte Einfügungsbild Ipc einbezogen ist, durch die Robotergreifeinrichtung 51 versucht, die sich an der Position dieses einen korrigierten Einfügungsbilds Ipc in dem virtuellen Komponentengreifsystem 1 befindet. Es sollte beachtet werden, dass die Position des korrigierten Einfügungsbilds Ipc zu der Position des korrigierten Schneidbereichs Rcc äquivalent ist, von dem dieses korrigierte Einfügungsbild Ipc geschnitten worden ist. Dann wird ein Erfolg/Fehlschlag-Ergebnis (1 in dem Fall eines Erfolgs, 0 in dem Fall eines Fehlschlags) des Greifversuchs in einer Erfolg/Fehlschlag-Ergebnisliste zusammenhängend mit einem korrigierten Einfügungsbild Ipc (Schritt S716) gespeichert und es wird zu dem Schritt S701 von 10A zurückgekehrt.
Andererseits wird, wenn bestimmt wird, dass im Schritt S713 die erforderliche Anzahl von Datenteilen bereits erfasst worden ist (JA), zu dem Schritt S717 von 10C fortgefahren, wie es vorstehend beschrieben worden ist. Im Schritt S717 werden ein lateral invertiertes, korrigiertes Einfügungsbild Ipc, das durch laterales Invertieren des korrigierten Einfügungsbilds Ipc erhalten wird, ein vertikal invertiertes, korrigiertes Einfügungsbild Ipc, das durch vertikales Invertieren des korrigierten Einfügungsbilds Ipc erhalten wird, und ein vertikal und lateral invertiertes korrigiertes Einfügungsbild Ipc, das durch laterales und vertikales Invertieren des korrigierten Einfügungsbilds Ipc erhalten wird, erzeugt. Auf diese Weise werden drei Arten von Bildern, die das lateral invertierte Einfügungsbild Ipc, das vertikal invertierte Einfügungsbild Ipc und das vertikal und lateral invertierte Einfügungsbild Ipc umfassen, für jedes korrigierte Einfügungsbild Ipc in der Erfolg/Fehlschlag-Ergebnisliste erzeugt. D.h., es werden dreimal soviel korrigierte Einfügungsbilder Ipc wie die korrigierten Einfügungsbilder Ipc erzeugt, die in der Erfolg/Fehlschlag-Ergebnisliste gespeichert sind.
Im Schritt S718 wird jedes der Mehrzahl von korrigierten Einfügungsbildern Ipc, die im Schritt S717 erzeugt worden sind, in das neuronale Greifklassifizierungsnetzwerk der Greifklassifizierungsnetzwerkeinheit 47 weitergegeben und eine Greiferfolgswahrscheinlichkeit wird für jedes korrigierte Einfügungsbild Ipc berechnet. Dann wird im Schritt S719 ein Durchschnittswert von Greiferfolgswahrscheinlichkeiten des lateral invertierten Einfügungsbilds Ipc, des vertikal invertierten Einfügungsbilds Ipc und des vertikal und lateral invertierten Einfügungsbilds Ip, die aus dem gleichen korrigierten Einfügungsbild Ipc erzeugt worden sind, berechnet. Auf diese Weise wird der Durchschnittswert der Greiferfolgswahrscheinlichkeiten für jedes korrigierte Einfügungsbild Ipc berechnet, das in der Erfolg/Fehlschlag-Ergebnisliste gespeichert ist.
Im Schritt S720 wird ein Wert von „0“, „1“ und „2“ durch einen Zufallszahlengenerator erzeugt. Wenn durch den Zufallszahlengenerator „0“ erhalten wird, wird ein korrigiertes Einfügungsbild Ipc zufällig aus den jeweiligen korrigierten Einfügungsbildern Ipc mit den Greiferfolgswahrscheinlichkeiten, die dafür im Schritt S719 berechnet worden sind, ausgewählt (Schritt S721). Wenn durch den Zufallszahlengenerator „1“ erhalten wird, wird aus den jeweiligen korrigierten Einfügungsbildern Ipc ein korrigiertes Einfügungsbild Ipc mit der Greiferfolgswahrscheinlichkeit am nächsten zu „0,5“ (mit anderen Worten, 50 %) ausgewählt (Schritt S722). Wenn durch den Zufallszahlengenerator „2“ erhalten wird, wird ein korrigiertes Einfügungsbild Ipc mit der höchsten Greiferfolgswahrscheinlichkeit aus den jeweiligen korrigierten Einfügungsbildern Ipc ausgewählt (Schritt S723).
Im Schritt S724 wird das Greifen der Komponente P, die durch das eine korrigierte Einfügungsbild Ipc dargestellt ist, durch die Robotergreifeinrichtung 51 versucht, die sich an der Position dieses einen korrigierten Einfügungsbilds Ipc in dem virtuellen Komponentengreifsystem 1 befindet. Dann wird eine Verlustfunktion auf der Basis eines Erfolg/Fehlschlag-Ergebnisses (1 in dem Fall eines Erfolgs, 0 in dem Fall eines Fehlschlags) des Komponentengreifens und des Durchschnittswerts der Greiferfolgswahrscheinlichkeiten, der für das eine korrigierte Einfügungsbild Ipc im Schritt S719 berechnet worden ist, berechnet. Verschiedene bekannte Funktionen, wie z.B. ein Kreuzentropiefehler, können als die Verlustfunktion verwendet werden.
Die Recheneinheit 31 speichert die Verlustfunktion, die im Schritt S725 berechnet worden ist, jedesmal, wenn der Schritt S725 durchgeführt wird, und berechnet einen minimalen Wert von einer Mehrzahl der Verlustfunktionen, die auf diese Weise gespeichert worden sind. Dann bestätigt die Recheneinheit 31, ob die kürzlich berechnete Verlustfunktion den minimalen Wert aktualisiert hat. Insbesondere wird im Schritt S726 bestimmt, ob der minimale Wert nicht aktualisiert worden ist, d.h., ob die Verlustfunktionen, die größer sind als der minimale Wert, zehnmal aufeinander folgend berechnet worden sind. Wenn die Verlustfunktion, die mit dem minimalen Wert identisch oder kleiner als dieser ist, die letzten zehn Male berechnet worden ist („NEIN“ im Schritt S726), wird das Greiferfolg/fehlschlag-Ergebnis von Schritt S724 in der Erfolg/Fehlschlag-Ergebnisliste zusammenhängend mit dem einen korrigierten Einfügungsbild Ipc gespeichert (Schritt S727). Dann wird im Schritt S728 die Verlustfunktion, die im Schritt S725 berechnet worden ist, in das neuronale Greifklassifizierungsnetzwerk zurückgeführt (Fehlerrückführung), wodurch die Parameter des neuronalen Greifklassifizierungsnetzwerks aktualisiert werden. Wenn andererseits die Verlustfunktion, die größer ist als der minimale Wert, zehn Mal aufeinander folgend berechnet worden ist („NEIN“), wird zu dem Schritt S701 von 10A zurückgekehrt. Es sollte beachtet werden, dass die Anzahl der Wiederholungen nicht auf zehn Mal beschränkt ist und gegebenenfalls in einer geeigneten Weise geändert werden kann.
In der vorstehend beschriebenen Ausführungsform wird das zusammengesetzte Bild Ic durch Kombinieren des Graustufenbilds Ig (Helligkeitsbild) und des Tiefenbilds Id, die jeweils die Mehrzahl von Komponenten darstellen, erzeugt (Schritt S201). In dem so erzeugten zusammengesetzten Bild Ic verbleibt die Form der Komponente P an einer relativ hohen Position von der Mehrzahl von Komponenten P in einer einfachen Weise und das zusammengesetzte Bild Ic ist beim Bestätigen einer solchen Komponente P nützlich.
Ferner greift die Robotergreifeinrichtung 51 die Komponente P auf der Basis eines solchen Bestätigungsergebnisses der Komponente P (Schritt S104). Daher kann die Komponente durch die Robotergreifeinrichtung 51 mit einer hohen Erfolgswahrscheinlichkeit gegriffen werden.
Ferner stellt das Graustufenbild Ig die Helligkeit Vg für jedes Pixel PX dar, das Tiefenbild Id stellt die Tiefe Vd für jedes Pixel PX dar und das zusammengesetzte Bild Ic stellt den zusammengesetzten Wert Vc für jedes Pixel PX dar. Insbesondere erzeugt die Bildzusammensetzungseinrichtung 41 das zusammengesetzte Bild Ic durch Berechnen des zusammengesetzten Werts Vc, der durch Gewichten der Helligkeit Vg durch die Tiefe Vd erhalten wird. In dem zusammengesetzten Bild Ic, das auf diese Weise erzeugt worden ist, verbleibt die Form der Komponente P in einer einfachen Weise an einer relativ hohen Position von der Mehrzahl von Komponenten P und das zusammengesetzte Bild Ic ist beim Bestätigen einer solchen Komponente P nützlich.
Ferner erzeugt die Bildzusammensetzungseinrichtung 41 das zusammengesetzte Bild Ic auf der Basis der folgenden Gleichung: $Vc = Vd \times (1 + Vg / max (Vg))$
wobei max(Vg) ein maximaler Wert der Helligkeiten Vg ist, die in das Graustufenbild Ig einbezogen sind. In dem auf diese Weise erzeugten zusammengesetzten Bild Ic verbleibt die Form der Komponente P in einer einfachen Weise an einer relativ hohen Position von der Mehrzahl von Komponenten P und das zusammengesetzte Bild Ic ist beim Bestätigen einer solchen Komponente P nützlich.
Ferner wird eine Mehrzahl der korrigierten Einfügungsbilder Ipc, die voneinander verschiedene Komponenten P darstellen, durch Festlegen des korrigierten Schneidbereichs Rcc (Greifeinrichtungsbereich), der den Bereich der Robotergreifeinrichtung 51 für die Komponente P in dem zusammengesetzten Bild IC darstellt, und Schneiden des korrigierten Einfügungsbilds Ipc (Zielkomponentenbild), das diese Komponente P darstellt, die in den korrigierten Schneidbereich Rcc einbezogen ist, von dem zusammengesetzten Bild Ic erzeugt (Schritte S301 bis S306). Ferner wird die Greiferfolgswahrscheinlichkeit in dem Fall, bei dem versucht wird, die Komponente P durch die Robotergreifeinrichtung 51 in der Positionsbeziehung der Robotergreifeinrichtung 51 und der Komponente P, die durch das korrigierte Einfügungsbild Ipc dargestellt ist, zu greifen, für jede der Mehrzahl von korrigierten Einfügungsbildern Ipc berechnet (Schritt S307). In dem dabei verwendeten zusammengesetzten Bild Ic verbleibt die Form der Komponente P in einer einfachen Weise an einer relativ hohen Position, wie es vorstehend beschrieben ist. Daher kann das korrigierte Einfügungsbild Ipc, das die Komponente P an einer relativ hohen Position umfasst, mit anderen Worten, die Komponente mit einer relativ hohen Greiferfolgswahrscheinlichkeit, zuverlässig erzeugt werden.
Ferner wird auf der Basis der Greiferfolgswahrscheinlichkeit, die für jedes der Mehrzahl von korrigierten Einfügungsbildern Ipc berechnet worden ist, ein korrigiertes Einfügungsbild Ipc aus der Mehrzahl von korrigierten Einfügungsbildern Ipc ausgewählt und es wird bestimmt, die Komponente P, die durch das eine korrigierte Einfügungsbild Ipc dargestellt ist, durch die Robotergreifeinrichtung 51 in einer Stellung zu greifen, die durch das eine korrigierte Einfügungsbild Ipc dargestellt ist (Schritte S401 bis S406). Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponenten P durch die Robotergreifeinrichtung 51 vermindert werden.
Ferner wird von den korrigierten Einfügungsbildern Ipc, die eine vorgegebene Ausschlussbedingung nicht erfüllen (Schritt S405), von der Mehrzahl von korrigierten Einfügungsbildern Ipc das korrigierte Einfügungsbild Ipc mit der höchsten Greiferfolgswahrscheinlichkeit als ein korrigiertes Einfügungsbild Ipc ausgewählt (Schritte S401 bis S406). Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponenten P durch die Robotergreifeinrichtung 51 zuverlässig vermindert werden.
Insbesondere ist die vorgegebene Ausschlussbedingung, dass der Abstand zwischen dem Ende des unterteilten Lagers 911 (Behälter) des Komponentenbehälters 91 und der Position des korrigierten Einfügungsbilds Ipc weniger als der vorgegebene Wert ist (Schritt S406). Dadurch tritt eine Situation auf, bei der das Greifen der Komponente P aufgrund einer Wandoberfläche am Ende des unterteilten Lagers 911 fehlschlägt.
Ferner umfasst die Greifklassifizierungsnetzwerkeinheit 47 das neuronale Greifklassifizierungsnetzwerk, das die Beziehung des korrigierten Einfügungsbilds Ipc und der Greiferfolgswahrscheinlichkeit unter Verwendung eines Erfolgs/Fehlschlags des Greifens in dem Fall, bei dem das Greifen der Komponente P durch die Robotergreifeinrichtung 51 in der Positionsbeziehung der Robotergreifeinrichtung 51 und der Komponente P versucht wird, die durch das korrigierte Einfügungsbild Ipc dargestellt ist, als Trainingsdaten gelernt hat. Die Greiferfolgswahrscheinlichkeit wird für jedes der Mehrzahl von korrigierten Einfügungsbildern Ipc durch dieses neuronale Greifklassifizierungsnetzwerk berechnet. Bei einem solchen Aufbau kann die Häufigkeit eines Fehlschlags beim Greifen der Komponenten P durch die Robotergreifeinrichtung 51 zuverlässig vermindert werden, wobei ein Lernergebnis des neuronalen Greifklassifizierungsnetzwerks verwendet wird.
Ferner kann bei dieser Ausführungsform davon ausgegangen werden, dass sie zum Lernen durch ein solches neuronales Greifklassifizierungsnetzwerk geeignet ist. D.h., als ein Beispiel eines Lernverfahrens des neuronalen Greifklassifizierungsnetzwerks wird in Betracht gezogen, sowohl das Graustufenbild Ig als auch das Tiefenbild Id in das neuronale Greifklassifizierungsnetzwerk einzugeben und zu bewirken, dass das neuronale Greifklassifizierungsnetzwerk eine Beziehung dieser Bilder Ig, Id und der Greiferfolgswahrscheinlichkeit lernt. Für das neuronale Greifklassifizierungsnetzwerk ist es jedoch schwierig, die Greiferfolgswahrscheinlichkeit der Robotergreifeinrichtung 51 auf der Basis des Zusammenhangs zwischen der Helligkeit der Komponente P, die durch das Graustufenbild Ig dargestellt ist, und der Höhe der Komponente P, die durch das Tiefenbild Id dargestellt ist, zu lernen, und auch der Rechenaufwand ist groß. Da andererseits das zusammengesetzte Bild Ic (korrigierte Einfügungsbild Ipc), das durch Kombinieren des Graustufenbilds Ig und des Tiefenbilds Id erhalten wird, in dieser Ausführungsform in das neuronale Greifklassifizierungsnetzwerk eingegeben wird, kann das neuronale Greifklassifizierungsnetzwerk auf der Basis dieses zusammengesetzten Bilds Ic lernen. Als Ergebnis kann das Lernen relativ einfach durchgeführt werden und der Rechenaufwand kann ebenfalls vermindert werden.
Ferner werden Greifzustandsinformationen (Seitenansichtbild und Masse der Komponente P), die einen Zustand zeigen, bei dem die Komponente P, die durch ein korrigiertes Einfügungsbild Ipc dargestellt wird, durch die Robotergreifeinrichtung 51 in einer Stellung tatsächlich gegriffen wird, die durch das eine korrigierte Einfügungsbild Ipc dargestellt ist, erfasst (Schritte S105, S112). Ein Erfolg/Fehlschlag des Greifens der Komponente P durch die Robotergreifeinrichtung 51 wird auf der Basis dieser Greifzustandsinformationen bestimmt (Schritte S107, S109, S113). Bei einem solchen Aufbau kann bestätigt werden, ob das Greifen der Komponente P, die auf der Basis der Greiferfolgswahrscheinlichkeit ausgewählt wird, die für das korrigierte Einfügungsbild Ipc erhalten worden ist, tatsächlich erfolgreich war.
Wie es gerade beschrieben worden ist, entspricht in der vorstehenden Ausführungsform das Komponentengreifsystem 1 einem Beispiel eines „Komponentengreifsystems“ der Erfindung, die Steuervorrichtung 3 entspricht einem Beispiel einer „Bildverarbeitungsvorrichtung“ der Erfindung, die Hauptsteuereinrichtung 311 entspricht einem Beispiel von jeder einer „Bilderfassungseinrichtung“ und einer „Erfolg/Fehlschlag-Bestimmungseinrichtung“ der Erfindung, die Bildzusammensetzungseinrichtung 41 entspricht einem Beispiel einer „Bildzusammensetzungseinrichtung“ der Erfindung, der Einfügungsbilderzeuger 43, die Ausrichtungsnetzwerkeinheit 45 und die Greifklassifizierungsnetzwerkeinheit 47 wirken zusammen, so dass sie als ein Beispiel einer „Erfolgswahrscheinlichkeit-Berechnungseinrichtung“ der Erfindung arbeiten, die Robotergreifeinrichtung 51 entspricht einem Beispiel einer „Robotergreifeinrichtung“ der Erfindung, die Kamera 83 entspricht einem Beispiel einer „Kamera“ der Erfindung, das unterteilte Lager 911 des Komponentenbehälters 91 entspricht einem Beispiel eines „Behälters“ der Erfindung, das Tiefenbild Id entspricht einem Beispiel eines „Tiefenbilds“ der Erfindung, das Graustufenbild Ig entspricht einem Beispiel eines „Helligkeitsbilds“ der Erfindung, das zusammengesetzte Bild Ic entspricht einem Beispiel eines „zusammengesetzten Bilds“ der Erfindung, das korrigierte Einfügungsbild Ipc entspricht einem Beispiel eines „Zielkomponentenbilds“ der Erfindung und der korrigierte Schneidbereich Rcc entspricht einem Beispiel eines „Greifeinrichtungsbereichs“ der Erfindung.
Es sollte beachtet werden, dass die Erfindung nicht auf die vorstehende Ausführungsform beschränkt ist und verschiedene Änderungen, die von denjenigen verschieden sind, die vorstehend beschrieben sind, durchgeführt werden können, ohne von dem Wesentlichen der Erfindung abzuweichen. Beispielsweise kann im Schritt S105 die Komponente P, die durch die Robotergreifeinrichtung 51 gegriffen wird, durch die Kamera 83 von voneinander verschiedenen Richtungen einer Bildgebung unterzogen werden, so dass eine Mehrzahl von Seitenansichtbildern erhalten wird. Diese Seitenansichtbilder können durch eine Bildgebung der Komponente P erfasst werden, während die Robotergreifeinrichtung 51, welche die Komponente P greift, in der θ-Richtung gedreht wird. Dabei können die Bestätigung der Anzahl der Komponenten P im Schritt S107 und die Bestätigung einer Anomalie (übermäßig kleine Fläche) der Komponente P im Schritt S109 aus einer Mehrzahl von Richtungen durchgeführt werden.
Ferner kann das Flussdiagramm von 11 für das Lernen des neuronalen Greifklassifizierungsnetzwerk abgearbeitet werden. Dabei ist die 11 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum erneuten Lernen des neuronalen Greifklassifizierungsnetzwerks der Greifklassifizierungsnetzwerkeinheit zeigt. Dieses Flussdiagramm wird durch die Hauptsteuereinrichtung 311 beispielsweise bei einem Endzeitpunkt eines geplanten „bin picking“ oder dergleichen abgearbeitet.
Im Schritt S801 bestätigt die Hauptsteuereinrichtung 311 vergangene Vorgänge eines Erfassens einer Anomalie auf der Basis eines Seitenansichtbilds („NEIN“ in den Schritten S107, S108) und einer Anomalie auf der Basis einer Massemessung („NEIN“ im Schritt S113) bei einem früher durchgeführten „bin picking“. Wenn die Anzahl von Anomalieerfassungen mit einer vorgegebenen Anzahl identisch oder größer als diese ist („JA“ Im Schritt S802), wird das erneute Lernen des neuronalen Greifklassifizierungsnetzwerks der Greifklassifizierungsnetzwerkeinheit 47 durchgeführt (Schritt S803). Bei diesem erneuten Lernen werden die korrigierten Einfügungsbilder Ipc, welche die Komponenten P darstellen, die als anomal erfasst worden sind, und Greiferfolg/fehlschlag-Ergebnisse (d.h., Fehlschläge) als Trainingsdaten verwendet. Insbesondere wird eine Fehlerfunktion auf der Basis einer Greiferfolgswahrscheinlichkeit und des Greiferfolg/fehlschlag-Ergebnisses (Fehlschlag), das durch Vorwärtsübertragen des korrigierten Einfügungsbilds Ipc in das neuronale Greifklassifizierungsnetzwerk erhalten wird, berechnet und diese Fehlerfunktion wird in das neuronale Greifklassifizierungsnetzwerk zurückgeführt, wodurch die Parameter des neuronalen Greifklassifizierungsnetzwerks aktualisiert werden (erneutes Lernen).
D.h., in einem Beispiel von 11 wird das erneute Lernen des neuronalen Greifklassifizierungsnetzwerks auf der Basis eines Ergebnisses des Erfassens der Greifzustandsinformationen (Seitenansichtbilder, Masse) für die Komponente P durchgeführt, die durch die Robotergreifeinrichtung 51 gegriffen wird. Bei einem solchen Aufbau wird das erneute Lernen des neuronalen Greifklassifizierungsnetzwerks gemäß einem tatsächlichen Erfolg/Fehlschlag-Ergebnis des Greifens der Komponente P, die auf der Basis der Greiferfolgswahrscheinlichkeit ausgewählt wird, die für das korrigierte Einfügungsbild Ipc erhalten worden ist, durchgeführt, und die Berechnungsgenauigkeit der Greiferfolgswahrscheinlichkeit durch das neuronale Greifklassifizierungsnetzwerk kann verbessert werden.
Die 12 ist eine Modifizierung des neuronalen Greifklassifizierungsnetzwerks der Greifklassifizierungsnetzwerkeinheit. In diesem neuronalen Greifklassifizierungsnetzwerk 471 sind mehrschichtige neuronale Faltungsnetzwerke 472 und eine vollständig verbundene Schicht 473 in Reihe gruppiert. Ferner sind ein Raumbeachtungsmodul 474 und ein Kanalbeachtungsmodul 475 auf einer Ausgangsseite von jedem neuronalen Faltungsnetzwerk 472 bereitgestellt, und ein Merkmalskennfeld, das aus dem neuronalen Faltungsnetzwerk 472 ausgegeben wird, wird in das nächste neuronale Faltungsnetzwerk 472 oder die vollständig verbundene Schicht 473 durch ein Gewichten durch das Raumbeachtungsmodul 474 und das Kanalbeachtungsmodul 475 eingegeben.
Insbesondere weist eine Beachtungsmaske Ma, die dem Merkmalskennfeld durch das Raumbeachtungsmodul 474 hinzugefügt wird, zwei Beachtungsbereiche Pg, Pp auf, die durch ein Zentrum des korrigierten Einfügungsbilds Ipc (mit anderen Worten, des korrigierten Schneidbereichs Rcc) verlaufen. D.h., in der Beachtungsmaske Ma sind Gewichtungen der Beachtungsbereiche Pg, Pp größer als diejenigen von anderen Bereichen und diese Gewichtungen werden dem Merkmalskennfeld hinzugefügt. Dabei ist der Beachtungsbereich Pg parallel zur Greifrichtung G und der Beachtungsbereich Pp ist orthogonal zu der Greifrichtung G. Insbesondere wenn die Richtung der langen Achse der Komponente P wie in dem vorstehenden Beispiel orthogonal zu der Greifrichtung G ist, ist der Beachtungsbereich Pp parallel zu der Richtung der langen Achse der Komponente P. D.h., diese Beachtungsmaske Ma berücksichtigt, dass der Beachtungsbereich Pp einer idealen Position der Komponente P in dem korrigierten Einfügungsbild Ipc entspricht und der Beachtungsbereich Pg Annäherungswegen der Klauen 511 der Robotergreifeinrichtung 51 bezüglich dieser Komponente P entspricht.
In dem neuronalen Greifklassifizierungsnetzwerk wird die Beachtungsmaske Ma mit einem solchen Aufbau dem Merkmalskennfeld, das aus dem neuronalen Faltungsnetzwerk 472 ausgegeben wird, zum Gewichten des Merkmalskennfelds hinzugefügt. Daher können ein Winkel der Richtung der langen Achse der Komponente P in Bezug auf die Greifrichtung G und eine Bedingung eines Bewegungswegs der Robotergreifeinrichtung 51, welche die Komponente P greift (Vorliegen oder Fehlen einer weiteren Komponente), bei der Beurteilung durch das neuronale Greifklassifizierungsnetzwerk genau widergespiegelt werden.
Ferner ist das Verfahren zum Erzeugen des zusammengesetzten Bilds Ic nicht auf das Beispiel unter Verwendung der vorstehenden Gleichung beschränkt, sondern das zusammengesetzte Bild Ic kann durch eine andere Gleichung zum Berechnen des zusammengesetzten Werts Vc des zusammengesetzten Bilds Ic durch Gewichten der Helligkeit Vg des Graustufenbilds Ig durch die Tiefe Vd des Tiefenbilds Id erzeugt werden.
Ferner wird in dem vorstehenden Beispiel das zusammengesetzte Bild Ic durch Kombinieren des Graustufenbilds Ig und des Tiefenbilds Id erzeugt. Dabei kann das zusammengesetzte Bild Ic durch Kombinieren eines invertierten Graustufenbilds Ig (Helligkeitsbild), das durch Invertieren der Helligkeit des Graustufenbilds Ig erhalten wird, und des Tiefenbilds Id erzeugt werden. Insbesondere ist es in dem Fall eines Greifens einer Komponente P mit einer schwarz plattierten Oberfläche zum Erzeugen des zusammengesetzten Bilds Ic bevorzugt, das invertierte Graustufenbild Ig zu verwenden.
Ferner muss das Einfügungsbild Ip nicht aus dem binärisierten zusammengesetzten Bild Ic geschnitten werden, sondern das Einfügungsbild Ip kann aus dem zusammengesetzten Bild Ic ohne Durchführen einer Binärisierung geschnitten werden. Das Gleiche gilt auch für das korrigierte Einfügungsbild Ipc.
Ferner kann von verschiedenen Einstellmodi des Schneidbereichs Rc für die Komponente P in der Einfügungsbildverarbeitung ausgegangen werden. Beispielsweise kann der Schneidbereich Rc so eingestellt werden, dass der geometrische Schwerpunkt des Schneidbereichs Rc mit demjenigen der Komponente P zusammenfällt. Ohne auf dieses Beispiel beschränkt zu sein, kann der Schneidbereich Rc jedoch kurz gesagt so eingestellt werden, dass er die vorgesehene Komponente P umfasst.
Ferner ist ein spezifischer Aufbau der Robotergreifeinrichtung 51 nicht auf das vorstehende Beispiel beschränkt. Beispielsweise ist die Anzahl der Klauen 511 der Robotergreifeinrichtung 51 nicht auf zwei beschränkt, sondern kann drei oder mehr betragen. Ferner kann auch eine Robotergreifeinrichtung 51 verwendet werden, die durch einen Unterdruck oder eine Magnetkraft ein Ansaugen bzw. -ziehen durchführt. Selbst in diesen Fällen kann der Schneidbereich Rc in einem Bereich eingestellt werden, der durch die Robotergreifeinrichtung 51 gegriffen werden soll und das Einfügungsbild Ip kann aus dem Schneidbereich Rc geschnitten werden.
Ferner wird in der vorstehenden Ausführungsform das Korrekturausmaß (Δx, Δy, Δθ) des Schneidbereichs Rc, aus dem das Einfügungsbild Ip geschnitten worden ist, durch die Ausrichtungsnetzwerkeinheit 45 berechnet, und das korrigierte Einfügungsbild Ipc, das von dem korrigierten Schneidbereich Rcc geschnitten worden ist, der durch Korrigieren des Schneidbereichs Rc um dieses Korrekturausmaß (Δx, Δy, Δθ) erhalten worden ist, wird in die Greifklassifizierungsnetzwerkeinheit 47 eingegeben. Ohne Korrektur durch das Korrekturausmaß (Δx, Δy, Δθ) kann jedoch das Einfügungsbild Ip direkt in die Greifklassifizierungsnetzwerkeinheit 47 eingegeben werden und die Greifklassifizierungsnetzwerkeinheit 47 kann die Greiferfolgswahrscheinlichkeit direkt aus dem Einfügungsbild Ip berechnen.
BEZUGSZEICHENLISTE

1: Komponentengreifsystem
3: Steuervorrichtung (Bildverarbeitungsvorrichtung)
311: Hauptsteuereinrichtung (Bilderfassungseinrichtung, Erfolg/Fehlschlag-Bestimmungseinrichtung)
41: Bildzusammensetzungseinrichtung
43: Einfügungsbilderzeuger (Erfolgswahrscheinlichkeit-Berechnungseinrichtung)
45: Ausrichtungsnetzwerkeinheit (Erfolgswahrscheinlichkeit-Berechnungseinrichtung)
47: Greifklassifizierungsnetzwerkeinheit (Erfolgswahrscheinlichkeit-Berechnungseinrichtung)
51: Robotergreifeinrichtung
83: Kamera
91: Komponentenbehälter
911: Unterteiltes Lager (Behälter)
Id: Tiefenbild
Ig: Graustufenbild (Helligkeitsbild)
Ic: Zusammengesetztes Bild
Ipc: Korrigiertes Einfügungsbild (Zielkomponentenbild)
Rcc: Korrigierter Schneidbereich (Greifeinrichtungsbereich)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015147256 A [0003]

Claims

Bildverarbeitungsvorrichtung, umfassend: eine Bilderfassungseinrichtung, die zum Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt, ausgebildet ist; und eine Bildzusammensetzungseinrichtung, die zum Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds, die durch die Bilderfassungseinrichtung erfasst worden sind, ausgebildet ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei: das Helligkeitsbild eine Helligkeit Vg für jedes Pixel darstellt, das Tiefenbild eine Tiefe Vd für jedes Pixel darstellt, das zusammengesetzte Bild einen zusammengesetzten Wert Vc für jedes Pixel darstellt, und die Bildzusammensetzungseinrichtung das zusammengesetzte Bild durch Berechnen eines zusammengesetzten Werts Vc erzeugt, der durch Gewichten der Helligkeit Vg durch die Tiefe Vd erhalten wird.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Bildzusammensetzungseinrichtung das zusammengesetzte Bild auf der Basis der folgenden Gleichung erzeugt: $Vc = Vd \times (1 + Vg / max (Vg))$
wobei max(Vg) ein maximaler Wert der Helligkeiten Vg ist, die in das Helligkeitsbild einbezogen sind.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, die ferner eine Erfolgswahrscheinlichkeit-Berechnungseinrichtung umfasst, die zum Erzeugen einer Mehrzahl von Zielkomponentenbildern, die voneinander verschiedene Komponenten darstellen, durch Einstellen eines Greifeinrichtungsbereichs, der einen Bereich einer Robotergreifeinrichtung für die Komponente darstellt, und Erzeugen des Zielkomponentenbilds, das die Komponente darstellt, die in den Greifeinrichtungsbereich einbezogen ist, auf der Basis des zusammengesetzten Bilds, und Berechnen einer Greiferfolgswahrscheinlichkeit, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente, die durch das Zielkomponentenbild dargestellt ist, zu greifen, für jedes der Mehrzahl von Zielkomponentenbildern, ausgebildet ist.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Erfolgswahrscheinlichkeit-Berechnungseinrichtung ein Zielkomponentenbild von der Mehrzahl von Zielkomponentenbildern auf der Basis der Greiferfolgswahrscheinlichkeiten auswählt, die jeweils für die Mehrzahl von Zielkomponentenbildern berechnet worden sind, und bestimmt, die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei: die Erfolgswahrscheinlichkeit-Berechnungseinrichtung das Zielkomponentenbild mit der höchsten Greiferfolgswahrscheinlichkeit von den Zielkomponentenbildern, die eine vorgegebene Ausschlussbedingung von der Mehrzahl von Zielkomponentenbildern nicht erfüllen, als das eine Zielkomponentenbild auswählt.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei: die vorgegebene Ausschlussbedingung eine derartige Bedingung ist, dass ein Abstand zwischen einem Ende des Behälters und dem Zielkomponentenbild weniger als ein vorgegebener Wert ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 5 bis 7, wobei: die Erfolgswahrscheinlichkeit-Berechnungseinrichtung ein neuronales Netzwerk umfasst, das eine Beziehung des Zielkomponentenbilds und der Greiferfolgswahrscheinlichkeit unter Verwendung von Erfolg/Fehlschlag eines Greifens, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente, die durch das Zielkomponentenbild dargestellt ist, zu greifen, als Trainingsdaten gelernt hat, und die Greiferfolgswahrscheinlichkeit für jedes der Mehrzahl von Zielkomponentenbildern durch das neuronale Netzwerk berechnet wird.
Bildverarbeitungsvorrichtung nach Anspruch 8, die ferner eine Erfolg/Fehlschlag-Bestimmungseinrichtung umfasst, die zum Erfassen von Greifzustandsinformationen, die einen Zustand darstellen, in dem die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in der Stellung gegriffen wird, die durch das eine Zielkomponentenbild dargestellt ist, und Bestimmen eines Erfolgs/Fehlschlags des Greifens der Komponente durch die Robotergreifeinrichtung ausgebildet ist.
Bildverarbeitungsvorrichtung nach Anspruch 9, wobei: die Erfolg/Fehlschlag-Bestimmungseinrichtung eine Masse, die durch ein Massenmessgerät gemessen wird, wenn die Robotergreifeinrichtung die Komponente, die von dem Behälter gegriffen worden ist, auf dem Massenmessgerät anordnet, als die Greifzustandsinformationen erfasst.
Bildverarbeitungsvorrichtung nach Anspruch 9 oder 10, wobei: die Erfolg/Fehlschlag-Bestimmungseinrichtung ein Bild, das durch Aufnehmen der Komponente, die durch die Robotergreifeinrichtung gegriffen worden ist, durch eine Kamera erhalten worden ist, als die Greifzustandsinformationen erfasst.
Bildverarbeitungsvorrichtung nach Anspruch 11, wobei: die Erfolg/Fehlschlag-Bestimmungseinrichtung eine Mehrzahl von Bildern, die durch Aufnehmen der Komponente, die durch die Robotergreifeinrichtung gegriffen worden ist, von voneinander verschiedenen Richtungen durch die Kamera erhalten worden sind, als die Greifzustandsinformationen erfasst.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 9 bis 12, wobei: die Erfolgswahrscheinlichkeit-Berechnungseinrichtung bewirkt, dass das neuronale Netzwerk auf der Basis eines Ergebnisses des Erfassens der Greifzustandsinformationen für die Komponente, die durch die Robotergreifeinrichtung gegriffen worden ist, erneut lernt.
Komponentengreifsystem, umfassend: die Bildverarbeitungsvorrichtung nach einem der Ansprüche 5 bis 13; und eine Robotergreifeinrichtung, welche die Komponente auf der Basis der Bestimmung der Bildverarbeitungsvorrichtung greift, ein Zielkomponentenbild aus der Mehrzahl von Zielkomponentenbildern auszuwählen und die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist.
Bildverarbeitungsverfahren, umfassend: Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt; und Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds.
Komponentengreifverfahren, umfassend: Erfassen eines Helligkeitsbilds, das eine Mehrzahl von Komponenten darstellt, die in einem Behälter gelagert sind, und eines Tiefenbilds, das die Mehrzahl von Komponenten darstellt; Erzeugen eines zusammengesetzten Bilds durch Kombinieren des Helligkeitsbilds und des Tiefenbilds; Erzeugen einer Mehrzahl von Zielkomponentenbildern, die jeweils voneinander verschiedene Komponenten darstellen, durch Einstellen eines Greifeinrichtungsbereichs, der einen Bereich einer Robotergreifeinrichtung für die Komponente darstellt, und Erzeugen des Zielkomponentenbilds, das die Komponente darstellt, die in den Greifeinrichtungsbereich einbezogen ist, auf der Basis des zusammengesetzten Bilds, und Berechnen einer Greiferfolgswahrscheinlichkeit, wenn die Robotergreifeinrichtung versucht, die Komponente in einer Positionsbeziehung der Robotergreifeinrichtung und der Komponente zu greifen, die durch das Zielkomponentenbild dargestellt ist, für jedes der Mehrzahl von Zielkomponentenbildern; Auswählen eines Zielkomponentenbilds von der Mehrzahl von Zielkomponentenbildern auf der Basis der Greiferfolgswahrscheinlichkeiten, die jeweils für die Mehrzahl von Zielkomponentenbildern berechnet worden sind, und Bestimmen, die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist; und Greifen der Komponente durch die Robotergreifeinrichtung auf der Basis einer Bestimmung, ein Zielkomponentenbild von der Mehrzahl von Zielkomponentenbildern auszuwählen und die Komponente, die durch das eine Zielkomponentenbild dargestellt ist, durch die Robotergreifeinrichtung in einer Stellung zu greifen, die durch das eine Zielkomponentenbild dargestellt ist.