DE102017011754B4

DE102017011754B4 - Maschinenlerneinrichtung zum Lernen eines Montagevorgangs und Komponentenmontagesystem

Info

Publication number: DE102017011754B4
Application number: DE102017011754.3A
Authority: DE
Inventors: Masato Watanabe; Taku Sasaki; Kiichi Inaba
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2016-12-26
Filing date: 2017-12-19
Publication date: 2021-03-04
Anticipated expiration: 2037-12-20
Also published as: US10502253B2; DE102017011754A1; US20180180085A1; JP6506245B2; JP2018103309A; CN108241296A

Abstract

Maschinenlerneinrichtung (30) zum Lernen eines Montagevorgangs, bei dem wenigstens eine Arbeitsmaschine (11, 12) eine erste Komponente (41) und eine zweite Komponente (42) montiert, um eine Baugruppe (40) herzustellen, wobei die Maschinenlerneinrichtung umfasst:- eine Zustandsüberwachungseinheit (31) zum Überwachen von Zustandsgrößen, die den Zustand der Baugruppe, eine zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und/oder Informationen über eine zum Montieren der ersten und zweiten Komponente erforderliche Kraft, das Ergebnis einer Durchgangsprüfung der Baugruppe sowie Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang umfassen; und- eine Lerneinheit (35) zum Lernen, in einander zugeordneter Weise, des Zustands der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder der Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, des Ergebnisses der Durchgangsprüfung der Baugruppe sowie der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang, die durch die Zustandsüberwachungseinheit überwacht werden; und wobei die erste Komponente (41) und die zweite Komponente (42) aus leitfähigen Materialien gefertigt sind.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Maschinenierneinrichtung zum Lernen eines Montagevorgangs von Komponenten und ein Komponentenmontagesystem, das die Maschinenlerneinrichtung umfasst.
Beschreibung des zugehörigen Standes der Technik
Beim Montieren zweier Komponenten wird in vorab in den zwei Komponenten ausgebildeten Bohrungen eine Schraube in Eingriff gebracht (z.B. JP 2014- 7 890 A). Alternativ wird ein Teil einer der Komponenten in einen ausgesparten Abschnitt oder eine Durchgangsbohrung der anderen Komponente eingesetzt, um die zwei Komponenten zu montieren.
Solche Komponentenmontagevorgänge lassen sich automatisieren. Wenn Komponenten mit relativ kleinen Maßabweichungen in Montageeinrichtungen eingebracht werden, können die Montageeinrichtungen die Komponenten mit hoher Geschwindigkeit montieren, da ihr Positionsverhältnis während der Montage konstant ist. Wenn hingegen Komponenten mit relativ großen Maßabweichungen in Montageeinrichtungen eingebracht werden, müssen die Montageeinrichtungen die Komponenten aufgrund großer Abweichungen ihres Positionsverhältnisses während der Montage mit niedriger Geschwindigkeit und geringfügigen Positionsänderungen montieren, um die Komponenten sicher zu montieren.
Die DE 11 2009 003 656 T5 beschreibt einen Roboter zum wiederholten Montieren von Teilen während eines kontinuierlichen Produktionsablaufs. Dafür werden vom Roboter mit der Teilemontage assoziierte Parameter wie zum Beispiel Startpositionsinformationen verwendet. Eine mit dem Roboter verbundene Steuervorrichtung ist dafür ausgelegt, die Parameter simultan zur Teilemontage zu optimieren.
Die JP 5 969 676 B1 beschreibt eine Maschinenlernvorrichtung zum Optimieren eines Zeitpunkts für eine Werkzeugkorrektur in einer Werkzeugmaschine. Eine Statusbeobachtungseinheit beobachtet Statusvariablen wie ein Werkzeugkorrekturintervall, eine Verarbeitungsfehlerhöhe und ein Maschinenarbeitsverhältnis. Eine Lerneinheit mit Vergütungsberechnungseinheit berechnet eine Vergütung auf Basis der Statusvariablen und eine Funktionsaktualisierungseinheit erstellt oder aktualisiert eine Aktionswerttabelle basierend auf den Statusvariablen und der Vergütung.
Zusammenfassung der Erfindung
Das Einbringen von Komponenten mit großen Maßabweichungen in eine Montageeinrichtung, die einen Montagevorgang mit hoher Geschwindigkeit durchführt, verursacht jedoch eine Verringerung der Komponentenmontagegenauigkeit. Daher schlägt die Montage der Komponenten oft fehl und eine Fertigungsstraße wird häufig gestoppt. Andererseits ändert sich die Arbeitsgeschwindigkeit selbst dann nicht, wenn Komponenten mit kleinen Maßabweichungen in eine Montageeinrichtung eingebracht werden, die einen Montagevorgang mit niedriger Geschwindigkeit durchführt, so dass eine lange Betriebszeit erforderlich ist.
Daher ist es erwünscht, eine Maschinenierneinrichtung, die bei verringerter Betriebszeit eine Komponentenmontagegenauigkeit verbessern kann, und eine Komponentenmontageeinrichtung bereitzustellen, die die Maschinenlerneinrichtung aufweist.
Dafür wird eine Maschinenierneinrichtung mit den Merkmalen des Anspruchs 1 und ein Komponentenmontagesystem mit den Merkmalen des Anspruchs 7 bereitgestellt. Bevorzugte Ausführungsformen sind in den Unteransprüchen angegeben.
Gemäß einem ersten Aspekt der Offenbarung lernt eine Maschinenierneinrichtung einen Montagevorgang, bei dem wenigstens eine Arbeitsmaschine eine erste Komponente und eine zweite Komponente montiert, um eine Baugruppe herzustellen. Die Maschinenlerneinrichtung umfasst eine Zustandsüberwachungseinheit zum Überwachen von Zustandsgrößen, die den Zustand der Baugruppe, eine zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und/oder Informationen über eine zum Montieren der ersten und zweiten Komponente erforderliche Kraft, das Ergebnis einer Durchgangsprüfung der Baugruppe sowie Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang umfassen; und eine Lerneinheit zum Lernen, in einander zugeordneter Weise, des Zustands der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder der Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, des Ergebnisses der Durchgangsprüfung der Baugruppe sowie der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang, die durch die Zustandsüberwachungseinheit überwacht werden.
Der erste Aspekt dient dazu, geeignetere Positions- und Stellungsbefehlswerte für jede der ersten und zweiten Komponenten vor dem Montagevorgang automatisch zu bestimmen. Daher ist es möglich, eine Maschinenierneinrichtung bereitzustellen, die unabhängig von Maßabweichungen der Komponenten eine Montagegenauigkeit der ersten und zweiten Komponente verbessern und die Betriebszeit verringern kann.
Die Ziele, Merkmale und Vorteile der vorliegenden Erfindung sowie andere Ziele, Merkmale und Vorteile gehen aus der folgenden genauen Beschreibung der Ausführungsformen der vorliegenden Erfindung in Verbindung mit den beigefügten Zeichnungen genauer hervor.
Figurenliste

1 ist ein Blockdiagramm eines Komponentenmontagesystems gemäß einer Ausführungsform;
2A ist eine Seitenansicht eines Beispiels einer ersten Komponente und einer zweiten Komponente;
2B ist eine Draufsicht von 2A;
3A ist eine Seitenansicht eines anderen Beispiels der ersten Komponente und der zweiten Komponente;
3B ist eine Draufsicht von 3A;
4 ist ein vergrößertes Blockdiagramm einer Maschinenlerneinrichtung;
5 ist ein Blockdiagramm einer Maschinenlerneinrichtung gemäß einer anderen Ausführungsform;
6 ist ein Flussdiagramm des Betriebs der Maschinenlerneinrichtung;
7 ist eine schematische Darstellung eines Neuronenmodells;
8 ist eine schematische Darstellung eines dreischichtigen neuronalen Netzmodells;
9 ist ein Blockdiagramm einer Mehrzahl von Komponentenmontagesystemen gemäß einer weiteren Ausführungsform;
10A ist eine Seitenansicht der ersten und zweiten Komponente gemäß einem weiteren Beispiel; und
10B ist eine Draufsicht von 10A.

Genaue Beschreibung der Erfindung
Ausführungsformen der vorliegenden Erfindung sind nachstehend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den Zeichnungen geben gleiche Bezugszeichen gleiche Komponenten an. Des einfacheren Verständnisses halber wurde der Maßstab der Zeichnungen geeignet abgeändert.
1 ist ein Blockdiagramm eines Komponentenmontagesystems gemäß einer Ausführungsform. Ein Komponentenmontagesystem 1 umfasst hauptsächlich eine Komponentenmontageeinrichtung 10 und eine Steuereinrichtung 20 zum Steuern der Komponentenmontageeinrichtung 10.
Die Komponentenmontageeinrichtung 10 umfasst wenigstens eine Arbeitsmaschine 11 und 12. Die in 1 gezeigten Arbeitsmaschinen 11 und 12 sind beispielsweise vertikale Knickarmroboter, können jedoch auch andere Maschinen sein, d.h. Maschinen für einfache Aufgaben, wie etwa Schraub- und Presseinrichtungen, oder Werkzeugmaschinen. In der folgenden Beschreibung wird angenommen, dass die Arbeitsmaschinen 11 und 12 Roboter sind.
Die Roboter 11 und 12 greifen eine erste Komponente 41 bzw. eine zweite Komponente 42 mit ihren Händen. Die erste Komponente 41 und die zweite Komponente 42, die miteinander in Eingriff gebracht werden können, sind in separaten Behältern (nicht gezeigt) enthalten. Die erste Komponente 41 und die zweite Komponente 42 werden miteinander in Eingriff gebracht, um eine Baugruppe 40 zu bilden. Es wird darauf hingewiesen, dass eine einzelne Arbeitsmaschine (nicht gezeigt) die zweite Komponente 42 an der ersten Komponente 41 montieren kann, die durch ein Montagegestell oder dergleichen fixiert wird.
Die Roboter 11 und 12 greifen und entnehmen die erste Komponente 41 bzw. die zweite Komponente 42 aus den Behältern (nicht gezeigt). Danach bewegen sich die Roboter 11 und 12 zu Positionen, die durch Positions- und Stellungsbefehlswerte für die Roboter 11 und 12 bestimmt werden. Mit anderen Worten, die Positions- und Stellungsbefehlswerte sind Befehlswerte, die auf die Positionen und Stellungen der ersten Komponente 41 und der zweiten Komponente 42 bezogen sind.
Wenigstens einer der Roboter 11 und 12 bewegt sich entsprechend Richtungs-, Geschwindigkeits- und Kraftbefehlswerten für einen Montagevorgang, wodurch die erste Komponente 41 und zweite Komponente 42 montiert werden. Danach kehrt wenigstens einer der Roboter 11 und 12 zu der Position zurück, die durch die vorstehend beschriebenen Positions- und Stellungsbefehlswerte bestimmt wird. Bei dieser Anwendung wird eine Reihe von Vorgängen zwischen dem Start von den durch die Positions- und Stellungsbefehlswerte bestimmten Positionen und der Rückkehr zu den Positionen nach dem Durchführen der Montage als Montagevorgang bezeichnet.
2A ist eine Seitenansicht eines Beispiels der ersten Komponente und der zweiten Komponente und 2B eine Draufsicht von 2A. Wie in 2A gezeigt, sind sowohl die erste Komponente 41 als auch die zweite Komponente 42 Verbindungsteile, die miteinander in Eingriff gebracht werden. Alternativ kann, wie in 3A, die eine Seitenansicht eines anderen Beispiels der ersten Komponente und zweiten Komponente ist, und 3B gezeigt, die eine Draufsicht von 3A ist, die erste Komponente 41 ein Verbindungsteil und die zweite Komponente 42 ein Stift sein, der in eine Durchgangsbohrung 45 des Verbindungsteils eingesetzt wird.
Wieder Bezug nehmend auf 1, ist die Steuereinrichtung 20 ein digitaler Computer, der eine CPU (Zentraleinheit) und eine Datenspeichereinheit, wie etwa einen Speicher, aufweist. Die Steuereinheit 20 umfasst eine Baugruppenzustandserfassungseinheit 21 zum Erfassen des Zustands der Baugruppe 40, zu der die erste Komponente 41 und die zweite Komponente 42 montiert werden. Die Baugruppenzustandserfassungseinheit 21 erfasst die verschiedenen Zustände der Baugruppe 40 basierend auf Informationen von beispielsweise einer Kamera oder einem Vision-Sensor. Die Zustände der Baugruppe 40 umfassen die Abmessungen der Baugruppe 40, das Positionsverhältnis (einschließlich eines Abweichungsbetrags) zwischen der ersten Komponente 41 und der zweiten Komponente 42 in der Baugruppe 40, einen Abstand G, die Winkel A1 und A2 zwischen der ersten Komponente 41 und der zweiten Komponente 42, die Position der Baugruppe 40 von einem beliebigen Ursprungspunkt und dergleichen.
Ferner umfasst die Steuereinheit 20 eine Zeitmesseinheit 22, z.B. einen Zeitgeber, zum Messen einer Zeitdauer T, die die Komponentenmontageeinrichtung 10 zum Montieren der ersten Komponente 41 und zweiten Komponente 42 benötigt. Die Zeitmesseinheit 22 misst die Zeit ab dem Zeitpunkt, zu dem sich die Roboter 11 und 12 in den durch die Positions- und Stellungsbefehlswerte bestimmten Positionen befinden, bis zu dem Zeitpunkt, zu dem die Roboter 11 und 12 nach dem Durchführen der Montage in die vorstehend beschriebenen Positionen zurückkehren.
Die Steuereinheit 20 umfasst ferner eine Krafterfassungseinheit 23 zum Erfassen von Informationen über eine zum Montieren der ersten Komponente 41 und der zweiten Komponente 42 erforderliche Kraft. Die Krafterfassungseinheit 23 erfasst einen Druck und dergleichen beim Ineingriffbringen der ersten Komponente 41 und der zweiten Komponente 42 basierend auf Informationen, die in bestimmten Steuerintervallen von Kraftsensoren gesendet werden, die z.B. an den Robotern 11 und 12 bereitgestellt sind.
Die Steuereinheit 20 umfasst ferner eine Durchgangsprüfeinheit 24 zum Durchführen einer Durchgangsprüfung an der Baugruppe 40. Die Durchgangsprüfung wird nach deren Montage an der Baugruppe 40 durchgeführt. Wenn ein zwischen der ersten Komponente 41 und der zweiten Komponente 42 fließender elektrischer Strom innerhalb eines bestimmten Bereichs liegt und/oder der Widerstand zwischen der ersten Komponente 41 und der zweiten Komponente 42 innerhalb eines bestimmten Bereichs liegt, erzielt die Durchgangsprüfung ein günstiges Ergebnis. Zu diesem Zweck sind die erste Komponente 41 und die zweite Komponente 42 bevorzugt aus leitfähigen Materialien gefertigt.
Die Steuereinheit 20 umfasst ferner eine Positions-/Stellungserfassungseinheit 25 zum Erfassen der Position und Stellung der ersten Komponente 41 und/oder der zweiten Komponente 42 vor dem Montagevorgang. Die Positions-/Stellungserfassungseinheit 25 erfasst die Position und Stellung der ersten Komponente 41 und/oder der zweiten Komponente 42 basierend auf Informationen von einem Positionsdetektor, z.B. einem Encoder, der an einem Motor zum Antreiben jeder Achse der Roboter 11 und 12 bereitgestellt ist.
Wie in 1 gezeigt, umfasst die Steuereinheit 20 ferner eine Maschinenlerneinrichtung 30. Die Maschinenlerneinrichtung 30 kann auch außerhalb der Steuereinheit 20 bereitgestellt werden. In diesem Fall ist die Maschinenlerneinrichtung 30 kommunikationsfähig mit der Steuereinheit 20 und der Komponentenmontageeinrichtung 10 verbunden. Die Maschinenlerneinrichtung 30 bestimmt die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte zum Montieren der ersten Komponente 41 und zweiten Komponente 42 sowie die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder die zweite Komponente 42, die durch die Hände der Roboter 11 und 12 gegriffen werden (diese Befehlswerte können nachstehend einfach als „Befehlswerte“ bezeichnet sein). Die Befehlswerte sind in Betriebsprogrammen für die Roboter 11 und 12 enthalten.
Bezug nehmend auf 4, die die Maschinenlerneinrichtung vergrößert darstellt, umfasst die Maschinenlerneinrichtung 30 eine Zustandsüberwachungseinheit 31 zum Überwachen von Zustandsgrößen, die den Zustand der Baugruppe 40, zu der die erste Komponente 41 und zweite Komponente 42 montiert werden, die zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderliche Zeitdauer und/oder die Informationen über die zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderliche Kraft, das Ergebnis der Durchgangsprüfung der Baugruppe 40 sowie die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder die zweite Komponente 42 vor dem Montagevorgang und/oder die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang umfassen. Die Zustandsüberwachungseinheit 31 speichert die Zustandsgrößen sequentiell in der Datenspeichereinheit, wie etwa dem Speicher, zusammen mit der Überwachungszeit.
Darüber hinaus umfasst die Maschinenlerneinrichtung 30 eine Lerneinheit 35 zum Lernen, in einander zugeordneter Weise, des Zustands der Baugruppe 40, der zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderlichen Zeitdauer und/oder der Informationen über die zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderliche Kraft, des Ergebnisses der Durchgangsprüfung der Baugruppe 40 sowie der Positions- und Stellungsbefehlswerte für die Position und Stellung der ersten Komponente 41 und/oder zweiten Komponente 42 vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang, die durch die Zustandsüberwachungseinheit 31 überwacht werden.
Die Lerneinheit 35 kann verschiedene Maschinenlernalgorithmen, wie etwa überwachtes Lernen, unüberwachtes Lernen, halbüberwachtes Lernen, bestärkendes Lernen, Transduktion, Multi-Task-Lernen und dergleichen verwenden. In der folgenden Beschreibung führt die Lerneinheit 35 unter Verwendung von Q-Lernen ein bestärkendes Lernen durch.
Bezug nehmend auf 4 entspricht die Maschinenlerneinrichtung 30 einem Agenten beim bestärkenden Lernen. Die Baugruppenzustandserfassungseinheit 21, die Zeitmesseinheit 22, die Krafterfassungseinheit 23, die Durchgangsprüfeinheit 24 und die Positions-/Stellungserfassungseinheit 25 erfassen den Zustand einer Umgebung.
Die Lerneinheit 35, die das bestärkende Lernen durchführt, umfasst eine Belohnungsberechnungseinheit 32 und eine Funktionsaktualisierungseinheit 33. Die Belohnungsberechnungseinheit 32 berechnet basierend auf dem Zustand der Baugruppe 40, der zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderlichen Zeitdauer und/oder den Informationen über die zum Montieren der ersten Komponente 41 und zweiten Komponente 42 erforderliche Kraft sowie dem Ergebnis der Durchgangsprüfung der Baugruppe 40, die durch die Zustandsüberwachungseinheit 31 überwacht werden, eine Belohnung. Die Funktionsaktualisierungseinheit 33 aktualisiert eine Funktion, z.B. eine Aktionswertfunktion (Aktionswerttabelle), die die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder die zweite Komponente 42 vor dem Montagevorgang und/oder die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang bestimmt, anhand der derzeitigen Zustandsgrößen basierend auf der durch die Belohnungsberechnungseinheit 32 berechneten Belohnung. Selbstverständlich kann die Funktionsaktualisierungseinheit 33 auch eine andere Funktion aktualisieren.
Die Maschinenlerneinrichtung 30 umfasst ferner eine Entscheidungseinheit 34, die einen optimalen Wert der Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang anhand der derzeitigen Zustandsgrößen basierend auf einem Lernergebnis der Lerneinheit 35 bestimmt. Die Entscheidungseinheit 34 lernt die Auswahl (Entscheidung) einer besseren Aktion. Die Entscheidungseinheit 34 kann statt in der Maschinenlerneinrichtung 30 in der Steuereinheit 20 enthalten sein.
Es wird darauf hingewiesen, dass, wie in 5 gezeigt, die ein Blockdiagramm einer Maschinenlerneinrichtung gemäß einer anderen Ausführungsform ist, eine Maschinenlerneinrichtung 30 nur die Zustandsüberwachungseinheit 31 und die Lerneinheit 35 umfassen kann.
6 ist ein Flussdiagramm des Betriebs einer Maschinenierneinrichtung. Der Betrieb der Maschinenlerneinrichtung 30 wird unter Bezugnahme auf die 1 bis 6 beschrieben. Der Betrieb von 6 wird immer dann durchgeführt, wenn die Roboter 11 und 12, die eine erste Komponente 41 bzw. eine zweite Komponente 42 greifen, die erste Komponente 41 und die zweite Komponente 42 montieren.
Zunächst werden in Schritt S11, zusätzlich zum Auswählen von Positions- und Stellungsbefehlswerten für die erste Komponente 41 und/oder zweite Komponente 42 vor einem Montagevorgang, auch Richtungs-, Geschwindigkeits- und Kraftbefehlswerte ausgewählt, um die erste Komponente 41 und zweite Komponente 42 zu montieren. Die Befehlswerte werden jeweils willkürlich aus den jeweiligen vorgegebenen Bereichen ausgewählt.
Alternativ kann bezüglich beispielsweise des Positionsbefehlswerts der ersten Komponente 41 anfangs ein Mindestwert innerhalb des vorgegebenen Bereichs und im nächsten Zyklus ein leicht erhöhter Wert ausgewählt werden. Dasselbe gilt für die anderen Befehlswerte. Das Verfahren gemäß 6 kann wiederholt werden, um sämtliche Kombinationen der Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor dem Montagevorgang und der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte auszuwählen, um die erste Komponente 41 und zweite Komponente 42 zu montieren.
Wenigstens einer der Roboter 11 und 12 wird basierend auf den Positions- und Stellungsbefehlswerten betrieben, so dass die erste Komponente 41 und zweite Komponente 42 in durch die Positions- und Stellungsbefehlswerte bestimmten Positionen platziert werden. Dann werden die erste Komponente 41 und zweite Komponente 42 basierend auf den Richtungs-, Geschwindigkeits- und Kraftbefehlswerten für den Montagevorgang zu einer Baugruppe 40 montiert. Zum Schluss werden die Roboter 11 und 12 in die durch die Positions- und Stellungsbefehlswerte bestimmten Positionen zurückgeführt. Zu diesem Zeitpunkt lässt eine Hand wenigstens eines der Roboter 11 und 12 die montierten Komponenten 41 und 42 los. Es wird darauf hingewiesen, dass die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang nur an einen der Roboter 11 und 12 ausgegeben werden können.
Dann erfasst die Baugruppenzustandserfassungseinheit 21 in Schritt S12 die verschiedenen Zustände der Baugruppe 40, zum Beispiel die Abmessungen der Baugruppe 40, das Positionsverhältnis zwischen der ersten Komponente 41 und zweiten Komponente 42 in der Baugruppe 40, einen Abstand, die Winkel A1 und A2 zwischen der ersten Komponente 41 und zweiten Komponente 42 und die Position der Baugruppe 40 von einem beliebigen Ursprungspunkt, und vergleicht die verschiedenen Zustände mit jeweiligen vorgegebenen Bereichen.
Wenn die verschiedenen Zustände der Baugruppe 40 in Schritt S12 innerhalb der jeweiligen vorgegebenen Bereiche liegen, wird die Belohnung in Schritt S13 erhöht. Wenn die verschiedenen Zustände der Baugruppe 40 hingegen in Schritt S12 außerhalb der jeweiligen vorgegebenen Bereiche liegen, wird die Belohnung in Schritt S20a verringert oder bleibt unverändert. Die Schritte S12, S13 und S20a werden bevorzugt in Bezug auf jeden der verschiedenen Zustände der Baugruppe 40 durchgeführt.
Dann bestimmt die Zeitmesseinheit 22 in Schritt S14, ob die Messdauer, ab dem Zeitpunkt, zu dem sich die Roboter 11 und 12 in den durch die Positions- und Stellungsbefehlswerte bestimmten Positionen befinden, bis zu dem Zeitpunkt, zu dem die Roboter 11 und 12 nach dem Durchführen des Montagevorgangs in die Positionen zurückkehren, innerhalb eines vorgegebenen Zeitbereichs liegt. Wenn die Messdauer innerhalb des vorgegebenen Zeitbereichs liegt, wird die Belohnung in Schritt S15 erhöht. Wenn die Messdauer außerhalb des vorgegebenen Zeitbereichs liegt, wird die Belohnung in Schritt S20b verringert oder bleibt unverändert.
Dann wird in Schritt S16 bestimmt, ob eine durch die Krafterfassungseinheit 23 gemessene Montagekraft innerhalb eines vorgegebenen Kraftbereichs liegt. Wenn die Montagekraft innerhalb des vorgegebenen Kraftbereichs liegt, wird die Belohnung in Schritt S17 erhöht. Wenn die Montagekraft außerhalb des vorgegebenen Kraftbereichs liegt, wird die Belohnung in Schritt S20c verringert oder bleibt unverändert.
Dann wird in Schritt S18 bestimmt, ob eine durch die Durchgangsprüfeinheit 24 durchgeführte Durchgangsprüfung ein günstiges Ergebnis erzielt. Genauer gesagt, wird bestimmt, ob ein während der Durchgangsprüfung geflossener elektrischer Strom und die Baugruppe 40 während der Durchgangsprüfung innerhalb jeweiliger vorgegebener Bereiche liegen und ob die Antwort eines Signals normal ist. Wenn die Durchgangsprüfung ein günstiges Ergebnis erzielt, wird die Belohnung in Schritt S19 erhöht. Wenn die Durchgangsprüfung ein ungünstiges Ergebnis erzielt, wird die Belohnung in Schritt S20d verringert oder bleibt unverändert.
Die Belohnungsberechnungseinheit 32 berechnet die Erhöhung oder Verringerung der Belohnung. Die Belohnung kann abhängig von Schritten um verschiedene Beträge erhöht oder verringert werden. Wenigstens einer der Bestimmungsschritte S12, S14, S16 und S18 und der darauf bezogene Belohnungsschritt können weggelassen werden.
Danach aktualisiert die Funktionsaktualisierungseinheit 33 in Schritt S21 eine Aktionswertfunktion. Das durch die Lerneinheit 35 durchgeführte Q-Lernen ist ein Verfahren zum Lernen eines Werts (des Werts einer Aktion) Q(s, a) zum Auswählen einer Aktion „a“ in einem bestimmten Umgebungszustand „s“. Folglich wird eine Aktion „a“ mit dem höchsten Wert Q(s, a) in einem bestimmten Zustand „s“ ausgewählt. Beim Q-Lernen werden verschiedene Aktionen „a“ in einem bestimmten Zustand „s“ durchgeführt und ein korrekter Wert Q(s, a) wird unter Verwendung von zu dieser Zeit vergebenen Belohnungen durch Versuch und Irrtum gelernt. Die folgende Gleichung (1) stellt eine Aktualisierungsgleichung für die Aktionswertfunktion Q(s, a) dar: $Q (s_{t} {,a}_{t}) < - Q (s_{t} {,a}_{t}) + α (r_{t + 1} + \underset{α}{γ maxQ} (s_{t + 1}, a) - (s_{t} {,a}_{t}))$
wobei s_t und a_t eine Umgebung bzw. eine Aktion zu einem Zeitpunkt t darstellen. Durch Ausführen der Aktion a_t ändert sich die Umgebung in s_t+1 und eine Belohnung r_t+1 wird aufgrund der Änderung der Umgebung berechnet. Ein „max“ umfassender Term stellt das Produkt eines Q-Werts, wenn eine Aktion „a“, die den höchsten Q-Wert (der zu diesem Zeitpunkt bekannt ist) aufweist, in der Umgebung s_t+1 ausgewählt wird, und γ dar. „γ“ ist ein Diskontierungsfaktor in dem Bereich 0 < γ ≤ 1 (für gewöhnlich 0,9 bis 0,99) und „α“ eine Lernrate in dem Bereich 0 < α ≤ 1 (für gewöhnlich in einer Größenordnung von 0,1).
Diese Aktualisierungsgleichung zeigt, dass, wenn ein Bewertungswert Q(s_t+1, max a_t+1) einer optimalen Aktion im nächsten Umgebungszustand, der sich von der Aktion „a“ ableitet, verglichen mit einem Bewertungswert Q(s_t, a_t) einer Aktion „a“ in einem Zustand „s“ höher ist, Q(s_t, a_t) erhöht wird. Wenn nicht, wird Q(s_t, a_t) verringert. Kurz gesagt, der Wert einer Aktion in einem bestimmten Zustand wird an einen optimalen Aktionswert im nächsten Zustand angenähert. Mit anderen Worten, die Lerneinheit 35 aktualisiert einen optimalen Wert der Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor einem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang.
Wie vorstehend beschrieben, aktualisiert die Funktionsaktualisierungseinheit 33 in Schritt S21 die Aktionswertfunktion unter Verwendung der Gleichung (1). Danach kehrt der Betrieb zu Schritt S11 zurück und es werden, zusätzlich zum Auswählen von Positions- und Stellungsbefehlswerten für die erste Komponente 41 und/oder zweite Komponente 42 vor einem Montagevorgang, auch Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang ausgewählt. Die Aktionswertfunktion wird in gleicher Weise aktualisiert. Es wird darauf hingewiesen, dass anstelle der Aktionswertfunktion eine Aktionswerttabelle aktualisiert werden kann.
Beim bestärkenden Lernen bestimmt die Lerneinheit 35 als Agent eine Aktion basierend auf dem Zustand einer Umgebung. In diesem Fall bedeutet die Aktion, dass die Entscheidungseinheit 34 neue Werte als die verschiedenen Befehlswerte auswählt, um die Aktion gemäß den neuen Werten durchzuführen. Die neuen Werte der verschiedenen Befehlswerte ändern die in 4 gezeigte Umgebung, z.B. die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor einem Montagevorgang und/oder die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang. Entsprechend der Änderung der Umgebung wird, wie vorstehend beschrieben, an die Maschinenlerneinrichtung 30 eine Belohnung vergeben und die Entscheidungseinheit 34 der Maschinenlerneinrichtung 30 lernt die Auswahl einer besseren Aktion (Entscheidung), beispielsweise um eine höhere Belohnung zu erhalten.
Somit erhöht eine mehrfache Wiederholung des in 6 gezeigten Betriebs die Verlässlichkeit der Aktionswertfunktion. Folglich wird es in Schritt S11 möglich, die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor einem Montagevorgang und die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang basierend auf der verlässlichen Aktionswertfunktion auszuwählen, um z.B. den Q-Wert zu erhöhen, wodurch eine optimale Bestimmung geeigneterer Maßbefehlswerte und dergleichen ermöglicht wird.
Daher ist es möglich, die durch die Funktionsaktualisierungseinheit 33 der Maschinenlerneinrichtung 30 aktualisierten Inhalte automatisch als die Positions- und Stellungsbefehlswerte für die erste Komponente 41 und/oder zweite Komponente 42 vor dem Montagevorgang und die Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang zu verwenden. Das Einbringen der Maschinenlerneinrichtung 30 in die Steuereinheit 20 ermöglicht eine automatische Einstellung der Befehlswerte. Somit ist es möglich, Maßabweichungen der ersten Komponente 41 und zweiten Komponente 42 automatisch zu glätten. Daher werden die erste Komponente 41 und die zweite Komponente 42 unabhängig von den Maßabweichungen der Komponenten mit verbesserter Genauigkeit montiert. Lernergebnisse der Maschinenlerneinrichtung beseitigen die Notwendigkeit, Befehlswerte manuell durch einen Bediener bereitzustellen. Folglich ist es möglich, die Montagedauer und infolgedessen die Produktionseffizienz zu verbessern.
Eine Funktion, die unter Verwendung eines später beschriebenen neuronalen Netzes angenähert wird, kann als Aktionswertfunktion verwendet werden. In diesem Fall können die durch die Zustandsüberwachungseinheit 31 überwachten Zustandsgrößen in einer mehrschichtigen Struktur berechnet werden, um die Aktionswertfunktion in Echtzeit zu aktualisieren. Dies liefert geeignetere Lernergebnisse. Dieses Verfahren hat bei Daten mit enormen Datenmengen von „s“ und „a“, wie etwa Bilddaten, einen erheblichen Vorteil.
Die in 4 gezeigte Maschinenlerneinrichtung 30 und dergleichen werden nochmals genau beschrieben, obgleich sich die Beschreibungen teilweise überschneiden. Die Maschinenlerneinrichtung 30 hat die Funktion, Wissen zu erlernen, sowie die Funktionen, durch Analyse aus einer in die Einrichtung eingegebenen Datengruppe nützliche Regeln, Wissensdarstellungen, Kriterien und dergleichen zu extrahieren und Bestimmungsergebnisse auszugeben. Dafür gibt es verschiedene Verfahren, die sich grob in „überwachtes Lernen“, „unüberwachtes Lernen“ und „bestärkendes Lernen“ einteilen lassen. Außerdem wird beim Ausführen dieser Verfahren ein als „tiefes Lernen“ bezeichnetes Verfahren zum Lernen der Extraktion der Merkmale selbst verwendet.
Beim „überwachten Lernen“ wird der Lerneinrichtung eine große Menge Datenpaare aus einem Eingang und einem Ergebnis (Label) zugeführt. Die Maschinenlerneinrichtung lernt Merkmale aus dem Datensatz und erhält heuristisch ein Modell zum Vorhersagen eines Ergebnisses anhand eines Eingangs, d.h. die Beziehung zwischen diesen. „Überwachtes Lernen“ lässt sich unter Verwendung eines Algorithmus, wie etwa eines später beschriebenen neuralen Netzes, ausführen.
Beim „unüberwachten Lernen“ wird der Maschinenlerneinrichtung lediglich eine große Menge Eingangsdaten zugeführt. Die Maschinenlerneinrichtung lernt die Verteilung der Eingangsdaten und wendet eine Komprimierung, Klassifizierung, Angleichung und dergleichen auf die Eingangsdaten an, ohne dass entsprechende Ausgangsdaten als Lehrer (Supervisor) zugeführt werden. Die Merkmale des Datensatzes können basierend auf ihrer Ähnlichkeit gruppiert werden oder dergleichen. Durch Verwenden dieser Ergebnisse unter Bereitstellung eines bestimmten Kriteriums wird ein Ausgang zugewiesen, um das Kriterium zu optimieren, was eine Vorhersage des Ausgangs ermöglicht. Außerdem gibt es als zwischengelagerte Problemstellung zwischen „überwachtem Lernen“ und „unüberwachtem Lernen“ ein als „halbüberwachtes Lernen“ bezeichnetes Verfahren, bei dem ein Teil der Daten Paare aus einem Eingang und einem Ausgang umfasst, während der andere Teil nur Eingänge umfasst. Bei dieser Ausführungsform werden Daten, die erhalten werden können, ohne die Komponentenmontageeinrichtung 10 tatsächlich zu betreiben, beim unüberwachten Lernen verwendet, um die Lerneffizienz zu verbessern.
Beim „bestärkenden Lernen“ werden Probleme wie folgt festgelegt:

- Die Steuereinrichtung überwacht einen Umgebungszustand und bestimmt eine Aktion.
- Die Umgebung ändert sich gemäß einer Regel und manchmal verändert die Aktion selbst die Umgebung.
- Immer wenn eine Aktion durchgeführt wird, wird ein Belohnungssignal zurückgeführt.
- Das Ziel besteht darin, eine zukünftige gesamte (diskontierte) Belohnung zu maximieren.
- Das Lernen beginnt in einem Zustand, in dem ein durch eine Aktion herbeigeführtes Ergebnis unbekannt oder unzureichend bekannt ist. Das Ergebnis wird erst nach einem tatsächlichen Betrieb der Komponentenmontageeinrichtung 10 als Daten erhalten. Mit anderen Worten, eine optimale Aktion muss durch Versuch und Irrtum ermittelt werden.
- Das Lernen kann in einem Anfangszustand durch Durchführen eines vorausgehenden Lernens (unter Verwendung des vorstehend beschriebenen überwachten Lernens oder eines inversen bestärkenden Lernverfahrens) an einem guten Ausgangspunkt gestartet werden, um die Tätigkeit (Aktion) eines Menschen nachzuahmen.

„Bestärkendes Lernen“ ist ein Verfahren zum Lernen optimaler Aktionen basierend nicht nur auf einer Bestimmung und Klassifizierung, sondern auch auf den Interaktionen zwischen einer Aktion und einer Umgebung durch Lernen von Aktionen, d.h. ein Lernverfahren zum Maximieren einer in Zukunft erhaltenen Gesamtbelohnung. Bei dieser Ausführungsform zeigt dies, dass Aktionen, die eine Auswirkung auf die Zukunft haben, erhalten werden können. Die folgende Beschreibung verwendet Q-Lernen als Beispiel, ist jedoch nicht darauf beschränkt.
Q-Lernen ist ein Verfahren zum Lernen eines Werts Q(s, a) zum Auswählen einer Aktion „a“ in einem bestimmten Umgebungszustand „s“. Mit anderen Worten, in einem bestimmten Zustand „s“ wird eine Aktion „a“ mit dem höchsten Wert Q(s, a) als optimale Aktion ausgewählt. Im Hinblick auf eine Kombination eines Zustands „s“ und einer Aktion „a“ ist ein korrekter Wert Q(s, a) anfangs jedoch völlig unbekannt. Daher wählt ein Agent (ein Subjekt einer Aktion) verschiedene Aktionen „a“ in einem bestimmten Zustand „s“ aus und erhält für jede Aktion „a“ eine Belohnung. Somit lernt der Agent, eine bessere Aktion, d.h. einen korrekten Wert Q(s, a), auszuwählen.
Das Ziel besteht darin, eine in Zukunft zu erhaltende Gesamtbelohnung zu maximieren, d.h. $Q (s,a) = E [\sum γ^{t} r_{t}]$
als Ergebnis von Aktionen zu erhalten (ein Erwartungswert wird erzielt, wenn sich ein Zustand entsprechend optimalen Aktionen ändert; selbstverständlich sind die optimalen Aktionen noch nicht bekannt und müssen daher während des Lernens ermittelt werden). Eine Aktualisierungsgleichung für einen solchen Wert Q(s, a) lässt sich beispielsweise wie folgt (entspricht der vorstehenden Gleichung (1)) darstellen: $Q (s_{t} {,a}_{t}) < - Q (s_{t} {,a}_{t}) + α (r_{t + 1} + \underset{α}{γ maxQ} (s_{t + 1}, a) - (s_{t} {,a}_{t}))$
wobei s_t einen Umgebungszustand zu einem Zeitpunkt t und a_t eine Aktion zum Zeitpunkt t darstellt. Durch Ausführen der Aktion a_t ändert sich der Zustand in s_t+1. „r_t+1“ stellt eine durch die Zustandsänderung bereitgestellte Belohnung dar. Ein „max“ umfassender Term stellt das Produkt eines Q-Werts, wenn eine Aktion „a“, die den höchsten zu diesem Zeitpunkt bekannten Q-Wert aufweist, im Zustand s_t+1 ausgewählt wird, und y dar. „γ“ ist ein Parameter von 0 < γ ≤ 1, der als Diskontierungsfaktor bezeichnet wird. „α“ ist eine Lernrate in dem Bereich 0 < α ≤ 1.
Diese Gleichung gibt ein Verfahren zum Aktualisieren eines Bewertungswerts Q(s_t, a_t) einer Aktion a_t in einem Zustand s_t basierend auf einer als Ergebnis der Aktion a_t zurückgeführten Belohnung r_t+1 an. Diese Aktualisierungsgleichung zeigt, dass, wenn ein Bewertungswert Q(s_t+1, max a_t+1) einer optimalen Aktion „max a“ im nächsten Zustand, der sich von einer Belohnung r_t+1 und der Aktion „a“ ableitet, verglichen mit einem Bewertungswert Q(s_t, a_t) einer Aktion „a“ in einem Zustand „s“ höher ist, Q(s_t, a_t) erhöht wird. Wenn nicht, wird Q(s_t, a_t) verringert. Mit anderen Worten, der Wert einer Aktion in einem bestimmten Zustand wird an einen optimalen Aktionswert im nächsten Zustand angenähert, der von einer unverzüglich als Ergebnis der Aktion zurückgeführten Belohnung und der Aktion selbst abgeleitet wird.
Es gibt zwei Verfahren zum Darstellen von Q(s, a) auf einem Computer, d.h. ein Verfahren, bei dem die Q-Werte aller Zustands-/Aktionspaare (s, a) in einer Tabelle (Aktionswerttabelle) festgehalten werden, und ein Verfahren, bei dem eine Funktion zum Annähern von Q(s, a) erstellt wird. Bei letzterem Verfahren kann die vorstehend beschriebene Aktualisierungsgleichung durch Einstellen eines Parameters für eine Näherungsfunktion unter Verwendung eines stochastischen Gradientenabstiegsverfahrens oder dergleichen ausgeführt werden. Als Näherungsfunktion kann ein später beschriebenes neuronales Netz verwendet werden.
Beim überwachten Lernen, unüberwachten Lernen und bestärkenden Lernen kann ein neuronales Netz als Näherungsalgorithmus für eine Wertfunktion verwendet werden. Das neuronale Netz besteht beispielsweise aus einer Recheneinheit, einem Speicher und dergleichen, die ein in 7 gezeigtes Neuronenmodell imitieren. 7 ist eine schematische Darstellung eines Neuronenmodells.
Wie in 7 gezeigt, erzeugt ein Neuron in Antwort auf eine Mehrzahl Eingänge x (z.B. die Eingänge x₁ bis x₃) einen Ausgang y. Auf jeden der Eingänge x₁ bis x₃ wird ein dem Eingang x entsprechendes Gewicht w (w₁ bis w₃) angewandt. Dadurch erzeugt das Neuron den durch die folgende Gleichung dargestellten Ausgang y. Es wird darauf hingewiesen, dass der Eingang x, der Ausgang y und das Gewicht w allesamt Vektoren sind. $y = f_{k} (\sum_{i = 1}^{n} x_{i} w_{i} - θ)$
wobei θ eine systematische Messabweichung und f_k eine Aktivierungsfunktion ist.
Nun wird unter Bezugnahme auf 8 ein dreischichtiges neuronales Netz mit den Gewichten von drei Schichten beschrieben, das durch eine Kombination der vorstehend beschriebenen Neuronen gebildet wird. 8 ist eine schematische Darstellung eines neuronalen Netzes mit den Gewichten der drei Schichten D1 bis D3.
Wie in 8 gezeigt, wird eine Mehrzahl Eingänge x (z.B. die Eingänge x1 bis x3) auf der linken Seite des neuronalen Netzes eingegeben und ein Ergebnis y (z.B. die Ergebnisse y1 bis y3) auf dessen rechter Seite ausgegeben.
Genauer gesagt werden die Eingänge x1 bis x3 in jedes der drei Neuronen N11 bis N13 eingegeben und gleichzeitig entsprechend gewichtet. Die auf die Eingänge angewandten Gewichte sind insgesamt durch W1 angegeben.
Die Neuronen N11 bis N13 geben jeweils die Vektoren z11 bis z13 aus. Die Vektoren z11 bis z13 werden insgesamt durch einen Merkmalsvektor Z1 angegeben, der als Vektor angesehen wird, der einen Merkmalsbetrag aus dem Eingangsvektor extrahiert. Der Merkmalsvektor Z1 ist ein Merkmalsvektor zwischen dem Gewicht W1 und einem Gewicht W2.
Die Vektoren z11 bis z13 werden in jedes von zwei Neuronen N21 und N22 eingegeben und gleichzeitig entsprechend gewichtet. Die auf die Merkmalsvektoren angewandten Gewichte sind insgesamt durch W2 angegeben.
Die Neuronen N21 und N22 geben jeweils die Vektoren z21 und z22 aus. Die Vektoren z21 und z22 sind insgesamt durch einen Merkmalsvektor Z2 angegeben. Der Merkmalsvektor Z2 ist ein Merkmalsvektor zwischen dem Gewicht W2 und einem Gewicht W3.
Die Merkmalsvektoren z21 und z22 werden in jedes von drei Neuronen N31 bis N33 eingegeben und gleichzeitig entsprechend gewichtet. Die auf die Merkmalsvektoren angewandten Gewichte sind insgesamt durch W3 angegeben.
Schließlich geben die Neuronen N31 bis N33 jeweils die Ergebnisse y1 bis y3 aus.
Das neuronale Netz hat einen Lernmodus und einen Wertvorhersagemodus. Im Lernmodus wird das Gewicht w unter Verwendung eines Lerndatensatzes gelernt. Im Wertvorhersagemodus wird die Aktion der Komponentenmontageeinrichtung 10 unter Verwendung des Parameters bestimmt (der Begriff „Vorhersage“ wird der Einfachheit halber verwendet, es können jedoch verschiedene Aufgaben durchgeführt werden, die eine Erfassung, Klassifizierung, Inferenz und dergleichen umfassen).
Im Wertvorhersagemodus können durch einen tatsächlichen Betrieb der Komponentenmontageeinrichtung 10 erhaltene Daten unverzüglich gelernt und in der nächsten Aktion reflektiert werden (Online-Lernen). Alternativ kann das Lernen insgesamt unter Verwendung einer vorab gesammelten Datengruppe durchgeführt werden und danach unter Verwendung des Parameters ein Erfassungsmodus ausgeführt werden (Batch-Lernen). Dazwischen kann der Lernmodus immer dann durchgeführt werden, wenn sich eine bestimmte Datenmenge angesammelt hat.
Die Gewichte W1 bis W3 können unter Verwendung eines Fehlerrückführungsalgorithmus (Rückwärtspropagierungsalgorithmus) gelernt werden. Fehlerinformationen werden von rechts eingegeben und nach links propagiert. Der Fehlerrückführungsalgorithmus stellt ein Verfahren dar, bei dem jedes Gewicht in Bezug auf jedes der Neuronen eingestellt (gelernt) wird, um die Differenz zwischen einem Ausgang y und einem tatsächlichen Ausgang y (Lehrer) in Antwort auf einen Eingang x zu minimieren.
Ein solches neuronales Netz kann mehr als drei Schichten aufweisen (als tiefes Lernen bezeichnet). Eine Recheneinheit, die anhand von Eingängen stufenweise eine Merkmalsextraktion und eine Regression von Ergebnissen durchführt, kann nur anhand der Lehrerdaten automatisch erhalten werden.
Demgemäß umfasst, wie in 4 gezeigt, die Maschinenlerneinrichtung 30 gemäß dieser Ausführungsform zum Durchführen des vorstehend beschriebenen Q-Lernens die Zustandsüberwachungseinheit 31, die Lerneinheit 35 und die Entscheidungseinheit 34. Ein auf die vorliegende Erfindung anwendbares Maschinenlernverfahren ist jedoch nicht auf Q-Lernen beschränkt. Im Falle des Anwendens überwachten Lernens entspricht beispielsweise eine Wertfunktion einem Lernmodell und eine Belohnung einem Fehler.
9 ist ein Blockdiagramm einer Mehrzahl Komponentenmontagesysteme gemäß einer weiteren Ausführungsform. 9 zeigt eine Mehrzahl Komponentenmontagesysteme 1 und 1a bis 1n. Die Komponentenmontagesysteme 1 und 1a bis 1n umfassen jeweils Maschinenlerneinrichtungen 30 und 30a bis 30n. Die Maschinenierneinrichtungen 30 und 30a bis 30n umfassen, wie vorstehend beschrieben, jeweils Zustandsüberwachungseinheiten 31 und 31a bis 31n und dergleichen. Wie aus 9 ersichtlich, sind die Komponentenmontagesysteme 1 und 1a bis 1n über eine Kommunikationseinheit 60 miteinander verbunden. Die Kommunikationseinheit 60 ist ein drahtgebundenes oder drahtloses Netzwerk.
Durch mehrfaches Durchführen maschinellen Lernens werden verschiedene Befehlswerte in der Zustandsüberwachungseinheit 31 des Komponentenmontagesystems 1 gespeichert. In gleicher Weise speichert die Maschinenlerneinrichtung 30 des Komponentenmontagesystems 1 Lernergebnisse (Funktionen und dergleichen).
Daher können, selbst wenn die Maschinenlerneinrichtung 30a des Komponentenmontagesystems 1a kein maschinelles Lernen durchführt, beispielsweise die Befehlswerte und Lernergebnisse des Komponentenmontagesystems 1 über die Kommunikationseinheit 60 in die Zustandsüberwachungseinheit 31a und dergleichen des Komponentenmontagesystems 1a eingebracht werden. Daher kann die Maschinenlerneinrichtung 30a des Komponentenmontagesystems 1a die verlässlichen Lernergebnisse und dergleichen verwenden, ohne tatsächlich ein maschinelles Lernen durchzuführen. Dasselbe gilt für die anderen Komponentenmontagesysteme 1n und dergleichen.
Ferner ist in 9 ein Hostcomputer 50, z.B. ein Server, der eine Datenspeichereinheit 51 aufweist, drahtgebunden oder drahtlos mit der Kommunikationseinheit 60 verbunden. Es wird darauf hingewiesen, dass der Hostcomputer 50 beispielsweise mit einem der Komponentenmontagesysteme 1 und 1a bis 1n direkt verbunden sein kann.
Die in der Zustandsüberwachungseinheit 31 des Komponentenmontagesystems 1 gespeicherten Befehlswerte, Lernergebnisse und dergleichen können über die Kommunikationseinheit 60 in der Datenspeichereinheit 51 des Hostcomputers 50 gespeichert werden. In diesem Fall greift das Komponentenmontagesystem 1a auf die Datenspeichereinheit 51 des Hostcomputers 50 zu, um die Befehlswerte, Lernergebnisse und dergleichen in die Maschinenlerneinrichtung 30a einzubringen. Mit anderen Worten, selbst wenn das Komponentenmontagesystem 1 vorübergehend vom Netzwerk getrennt wird, kann das andere Komponentenmontagesystem 1a die Befehlswerte, Lernergebnisse und dergleichen erhalten.
Es wird darauf hingewiesen, dass, wenn die erste Komponente 41 ein Verbindungsteil und die zweite Komponente 42 ein Stift ist, wie unter Bezugnahme auf die 3A und 3B beschrieben, der Zustand der Baugruppe 40 den Überstandbetrag des Stifts 42 von einer Endfläche des Verbindungsteils 41 und das Positionsverhältnis zwischen der Durchgangsbohrung 45 und dem Stift 42 umfasst. Der Überstandbetrag und dergleichen werden in Schritt S12 von 6 mit jeweiligen vorgegebenen Bereichen verglichen und der Betrieb läuft in gleicher Weise weiter.
10A ist eine Seitenansicht der ersten Komponente und der zweiten Komponente gemäß einem weiteren Beispiel und 10B eine Draufsicht von 10A. Die 10A und 10B zeigen Platten 41a und 41b, in denen Durchgangsbohrungen mit Schraubengewinden ausgebildet sind. Eine Schraube 42 wird mit den Schraubengewinden in Eingriff gebracht, um eine Baugruppe 40 zu bilden.
In diesem Fall entsprechen die zwei Platten 41a und 41b, die in einem einander überlagernden Zustand gegriffen werden, einer durch den Roboter 11 gegriffenen ersten Komponente 41. Die Schraube 42, d.h. die zweite Komponente 42, wird durch eine andere Arbeitsmaschine oder den Roboter 12 in Eingriff gebracht.
Bei dieser Ausführungsform kann die aus den zwei Platten 41a und 41b bestehende erste Komponente 41 vor einem Montagevorgang überwacht werden. Mit anderen Worten, das Positionsverhältnis (einschließlich eines Abweichungsbetrages) zwischen den Platten 41a und 41b, das Positionsverhältnis zwischen jeder Durchgangsbohrung und der Schraube 42, ein Abstand G, der Überstandbetrag B der Schraube 42, die Position der Baugruppe 40 von einem beliebigen Ursprungspunkt und dergleichen können unter Verwendung beispielsweise einer Kamera oder eines Vision-Sensors erfasst werden. Wie vorstehend beschrieben, können die erfassten Werte in die Zustandsüberwachungseinheit 31 eingegeben werden und die Lerneinheit 35 kann basierend auf den erfassten Werten ein Lernen durchführen. Ferner umfassen die vorstehend beschriebenen Informationen über eine Kraft ein Drehmoment zum Ineingriffbringen der Schraube 42. Das Drehmoment wird in Schritt S16 von 6 mit einem vorgegebenen Drehmomentbereich verglichen und der Betrieb läuft in gleicher Weise weiter.
Wie vorstehend beschrieben, sind die erste Komponente 41 und die zweite Komponente 42 nicht auf die in den Zeichnungen dargestellten Komponenten beschränkt, sondern umfassen verschiedene Arten von Komponenten, die miteinander in Eingriff gebracht werden können. Der Umfang der vorliegenden Erfindung umfasst solche Fälle.
Aspekte der Offenbarung
Ein erster Aspekt stellt eine Maschinenlerneinrichtung 30 bereit, die einen Montagevorgang lernt, bei dem wenigstens eine Arbeitsmaschine 11 und 12 eine erste Komponente 41 und eine zweite Komponente 42 montiert, um eine Baugruppe 40 herzustellen. Die Maschinenlerneinrichtung 30 umfasst eine Zustandsüberwachungseinheit 31 zum Überwachen von Zustandsgrößen, die den Zustand der Baugruppe, eine zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und/oder Informationen über eine zum Montieren der ersten und zweiten Komponente erforderliche Kraft, das Ergebnis einer Durchgangsprüfung der Baugruppe sowie Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang umfassen; und eine Lerneinheit 35 zum Lernen, in einander zugeordneter Weise, des Zustands der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder der Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, des Ergebnisses der Durchgangsprüfung der Baugruppe sowie der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang, die durch die Zustandsüberwachungseinheit überwacht werden.
Gemäß einem zweiten Aspekt nach dem ersten Aspekt umfasst die Lerneinheit eine Belohnungsberechnungseinheit 32 zum Berechnen einer Belohnung basierend auf dem Zustand der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder den Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft sowie dem Ergebnis der Durchgangsprüfung der Baugruppe, die durch die Zustandsüberwachungseinheit überwacht werden; und eine Funktionsaktualisierungseinheit 33 zum Aktualisieren einer Funktion zum Bestimmen der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang anhand der derzeitigen Zustandsgrößen basierend auf der durch die Belohnungsberechnungseinheit berechneten Belohnung.
Gemäß einem dritten Aspekt nach dem ersten oder zweiten Aspekt umfasst die Maschinenlerneinrichtung ferner eine Entscheidungseinheit 34 zum Bestimmen eines optimalen Werts der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang und/oder der Richtungs-, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang anhand der derzeitigen Zustandsgrößen basierend auf dem Lernergebnis der Lerneinheit.
Gemäß einem vierten Aspekt nach einem der ersten bis dritten Aspekte erhöht die Belohnungsberechnungseinheit die Belohnung, wenn der Zustand der Baugruppe, die zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und die Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, die durch die Zustandsüberwachungseinheit überwacht werden, innerhalb jeweiliger zulässiger Bereiche liegen, während die Belohnungsberechnungseinheit die Belohnung verringert, wenn der Zustand der Baugruppe, die zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und die Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft außerhalb der jeweiligen zulässigen Bereiche liegen. Ferner erhöht die Belohnungsberechnungseinheit die Belohnung, wenn die Durchgangsprüfung der Baugruppe ein günstiges Ergebnis erzielt, während die Belohnungsberechnungseinheit die Belohnung verringert, wenn die Durchgangsprüfung der Baugruppe ein ungünstiges Ergebnis erzielt.
Gemäß einem fünften Aspekt nach einem der ersten bis vierten Aspekte berechnet die Lerneinheit die durch die Zustandsüberwachungseinheit überwachten Zustandsgrößen in einer mehrschichtigen Struktur und aktualisiert die Funktion in Echtzeit.
Gemäß einem sechsten Aspekt nach einem der ersten bis fünften Aspekte aktualisiert die Funktionsaktualisierungseinheit die Funktion unter Verwendung einer durch eine Funktionsaktualisierungseinheit einer anderen Maschinenlerneinrichtung aktualisierten Funktion.
Ein siebter Aspekt stellt ein Komponentenmontagesystem 1 bereit, das die Maschinenlerneinrichtung nach einem der ersten bis sechsten Aspekte umfasst.
Effekte der Aspekte
Die ersten bis dritten Aspekte dienen dazu, geeignetere Positions- und Stellungsbefehlswerte für jede der ersten und zweiten Komponenten vor dem Montagevorgang automatisch zu bestimmen, wodurch eine Verbesserung der Montagegenauigkeit der ersten und zweiten Komponente und eine Verringerung der Betriebszeit ermöglicht werden.
Der vierte Aspekt erleichtert eine geeignetere Bestimmung der Belohnung.
Der fünfte Aspekt erleichtert das Erhalten des geeigneten Lernergebnisses.
Gemäß dem sechsten Aspekt wird das Lernergebnis einer bestimmten Maschinenlerneinrichtung in eine andere Maschinenlerneinrichtung eingebracht, um verlässliche Lernergebnisse und dergleichen gemeinsam zu nutzen.
Der siebte Aspekt glättet automatisch Maßabweichungen der ersten und zweiten Komponente. Das Verwenden der Lernergebnisse der Maschinenlerneinrichtung beseitigt die Notwendigkeit, die Positionen und dergleichen der Komponenten manuell durch einen Bediener einzustellen. Folglich ist es möglich, die Montagedauer der ersten und zweiten Komponente zu verringern.
Die vorliegende Erfindung wurde unter Verwendung typischer Ausführungsformen beschrieben, für Fachleute auf dem Gebiet ist jedoch ersichtlich, dass, zusätzlich zu den vorstehend beschriebenen Abwandlungen, innerhalb des Umfangs der vorliegenden Erfindung verschiedene andere Abwandlungen, Weglassungen und Hinzufügungen vorgenommen werden können.

Claims

Maschinenlerneinrichtung (30) zum Lernen eines Montagevorgangs, bei dem wenigstens eine Arbeitsmaschine (11, 12) eine erste Komponente (41) und eine zweite Komponente (42) montiert, um eine Baugruppe (40) herzustellen, wobei die Maschinenlerneinrichtung umfasst: - eine Zustandsüberwachungseinheit (31) zum Überwachen von Zustandsgrößen, die den Zustand der Baugruppe, eine zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und/oder Informationen über eine zum Montieren der ersten und zweiten Komponente erforderliche Kraft, das Ergebnis einer Durchgangsprüfung der Baugruppe sowie Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang umfassen; und - eine Lerneinheit (35) zum Lernen, in einander zugeordneter Weise, des Zustands der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder der Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, des Ergebnisses der Durchgangsprüfung der Baugruppe sowie der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang, die durch die Zustandsüberwachungseinheit überwacht werden; und wobei die erste Komponente (41) und die zweite Komponente (42) aus leitfähigen Materialien gefertigt sind.
Maschinenlerneinrichtung nach Anspruch 1, wobei die Lerneinheit umfasst: - eine Belohnungsberechnungseinheit (32) zum Berechnen einer Belohnung basierend auf dem Zustand der Baugruppe, der zum Montieren der ersten und zweiten Komponente erforderlichen Zeitdauer und/oder den Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft sowie dem Ergebnis der Durchgangsprüfung der Baugruppe, die durch die Zustandsüberwachungseinheit überwacht werden; und - eine Funktionsaktualisierungseinheit (33) zum Aktualisieren einer Funktion zum Bestimmen der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang anhand der derzeitigen Zustandsgrößen basierend auf der durch die Belohnungsberechnungseinheit berechneten Belohnung.
Maschinenlerneinrichtung nach Anspruch 1 oder 2, die ferner eine Entscheidungseinheit (34) zum Bestimmen eines optimalen Werts der Positions- und Stellungsbefehlswerte für die erste und/oder zweite Komponente vor dem Montagevorgang, Geschwindigkeits- und Kraftbefehlswerte für den Montagevorgang anhand der derzeitigen Zustandsgrößen basierend auf dem Lernergebnis der Lerneinheit umfasst.
Maschinenlerneinrichtung nach Anspruch 2, wobei - die Belohnungsberechnungseinheit die Belohnung erhöht, wenn der Zustand der Baugruppe, die zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und die Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft, die durch die Zustandsüberwachungseinheit überwacht werden, innerhalb jeweiliger zulässiger Bereiche liegen, während die Belohnungsberechnungseinheit die Belohnung verringert, wenn der Zustand der Baugruppe, die zum Montieren der ersten und zweiten Komponente erforderliche Zeitdauer und die Informationen über die zum Montieren der ersten und zweiten Komponente erforderliche Kraft außerhalb der jeweiligen zulässigen Bereiche liegen; und - die Belohnungsberechnungseinheit die Belohnung erhöht, wenn die Durchgangsprüfung der Baugruppe ein günstiges Ergebnis erzielt, während die Belohnungsberechnungseinheit die Belohnung verringert, wenn die Durchgangsprüfung der Baugruppe ein ungünstiges Ergebnis erzielt.
Maschinenlerneinrichtung nach Anspruch 2, wobei die Lerneinheit die durch die Zustandsüberwachungseinheit überwachten Zustandsgrößen in einer mehrschichtigen Struktur berechnet und die Funktion in Echtzeit aktualisiert.
Maschinenlerneinrichtung nach Anspruch 2, wobei die Funktionsaktualisierungseinheit die Funktion unter Verwendung einer durch eine Funktionsaktualisierungseinheit einer anderen Maschinenlerneinrichtung aktualisierten Funktion aktualisiert.
Komponentenmontagesystem (1), das die Maschinenlerneinrichtung nach einem der Ansprüche 1 bis 6 umfasst.