DE102020124379A1

DE102020124379A1 - Robotersystem, das einen Arbeitsvorgang eines Arbeiters unterstützt, Steuerverfahren, Maschinenlernvorrichtung und Maschinenlernverfahren

Info

Publication number: DE102020124379A1
Application number: DE102020124379.0A
Authority: DE
Inventors: Keita Maeda
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-09-26
Filing date: 2020-09-18
Publication date: 2021-04-01
Also published as: US20210094175A1; JP2021053708A; JP7448327B2; US12017358B2; CN112549014A; JP2024023873A

Abstract

Ein Robotersystem, das einen Arbeiter unterstützt, um es dem Arbeiter zu ermöglichen, einen Arbeitsvorgang reibungsloser durchzuführen. Das Robotersystem umfasst einen Roboter, eine Erkennungseinrichtung, die dazu eingerichtet ist, eine Bewegung eines Arbeiters zu erkennen, wenn der Arbeiter einen vorgegebenen Arbeitsvorgang durchführt, einen Abschlussbestimmungsabschnitt, der dazu eingerichtet ist, basierend auf Erkennungsdaten von der Erkennungseinrichtung zu bestimmen, ob der Arbeitsvorgang abgeschlossen ist, und eine Robotersteuereinrichtung, die dazu eingerichtet ist, wenn der Abschlussbestimmungsabschnitt bestimmt, dass der Arbeitsvorgang abgeschlossen ist, den Roboter zu veranlassen, einen Objektzufuhrvorgang oder einen Objektabholvorgang durchzuführen, wobei beim Objektzuführvorgang ein Objekt für den Arbeitsvorgang zu einer vorgegebenen Position transportiert wird, um das Objekt dem Arbeiter zuzuführen, und beim Objektabholvorgang das für den Arbeitsvorgang verwendete Objekt abgeholt und das Objekt zu einem vorgegebenen Aufbewahrungsort transportiert wird.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Robotersystem, das einen Arbeitsvorgang eines Arbeiters unterstützt, ein Robotersteuerverfahren, eine Maschinenlernvorrichtung und ein Maschinenlernverfahren.
Beschreibung des zugehörigen Standes der Technik
Robotersysteme, die einen Arbeitsvorgang eines Arbeiters unterstützen, sind bekannt (z.B. JP 2018-058178 A ). Es besteht Bedarf an einem Robotersystem, das einen Arbeiter unterstützt, um es dem Arbeiter zu ermöglichen, einen Arbeitsvorgang reibungsloser durchzuführen.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Offenbarung umfasst ein Robotersystem, das dazu eingerichtet ist, einen durch einen Arbeiter durchgeführten Arbeitsvorgang zu unterstützen, einen Roboter, eine Erkennungseinrichtung, die dazu eingerichtet ist, eine Bewegung des Arbeiters zu erkennen, wenn der Arbeiter einen vorgegebenen Arbeitsvorgang durchführt, einen Abschlussbestimmungsabschnitt, der dazu eingerichtet ist, basierend auf Erkennungsdaten der Erkennungseinrichtung zu bestimmen, ob der Arbeitsvorgang abgeschlossen ist, und eine Robotersteuereinrichtung, die dazu eingerichtet ist, wenn der Abschlussbestimmungsabschnitt bestimmt, dass der Arbeitsvorgang abgeschlossen ist, den Roboter zu veranlassen, einen Objektzufuhrvorgang zum Transportieren eines Objekts für den Arbeitsvorgang zu einer vorgegebenen Position, um das Objekt dem Arbeiter zuzuführen, oder einen Objektabholvorgang durchzuführen, um das Objekt, das für den Arbeitsvorgang verwendet wurde, abzuholen und es zu einem vorgegebenen Aufbewahrungsort zu transportieren.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung umfasst ein Verfahren zum Steuern eines Roboters, der dazu eingerichtet ist, einen durch einen Arbeiter durchgeführten Arbeitsvorgang zu unterstützen, das Erkennen einer Bewegung des Arbeiters durch eine Erkennungseinrichtung, wenn der Arbeiter einen vorgegebenen Arbeitsvorgang durchführt, das Bestimmen, ob der Arbeitsvorgang abgeschlossen ist, basierend auf Erkennungsdaten der Erkennungseinrichtung, und, wenn bestimmt wird, dass der Arbeitsvorgang abgeschlossen ist, das Veranlassen des Roboters einen Objektzufuhrvorgang zum Transportieren eines Objekts für den Arbeitsvorgang zu einer vorgegebenen Position, um das Objekt dem Arbeiter zuzuführen, oder einen Objektabholvorgang durchzuführen, um das Objekt, das für den Arbeitsvorgang verwendet wurde, abzuholen und es zu einem vorgegebenen Aufbewahrungsort zu transportieren.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung umfasst eine Maschinenlernvorrichtung, die dazu eingerichtet ist, einen Zeitpunkt zu lernen, zu dem ein durch einen Arbeiter durchgeführter Arbeitsvorgang abgeschlossen ist, einen Lerndatenerfassungsabschnitt, der dazu eingerichtet ist, Erkennungsdaten einer Erkennungseinrichtung, die dazu eingerichtet ist, eine Bewegung des Arbeiters zu erkennen, wenn der Arbeiter einen vorgegebenen Arbeitsvorgang durchführt, und Labelinformationen, die eine Phase des Arbeitsvorgangs oder eine für den Arbeitsvorgang erforderliche Zeit angeben, als Lerndatensatz zu erfassen, und einen Lernabschnitt, der dazu eingerichtet ist, unter Verwendung des Lerndatensatzes ein Lernmodell zu erzeugen, das eine Korrelation zwischen der Bewegung und der Phase oder der Zeit darstellt.
Gemäß noch einem weiteren Aspekt der vorliegenden Offenbarung umfasst ein Maschinenlernverfahren zum Lernen eines Zeitpunkts, zu dem ein durch einen Arbeiter durchgeführter Arbeitsvorgang abgeschlossen ist, das Erfassen von Erkennungsdaten einer Erkennungseinrichtung, die dazu eingerichtet ist, eine Bewegung des Arbeiters zu erkennen, wenn der Arbeiter einen vorgegebenen Arbeitsvorgang durchführt, und Labelinformationen, die eine Phase des Arbeitsvorgangs oder eine für den Arbeitsvorgang erforderliche Zeit angeben, als Lerndatensatz und das Erzeugen eines Lernmodells, das eine Korrelation zwischen der Bewegung und der Phase oder der Zeit darstellt, unter Verwendung der Lerndaten.
Gemäß der vorliegenden Offenbarung veranlasst die Robotersteuereinrichtung den Roboter, zu dem Zeitpunkt, zu dem der Arbeitsvorgang abgeschlossen ist, den Objektzufuhrvorgang oder den Objektabholvorgang durchzuführen, wodurch der durch den Arbeiter durchgeführte Arbeitsvorgang unterstützt werden kann, um es dem Arbeiter zu ermöglichen, den Arbeitsvorgang reibungslos durchzuführen.
Figurenliste

1 ist ein Blockdiagramm eines Robotersystems gemäß einer Ausführungsform.
2 ist eine perspektivische Ansicht des in 1 gezeigten Robotersystems.
3 ist ein Flussdiagramm, das ein Beispiel für den Betriebsablauf des in 1 gezeigten Robotersystems zeigt.
4 ist eine vergrößerte Ansicht eines in 2 gezeigten Arbeitstisches.
5 ist eine Darstellung zur Beschreibung eines Beispiels eines durch einen Arbeiter durchgeführten Arbeitsvorgangs.
6 zeigt den Arbeiter beim Befestigen eines Befestigungsmittels in einem in 5 gezeigten Befestigungsloch unter Verwendung eines Werkzeugs.
7 ist ein Blockdiagramm einer Maschinenlernvorrichtung gemäß einer Ausführungsform.
8 ist eine Darstellung, die schematisch Erkennungsdaten zeigt, welche kontinuierlich durch eine Erkennungseinrichtung erfasst werden.
9 ist ein Flussdiagramm, das ein Beispiel für einen Lernablauf zeigt, der durch die in 7 gezeigte Maschinenlernvorrichtung durchgeführt wird.
10 zeigt schematisch ein Modell eines Neurons.
11 zeigt schematisch ein Modell eines mehrschichtigen neuronalen Netzes.
12 ist ein Blockdiagramm eines Robotersystems gemäß einer anderen Ausführungsform.
13 ist eine perspektivische Ansicht eines Robotersystems gemäß einer weiteren Ausführungsform.
14 ist ein Blockdiagramm des in 11 gezeigten Robotersystems.

AUSFÜHRLICHE BESCHREIBUNG
Nachstehend sind Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. In den verschiedenen nachstehend beschriebenen Ausführungsformen sind gleiche Komponenten mit gleichen Bezugszeichen versehen und es wird auf redundante Beschreibungen derselben verzichtet. Zunächst wird ein Robotersystem 10 gemäß einer Ausführungsform unter Bezugnahme auf 1 und 2 beschrieben. Das Robotersystem 10 ist dazu eingerichtet, in Zusammenarbeit mit einem Arbeiter A einen Arbeitsvorgang durchzuführen, und umfasst einen Roboter 12, eine Erkennungseinrichtung 14 und eine Steuereinrichtung 16.
Bei der vorliegenden Ausführungsform ist der Roboter 12 ein vertikaler Knickarmroboter und umfasst eine Basis 18, einen Drehkörper 20, einen Roboterarm 22, ein Handgelenk 24 und eine Roboterhand 26. Die Basis 18 ist am Boden einer Arbeitszelle fixiert. Der Drehkörper 20 ist so an der Basis 18 bereitgestellt, dass er um eine vertikale Achse drehbar ist.
Der Roboterarm 22 umfasst einen Unterarm 23, der so am Drehkörper 20 angebracht ist, dass er um eine horizontale Achse drehbar ist, und einen Oberarm 25, der drehbar an einem distalen Ende des Unterarms 23 angebracht ist. Das Handgelenk 24 ist mit einem distalen Ende des Oberarms 25 gekoppelt und trägt die Roboterhand 26 drehbar. Die Roboterhand 26 umfasst mehrere Finger 26a, die sich öffnen und schließen können, und hält ein Objekt mit den Fingern 26a fest oder lässt es los.
In jeder der Komponenten des Roboters 12 (Basis 18, Drehkörper 20, Roboterarm 22, Handgelenk 24 und Roboterhand 26) ist ein Servomotor (nicht gezeigt) verbaut. Gemäß einem Befehl von der Steuereinrichtung 16 dreht der Servomotor jede bewegbare Komponente des Roboters 12 (den Drehkörper 20, den Roboterarm 22 und das Handgelenk 24) um eine Antriebswelle, um den Roboter 12 zu betreiben.
Ein Roboterkoordinatensystem C_R ist für den Roboter 12 festgelegt. Das Roboterkoordinatensystem C_R dient zum automatischen Steuern der bewegbaren Komponenten des Roboters 12 (des Drehkörpers 20, des Roboterarms 22 und des Handgelenks 24) in einem dreidimensionalen Raum. Bei der vorliegenden Ausführungsform ist das Roboterkoordinatensystem C_R so festgelegt, dass sein Ursprung in der Mitte der Basis 18 angeordnet ist, seine Z-Achse parallel zur vertikalen Richtung verläuft und der Drehkörper 20 um die Z-Achse gedreht wird.
Die Steuereinrichtung 16 erzeugt basierend auf dem Roboterkoordinatensystem C_R einen Befehl für jeden im Roboter 12 verbauten Servomotor und veranlasst jeden Servomotor, die bewegbaren Komponenten des Roboters 12 zu betreiben, um die Roboterhand 26 in einer beliebigen Position und Ausrichtung im Roboterkoordinatensystem C_R anzuordnen.
Die Erkennungseinrichtung 14 erkennt eine Bewegung des Arbeiters A, wenn der Arbeiter A einen vorgegebenen Arbeitsvorgang durchführt. Bei der vorliegenden Ausführungsform umfasst die Erkennungseinrichtung 14 einen Bildsensor, ein optisches System, wie etwa eine Fokuslinse, und einen Bildprozessor (z.B. eine GPU). Die Erkennungseinrichtung 14 nimmt entlang einer vorgegebenen Sichtlinienrichtung VD ein Bild des den Arbeitsvorgang durchführenden Arbeiters A auf und erkennt die Bewegung des Arbeiters A basierend auf dem aufgenommenen Bild (als optische Bewegungsaufnahme bezeichnet). Der durch den Arbeiter durchgeführte Arbeitsvorgang ist nachstehend beschrieben.
Die Steuereinrichtung 16 steuert den Roboter 12 und die Erkennungseinrichtung 14. Die Steuereinrichtung 16 ist ein Computer, der einen Prozessor (CPU, GPU etc.), einen Speicher (ROM, RAM etc.), eine Eingabeeinrichtung (Tastatur, Maus, Berührungssensor etc.) und eine Anzeigeeinrichtung (Flüssigkristallanzeigeeinrichtung, organische EL-Anzeigeeinrichtung etc.) umfasst. Der Prozessor der Steuereinrichtung 16 führt zum Ausführen verschiedener nachstehend beschriebener Funktionen eine Rechenverarbeitung durch.
Als Nächstes wird unter Bezugnahme auf 3 der Betrieb des Robotersystems 10 beschrieben. Ein in 3 gezeigter Ablauf wird gestartet, wenn die Steuereinrichtung 16 von einem Bediener, einer Hoststeuereinrichtung oder einem Computerprogramm einen Arbeitsstartbefehl empfängt. In Schritt S1 erfasst die Steuereinrichtung 16 Informationen über den durch den Arbeiter A durchzuführenden Arbeitsvorgang.
Bei der vorliegenden Ausführungsform führt der Arbeiter A insgesamt n_MAX (n_MAX ist eine positive Ganzzahl) Arten von Arbeitsvorgängen durch, und zwar der Reihe nach einen ersten Arbeitsvorgang, einen zweiten Arbeitsvorgang, ..., einen n-ten Arbeitsvorgang ... und einen n_MAX-ten Arbeitsvorgang, wobei der Arbeiter A ein n-tes Werkzeug T_n verwendet, um den n-ten Arbeitsvorgang durchzuführen (n=1 bis n_MAX). Es wird darauf hingewiesen, dass sich die n-ten Werkzeuge T_n voneinander unterscheiden oder wenigstens zwei Werkzeuge (das (n-1)-te Werkzeug T_n-1 und das n-te Werkzeug T_n ) gleich sein können.
In diesem Schritt S1 erfasst die Steuereinrichtung 16 die Arbeitsinformationen von dem Bediener, der Hoststeuereinrichtung oder dem Computerprogramm. Die Arbeitsinformationen umfassen Informationen, die die Art und Reihenfolge des n-ten Arbeitsvorgangs und die Art des n-ten Werkzeugs bezeichnen (z.B. Kennnummern etc.). Anhand der Arbeitsinformationen kann die Steuereinrichtung 16 die Reihenfolge, in der der Arbeitsvorgang durchzuführen ist, und das dem Arbeiter A zuzuführende Werkzeug T_n erkennen.
Es wird darauf hingewiesen, dass der Arbeiter A die Eingabeeinrichtung der Steuereinrichtung 16 bedienen kann, um die Arbeitsinformationen einzugeben. Alternativ kann der Arbeiter A die Arbeitsinformationen unter Verwendung einer Spracherkennungstechnik eingeben. In diesem Fall ist die Steuereinrichtung 16 ferner mit einem Mikrofon zum Eingeben von Ton ausgestattet und ein Computerprogramm für die Spracherkennungstechnik wird vorher in der Steuereinrichtung 16 installiert.
In Schritt S2 setzt die Steuereinrichtung 16 eine Zahl „n“, die den n-ten Arbeitsvorgang (d.h. das n-te Werkzeug T_n ) bezeichnet, auf „1“. In Schritt S3 veranlasst die Steuereinrichtung 16 den Roboter 12, einen Objektzufuhrvorgang durchzuführen. Bei der vorliegenden Ausführungsform ist, wie in 4 gezeigt, ein Ablagetisch C an einer vorgegebenen Position in der Arbeitszelle aufgestellt. Eine erste Halteeinrichtung D₁ und eine zweite Halteeinrichtung D₂ sind auf dem Ablagetisch C bereitgestellt.
Ein Werkzeug T, das durch den Arbeiter A für den nächsten Arbeitsvorgang zu verwenden ist, wird durch den Roboter 12 auf die erste Halteeinrichtung D₁ gesetzt. Nach Durchführung des Arbeitsvorgangs setzt der Arbeiter A dagegen das Werkzeug T, das für den Arbeitsvorgang verwendet wurde, manuell auf die zweite Halteeinrichtung D₂ . Außerdem ist ein Aufbewahrungsgestell E, in dem die Werkzeuge T aufbewahrt werden, an einer vorgegebenen Position in der Arbeitszelle aufgestellt. Das für den n-ten Arbeitsvorgang zu verwendende n-te Werkzeug T_n wird in einer vorgegebenen Position stationär im Aufbewahrungsgestell E aufbewahrt.
Positionsdaten (Koordinatendaten) im Roboterkoordinatensystem C_R der ersten Halteeinrichtung D₁ , der zweiten Halteeinrichtung D₂ und der n-ten Werkzeuge T_n im Aufbewahrungsgestell E werden vorab im Speicher der Steuereinrichtung 16 gespeichert.
In diesem Schritt S3 veranlasst die Steuereinrichtung 16 den Roboter 12, den Objektzufuhrvorgang basierend auf den Positionsdaten des ersten Werkzeugs T₁ und der ersten Halteeinrichtung D₁ im Roboterkoordinatensystem C_R durchzuführen, wobei der Roboter 12 gemäß dem Befehl von der Steuereinrichtung 16 das im Aufbewahrungsgestell E aufbewahrte erste Werkzeug T₁ mit seiner Roboterhand 26 ergreift und das erste Werkzeug T₁ auf die erste Halteeinrichtung D₁ setzt.
In Schritt S4 startet die Erkennungseinrichtung 14 die Erkennung der Bewegung des Arbeiters A. Insbesondere nimmt die Erkennungseinrichtung 14 in Antwort auf den Befehl von der Steuereinrichtung kontinuierlich ein Bild des Arbeiters A auf (mit anderen Worten, nimmt ein Bewegtbild auf) und erkennt die Bewegung des Arbeiters A basierend auf dem aufgenommenen Bild. Somit sendet die Erkennungseinrichtung 14 Erkennungsdaten DD, die die Bewegung des Arbeiters A zeigen (z.B. Bilddaten, die die Bewegung des Arbeiters A kontinuierlich in einer Zeitreihe zeigen), an die Steuereinrichtung 16.
In Schritt S5 bestimmt die Steuereinrichtung 16 basierend auf den Erkennungsdaten DD der Erkennungseinrichtung 14, ob der n-te Arbeitsvorgang abgeschlossen ist. Ein Verfahren zum Bestimmen eines Zeitpunkts, zu dem der n-te Arbeitsvorgang abgeschlossen ist, ist nachstehend unter Bezugnahme auf 5 und 6 beschrieben. Als Beispiel lässt sich der n-te Arbeitsvorgang als Arbeitsvorgang definieren, bei dem der Arbeiter A unter Verwendung des n-ten Werkzeugs T_n (6) in jedem von fünf in 5 gezeigten Befestigungslöchern F₁ bis F₅ gemäß der Reihenfolge der Befestigungslöcher F₁ -> F₂ -> F₅ -> F₄ -> F₅ ein Befestigungsmittel G (wie etwa einen Bolzen) befestigt.
In diesem Fall nimmt der Arbeiter A zunächst das auf die erste Halteeinrichtung D₁ gesetzte n-te Werkzeug T_n in seine/ihre Hand H und führt den n-ten Arbeitsvorgang durch, um die Befestigungsmittel G mit dem n-ten Werkzeug T_n der Reihe nach in den Befestigungslöchern F₁ bis F₅ zu befestigen. Nachdem der n-te Arbeitsvorgang abgeschlossen ist (d.h. das Befestigungsmittel G am letzten Befestigungsloch F₅ befestigt wurde), setzt der Arbeiter A das verwendete n-te Werkzeug T_n auf die zweite Halteeinrichtung D₂ .
Die Steuereinrichtung 16 analysiert die von der Erkennungseinrichtung 14 erfassten Erkennungsdaten DD und bestimmt, ob der n-te Arbeitsvorgang, der eine Reihe von Bewegungen zum Befestigen der Befestigungsmittel G der Reihe nach an den Befestigungslöchern F₁ bis F₅ umfasst, abgeschlossen ist. Als Beispiel berechnet die Steuereinrichtung 16 anhand der erfassten Erkennungsdaten DD kontinuierlich einen Abstand I (6) zwischen einem Teil des Körpers des Arbeiters A (in diesem Fall der Hand H) und dem Befestigungsloch F₅ , welches die letzte Arbeitsposition darstellt, und überwacht, ob der Abstand I gleich oder kleiner als ein vorgegebener Schwellenwert Ith (I<I_th) ist.
Wenn erkannt wird, dass I<I_th erfüllt ist, bestimmt die Steuereinrichtung 16, dass der n-te Arbeitsvorgang abgeschlossen ist. In diesem Fall werden die Positionsdaten des Befestigungslochs F₅ im Roboterkoordinatensystem C_R vorab im Speicher der Steuereinrichtung 16 gespeichert. Die Steuereinrichtung 16 kann den Abstand I anhand der Positionsdaten des Befestigungslochs F₅ im Roboterkoordinatensystem C_R und den Erkennungsdaten DD der Erkennungseinrichtung 14 berechnen.
Alternativ kann die Steuereinrichtung 16 bestimmen, dass der n-te Arbeitsvorgang abgeschlossen ist, wenn ab einem Zeitpunkt, zu dem sie erkennt, dass der Abstand I gleich oder kleiner als der vorgegebene Schwellenwert I_th wird, eine vorgegebene Zeitspanne (z.B. 5 Sekunden) verstrichen ist. Alternativ kann die Steuereinrichtung 16 bestimmen, dass der n-te Arbeitsvorgang abgeschlossen ist, wenn der Abstand I den Schwellenwert Ith (I≤I_th) erneut übersteigt, nachdem der Abstand I gleich oder kleiner als der vorgegebene Schwellenwert I_th geworden ist.
Als anderes Beispiel speichert die Steuereinrichtung 16 vorab ein Referenzbewegungsmuster der Bewegung, mit der der Arbeiter A das Befestigungsmittel G im Befestigungsloch F₅ befestigt, welches die letzte Arbeitsposition darstellt, im Speicher. Dieses Referenzbewegungsmuster kann basierend auf den Erkennungsdaten DD der Bewegung des Arbeiters A (oder eines anderen Arbeiters) erzeugt werden, die durch die Erkennungseinrichtung 14 erkannt wird, wenn der Arbeiter A (oder ein anderer Arbeiter) eine Referenzbewegung zum Befestigen des Befestigungsmittels G am letzten Befestigungsloch Fs durchführt.
Die Steuereinrichtung 16 überwacht, ob die Bewegung des Arbeiters A, die durch die ab dem Start von Schritt S4 erfassten Erkennungsdaten DD gezeigt wird, mit dem Referenzbewegungsmuster übereinstimmt, und bestimmt, dass der n-te Arbeitsvorgang abgeschlossen ist, wenn die Bewegung des Arbeiters A mit dem Referenzbewegungsmuster übereinstimmt. Es wird darauf hingewiesen, dass die Steuereinrichtung 16 bestimmen kann, dass der n-te Arbeitsvorgang abgeschlossen ist, wenn seit der Bestimmung, dass die Bewegung des Arbeiters A mit dem Referenzbewegungsmuster übereinstimmt, eine vorgegebene Zeitspanne verstrichen ist.
Durch die vorstehend beschriebenen Verfahren kann die Steuereinrichtung 16 den Zeitpunkt bestimmen, zu dem der n-te Arbeitsvorgang abgeschlossen ist. Wenn die Steuereinrichtung 16 bestimmt, dass der n-te Arbeitsvorgang abgeschlossen ist (d.h. JA bestimmt), fährt sie mit Schritt S6 fort. Wenn die Steuereinrichtung 16 hingegen bestimmt, dass der n-te Arbeitsvorgang nicht abgeschlossen ist (d.h. NEIN bestimmt), kehrt sie zu Schritt S5 zurück. Somit fungiert die Steuereinrichtung 16 bei der vorliegenden Ausführungsform als Abschlussbestimmungsabschnitt 30 (1), der dazu eingerichtet ist, basierend auf den Erkennungsdaten DD zu bestimmen, ob der n-te Arbeitsvorgang abgeschlossen ist.
In Schritt S6 inkrementiert die Steuereinrichtung 16 eine Zahl „n“, die den n-ten Arbeitsvorgang (oder das n-te Werkzeug) bezeichnet, um „1“ (n=n+1). In Schritt S7 bestimmt die Steuereinrichtung 16, ob die Zahl „n“, die den n-ten Arbeitsvorgang bezeichnet, die maximale Anzahl n_MAX Arbeitsvorgänge übersteigt (n>n_MAX). Wenn die Steuereinrichtung 16 bestimmt, dass n>n_MAX erfüllt ist (d.h. JA bestimmt), fährt sie mit Schritt S10 fort. Wenn die Steuereinrichtung 16 hingegen bestimmt, dass n>n_MAX nicht erfüllt ist (d.h. NEIN bestimmt), fährt sie mit Schritt S8 fort.
In Schritt S8 veranlasst die Steuereinrichtung 16 den Roboter 12, den Objektzufuhrvorgang durchzuführen. Insbesondere veranlasst die Steuereinrichtung 16 basierend auf den Positionsdaten des für den nächsten Arbeitsvorgang zu verwendenden n-ten Werkzeugs T_n im Roboterkoordinatensystem C_R den Roboter 12, den Objektzufuhrvorgang durchzuführen, in dem der Roboter 12 das im Aufbewahrungsgestell E aufbewahrte n-te Werkzeug T_n mit der Roboterhand 26 ergreift und das ergriffene n-te Werkzeug T_n auf die erste Halteeinrichtung D₁ setzt.
Somit fungiert die Steuereinrichtung 16 bei der vorliegenden Ausführungsform als Robotersteuereinrichtung 28 (1), die dazu eingerichtet ist, den Roboter 12 zu veranlassen, den Objektzufuhrvorgang durchzuführen, um das n-te Werkzeug T_n für den n-ten Arbeitsvorgang zu einer vorgegebenen Position (der ersten Halteeinrichtung D₁ ) zu transportieren, um das n-te Werkzeug T_n dem Arbeiter A zuzuführen.
In Schritt S9 fungiert die Steuereinrichtung 16 als Robotersteuereinrichtung 28 und veranlasst den Roboter 12, einen Objektabholvorgang durchzuführen. Insbesondere steuert die Steuereinrichtung 16 den Roboter 12 basierend auf den Positionsdaten der zweiten Halteeinrichtung D₂ im Roboterkoordinatensystem C_R , so dass der Roboter 12 das (n-1)-te Werkzeug T_n-1 , das für den zuletzt durchgeführten (n-1)-ten Arbeitsvorgang verwendet wurde und auf die zweite Halteeinrichtung D₂ gesetzt ist, mit der Roboterhand 26 ergreift.
Dann steuert die Steuereinrichtung 16 den Roboter 12 basierend auf den Positionsdaten des in das Aufbewahrungsgestell E zu setzenden (n-1)-ten Werkzeugs T_n-1 im Roboterkoordinatensystem C_R , so dass der Roboter 12 das mit der Roboterhand 26 ergriffene (n-1)-te Werkzeug T_n-1 zu einer vorgegebenen Position im Aufbewahrungsgestell E zurückbringt. Wenn die Zahl „n“ zum Zeitpunkt des Starts dieses Schritts S9 beispielsweise auf „4“ (n=4) gesetzt ist, veranlasst die Steuereinrichtung 16 den Roboter 12, das dritte Werkzeug T₃, das für den dritten Arbeitsvorgang verwendet wurde, von der zweiten Halteeinrichtung D₂ abzuholen und das dritte Werkzeug T₃ zu einer vorgegebenen Position im Aufbewahrungsgestell E zu transportieren.
Somit veranlasst die Steuereinrichtung 16 den Roboter 12, den Objektabholvorgang durchzuführen, um das (n-1)-te Werkzeug T_n-1 , das für den zuletzt durchgeführten (n-1)-ten Arbeitsvorgang verwendet wurde, abzuholen und es zu dem vorgegebenen Aufbewahrungsort (Aufbewahrungsgestell E) zu transportieren. Es wird darauf hingewiesen, dass die Steuereinrichtung 16 vor dem Ausführen dieses Schritts S9 basierend auf einem durch die Erkennungseinrichtung 14 (oder eine andere Erkennungseinrichtung) aufgenommenen Bild bestimmen kann, ob das (n-1)-te Werkzeug T_n-1 auf die zweite Halteeinrichtung D₂ gesetzt ist, und Schritt S9 starten kann, wenn das (n-1)-te Werkzeug T_n-1 auf die zweite Halteeinrichtung D₂ gesetzt ist.
Alternativ kann ein Objekterkennungssensor (z.B. ein Näherungsschalter), der dazu eingerichtet ist, zu erkennen, dass das (n-1)-te Werkzeug T_n-1 auf die zweite Halteeinrichtung D₂ gesetzt ist, an der zweiten Halteeinrichtung D₂ bereitgestellt sein, und die Steuereinrichtung 16 kann basierend auf einem Ausgangssignal des Objekterkennungssensors bestimmen, ob das (n-1)-te Werkzeug T_n-1 auf die zweite Halteeinrichtung D₂ gesetzt ist. Nach Schritt S9 kehrt die Steuereinrichtung 16 zu Schritt S5 zurück und führt eine Schleife der Schritte S5 bis S9 durch, bis sie in Schritt S7 JA bestimmt.
Wenn in Schritt S7 JA bestimmt wird, fungiert die Steuereinrichtung 16 in Schritt S10 als Robotersteuereinrichtung 28, um den Roboter 12 zu veranlassen, den Objektabholvorgang durchzuführen. Insbesondere steuert die Steuereinrichtung 16 den Roboter 12 basierend auf den Positionsdaten der zweiten Halteeinrichtung D₂ im Roboterkoordinatensystem C_R , so dass der Roboter 12 das n_MAX-te Werkzeug Tn_MAX, das für den n_MAX-ten Arbeitsvorgang verwendet wurde und auf die zweite Halteeinrichtung D₂ gesetzt ist, mit der Roboterhand 26 ergreift.
Dann steuert die Steuereinrichtung 16 den Roboter 12 basierend auf den Positionsdaten des in das Aufbewahrungsgestell E zu setzenden n_MAX-ten Werkzeugs T_nMAX im Roboterkoordinatensystem C_R , so dass der Roboter 12 das mit der Roboterhand 26 ergriffene n_MAX-te Werkzeug T_nMAX zu einer vorgegebene Position im Aufbewahrungsgestell E zurückbringt.
Wie vorstehend beschrieben, veranlasst die Steuereinrichtung 16 bei der vorliegenden Ausführungsform den Roboter 12, den Objektzufuhrvorgang durchzuführen (Schritt S8), wenn die Steuereinrichtung 16 bestimmt, dass der n-te Arbeitsvorgang abgeschlossen ist. Gemäß dieser Konfiguration wird das (n+1)-te Werkzeug T_n+1 für den (n+1)-ten Arbeitsvorgang automatisch durch den Roboter 12 auf die erste Halteeinrichtung D₁ gesetzt, wenn der Arbeiter A nach dem n-ten Arbeitsvorgang den (n+1)-ten Arbeitsvorgang durchführt. Aufgrund dessen ist es möglich, es dem Arbeiter A zu ermöglichen, den n-ten Arbeitsvorgang reibungslos durchzuführen.
Darüber hinaus veranlasst die Steuereinrichtung 16 bei der vorliegenden Ausführungsform den Roboter 12, den Objektabholvorgang durchzuführen (Schritte S9 und S10), wenn die Steuereinrichtung bestimmt, dass der n-te Arbeitsvorgang abgeschlossen ist. Gemäß dieser Konfiguration kann das verwendete n-te Werkzeug T_n automatisch durch den Roboter 12 abgeholt und zurückgebracht werden, wenn der Arbeiter A den n-ten Arbeitsvorgang abschließt. Aufgrund dessen ist es möglich, es dem Arbeiter A zu ermöglichen, den Arbeitsvorgang reibungslos durchzuführen.
Es wird darauf hingewiesen, dass die Steuereinrichtung 16 in Schritt S5 basierend auf einem Lernmodell LM, das eine Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und einer Phase des n-ten Arbeitsvorgangs oder einer für den n-ten Arbeitsvorgang erforderlichen Zeit t bestimmen kann, ob der n-te Arbeitsvorgang abgeschlossen ist. Eine das Lernmodell LM lernende Maschinenlernvorrichtung 50 ist nachstehend unter Bezugnahme auf 7 beschrieben.
Die Maschinenlernvorrichtung 50 besteht aus einem Computer, der beispielsweise einen Prozessor (CPU, GPU etc.), einen Speicher (ROM, RAM etc.), eine Eingabeeinrichtung (Tastatur, Maus, Berührungssensor etc.) und eine Anzeigeeinrichtung (Flüssigkristallanzeigeeinrichtung, organische EL-Anzeigeeinrichtung etc.) umfasst, oder aus Software, wie etwa einem durch den Computer ausgeführten Lernalgorithmus.
Die Maschinenlernvorrichtung 50 lernt den Zeitpunkt, zu dem der Arbeiter A den n-ten Arbeitsvorgang abschließt. Die Maschinenlernvorrichtung 50 umfasst einen Lerndatenerfassungsabschnitt 52 und einen Lernabschnitt 54. Als Ausführungsform der Funktion der Maschinenlernvorrichtung 50 erfasst der Lerndatenerfassungsabschnitt 52 die vorstehend beschriebenen Erkennungsdaten DD der Erkennungseinrichtung 14 und Labelinformationen LI, die eine Phase des n-ten Arbeitsvorgangs (Anfangsphase, Zwischenphase, Endphase etc.) angeben, als Lerndatensatz DS₁.
Genauer gesagt bildet die Erkennungseinrichtung 14 den Arbeiter A entlang ihrer Sichtlinienrichtung VD ab, wenn der Arbeiter A den n-ten Arbeitsvorgang durchführt, und erkennt eine Bewegung des Arbeiters A basierend auf dem aufgenommenen Bild.
Die Erkennungseinrichtung 14 führt dem Lerndatenerfassungsabschnitt 52 die Erkennungsdaten DD zu, die die Bewegung des Arbeiters A zeigen (z.B. Bilddaten, die die Bewegung des Arbeiters A kontinuierlich in einer Zeitreihe zeigen).
8 zeigt schematisch kontinuierlich durch die Erkennungseinrichtung 14 erfasste Erkennungsdaten DD_m. Die horizontale Achse in 8 zeigt die Zeit t. Es wird darauf hingewiesen, dass 8 300 Elemente von Erkennungsdaten DD_m (m=1 bis 300) zeigt, die vom Start bis zum Abschluss des durch den Arbeiter A durchgeführten n-ten Arbeitsvorgangs durch die Erkennungseinrichtung 14 erkannt werden.
Die Labelinformationen LI umfassen beispielsweise Anfangsphasen-Labelinformationen LI₁, die angeben, dass sich der n-te Arbeitsvorgang in einer „Anfangsphase“ befindet, Zwischenphasen-Labelinformationen LI₂, die angeben, dass sich der n-te Arbeitsvorgang in einer „Zwischenphase“ befindet, und Endphasen-Labelinformationen LI₃, die angeben, dass sich der n-te Arbeitsvorgang in einer „Endphase“ befindet. Es wird angenommen, dass eine in 8 gezeigte Zusammenstellung von Erkennungsdaten DD₁ bis DD₉₉ die Bewegung des Arbeiters A beim Durchführen einer Befestigung an den ersten zwei Befestigungslöchern F (z.B. Befestigungslöcher F₁ und F₂ ) der Befestigungslöcher F₁ bis F₅ aus 5 zeigt.
Es wird ferner angenommen, dass eine Zusammenstellung von Erkennungsdaten DD₁₀₀ bis DD₁₉₉ die Bewegung des Arbeiters A beim Durchführen einer Befestigung an den nächsten zwei Befestigungslöchern F (z.B. Befestigungslöcher F₃ und F₄ ) der Befestigungslöcher F₁ bis F₅ aus 5 zeigt. Außerdem wird angenommen, dass eine Zusammenstellung von Erkennungsdaten DD₂₀₀ bis DD₃₀₀ die Bewegung des Arbeiters A beim Durchführen einer Befestigung am letzten Befestigungsloch F (z.B. Befestigungsloch F₅ ) der Befestigungslöcher F₁ bis F₅ aus 5 zeigt.
In diesem Fall kann der Bediener die Anfangsphasen-Labelinformationen LI₁ den Erkennungsdaten DD₁ bis DD₉₉ , die Zwischenphasen-Labelinformationen LI₂ den Erkennungsdaten DD₁₀₀ bis DD₁₉₉ und die Endphasen-Labelinformationen LI₃ den Erkennungsdaten DD₂₀₀ bis DD₃₀₀ zuordnen. Wenn der Bediener die Labelinformationen LI zuordnet, zeigt die Anzeigeeinrichtung der Maschinenlernvorrichtung 50 die Erkennungsdaten (Bilddaten) DD_m an.
Dann bedient der Bediener, während er das auf der Anzeigeeinrichtung angezeigte Bild der Erkennungsdaten DD_m betrachtet, die Eingabeeinrichtung der Maschinenlernvorrichtung 50, um den Erkennungsdaten DD_m optional die Anfangsphasen-Labelinformationen LI₁, die Zwischenphasen-Labelinformationen LI₂ und die Endphasen-Labelinformationen LI₃ zuzuweisen, die den Fortschritt des n-ten Arbeitsvorgangs zeigen.
Somit weist der Bediener gemäß der durch die Erkennungsdaten DD_m gezeigten Bewegung des Arbeiters A optional den Erkennungsdaten DD_m die Labelinformationen LI zu. Der Lerndatenerfassungsabschnitt 52 erfasst die von der Erkennungseinrichtung 14 erfassten Erkennungsdaten DD_m und die durch den Bediener eingegebenen Labelinformationen LI als Lerndatensatz DS₁.
Es wird darauf hingewiesen, dass bei dem in 8 gezeigten Beispiel zum einfacheren Verständnis ein Fall beschrieben ist, in dem die Erkennungseinrichtung 14 während des n-ten Arbeitsvorgangs insgesamt 300 Elemente Erkennungsdaten DD₁ bis DD₃₀₀ erkennt. Die Erkennungseinrichtung 14 kann während des n-ten Arbeitsvorgangs jedoch eine beliebige Anzahl von Elementen der Erkennungsdaten DD_m erkennen. Der Bediener kann gemäß den erkannten Erkennungsdaten DD_m optional entscheiden, welche Art von Labelinformationen LI₁, LI₂ oder LI₃ der Zusammenstellung einer beliebigen Anzahl von Elementen der Erkennungsdaten DD_m zugewiesen werden soll.
Darüber hinaus sind die Labelinformationen LI nicht auf die vorstehend beschriebenen Anfangsphasen-Labelinformationen LI₁, Zwischenphasen-Labelinformationen LI₂ und Endphasen-Labelinformationen LI₃ beschränkt. Als Endphasen-Labelinformationen LI₃ kann beispielsweise eine Mehrzahl Elemente von Labelinformationen in chronologischer Reihenfolge, wie etwa „Endphase 1“, „Endphase 2“ und „Endphase 3“, festgelegt werden. Ebenso kann eine Mehrzahl Elemente von Labelinformationen als Anfangsphasen-Labelinformationen LI₁ oder Zwischenphasen-Labelinformationen LI₂ festgelegt werden. Darüber hinaus können den Erkennungsdaten DD_m nur die Endphasen-Labelinformationen LI₃ zugewiesen werden.
Der Lernabschnitt 54 erzeugt ein Lernmodell LM₁ (Funktion), das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der Phase des n-ten Arbeitsvorgangs (Anfangsphase, Zwischenphase, Endphase) darstellt, unter Verwendung des Lerndatensatzes DS₁.Der Lernabschnitt 54 führt zum Erzeugen des Lernmodells LM₁ beispielsweise ein überwachtes Lernen durch. In diesem Fall ist der Arbeiter A bestrebt, wiederholt den n-ten Arbeitsvorgang durchzuführen, und der Lerndatenerfassungsabschnitt 52 erfasst jedes Mal, wenn der Arbeiter A den n-ten Arbeitsvorgang durchführt, wiederholt den Lerndatensatz DS₁ als überwachte Daten.
Der Lernabschnitt 54 lernt das Lernmodell LM₁ durch Identifizieren eines Merkmals, das die Korrelation zwischen den Erkennungsdaten DD_m und den die Phase des n-ten Arbeitsvorgangs (Anfangsphasen-Labelinformationen LI₁, Zwischenphasen-Labelinformationen LI₂ und Endphasen-Labelinformationen LI₃) angebenden Labelinformationen LI einschließt, welche als überwachte Daten erfasst wurden. Für das überwachte Lernen kann beispielsweise ein Algorithmus, wie etwa eine Support Vector Machine (SVM) oder ein Gaußsches Mischungsmodell (GMM/Gaussian Mixture Model), verwendet werden.
Ein Ablauf eines durch die Maschinenlernvorrichtung 50 durchgeführten Lernzyklus ist nachstehend unter Bezugnahme auf 9 beschrieben. In Schritt S11 führt der Arbeiter A den n-ten Arbeitsvorgang durch und die Erkennungseinrichtung 14 erkennt die Bewegung des Arbeiters A während des n-ten Arbeitsvorgangs. In Schritt S12 erfasst der Lerndatenerfassungsabschnitt 52 den Lerndatensatz DS₁ der Erkennungsdaten DD_m und der Labelinformationen LI und speichert die Erkennungsdaten DD_m und die Labelinformationen LI einander zugeordnet im Speicher der Maschinenlernvorrichtung 50.
In Schritt S13 erzeugt (oder aktualisiert) der Lernabschnitt 54 das Lernmodell LM₁, das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der Phase des n-ten Arbeitsvorgangs darstellt, unter Verwendung des in Schritt S12 erfassten Lerndatensatzes DS₁.Der Ablauf kehrt dann zu Schritt S11 zurück.
Durch Durchführen eines solchen Lernzyklus wird das Lernen des Lernmodells LM₁ befördert, wodurch das Lernmodell LM₁ zu einer optimalen Lösung geführt wird. Gemäß der vorliegenden Ausführungsform ist es möglich, das Lernmodell LM₁, das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der Phase des n-ten Arbeitsvorgangs quantitativ darstellt, automatisch und genau zu erhalten.
Als Nächstes wird eine andere Ausführungsform der Funktion der Maschinenlernvorrichtung 50 beschrieben. Bei der vorliegenden Ausführungsform erfasst der Lerndatenerfassungsabschnitt 52 die vorstehend beschriebenen Erkennungsdaten DD_m und die für den n-ten Arbeitsvorgang erforderliche Zeit t als Lerndatensatz DS₂. Beispielsweise erfasst der Lerndatenerfassungsabschnitt 52 die Erkennungsdaten DD₁ bis DD_{m_p}, die die Bewegung des Arbeiters A beim Durchführen einer Befestigung an den ersten „p“ Befestigungslöchern F (p ist eine Ganzzahl von 4 oder kleiner) der Befestigungslöcher F₁ bis F₅ aus 5 zeigen, und die Zeit t von einem Zeitpunkt, zu dem der Arbeiter A die Befestigung am p-ten Befestigungsloch F abschließt, bis zu einem Zeitpunkt, zu dem der n-te Arbeitsvorgang abgeschlossen wird, als Lerndatensatz DS₂.
Insbesondere erfasst der Lerndatenerfassungsabschnitt 52 die Erkennungsdaten DD₁ bis DD₉₉ , die die Bewegung des Arbeiters A beim Durchführen einer Befestigung an den ersten zwei Befestigungslöchern F (z.B. Befestigungslöcher F₁ und F₂ ) zeigen, und die Zeit t von einem Zeitpunkt, zu dem der Arbeiter A die Befestigung am zweiten Befestigungsloch F (z.B. Befestigungsloch F₂ ) abschließt (d.h. einem Zeitpunkt, zu dem die Erkennungsdaten DD₉₉ erkannt werden), bis zu einem Zeitpunkt, zu dem der n-te Arbeitsvorgang abgeschlossen wird (d.h. einem Zeitpunkt, zu dem die Erkennungsdaten DD₃₀₀ erkannt werden), als Lerndatensatz DS₂.
Der Lernabschnitt 54 erzeugt ein Lernmodell LM₂ (Funktion), das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der für den n-ten Arbeitsvorgang erforderlichen Zeit t (z.B. der Zeit t von einem Zeitpunkt, zu dem die Befestigung am p-ten Befestigungsloch F abgeschlossen wird, bis zu einem Zeitpunkt, zu dem der n-te Arbeitsvorgang abgeschlossen wird) darstellt, unter Verwendung des Lerndatensatzes DS₂ der Erkennungsdaten DD_m und der Zeit t.
Ein Ablauf eines Lernzyklus des Lernmodells LM₂ ist nachstehend unter Bezugnahme auf 9 beschrieben. Der Lernablauf des Lernmodells LM₂ unterscheidet sich in den Schritten S12 und S13 vom Lernablauf des vorstehend beschriebenen Lernmodells LM₁. Insbesondere erfasst der Lerndatenerfassungsabschnitt 52 in Schritt S12 den Lerndatensatz DS₂ der Erkennungsdaten DD_m und der Zeit t und speichert diese einander zugeordnet im Speicher der Maschinenlernvorrichtung 50.
In Schritt S13 erzeugt der Lernabschnitt 54 das Lernmodell LM₂, das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der Zeit t darstellt, unter Verwendung des in Schritt S12 erfassten Lerndatensatzes DS₂. Der Lernabschnitt 54 führt beispielsweise den Algorithmus für das überwachte Lernen (SVM, GMM etc.) aus, um das Lernmodell LM₂ zu lernen. Dann kehrt der Ablauf zu Schritt S11 zurück.
Durch Durchführen eines solchen Lernzyklus wird das Lernen des Lernmodells LM₂ befördert, wodurch das Lernmodell LM₂ zu einer optimalen Lösung geführt wird. Gemäß der vorliegenden Ausführungsform ist es möglich, das Lernmodell LM₂, das die Korrelation zwischen der Bewegung des den n-ten Arbeitsvorgang durchführenden Arbeiters A und der für den n-ten Arbeitsvorgang erforderlichen Zeit t quantitativ darstellt, automatisch und genau zu erhalten.
Es wird darauf hingewiesen, dass der durch den Lernabschnitt 54 ausgeführte Lernalgorithmus nicht auf das überwachte Lernen beschränkt ist, sondern ein beliebiger für das maschinelle Lernen bekannter Lernalgorithmus, wie etwa unüberwachtes Lernen, verstärkendes Lernen oder ein neuronales Netz, eingesetzt werden kann. Als Beispiel zeigt 10 schematisch ein Modell eines Neurons. 11 zeigt schematisch ein Modell eines dreischichtigen neuronalen Netzes, das durch Kombinieren von in 10 gezeigten Neuronen erstellt wird. Das neuronale Netz kann unter Verwendung beispielsweise einer Recheneinrichtung und einer Speichereinrichtung, die ein Neuronenmodell simulieren, gebildet werden.
Das in 10 gezeigte Neuron gibt in Antwort auf mehrere Eingänge x (in 10 sind die Eingänge x1 bis x3 als Beispiel dargestellt) ein Ergebnis y aus. Die Eingänge x (x1, x2 und x3) werden jeweils mit Gewichten w (w1, w2 und w3) multipliziert. Die Beziehung zwischen den Eingängen x und dem Ergebnis y lässt sich durch die nachstehend aufgeführte Gleichung 1 darstellen. Es wird darauf hingewiesen, dass die Eingänge x, das Ergebnis y und die Gewichte w allesamt Vektoren sind. In Gleichung 1 ist 0 eine systematische Messabweichung und f_k eine Aktivierungsfunktion. $y = f_{k} (\sum_{i = 1}^{n} x_{i} w_{i} - θ)$
Bei dem in 11 gezeigten dreischichtigen neuronalen Netz werden die mehreren Eingänge x (in 11 sind die Eingänge x1 bis x3 als Beispiel dargestellt) auf der linken Seite eingegeben und das Ergebnis y (in 11 sind die Ergebnisse y1 bis y3 als Beispiel dargestellt) auf der rechten Seite ausgegeben. Bei dem gezeigten Beispiel werden die Eingänge x1, x2 und x3 jeweils mit den entsprechend Gewichten (kollektiv als W1 dargestellt) multipliziert und jeder der Eingänge x1, x2 und x3 wird in drei Neuronen N11, N12 und N13 eingegeben.
In 11 sind die Ausgänge der Neuronen N11 bis N13 kollektiv als Z1 dargestellt. Z1 kann als Merkmalsvektoren aufgefasst werden, die durch Extrahieren der Merkmalsbeträge der Eingangsvektoren erhalten werden. Bei dem gezeigten Beispiel werden die Merkmalsvektoren Z1 jeweils mit den entsprechenden Gewichten (kollektiv als W2 dargestellt) multipliziert und jeder der Merkmalsvektoren Z1 wird in zwei Neuronen N21 und N22 eingegeben. Die Merkmalsvektoren Z1 stellen Merkmale zwischen dem Gewicht W1 und dem Gewicht W2 dar.
In 11 sind die Ausgänge der Neuronen N21 bis N22 kollektiv als Z2 dargestellt. Z2 kann als Merkmalsvektoren aufgefasst werden, die durch Extrahieren der Merkmalsbeträge der Merkmalsvektoren Z1 erhalten werden. Bei dem gezeigten Beispiel werden die Merkmalsvektoren Z2 jeweils mit den entsprechenden Gewichten (kollektiv als W3 dargestellt) multipliziert und jeder der Merkmalsvektoren Z2 wird in drei Neuronen N31, N32 und N33 eingegeben.
Die Merkmalsvektoren Z2 stellen Merkmale zwischen dem Gewicht W2 und dem Gewicht W3 dar. Schließlich geben die Neuronen N31 bis N33 jeweils die Ergebnisse y1 bis y3 aus. Die Maschinenlernvorrichtung 50 kann das Lernmodell LM (LM₁ oder LM₂) durch Verwenden des Lerndatensatzes DS (DS₁ oder DS₂) als Eingang und Durchführen einer Mehr-Schichten-Strukturberechnung gemäß dem vorstehend beschriebenen neuronalen Netz lernen.
Die Konfiguration der vorstehend genannten Maschinenlernvorrichtung 50 lässt sich als Maschinenlernverfahren (oder Software) beschreiben, das durch einen Prozessor eines Computers ausgeführt wird. Das Maschinenlernverfahren umfasst das Erfassen der Erkennungsdaten DD_m der Erkennungseinrichtung 14, die die Bewegung des Arbeiters A erkennt, wenn der Arbeiter A den n-ten Arbeitsvorgang durchführt, und der Labelinformationen LI, die die Phase des n-ten Arbeitsvorgangs oder die für den n-ten Arbeitsvorgang erforderliche Zeit t angeben, als Lerndatensatz DS₁ oder DS₂ und das Erzeugen des Lernmodells LM₁ oder LM₂, das die Korrelation zwischen der Bewegung des Arbeiters A und der Phase des n-ten Arbeitsvorgangs oder der Zeit t darstellt, unter Verwendung des Lerndatensatzes DS₁ oder DS₂ durch einen Prozessor.
Nun wird unter Bezugnahme auf 2 und 12 ein Robotersystem 60 gemäß einer anderen Ausführungsform beschrieben. Das Robotersystem 60 umfasst den Roboter 12, die Erkennungseinrichtung 14 und eine Steuereinrichtung 62. Die Steuereinrichtung 62 ist ein Computer, der einen Prozessor 64 (CPU, GPU etc.), einen Speicher 66 (ROM, RAM etc.), eine Eingabeeinrichtung 68 (Tastatur, Maus, Berührungssensor etc.) und eine Anzeigeeinrichtung 70 (Flüssigkristallanzeigeeinrichtung, organische EL-Anzeigeeinrichtung etc.) umfasst.
Der Prozessor 64, der Speicher 66, die Eingabeeinrichtung 68 und die Anzeigeeinrichtung 70 sind über einen Bus 72 kommunikationsfähig miteinander verbunden.
Bei der vorliegenden Ausführungsform ist die Maschinenlernvorrichtung 50 in Form von Hardware oder Software in der Steuereinrichtung 62 installiert und der Prozessor 64 führt verschiedene Rechenverarbeitungen durch, um die Funktion der Maschinenlernvorrichtung 50 auszuführen, während er mit dem Speicher 66, der Eingabeeinrichtung 68 und der Anzeigeeinrichtung 70 kommuniziert. Somit fungiert der Prozessor 64 bei der vorliegenden Ausführungsform als Lerndatenerfassungsabschnitt 52 und Lernabschnitt 54. Der Speicher 66 speichert das durch die Maschinenlernvorrichtung 50 gelernte Lernmodell LM (LM₁ oder LM₂) vor.
Als Nächstes wird der Betrieb des Robotersystems 60 unter Bezugnahme auf 3 beschrieben. Der Prozessor 64 fungiert als Robotersteuereinrichtung 28 und Abschlussbestimmungsabschnitt 30, welche vorstehend beschrieben sind, und führt den in 3 gezeigten Ablauf aus, während er mit dem Speicher 66, der Eingabeeinrichtung 68 und der Anzeigeeinrichtung 70 kommuniziert. Der Betriebsablauf des Robotersystems 60 unterscheidet sich in den folgenden Prozessen von dem des vorstehend beschriebenen Robotersystems 10.
Insbesondere startet die Erkennungseinrichtung 14 in Schritt S4 die Erkennung der Bewegung des Arbeiters A. Zu dieser Zeit nimmt die Erkennungseinrichtung 14 unter den gleichen Bedingungen wie im vorstehend beschriebenen, in der Lernphase des Lernmodells LM durchgeführten Schritt S11 kontinuierlich ein Bild (Bewegtbild) des Arbeiters A auf, um die Bewegung des Arbeiters A zu erkennen. Insbesondere bildet die Erkennungseinrichtung 14 den Arbeiter A unter den gleichen Abbildungsbedingungen (Verschlusszeit, Aufnahmegeschwindigkeit etc.) wie im vorstehend beschriebenen Schritt S11 entlang der gleichen Sichtlinienrichtung VD wie in Schritt 511 ab. Die Erkennungseinrichtung 14 sendet der Reihe nach kontinuierlich erfasste Erkennungsdaten DD_m' an den Prozessor 64.
In Schritt S5 bestimmt der Prozessor 64 basierend auf den Erkennungsdaten DD_m' der Erkennungseinrichtung 14 und dem Lernmodell LM, ob der n-te Arbeitsvorgang abgeschlossen ist. Wenn der Speicher 66 das Lernmodell LM₁ speichert, gibt der Prozessor 64 die kontinuierlichen Erkennungsdaten DD_m', die ab dem Start von Schritt S4 von der Erkennungseinrichtung 14 erfasst werden, in das Lernmodell LM₁ ein.
In Antwort darauf schätzt das Lernmodell LM₁ die Labelinformationen LI (d.h. die Anfangsphasen-Labelinformationen LI₁, die Zwischenphasen-Labelinformationen LI2 oder die Endphasen-Labelinformationen LI₃), die mit den eingegebenen Erkennungsdaten DD_m' eine Korrelation aufweisen, und gibt diese aus. Als Beispiel bestimmt der Prozessor 64 in diesem Schritt S5 JA, wenn er erkennt, dass das Lernmodell LM₁ die Endphasen-Labelinformationen LI₃ ausgibt. Als anderes Beispiel kann der Prozessor 64 JA bestimmen, wenn ab einem Zeitpunkt, zu dem er erkennt, dass das Lernmodell LM die Endphasen-Labelinformationen LI₃ ausgibt, eine vorgegebene Zeitspanne verstrichen ist.
Wenn der Speicher 66 hingegen das Lernmodell LM₂ speichert, gibt der Prozessor 64 in Schritt S5 die kontinuierlichen Erkennungsdaten DD_m', die ab dem Start von Schritt S4 von der Erkennungseinrichtung 14 erfasst werden, in das Lernmodell LM₂ ein. Wenn beispielsweise die Erkennungsdaten DD₁ ' bis DD_{m_p}', die die Bewegung des Arbeiters A beim Durchführen einer Befestigung an den ersten p Befestigungslöchern F zeigen, in das Lernmodell LM₂ eingegeben werden, schätzt das Lernmodell LM₂ die Zeit t von einem Zeitpunkt, zu dem die Befestigung am p-ten Befestigungsloch F abgeschlossen wird, bis zu einem Zeitpunkt, zu dem der n-te Arbeitsvorgang abgeschlossen wird, und gibt diese aus.
Anhand der ausgegebenen Zeit t kann der Prozessor 64 erkennen, wann der n-te Arbeitsvorgang abgeschlossen wird, und den Zeitpunkt bestimmen, zu dem der n-te Arbeitsvorgang abgeschlossen ist. Beispielsweise misst der Prozessor 64 eine Zeit τ, die ab einem Zeitpunkt verstrichen ist, zu dem der Prozessor 64 die Erkennungsdaten DD_{m_p}' erfasst, die die Bewegung des Arbeiters A beim Durchführen der Befestigung am p-ten Befestigungsloch F zeigen, und bestimmt JA, wenn die verstrichene Zeit τ die durch das Lernmodell LM₂ ausgegebene Zeit t erreicht (oder einen Zeitpunkt, der um eine vorgegebene Zeitspanne vor der Zeit t liegt).
Somit fungiert der Prozessor 64 als Abschlussbestimmungsabschnitt 30, um basierend auf den Erkennungsdaten DD_m' und dem Lernmodell LM zu bestimmen, ob der n-te Arbeitsvorgang abgeschlossen ist. Gemäß der vorliegenden Ausführungsform kann der Prozessor 64 den Zeitpunkt, zu dem der n-te Arbeitsvorgang abgeschlossen ist, unter Einsatz des Lernmodells LM genauer bestimmen.
Es wird darauf hingewiesen, dass bei den vorstehend beschriebenen Ausführungsformen die Robotersysteme 10 und 60 den Arbeitsvorgang eines einzelnen Arbeiters A unterstützen. Die Robotersysteme 10 oder 60 können jedoch auch dazu eingerichtet werden, die Arbeitsvorgänge mehrerer Arbeiter A zu unterstützen. Eine solche Ausführungsform ist in 13 und 14 dargestellt.
Ein in 13 und 14 dargestelltes Robotersystem 80 ist dazu eingerichtet, Arbeitsvorgänge von drei Arbeitern A₁, A₂ und A₃ zu unterstützen. Insbesondere umfasst das Robotersystem 80 den Roboter 12, die Erkennungseinrichtungen 14A, 14B und 14C und die Steuereinrichtung 62. Die Erkennungseinrichtungen 14A, 14B und 14C haben jeweils die gleiche Konfiguration wie die vorstehend beschriebene Erkennungseinrichtung 14. Die Erkennungseinrichtung 14A erkennt die Bewegung des Arbeiters A₁, die Erkennungseinrichtung 14B die Bewegung des Arbeiters A₂ und die Erkennungseinrichtung 14C die Bewegung des Arbeiters A₃.
Außerdem sind ein Ablagetisch C₁ für den Arbeiter A₁, ein Ablagetisch C₂ für den Arbeiter A₂ und ein Ablagetisch C₃ für den Arbeiter A₃ an jeweiligen vorgegebenen Positionen in der Arbeitszelle aufgestellt. Die erste Halteeinrichtung D₁ und die zweite Halteeinrichtung D₂ sind auf jedem der Ablagetische C₁, C₂ und C₃ bereitgestellt.
Der Prozessor 64 der Steuereinrichtung 62 des Robotersystems 80 führt den in 3 gezeigten Ablauf für jeden der Arbeiter A₁, A₂ und A₃ parallel durch, um die Objekte (Werkzeuge T) für die Arbeitsvorgänge den Arbeitern A₁, A₂ und A₃ zuzuführen (d.h. den Objektzufuhrvorgang durchzuführen) und die durch die Arbeiter A₁, A₂ und A₃ für die Arbeitsvorgänge verwendeten Objekte abzuholen (Objektabholvorgang).
Es wird darauf hingewiesen, dass das im Speicher 66 der Steuereinrichtung 62 des Robotersystems 80 gespeicherte Lernmodell LM (LM₁, LM₂) ein Lernmodell LM_{_A} (LM_{1_A}, LM_{2_A}), das unter Verwendung der Erkennungsdaten gelernt wird, die durch die die Bewegung des Arbeiters A₁ erkennende Erkennungseinrichtung 14A erhalten werden, ein Lernmodell LM_{_B} (LM_{1_B}, LM_{2_B}), das unter Verwendung der Erkennungsdaten gelernt wird, die durch die die Bewegung des Arbeiters A₂ erkennende Erkennungseinrichtung 14B erhalten werden, und ein Lernmodell LM_c (LM_{1_C}, LM_{2_c}) umfasst, das unter Verwendung der Erkennungsdaten gelernt wird, die durch die die Bewegung des Arbeiters A₃ erkennende Erkennungseinrichtung 14C erhalten werden.
Hierbei kann die Art und Reihenfolge des durchzuführenden Arbeitsvorgangs zwischen den Arbeitern A₁, A₂ und A₃ variieren. In diesem Fall unterscheiden sich die in Schritt S1 für die Arbeiter A₁, A₂ und A₃ erfassten Arbeitsinformationen voneinander, wenn der in 3 gezeigte Ablauf für jeden der Arbeiter A₁, A₂ und A₃ parallel durchgeführt wird.
Wenn der in 3 gezeigte Ablauf für jeden der Arbeiter A₁, A₂ und A₃ parallel durchgeführt wird, können außerdem die in Schritt S5 durch den Prozessor 64 bestimmten Zeitpunkte, zu denen die Arbeitsvorgänge durch wenigstens zwei Arbeiter A₁, A₂ und A₃ abgeschlossen werden, zeitlich nahe beieinander liegen. In diesem Fall kann der Prozessor 64 die Reihenfolge bestimmen, in der die wenigstens zwei Arbeiter A₁, A₂ und A₃ ihre Arbeitsvorgänge abschließen, und gemäß der Reihenfolge für diese Arbeiter A₁, A₂, A₃ Schritt S8 ausführen.
Nachstehend ist ein Fall beschrieben, in dem die Zeitpunkte des Abschlusses der Arbeitsvorgänge durch die Arbeiter A₁ und A₂ nahe beieinander liegen. Wenn das vorstehend beschriebene Lernmodell LM₂ eingesetzt wird, kann der Prozessor 64, wie vorstehend beschrieben, im obigen Schritt S5 die Zeitpunkte schätzen, zu denen die Arbeiter A₁ und A₂ ihre Arbeitsvorgänge abschließen. Demgemäß kann der Prozessor 64 bestimmen, ob die Zeitpunkte, zu denen die Arbeiter A₁ und A₂ ihre Arbeitsvorgänge abschließen, nahe beieinander liegen, und außerdem die Reihenfolge bestimmen, in der die Arbeitsvorgänge durch die Arbeiter A₁ und A₂ abgeschlossen werden.
Wenn der Prozessor 64 beispielsweise bestimmt, dass der Arbeiter A₁ seinen/ihren Arbeitsvorgang vor dem Arbeiter A₂ abschließt, führt der Prozessor 64 Schritt S8 für den Arbeiter A₁ und anschließend Schritt S8 für den Arbeiter A₂ durch. In diesem Fall kann der Prozessor 64 in Schritt S5 des für den Arbeiter A₁ ausgeführten Ablaufs JA bestimmen, wenn die Zeit um die vorgegebene Zeitspanne vor dem Zeitpunkt erreicht wird, zu dem durch das Lernmodell LM_{2_A} geschätzt wird, dass der Arbeitsvorgang abgeschlossen ist.
Dagegen kann der Prozessor in Schritt S5 des Ablaufs für den Arbeiter A₂ zu dem Zeitpunkt, zu dem das Lernmodell LM_{2_B} schätzt, dass der Arbeitsvorgang abgeschlossen ist, JA bestimmen. Somit kann der Prozessor 64 selbst dann zu verschiedenen Zeitpunkten in der Reihenfolge, in der die Arbeitsvorgänge abgeschlossen werden, Schritt S8 für die Arbeiter A₁ und A₂ durchführen, wenn die Zeitpunkte, zu denen die Arbeitsvorgänge der Arbeiter A₁ und A₂ abgeschlossen werden, nahe beieinander liegen.
Alternativ kann der Prozessor 64 des Robotersystems 80 ähnlich wie in Schritt S5 des vorstehend beschriebenen Robotersystems 10 überwachen, ob die durch die Erkennungsdaten DD_m gezeigte Bewegung des Arbeiters A mit dem Referenzbewegungsmuster übereinstimmt, und bestimmen, dass der n-te Arbeitsvorgang abgeschlossen ist, wenn die Bewegung des Arbeiters A mit dem Referenzbewegungsmuster übereinstimmt. In diesem Fall kann der Prozessor 64, wenn die Zeitpunkte, zu denen die Arbeitsvorgänge durch die Arbeiter A₁ und A₂ abgeschlossen werden, nahe beieinander liegen, bestimmen, welche der Bewegungen der Arbeiter A₁ und A₂ zuerst mit dem Referenzbewegungsmuster übereinstimmen.
Wenn beispielsweise die Bewegung des Arbeiters A₁ vor der Bewegung des Arbeiters A₂ mit dem Referenzbewegungsmuster übereinstimmt, wird Schritt S8 zuerst für den Arbeiter A₁ und anschließend für den Arbeiter A₂ durchgeführt. In diesem Fall bestimmt der Prozessor 64 in Schritt S5 des für den Arbeiter A₁ durchgeführten Ablaufs JA, wenn bestimmt wird, dass die Bewegung des Arbeiters A₁ mit dem Referenzbewegungsmuster übereinstimmt, und führt Schritt S8 für den Arbeiter A₁ durch.
Dagegen bestimmt der Prozessor 64 in Schritt S5 des Ablaufs für den Arbeiter A₂ JA, nachdem ab dem Zeitpunkt, zu dem der Prozessor 64 bestimmt, dass die Bewegung des Arbeiters A₂ mit dem Referenzbewegungsmuster übereinstimmt, eine vorgegebene Zeitspanne verstrichen ist, und führt Schritt S8 für den Arbeiter A₂ durch. Dadurch kann der Prozessor 64 zu verschiedenen Zeitpunkten in der Reihenfolge, in der die Arbeitsvorgänge abgeschlossen werden, Schritt S8 für die Arbeiter A₁ und A₂ durchführen.
Durch das vorstehend beschriebene Steuerverfahren können, selbst wenn die Zeitpunkte, zu denen die Arbeitsvorgänge durch wenigstens zwei der Arbeiter A₁, A₂ und A₃ abgeschlossen werden, zeitlich nahe beieinander liegen, Schritt S8 (Objektzufuhrvorgang) und Schritt S9 (Objektabholvorgang) reibungslos für die Arbeiter A₁, A₂ und A₃ durchgeführt werden, ohne die Bewegungen des Roboters 12 oder der Arbeiter A₁, A₂ und A₃ zu unterbrechen.
Außerdem kann, da die Objekte effizient durch den Roboter 12 zugeführt werden können, die Betriebsgeschwindigkeit des Roboters 12 erhöht werden. Daher ist es nicht notwendig, mehrere Roboter bereitzustellen, um die Arbeitsvorgänge der jeweiligen Arbeiter A₁, A₂ und A₃ zu unterstützen, und der einzelne Roboter 12 kann die Arbeitsvorgänge der Arbeiter A₁, A₂ und A₃ unterstützen. Dadurch lassen sich die Kosten des Robotersystems 80 reduzieren.
Es wird darauf hingewiesen, dass der Prozessor 64 bei dem Robotersystem 80 für jeden der Arbeiter A₁, A₂ und A₃ auch den durch das vorstehend beschriebene Robotersystem 10 durchgeführten Ablauf aus 3 (d.h. den Ablauf, bei dem das Lernmodell LM nicht in Schritt S5 verwendet wird) durchführen kann. In diesem Fall führt der Prozessor 64 den Ablauf aus 3, der das Lernmodell LM nicht verwendet, und den Ablauf aus 3, der das Lernmodell LM verwendet, parallel für die verschiedenen Arbeiter durch. Außerdem kann bei dem Robotersystem 80 die einzelne Erkennungseinrichtung 14 dazu eingerichtet werden, die Bewegungen der Arbeiter A₁, A₂ und A₃ zu erkennen.
Bei den vorstehend beschriebenen Ausführungsformen setzt der Roboter 12 in Schritt S8 das n-te Werkzeug T_n auf die erste Halteeinrichtung D₁ . Der Roboter 12 kann das n-te Werkzeug T_n jedoch auch direkt dem Arbeiter A (oder A₁, A₂ oder A₃) übergeben.
In diesem Fall transportiert die Steuereinrichtung 16 oder 62 (Prozessor 64) in Schritt S8 als Objektzufuhrvorgang das durch den Roboter 12 mit der Roboterhand 26 ergriffene n-te Werkzeug T_n zu einer vorgegebenen Übergabeposition. Die Übergabeposition ist als Position nahe dem Arbeiter A definiert, an der das n-te Werkzeug T_n dem Arbeiter A zu übergeben ist. Die Positionsdaten der Übergabeposition im Roboterkoordinatensystem C_R werden vorab im Speicher 66 gespeichert. Der Arbeiter A (oder A₁, A₂ oder A₃) nimmt das in Schritt S8 durch den Roboter 12 in der Übergabeposition angeordnete n-te Werkzeug T_n mit seiner/ihrer Hand H entgegen.
In diesem Fall kann der Roboter 12 mit einem Kraftsensor ausgestattet sein, der dazu eingerichtet ist, eine an die Roboterhand 26 angelegte externe Kraft F zu erkennen. Wenn der Arbeiter A (oder A₁, A₂ oder A₃) mit seiner/ihrer Hand H das n-te Werkzeug T_n vom Roboter 12 entgegennimmt, variiert die an die Roboterhand 26 angelegte externe Kraft F. Die Steuereinrichtung 16 oder 62 (Prozessor 64) kann die durch den Kraftsensor erkannte externe Kraft F überwachen und bestimmen, dass der Arbeiter A das n-te Werkzeug T_n entgegennimmt, wenn die externe Kraft F so variiert, dass sie einen vorgegebenen Schwellenwert übersteigt, und dann mit Schritt S9 fortfahren.
Bei den vorstehend beschriebenen Ausführungsformen ergreift der Roboter 12 in Schritt S9 das (n-1)-te Werkzeug T_n-1 , das für den zuletzt durchgeführten (n-1)-ten Arbeitsvorgang verwendet wurde und auf die zweite Halteeinrichtung D₂ gesetzt ist, und holt es ab. Der Roboter 12 kann das (n-1)-te Werkzeug T_n-1 jedoch auch direkt vom Arbeiter A (oder A₁, A₂ oder A₃) entgegennehmen.
In diesem Fall kann der Roboter 12 mit einem Kraftsensor ausgestattet sein, der dazu eingerichtet ist, die an die Roboterhand 26 angelegte externe Kraft F zu erkennen. Dann führt die Steuereinrichtung 16 oder 62 (Prozessor 64) in Schritt S9 den Objektabholvorgang durch, um die Handspitze (TCP) der Roboterhand 26 in der Übergabeposition anzuordnen und dabei die Finger 26a der Roboterhand 26 zu öffnen. Dann bringt der Arbeiter A (oder A₁, A₂ oder A₃) das (n-1)-te Werkzeug zwischen den Fingern 26a der Roboterhand 26 ein und legt über das (n-1)-te Werkzeug T_n-1 die externe Kraft F an die Roboterhand 26 an. Der Kraftsensor erkennt die externe Kraft F zu diesem Zeitpunkt.
Die Steuereinrichtung 16 oder 62 (Prozessor 64) schließt die Finger 26a der Roboterhand 26, um das (n-1)-te Werkzeug T_n-1 zu ergreifen, wenn die durch den Kraftsensor erkannte externe Kraft F den vorgegebenen Schwellenwert übersteigt. Somit kann der Roboter 12 das (n-1)-te Werkzeug T_n-1 direkt vom Arbeiter A (oder A₁, A₂ oder A₃) entgegennehmen. Dann transportiert die Steuereinrichtung 16 oder 62 (Prozessor 64) das entgegengenommene (n-1)-te Werkzeug T_n-1 zu der vorgegebenen Position im Aufbewahrungsgestell E.
Bei den vorstehend beschriebenen Ausführungsformen erkennt die Erkennungseinrichtung 14 die Bewegung des Arbeiters A (oder A₁, A₂ oder A₃) basierend auf dem Bild des Arbeiters A (oder A₁, A₂ oder A₃) durch optische Bewegungsaufnahme. Die Erkennungseinrichtung kann die Bewegung des Arbeiters A (oder A₁, A₂ oder A₃) jedoch auch durch eine sogenannte Trägheitssensorbewegungsaufnahme erkennen. In diesem Fall umfasst die Erkennungseinrichtung mehrere Beschleunigungssensoren, die an jeweiligen Stellen am Körper des Arbeiters A (oder A₁, A₂ oder A₃) bereitgestellt sind, und erkennt die Bewegung des Arbeiters A (oder A₁, A₂ oder A₃) anhand von Ausgangssignalen der Beschleunigungssensoren.
Wenn das Lernmodell LM unter Verwendung einer Erkennungseinrichtung, die solche Beschleunigungssensoren umfasst, durch die Maschinenlernvorrichtung 50 gelernt wird, kann der Prozessor 64 (Lerndatenerfassungsabschnitt 52) als Lerndatensatz DS das Ausgangssignal jedes Beschleunigungssensors als Erkennungsdaten erfassen. Alternativ kann der Prozessor 64 (Lerndatenerfassungsabschnitt 52) als Lerndatensatz DS Erkennungsdaten (Bilddaten) erfassen, die die Bewegung des Arbeiters A (oder A₁, A₂ oder A₃) zeigen und durch das Ausgangssignal jedes Beschleunigungssensors erhalten werden. Darüber hinaus kann die Erkennungseinrichtung eine beliebige Art von Bewegungsaufnahmetechnologie, wie etwa mechanischer oder magnetischer Art, einsetzen.
Bei den vorstehend beschriebenen Ausführungsformen fungiert die Steuereinrichtung 16 (Prozessor 64) als Abschlussbestimmungsabschnitt 30 und bestimmt basierend auf den Erkennungsdaten DD der Erkennungseinrichtung 14, ob der n-te Arbeitsvorgang abgeschlossen ist. Der in der Erkennungseinrichtung 14 bereitgestellte Bildverarbeitungsprozessor kann jedoch auch als Abschlussbestimmungsabschnitt 30 fungieren, um basierend auf den Erkennungsdaten DD zu bestimmen, ob der n-te Arbeitsvorgang abgeschlossen ist.
Darüber hinaus ist der n-te Arbeitsvorgang bei den vorstehend beschriebenen Ausführungsformen als Befestigung der Befestigungsmittel G an den Befestigungslöchern F₁ bis F₅ in der Reihenfolge der Befestigungslöcher F₁ -> F₂ -> F₃ -> F₄ -> F₅ definiert. Die Reihenfolge, in der die Befestigungsmittel G an den Befestigungslöchern F₁ bis F₅ zu befestigen sind, kann jedoch beliebig sein. Außerdem kann die Anzahl der Befestigungslöcher F₁ bis F₅ beliebig sein.
Darüber hinaus ist der n-te Arbeitsvorgang nicht auf den Befestigungsvorgang beschränkt. Der n-te Arbeitsvorgang kann beispielsweise ein Schweißen (z.B. Punktschweißen) an einem ersten Schweißpunkt, einem zweiten Schweißpunkt,..., einem n-ten Schweißpunkt unter Verwendung des n-ten Werkzeugs, welches ein Schweißbrenner ist, durch den Arbeiter A umfassen. Alternativ kann der n-te Arbeitsvorgang ein Lackieren der Reihe nach in einem ersten Lackierbereich, einem zweiten Lackierbereich, ... und einem n-ten Lackierbereich unter Verwendung des n-ten Werkzeugs, welches ein Lackauftragsgerät ist, durch den Arbeiter A umfassen. Alternativ kann der n-te Arbeitsvorgang ein Verlöten elektronischer Komponenten an einer ersten Montageposition, einer zweiten Montageposition, ... und einer n-ten Montageposition auf einem Substrat unter Verwendung des n-ten Werkzeugs, welches ein Lötkolben ist, durch den Arbeiter A umfassen.
Außerdem führt der Roboter 12 bei den vorstehend beschriebenen Ausführungsformen das Werkzeug T als Objekt für den Arbeitsvorgang dem Arbeiter zu und holt es von diesem ab. Als Objekt für den Arbeitsvorgang kann der Roboter 12 jedoch auch eine an einem Produkt anzubringende Komponente (Befestigungsmittel G, wie etwa Bolzen, oder elektronische Komponenten, wie etwa IC-Chips) zuführen und abholen. Darüber hinaus ist die Roboterhand 26 nicht auf eine Hand beschränkt, die dazu eingerichtet ist, das Objekt mit den Fingern 26a zu ergreifen, sondern kann einen Ansaugabschnitt umfassen, der dazu eingerichtet ist, das Objekt anzusaugen. Außerdem ist der Roboter 12 nicht auf den vertikalen Knickarmtyp beschränkt, sondern kann ein beliebiger Typ von Roboter sein, wie etwa ein horizontaler Knickarmroboter oder ein Parallel-Link-Roboter. Obgleich die vorliegende Offenbarung anhand der vorstehenden Ausführungsformen beschrieben ist, sollen die vorstehenden Ausführungsformen die beanspruchte Erfindung nicht einschränken.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018058178 A [0002]

Claims

Robotersystem (10), das dazu eingerichtet ist, einen durch einen Arbeiter (A) durchgeführten Arbeitsvorgang zu unterstützen, wobei das Robotersystem umfasst: einen Roboter (12), eine Erkennungseinrichtung (14), die dazu eingerichtet ist, eine Bewegung des Arbeiters (A) zu erkennen, wenn der Arbeiter (A) einen vorgegebenen Arbeitsvorgang durchführt, einen Abschlussbestimmungsabschnitt (28), der dazu eingerichtet ist, basierend auf Erkennungsdaten der Erkennungseinrichtung (14) zu bestimmen, ob der Arbeitsvorgang abgeschlossen ist, und eine Robotersteuereinrichtung (30), die dazu eingerichtet ist, wenn der Abschlussbestimmungsabschnitt (28) bestimmt, dass der Arbeitsvorgang abgeschlossen ist, den Roboter (12) zu veranlassen, Folgendes durchzuführen: einen Objektzufuhrvorgang zum Transportieren eines Objekts für den Arbeitsvorgang zu einer vorgegebenen Position, um das Objekt dem Arbeiter (A) zuzuführen, oder einen Objektabholvorgang, um das Objekt, das für den Arbeitsvorgang verwendet wurde, abzuholen und es zu einem vorgegebenen Aufbewahrungsort zu transportieren.
Robotersystem (10) nach Anspruch 1, wobei der Abschlussbestimmungsabschnitt (28) dazu eingerichtet ist: anhand der Erkennungsdaten zu überwachen, ob ein Abstand zwischen dem Arbeiter (A) und einer Arbeitsposition gleich oder kleiner als ein vorgegebener Schwellenwert ist, und zu bestimmen, dass der Arbeitsvorgang abgeschlossen ist, wenn der Abstand gleich oder kleiner als der Schwellenwert ist.
Robotersystem (10) nach Anspruch 1, wobei der Abschlussbestimmungsabschnitt (28) dazu eingerichtet ist: zu überwachen, ob die durch die Erkennungseinrichtung (14) erkannte Bewegung mit einem als Referenzbewegung des Arbeiters vorgegebenen Referenzbewegungsmuster übereinstimmt, wenn der Arbeiter den Arbeitsvorgang durchführt, und zu bestimmen, dass der Arbeitsvorgang abgeschlossen ist, wenn die Bewegung mit dem Referenzbewegungsmuster übereinstimmt.
Robotersystem (10) nach Anspruch 1, wobei der Abschlussbestimmungsabschnitt (28) dazu eingerichtet ist, ferner basierend auf einem Lernmodell, das eine Korrelation zwischen der Bewegung und einer Phase des Arbeitsvorgangs oder einer für den Arbeitsvorgang erforderlichen Zeit darstellt, zu bestimmen, ob der Arbeitsvorgang abgeschlossen ist.
Robotersystem (10) nach einem der Ansprüche 1 bis 4, wobei die Robotersteuereinrichtung (30) nach dem Durchführen des Objektzufuhrvorgangs den Roboter (12) veranlasst, den Objektabholvorgang durchzuführen, um das für den zuletzt durchgeführten Arbeitsvorgang verwendete Objekt abzuholen und es zu dem vorgegebenen Aufbewahrungsort zu transportieren.
Verfahren zum Steuern eines Roboters (12), der dazu eingerichtet ist, einen durch einen Arbeiter (A) durchgeführten Arbeitsvorgang zu unterstützen, wobei das Verfahren umfasst: Erkennen einer Bewegung des Arbeiters (A) durch eine Erkennungseinrichtung (14), wenn der Arbeiter (A) einen vorgegebenen Arbeitsvorgang durchführt, Bestimmen, ob der Arbeitsvorgang abgeschlossen ist, basierend auf Erkennungsdaten der Erkennungseinrichtung (14), und wenn bestimmt wird, dass der Arbeitsvorgang abgeschlossen ist, Veranlassen des Roboters (12) Folgendes durchzuführen: einen Objektzufuhrvorgang zum Transportieren eines Objekts für den Arbeitsvorgang zu einer vorgegebenen Position, um das Objekt dem Arbeiter (A) zuzuführen, oder einen Objektabholvorgang, um das Objekt, das für den Arbeitsvorgang verwendet wurde, abzuholen und es zu einem vorgegebenen Aufbewahrungsort zu transportieren.
Maschinenlernvorrichtung (50), die dazu eingerichtet ist, einen Zeitpunkt zu lernen, zu dem ein durch einen Arbeiter durchgeführter Arbeitsvorgang abgeschlossen ist, wobei die Maschinenlernvorrichtung umfasst: einen Lerndatenerfassungsabschnitt (52), der dazu eingerichtet ist, Erkennungsdaten einer Erkennungseinrichtung (14), die dazu eingerichtet ist, eine Bewegung des Arbeiters (A) zu erkennen, wenn der Arbeiter (A) einen vorgegebenen Arbeitsvorgang durchführt, und Labelinformationen, die eine Phase des Arbeitsvorgangs oder eine für den Arbeitsvorgang erforderliche Zeit angeben, als Lerndatensatz zu erfassen, und einen Lernabschnitt (54), der dazu eingerichtet ist, unter Verwendung des Lerndatensatzes ein Lernmodell zu erzeugen, das eine Korrelation zwischen der Bewegung und der Phase oder der Zeit darstellt.
Maschinenlernverfahren zum Lernen eines Zeitpunkts, zu dem ein durch einen Arbeiter (A) durchgeführter Arbeitsvorgang abgeschlossen ist, wobei das Maschinenlernverfahren umfasst: Erfassen von Erkennungsdaten einer Erkennungseinrichtung (14), die dazu eingerichtet ist, eine Bewegung des Arbeiters (A) zu erkennen, wenn der Arbeiter (A) einen vorgegebenen Arbeitsvorgang durchführt, und Labelinformationen, die eine Phase des Arbeitsvorgangs oder eine für den Arbeitsvorgang erforderliche Zeit angeben, als Lerndatensatz, und Erzeugen eines Lernmodells, das eine Korrelation zwischen der Bewegung und der Phase oder der Zeit darstellt, unter Verwendung der Lerndaten.