DE102019106729A1

DE102019106729A1 - Antriebsvorrichtung und Vorrichtung für maschinelles Lernen

Info

Publication number: DE102019106729A1
Application number: DE102019106729.4A
Authority: DE
Inventors: Takehiro Yamaguchi
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-03-23
Filing date: 2019-03-18
Publication date: 2019-10-02
Also published as: CN110297510A; CN110297510B; JP6734318B2; US11156988B2; JP2019168973A; US20190294153A1

Abstract

Eine Antriebsvorrichtung, welche eine Geschwindigkeit oder ein Drehmoment eines Servomotors einer Verarbeitungsmaschine im Einklang mit einem durch Umwandeln eines von außerhalb eingegebenen externen Befehls erlangten Befehl steuert, weist eine Vorrichtung zum maschinellen Lernen auf, welche die angemessene Umwandlung vom externen Befehl zum Befehl erlernt. Die Vorrichtung zum maschinellen Lernen weist auf: eine Zustandsbeobachtungseinheit, welche den externen Befehl, den Befehl und einen Zustand der Bearbeitungsmaschine oder des Servomotors als Zustandsvariablen, die einen gegenwärtigen Zustand einer Umgebung darstellen, überwacht; eine Bestimmungsdatenerfassungseinheit, welche Bestimmungsdaten, die ein Auswertungsergebnis der Bearbeitung durch die Bearbeitungsmaschine anzeigen, erfasst; und eine Lerneinheit, welche den Zusammenhang zwischen dem externen Befehl und dem Zustand der Bearbeitungsmaschine oder des Servomotors sowie dem Befehl unter Verwendung der Zustandsvariablen und der Bestimmungsdaten erlernt.

Description

[HINTERGRUND DER ERFINDUNG]
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Antriebsvorrichtung und eine Vorrichtung für maschinelles Lernen und, insbesondere, eine Antriebsvorrichtung und eine Vorrichtung für maschinelles Lernen, die einen als Reaktion auf einen externen Befehl erzeugten Befehl optimieren.
Beschreibung der verwandten Technik
Es gibt Antriebsvorrichtungen, die einen Befehl, der von einer Steuervorrichtung ausgegeben worden ist (hierin im Folgenden bezeichnet als externer Befehl), empfangen, und einen Befehl zum Steuern einer Vorrichtung (hierin im Folgenden einfach als Befehl bezeichnet) erzeugen. In einem typischen Beispiel, wie es in 10 gezeigt ist, gibt eine Steuervorrichtung einen analogen Spannungsbefehl als einen externen Befehl aus, eine Servomotorantriebsvorrichtung unterzieht den analogen Spannungsbefehl einer AD-Wandlung und erzeugt einen Geschwindigkeitsbefehl und einen Drehmomentbefehl, und ein Servomotor wird nach der Wandlung durch die Befehle (den Geschwindigkeitsbefehl und den Drehmomentbefehl) angetrieben.
Während ein Befehlswert im Fall eines analogen Spannungsbefehls in der Form eines analogen Spannungswerts übertragen wird, kann aufgrund von Eingangsversatzspannung, Rauschen und dergleichen, die durch die halbleitenden Eigenschaften und die Auswirkung von Temperaturschwankungen (einer Temperaturdrift) entstehen können, ein Fehler zwischen einem von der Steuervorrichtung vorgesehenen Befehlswert und einem durch die Antriebsvorrichtung beruhend auf dem empfangenen analogen Spannungswert interpretierten Befehlswert auftreten. Ein solcher Fehler beeinträchtigt die Steuerbarkeit des Servomotors und kann Phänomene, wie zum Beispiel eine Zunahme der Zykluszeit, einen Verlust an Reaktionsgeschwindigkeit, einen Verlust an Bearbeitungsqualität und eine Erhöhung des Energieverbrauchs, verursachen.
Um ein Auftreten solcher Phänomene zu unterdrücken, wird eine Fehlfunktion eines Servomotors üblicherweise, sogar wenn ein Fehler in einem empfangenen anlogen Spannungsbefehlswert entstanden ist, verhindert durch Maßnahmen, wie zum Beispiel:

(1) dass, wenn eine Steuervorrichtung einen 0-V-Befehl als einen externen Befehl ausgibt, zur selben Zeit ein Servoabschaltsignal und ein Achsenstoppsignal ausgegeben werden;
(2) dass die Steuervorrichtung ein Verhalten des Servomotors überwacht und einen externen Befehl ausgibt, der das Verhalten des Servomotors (in einer entgegengesetzten Richtung) aufhebt (eine Schleife einbaut); und (3) dass eine tote Zone oder ein Filter bereitgestellt ist (zum Beispiel werden Spannungsschwankungen von ±0,001 V ungültig gemacht).

Als eine verwandte Technik beschreibt die offengelegte japanische Patentanmeldung Nr. 2017-102613 eine Motorsteuervorrichtung, die durch maschinelles Lernen Korrekturmengen eines Positionsbefehls, eines Geschwindigkeitsbefehls und dergleichen zum Steuern eines Motors berechnet.
Das in der offengelegten japanischen Patentanmeldung Nr. 2017-102613 beschriebene Verfahren zielt ab auf das Korrigieren einer Verschlechterung der Sanftheit der Bewegung einer Vorschubachse, die aufgrund von verschiedenen mechanischen Faktoren auftritt, und ist nicht dafür vorgesehen, einen Fehler, der zwischen einem von einer Steuervorrichtung vorgesehenen Befehlswert und einem durch die Antriebsvorrichtung interpretierten Befehlswert entsteht, und der nachteilige Phänomene wie die oben beschriebenen verursachen kann, zu korrigieren.
Die üblicherweise vorgenommenen Maßnahmen (1) und (2) weisen ein Problem damit auf, dass ein aufwändiger Mechanismus einschließlich der Hinzufügung von Hardware und einer komplexen Steuerung durch eine Steuervorrichtung entwickelt werden muss. Maßnahme (3) weist ein Problem damit auf, dass Schwankungen in Befehlswerten, die unter eine Schwelle einer toten Zone oder eines Filters fallen, sowie Fehlern, welche die Schwelle überschreiten, nicht Rechnung getragen werden kann. Daher sind die Maßnahmen unzureichend und folglich sind zusätzliche Maßnahmen erforderlich.
[ZUSAMMENFASSUNG DER ERFINDUNG]
Die vorliegende Erfindung ist gemacht worden, um derartige Probleme zu lösen, und eine Aufgabe derselben ist die Bereitstellung einer Antriebsvorrichtung und einer Vorrichtung zum maschinellen Lernen, die einen als Reaktion auf einen externen Befehl erzeugten Befehl optimieren.
Eine Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ist eine Antriebsvorrichtung, welche eine Geschwindigkeit und ein Drehmoment eines Servomotors einer Bearbeitungsmaschine gemäß eines durch Umwandeln eines von außen eingegebenen externen Befehls erlangten Befehls steuert, die Antriebsvorrichtung aufweisend eine Vorrichtung zum maschinellen Lernen, welche eine angemessene Umwandlung vom externen Befehl zum Befehl erlernt, wobei die Vorrichtung für maschinelles Lernen aufweist: eine Zustandsbeobachtungseinheit, welche den externen Befehl, den Befehl und einen Zustand der Bearbeitungsmaschine oder des Servomotors als Zustandsvariablen, die einen gegenwärtigen Zustand einer Umgebung darstellen, überwacht; eine Bestimmungsdatenerfassungseinheit, welche Bestimmungsdaten, die ein Auswertungsergebnis der Bearbeitung durch die Bearbeitungsmaschine anzeigen, erfasst; und eine Lerneinheit, welche den Zusammenhang zwischen dem externen Befehl und dem Zustand der Bearbeitungsmaschine sowie dem Befehl unter Verwendung der Zustandsvariablen und der Bestimmungsdaten erlernt.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung umfassen die Zustandsvariablen, als der Zustand der Bearbeitungsmaschine oder des Servomotors, mindestens eines der Elemente aus der Gruppe bestehend aus Geschwindigkeitsbefehlswert, Drehmomentbefehlswert, Positionsrückmeldung, Geschwindigkeitsrückmeldung, Drehmomentrückmeldung, Motorstromwert und einer Motortemperatur jeder der Wellen der Bearbeitungsmaschine, Zykluszeit der Bearbeitung, Temperatur jeder der Einheiten der Bearbeitungsmaschine, Form und Rohmaterial eines bei der Bearbeitung verwendeten Materials sowie Form und Rohmaterial eines bei der Bearbeitung verwendeten Formwerkzeugs.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung umfassen die Bestimmungsdaten mindestens eines der Elemente aus der Gruppe bestehend aus einer Präzision und einer Qualität eines bearbeiteten Produkts, einer Vibration der Bearbeitungsmaschine, einem Formwerkzeug oder einer Kugelspindel, einer Last am Servomotor, einem Energieverbrauch durch die Bearbeitungsmaschine und einer Zykluszeit der Bearbeitung.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung umfasst die Lerneinheit: eine Auswirkungsberechnungseinheit, welche eine Auswirkung in Zusammenhang mit dem Auswertungsergebnis erlangt; und eine Wertfunktionsaktualisierungseinheit, welche unter Verwendung der Auswirkung eine Funktion aktualisiert, die einen Wert des Befehls in Bezug auf den externen Befehl und den Zustand der Bearbeitungsmaschine oder des Servomotors darstellt.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung berechnet die Lerneinheit die Zustandsvariablen und die Bestimmungsdaten in einer mehrschichtigen Struktur.
Die Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung weist ferner eine Entscheidungsfindungseinheit auf, welche einen Wert des Befehls beruhend auf einem Lernergebnis der Lerneinheit ausgibt.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung führt die Lerneinheit das Lernen unter Verwendung der Zustandsvariablen und der von einer Mehrzahl der Antriebsvorrichtungen erlangten Bestimmungsdaten aus.
In der Antriebsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ist die Vorrichtung zum maschinellen Lernen durch eine Cloud-Datenverarbeitungsumgebung, eine Fog-Datenverarbeitungsumgebung (Datenverarbeitung am Rand der Cloud) oder eine Edge-Datenverarbeitungsumgebung (Datenverarbeitung am Rand des Netzwerks) realisiert.
Eine Vorrichtung zum maschinellen Lernen gemäß einer Ausführungsform der vorliegenden Erfindung ist eine Vorrichtung zum maschinellen Lernen, welche die angemessene Umwandlung von einem externen Befehl, der einer Antriebsvorrichtung von außen eingegeben wird, in einen Befehl zum Steuern einer Geschwindigkeit oder eines Drehmoments eines Servomotors einer Bearbeitungsmaschine erlernt, die Vorrichtung zum maschinellen Lernen aufweisend: eine Zustandsbeobachtungseinheit, welche den externen Befehl, den Befehl und einen Zustand der Bearbeitungsmaschine oder des Servomotors als Zustandsvariablen, die einen gegenwärtigen Zustand einer Umgebung darstellen, beobachtet; eine a Bestimmungsdatenerfassungseinheit, welche Bestimmungsdaten, die ein Auswertungsergebnis der Bearbeitung durch die Bearbeitungsmaschine anzeigen, erfasst; und eine Lerneinheit, welche den Zusammenhang zwischen dem externen Befehl und dem Zustand der Bearbeitungsmaschine oder des Servomotors sowie dem Befehl unter Verwendung der Zustandsvariablen und der Bestimmungsdaten erlernt.
Im Einklang mit der vorliegenden Erfindung können eine Antriebsvorrichtung und eine Vorrichtung zum maschinellen Lernen, die einen als Reaktion auf einen externen Befehl erzeugten Befehl optimieren, bereitgestellt werden.
Figurenliste
Die obigen sowie weitere Aufgaben und Funktionen der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsformen offensichtlich, wenn diese zusammen mit den begleitenden Zeichnungen betrachtet werden, in denen:

1 ein schematisches Hardwarekonfigurationsdiagramm einer Antriebsvorrichtung gemäß einer ersten Ausführungsform ist;
2 ein schematisches Funktionsblockdiagramm der Antriebsvorrichtung gemäß der ersten Ausführungsform ist;
3 ein schematisches Funktionsblockdiagramm ist, das einen Aspekt einer Antriebsvorrichtung zeigt;
4 ein schematisches Ablaufdiagramm ist, das einen Aspekt eines maschinellen Lernverfahrens zeigt;
5A ein Diagramm ist, das ein Neuron darstellt;
5B ein Diagramm ist, das ein neuronales Netzwerk darstellt;
6 ein schematisches Funktionsblockdiagramm einer Antriebsvorrichtung gemäß einer zweiten Ausführungsform ist;
7 ein schematisches Funktionsblockdiagramm ist, das einen Aspekt eines Systems zeigt, welches eine Antriebsvorrichtung umfasst;
8 ein schematisches Funktionsblockdiagramm ist, das einen weiteren Aspekt des Systems zeigt, welches eine Antriebsvorrichtung umfasst;
9 ein schematisches Ablaufdiagramm ist, das einen Aspekt eines maschinellen Lernverfahrens zeigt; und
10 ein Diagramm ist, das schematisch einen Betrieb einer Antriebsvorrichtung darstellt.

[AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN]
Eine Antriebsvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Erfindung empfängt einen externen Befehl, der von einer Steuervorrichtung ausgegeben wird, und der einen Fehler aufweist, wandelt den empfangenen externen Befehl um, und erzeugt einen Befehl, der typischerweise dazu verwendet wird, eine Vorrichtung anzutreiben (einen Servomotor oder dergleichen), und gibt diesen aus. Durch den Befehl wird die Vorrichtung angetrieben und eine Bearbeitung ausgeführt. Die Antriebsvorrichtung 1 ist dazu fähig, eine Korrektheit eines Ergebnisses der Bearbeitung auszuwerten und die Umwandlung vom externen Befehl zum Befehl zum Verbessern der Bearbeitungsergebnisse zu optimieren.
Die Steuervorrichtung ist typischerweise eine Vorrichtung, die eine Bearbeitungsmaschine steuert. Zum Beispiel ist die Steuervorrichtung einer Spritzgussmaschine dazu fähig, eine Mehrzahl von Achsen zu steuern, wie zum Beispiel eine Einspritzachse, eine Messachse, eine Formschließachse, eine Projektionsachse, eine Plastifizierungsachse und eine zusätzliche Achse. Die Antriebsvorrichtung 1 ist zum Beispiel eine Vorrichtung, welche einen Servomotor einer dieser Achsen antreibt, und die der Steuervorrichtung untergeordnet ist. Die Antriebsvorrichtung 1 empfängt einen analogen Spannungsbefehl ausgegeben von der Steuervorrichtung, unterzieht den analogen Spannungsbefehl einer A/D-Wandlung und erzeugt einen Geschwindigkeitsbefehlswert und einen Drehmomentbefehlswert, und gibt die Befehlswerte aus, um einen Servomotor tatsächlich anzutreiben.
1 ist ein schematisches Hardwarekonfigurationsdiagramm aufweisend die Antriebsvorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung und einen Servomotor, der durch die Antriebsvorrichtung 1 angetrieben wird. Die Antriebsvorrichtung 1 weist eine CPU 11, einen ROM 12, einen RAM 13, einen nichtflüchtigen Speicher 14, eine Schnittstelle 21, eine Schnittstelle 22, einen Bus 20 und eine Servosteuereinheit 30 auf. Ein Servomotor 50 und eine Steuervorrichtung 80 sind mit der Antriebsvorrichtung 1 verbunden.
Die CPU 11 ist ein Prozessor, der die gesamte Antriebsvorrichtung 1 steuert. Die CPU 11 liest ein im ROM 12 gespeichertes Systemprogramm über die Schnittstelle 22 und den Bus 20 ein und steuert die gesamte Antriebsvorrichtung 1 im Einklang mit dem Systemprogramm.
Der ROM 12 speichert im Vorhinein verschiedene Systemprogramme (einschließlich eines Systemprogramms zum Steuern der Kommunikation mit einer Vorrichtung zum maschinellen Lernen 100, die später beschrieben wird), die dazu erforderlich sind, die Antriebssteuerung des Servomotors 50 und dergleichen auszuführen.
Der RAM 13 speichert vorübergehend Berechnungsdaten und dergleichen.
Der nichtflüchtige Speicher 14 ist zum Beispiel durch eine Batterie (nicht gezeigt) gepuffert, und ist dazu fähig, seinen Speicherstatus zu bewahren, sogar wenn eine Stromversorgung der Antriebsvorrichtung 1 ausgeschaltet ist. Der nichtflüchtige Speicher 14 speichert verschiedene Programme, Daten und dergleichen. Die im nichtflüchtigen Speicher 14 gespeicherten Programme und Daten können bei der Ausführung oder im Gebrauch dem RAM 13 bereitgestellt werden.
Die Servosteuereinheit 30 empfängt einen Geschwindigkeitsbefehl und einen Drehmomentbefehl, die von der CPU 11 ausgegeben worden sind, und treibt den Servomotor 50 an.
Der Servomotor 50 wird durch die Servosteuereinheit 30 angetrieben und bewegt in der Bearbeitungsmaschine bereitgestellte Achsen. Typischerweise kann der Servomotor 50 einen eingebauten Positions-/Geschwindigkeitsmelder aufweisen. Der Positions-/Geschwindigkeitsmelder gibt ein Positions-/Geschwindigkeitsrückmeldesignal aus, und eine Rückkopplungssteuerung der Position und Geschwindigkeit wird ausgeführt, wenn das Positions-/Geschwindigkeitsrückmeldesignal zur Steuervorrichtung 80 zurückgeleitet wird.
Es ist anzumerken, dass - obwohl die Steuervorrichtung 80 und die Antriebsvorrichtung 1 in 1 eins-zu-eins miteinander verbunden sind - in Wahrheit eine Anzahl von Antriebsvorrichtungen 1, die der Anzahl der Achsen, die in der Bearbeitungsmaschine, die ein Steuerobjekt darstellt, bereitgestellt sind, entspricht, mit der Steuervorrichtung 80 verbunden sind. Falls die Steuervorrichtung 80 zum Beispiel eine Bearbeitungsmaschine steuert, die mit sechs Achsen versehen ist, sind insgesamt sechs Antriebsvorrichtungen 1, die den jeweiligen Achsen entsprechen, mit der Steuervorrichtung 80 verbunden.
Die Steuervorrichtung 80 ist eine Vorrichtung zum Steuern einer Bearbeitungsmaschine, und ist zum Beispiel aus einer numerischen Steuervorrichtung gebildet. Die Steuervorrichtung 80 erzeugt einen externen Befehl zum Steuern einer Achse im Einklang mit einem Bearbeitungsprogramm, und leitet den externen Befehl über die Schnittstelle 22 an die CPU 11 weiter. Während ein externer Befehl typischerweise als ein analoger Spannungswert eingegeben wird, kann der analoge Spannungswert einen Fehler aufweisen, der einer Eingangsversatzspannung, Rauschen oder dergleichen zuzuschreiben ist. Darüber hinaus leitet die Steuervorrichtung 80 verschiedene Dateninformationen, die für maschinelles Lernen (das später beschrieben wird) erforderlich sind, über die Schnittstelle 22 an die CPU 11 weiter.
Die Schnittstelle 21 ist eine Schnittstelle zum Verbinden der Antriebsvorrichtung 1 mit der Vorrichtung zum maschinellen Lernen 100. Die Vorrichtung zum maschinellen Lernen 100 weist einen Prozessor 101, einen ROM 102, einen RAM 103 und einen nichtflüchtigen Speicher 104 auf.
Der Prozessor 101 steuert die gesamte Vorrichtung zum maschinellen Lernen 100. Der ROM 102 speichert Systemprogramme und dergleichen. Der RAM 103 führt eine vorübergehende Speicherung in entsprechenden Prozessen in Zusammenhang mit dem maschinellen Lernen aus. Der nichtflüchtige Speicher 104 speichert Lernmodelle und dergleichen.
Die Vorrichtung zum maschinellen Lernen 100 beobachtet über die Schnittstelle 21 verschiedene Einzelinformationen (externe Befehle, verschiedene Dateninformationen und dergleichen, die von der Steuervorrichtung 80 eingegeben werden), welche durch die Antriebsvorrichtung 1 erlangt werden können. Die Vorrichtung zum maschinellen Lernen 100 gibt Befehle (einen Geschwindigkeitsbefehl und einen Drehmomentbefehl) zum Antreiben des Servomotors 50 über die Schnittstelle 21 zur Antriebsvorrichtung 1 aus. Die Antriebsvorrichtung 1 empfängt einen durch die Vorrichtung zum maschinellen Lernen 100 ausgegebenen Befehl und gibt den Befehl an die Servosteuereinheit 30 aus.
2 ist ein schematisches Funktionsblockdiagramm der Antriebsvorrichtung 1 und der Vorrichtung zum maschinellen Lernen 100 gemäß der ersten Ausführungsform. Die Vorrichtung zum maschinellen Lernen 100 weist eine Zustandsbeobachtungseinheit 106, eine Bestimmungsdatenerfassungseinheit 108 und eine Lerneinheit 110 auf. Die Zustandsbeobachtungseinheit 106, die Bestimmungsdatenerfassungseinheit 108 und die Lerneinheit 110 können zum Beispiel als eine Funktion des Prozessors 101 umgesetzt sein. Alternativ dazu können die Zustandsbeobachtungseinheit 106, die Bestimmungsdatenerfassungseinheit 108 und die Lerneinheit 110 zum Beispiel umgesetzt sein, indem der Prozessor 101 im ROM 102 gespeicherte Software ausführt.
Die Zustandsbeobachtungseinheit 106 beobachtet Zustandsvariablen S, die einen gegenwärtigen Zustand einer Umgebung darstellen. Die Zustandsvariablen S umfassen einen Befehlswert S1 erlangt durch Umwandeln und Korrigieren eines analogen Spannungsbefehlswerts, der einen Fehler aufweist, einen analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und verschiedene Einzelinformationen, die einen Zustand einer Bearbeitungsmaschine anzeigen. Wenn die Bearbeitungsmaschine zum Beispiel eine Spritzgussmaschine ist, können die Zustandsvariablen S Achseninformationen S3 in Bezug auf die Zustände sämtlicher Achsen der Spritzgussmaschine, eine Zykluszeit/Taktzeit S4 der Spritzgussmaschine, eine Temperatur S5 der Spritzgussmaschine, Materialinformationen S6 in Bezug auf das Harzmaterial und Forminformationen S7 in Bezug auf eine Spritzgießform umfassen.
Der Befehlswert S1 ist ein Befehlswert, der erzeugt wird, indem der analoge Spannungsbefehlswert S2 (der später beschrieben ist) einer A/D-Wandlung unterzogen, und eine Korrektur desselben angewendet wird. Ein Ablauf der A/D-Wandlung und der Korrektur kann umgekehrt werden. Der Korrekturprozess kann durch den Prozessor 101 ausgeführt werden, indem einer analogen Eingangsspannung ein vorgeschriebener Versatz hinzugefügt wird, ein Teil (zum Beispiel eine Vorderkante) einer Wellenform einer analogen Spannung mit einem vorgeschriebenen Koeffizienten zum Ändern der Wellenform multipliziert wird, und dergleichen. Eine Vielzahl der Befehlswerte S1 können durch Variieren des Versatzes, des Koeffizienten und dergleichen erlangt werden.
Der analoge Spannungsbefehlswert S2 ist ein analoger Spannungswert, welcher der Antriebsvorrichtung 1 als ein externer Befehl von der Steuervorrichtung 80 eingegeben wird. Die Zustandsbeobachtungseinheit 106 ist dazu fähig, den analogen Spannungsbefehlswert S2 von der Antriebsvorrichtung 1 zu erfassen.
Die Achseninformationen S3 sind ein Geschwindigkeitsbefehlswert, ein Drehmomentbefehlswert, eine Positionsrückmeldung, eine Geschwindigkeitsrückmeldung, eine Drehmomentrückmeldung, ein Motorstromwert, eine Motortemperatur und dergleichen von allen oder einer oder mehreren beliebigen Achsen der Spritzgussmaschine. Die Zustandsbeobachtungseinheit 106 erfasst die Achseninformationen S3 von der Antriebsvorrichtung 1. Die Antriebsvorrichtung 1 ist dazu fähig, diese Einzelinformationen von der Steuervorrichtung 80 zu erfassen.
Die Zykluszeit S4 ist eine Zykluszeit der Bearbeitung in der Spritzgussmaschine. Die Zustandsbeobachtungseinheit 106 erfasst die Zykluszeit S4 von der Antriebsvorrichtung 1. Die Antriebsvorrichtung 1 ist dazu fähig, diese Informationen von der Steuervorrichtung 80 zu erfassen.
Die Temperatur S5 stellt eine Temperatur jeder der Einheiten der Spritzgussmaschine dar. Die Zustandsbeobachtungseinheit 106 erfasst die Temperatur S5 von der Antriebsvorrichtung 1. Die Antriebsvorrichtung 1 ist dazu fähig, diese Informationen von der Steuervorrichtung 80 zu erfassen.
Die Materialinformationen S6 sind Informationen, welche eine Form (zum Beispiel eine Kennung, welche eine Form eindeutig anzeigt) und ein Rohmaterial (zum Beispiel eine Kennung, welche ein Rohmaterial eindeutig angibt) eines in der Spritzgussmaschine verwendeten Harzmaterials angeben. Die Zustandsbeobachtungseinheit 106 erfasst die Materialinformationen S6 von der Antriebsvorrichtung 1. Die Antriebsvorrichtung 1 ist dazu fähig, diese Einzelinformationen von der Steuervorrichtung 80 zu erfassen.
Die Forminformationen S7 sind Informationen, welche eine Form (zum Beispiel eine Kennung, welche eine Form eindeutig anzeigt) und ein Rohmaterial (zum Beispiel eine Kennung, welche ein Rohmaterial eindeutig angibt) einer Form, die in der Spritzgussmaschine verwendet wird, angeben. Die Zustandsbeobachtungseinheit 106 erfasst die Forminformationen S7 von der Antriebsvorrichtung 1. Die Antriebsvorrichtung 1 ist dazu fähig, diese Einzelinformationen von der Steuervorrichtung 80 zu erfassen.
Die Bestimmungsdatenerfassungseinheit 108 erlangt Bestimmungsdaten D, die einen Index darstellen, der ein Ergebnis anzeigt, wenn der Servomotor unter den Zustandsvariablen S angetrieben wird. Die Bestimmungsdaten D weisen eine Präzision D1 auf, welche eine Information in Bezug auf eine Präzision und eine Qualität eines bearbeiteten Produkts ist, sowie verschiedene Einzelinformationen, welche einen Zustand einer Bearbeitungsmaschine anzeigen. Wenn die Bearbeitungsmaschine zum Beispiel eine Spritzgussmaschine ist, können die Informationen eine Vibration D2 der Spritzgussmaschine, eine Spritzgießform, eine Kugelspindel oder dergleichen, eine Last D3 auf den Servomotor 50, Stromverbrauch/Leistungsaufnahme D4 durch die Spritzgussmaschine, eine Zykluszeit D5 der Spritzgussmaschine und eine Reaktionszeit D6 des Servomotors 50 umfassen.
Als die Präzision D1 kann die Bestimmungsdatenerfassungseinheit 108 zum Beispiel einen Wert verwenden, der einen Fehler zwischen den Abmessungen und den Auslegungswerten des bearbeiteten Produkts angibt. Als die Präzision D1 kann auch ein Auswertungswert verwendet werden, der eine Qualität (zum Beispiel einen Oberflächenzustand) des bearbeiteten Produkts angibt. Da ein Erfassungsverfahren, ein Auswertungsverfahren und dergleichen des Fehlers und des oben beschriebenen Auswertungswerts bekannte Verfahren sind, werden ausführliche Beschreibungen hierin weggelassen. Zum Beispiel können der Fehler und der Auswertungswert innerhalb einer Bearbeitungsmaschine gemessen werden, oder sie können durch eine Inspektionsmaschine oder dergleichen außerhalb der Bearbeitungsmaschine gemessen werden. Ein Messergebnis der Inspektionsmaschine wird in die Steuervorrichtung 80 eingegeben. Die Antriebsvorrichtung 1 erfasst diese Einzelinformationen von der Steuervorrichtung 80, und die Bestimmungsdatenerfassungseinheit 108 erfasst diese Einzelinformationen von der Antriebsvorrichtung 1.
Als die Vibration D2 kann die Bestimmungsdatenerfassungseinheit 108 Informationen (eine Verschiebung, eine Geschwindigkeit, eine Beschleunigung oder dergleichen), welche eine Vibration der Spritzgussmaschine, einer Form, einer Kugelspindel oder dergleichen anzeigen, von der Antriebsvorrichtung 1 erfassen. Die Antriebsvorrichtung 1 ist dazu fähig, diese Einzelinformationen von der Steuervorrichtung 80 zu erfassen.
Als die Last D3 kann die Bestimmungsdatenerfassungseinheit 108 von der Antriebsvorrichtung 1 Informationen, welche eine Last auf den Servomotor 50 angeben, erfassen. Die Last auf den Servomotor 50 kann durch die Steuervorrichtung 80 erfasst werden. Die Antriebsvorrichtung 1 erfasst diese Informationen von der Steuervorrichtung 80, und die Bestimmungsdatenerfassungseinheit 108 erfasst diese Einzelinformationen von der Antriebsvorrichtung 1.
Als den Energieverbrauch D4 kann die Bestimmungsdatenerfassungseinheit 108 von der Antriebsvorrichtung 1 Informationen, welche den Energieverbrauch durch die Spritzgussmaschine anzeigen, erfassen. Die Antriebsvorrichtung 1 ist dazu fähig, diese Informationen von der Steuervorrichtung 80 zu erfassen.
Als die Zykluszeit/Taktzeit D5 kann die Bestimmungsdatenerfassungseinheit 108 von der Antriebsvorrichtung 1 Informationen, welche eine Zykluszeit der Spritzgussmaschine anzeigen, erfassen. Die Antriebsvorrichtung 1 ist dazu fähig, diese Informationen von der Steuervorrichtung 80 zu erfassen.
Als die Reaktionszeit D6 kann die Bestimmungsdatenerfassungseinheit 108 von der Antriebsvorrichtung 1 eine Reaktionszeit des Servomotors 50, oder anders gesagt eine Zeit von der Ausgabe eines Befehlswerts, bis die Geschwindigkeit, das Drehmoment oder dergleichen den Befehlswert erreicht, erfassen. Die Reaktionszeit des Servomotors 50 kann durch die Steuervorrichtung 80 erfasst werden. Die Antriebsvorrichtung 1 erfasst diese Informationen von der Steuervorrichtung 80, und die Bestimmungsdatenerfassungseinheit 108 erfasst diese Informationen von der Antriebsvorrichtung 1.
Unter Verwendung der Zustandsvariablen S und der Bestimmungsdaten D erlernt die Lerneinheit 110 Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7), und dem Befehlswert S1. Mit anderen Worten erzeugt die Lerneinheit 110 Modellstrukturen, welche ein Korrelationsverhältnis der Komponenten S1, S2, S3, S4, S5, S6 und S7 der Zustandsvariablen S anzeigen.
Betrachtet unter dem Aspekt eines Lernzeitraums in der Lerneinheit 110 sind die in die Lerneinheit 110 eingegebenen Zustandsvariablen S Daten von einem Lernzeitraum vor einem Lernzeitraum, während welchem die Bestimmungsdaten D erfasst worden sind. Während die Vorrichtung zum maschinellen Lernen 100 das Lernen ausführt, werden in der Umgebung (1) die Erfassung des analogen Spannungsbefehlswerts S2, der einen Fehler aufweist, und des Zustands der Bearbeitungsmaschine (der Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, der Materialinformationen S6 und der Forminformationen S7) und des Befehlswerts S1, (2) das Antreiben des Servomotors 50 im Einklang mit dem Befehlswert S1 oder, mit anderen Worten, die Ausführung der Bearbeitung, und (3) die Erfassung der Bestimmungsdaten D wiederholt vorgenommen. Die Bestimmungsdaten D in (3) sind ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen in einer auf dem Befehlswert S1 beruhenden Bearbeitung.
Durch Wiederholen eines solchen Lernzyklus wird die Lerneinheit 110 fähig dazu, ein Merkmal, welches Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 automatisch zu erkennen. Obwohl die Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 am Beginn eines Lernalgorithmus im Wesentlichen unbekannt sind, identifiziert die Lerneinheit 110 allmählich ein Merkmal und interpretiert das Korrelationsverhältnis mit fortschreitendem Lernvorgang. Sobald die Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 bis zu einem einigermaßen zuverlässigen Niveau interpretiert worden sind, wird ein Lernergebnis, das durch die Lerneinheit 110 wiederholt ausgegeben wird, nutzbar zum Ausführen einer Auswahl einer Handlung (Entscheidungsfindung) hinsichtlich der in Bezug auf den gegenwärtigen Zustand auszugebenden Art von Befehlswert S2, oder, anders gesagt, des analogen Spannungsbefehlswerts S2, der einen Fehler aufweist, und des Zustands der Bearbeitungsmaschine (der Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, der Materialinformationen S6 und der Forminformationen S7). Mit anderen Worten wird die Lerneinheit 110 fähig dazu, eine optimale Lösung einer Handlung entsprechend dem gegenwärtigen Zustand auszugeben.
Die Zustandsvariablen S sind gebildet aus Daten, die durch Störungen kaum beeinträchtigt werden, und die Bestimmungsdaten D werden einmalig erlangt, indem die Antriebsvorrichtung 1 dazu veranlasst wird, verschiedene Dateninformationen von der Steuervorrichtung 80 zu erfassen. Daher können gemäß der Vorrichtung zum maschinellen Lernen 100 durch Verwendung eines Lernergebnisses von der Lerneinheit 110 ein optimaler Befehlswert S1 in Bezug auf den gegenwärtigen Zustand, oder anders gesagt der analoge Spannungsbefehlswert S2, der einen Fehler aufweist, und der Zustand der Bearbeitungsmaschine (die Achseninformationen S3, die Zykluszeit S4, die Temperatur S5, die Materialinformationen S6 und die Forminformationen S7), ohne die Verwendung von Berechnungen oder Schätzungen automatisch und genau erlangt werden. Mit anderen Worten kann ein optimaler Befehlswert S1 rasch bestimmt werden, indem einfach der gegenwärtige Zustand, oder anders gesagt der analoge Spannungsbefehlswert S2, der einen Fehler aufweist, und der Zustand der Bearbeitungsmaschine (die Achseninformationen S3, die Zykluszeit S4, die Temperatur S5, die Materialinformationen S6 und die Forminformationen S7) einbezogen werden. Daher kann eine geeignete Umwandlung eines externen Befehls in einen Befehl effizient durchgeführt werden.
Als eine Modifikation der Vorrichtung zum maschinellen Lernen 100 kann die Lerneinheit 110 unter Verwendung der Zustandsvariablen S und der Bestimmungsdaten D erlangt für jede einer Mehrzahl von Bearbeitungsmaschinen desselben Typs, welche dieselbe Operation ausführen, angemessene Befehlswerte in den Bearbeitungsmaschinen erlernen. Gemäß dieser Konfiguration können Geschwindigkeit und Zuverlässigkeit des Lernens verbessert werden, da eine Menge von Datensätzen, welche die Zustandsvariablen S und die Bestimmungsdaten D, die in einer bestimmten Zeitperiode erlangt worden sind, aufweisen, erhöht und Datensätze mit einer größeren Vielfalt eingegeben werden können.
Es ist anzumerken, dass der durch die Lerneinheit 110 ausgeführte Lernalgorithmus nicht speziell eingeschränkt ist, und Lernalgorithmen, die als maschinelles Lernen bekannt sind, übernommen werden können. 3 zeigt einen Aspekt der Antriebsvorrichtung 1, die in 1 gezeigt ist, in welcher die Antriebsvorrichtung 1 dafür ausgelegt ist, die Lerneinheit zu umfassen, welche Verstärkungslernen als ein Beispiel für den Lernalgorithmus ausführt. Verstärkungslernen ist ein Verfahren umfassend das Beobachten eines gegenwärtigen Zustands (mit anderen Worten, einer Eingabe) einer Umgebung, in welcher ein Lernobjekt vorhanden ist, und Ausführen einer vorgeschriebenen Handlung (mit anderen Worten, einer Ausgabe) in dem gegenwärtigen Zustand, Wiederholen, durch Versuch- und-Irrtum, von Zyklen, welche eine Art von Auswirkung für die Handlung bereitstellen, und Erlernen einer Strategie, welche eine Gesamtauswirkung (in der vorliegenden Ausführungsform, eine Ausgabe eines Befehlswerts) als eine optimale Lösung maximiert.
In der Vorrichtung zum maschinellen Lernen 100, welche die Antriebsvorrichtung 1, die in 3 gezeigt ist, aufweist, weist die Lerneinheit 110 eine Auswirkungsberechnungseinheit 112 und eine Wertfunktionsaktualisierungseinheit 114 auf.
Die Auswirkungsberechnungseinheit 112 erlangt eine Auswirkung R in Zusammenhang mit einem Auswertungsergebnis (welches den Bestimmungsdaten D entspricht, die in einem Lernzeitraum nach jenem, in welchem die Zustandsvariablen S erfasst worden sind) einer Präzision und einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen, wenn die Bearbeitungsbedingungen beruhend auf den Zustandsvariablen S eingestellt werden.
Die Wertfunktionsaktualisierungseinheit 114 aktualisiert eine Funktion Q, die einen Wert eines Befehlswerts darstellt, unter Verwendung der Auswirkung R. Indem die Wertfunktionsaktualisierungseinheit 114 die Funktion Q wiederholt aktualisiert, erlernt die Lerneinheit 110 Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1.
In der Folge wird ein Beispiel eines Algorithmus für durch die Lerneinheit 110 ausgeführtes Verstärkungslernen beschrieben. Der Algorithmus im Einklang mit diesem Beispiel ist bekannt als Q-Lernen, bei dem es sich um ein Verfahren handelt, welches einen Zustand s eines Aktionsagenten und eine Aktion a, die der Aktionsagent in dem Zustand s als unabhängige Variablen zum Erlernen einer Funktion Q (s, a) auswählen kann, die einen Wert der Aktion a, wenn diese im Zustand s ausgewählt wird, darstellt, verwendet. Das Auswählen der Aktion a, welche die Wertfunktion Q im Zustand s maximiert, stellt eine optimale Lösung bereit. Durch das Starten von Q-Lernen in einem Zustand, in welchem eine Korrelation zwischen dem Zustand s und der Aktion a unbekannt ist, und Wiederholen von Versuch-und-Irrtum durch Auswählen verschiedener Aktionen a in einem beliebigen Zustand s wird die Wertfunktion Q wiederholt aktualisiert und der optimalen Lösung angenähert. In diesem Fall kann die Wertfunktion Q durch Übernehmen einer Konfiguration bei welcher, wenn sich die Umgebung (mit anderen Worten, der Zustand s) als ein Ergebnis des Auswählens der Aktion a im Zustand s verändert, eine Auswirkung (mit anderen Worten, eine Gewichtung der Aktion a) r im Einklang mit der Änderung bereitgestellt wird, und Leiten des Lernens, sodass die Aktion a ausgewählt wird, für welche eine höhere Auswirkung r bereitgestellt wird, innerhalb eines relativ kurzen Zeitraums an die optimale Lösung angenähert werden.
Eine Aktualisierungsformel der Wertfunktion Q kann im Allgemeinen durch den unten wiedergegebenen Ausdruck 1 dargestellt werden. Im Ausdruck 1, kennzeichnen st und a_t einen Zustand beziehungsweise eine Aktion an einem Zeitpunkt t, und der Zustand verändert sich aufgrund der Aktion a_t zu S_t+1. r_t+1 kennzeichnet eine Auswirkung, die erlangt wird, wenn sich der Zustand von s_t zu s_t+1 verändert. Der Ausdruck maxQ kennzeichnet Q, wenn eine Aktion a ausgeführt wird, welche zum Zeitpunkt t₊₁ einen Maximalwert Q erzeugt (bzw. von welcher in Betracht gezogen wird, sie würde diesen erzeugen). α und γ kennzeichnen einen Lernkoeffizienten beziehungsweise einen Diskontfaktor, und werden beliebig auf Werte von 0 < α ≤ 1 und 0 < γ ≤ 1 gesetzt. $Q (s_{t}, a_{t}) \leftarrow Q (s_{t}, a_{t}) + α (r_{t + 1} + γ \underset{a}{m a x} Q (s_{t + 1,} a) - Q (s_{t,} a_{t}))$
Wenn die Lerneinheit 110 Q-Lernen ausführt, entsprechen die Zustandsvariablen S, die durch die Zustandsbeobachtungseinheit 106 beobachtet werden, und die Bestimmungsdaten D, die durch die Bestimmungsdatenerfassungseinheit 108 erfasst werden, dem Zustand s der Aktualisierungsformel, die Aktion, wie der Befehlswert S1 in Bezug auf den gegenwärtigen Zustand zu bestimmen ist, oder anders gesagt der analoge Spannungsbefehlswert S2, der einen Fehler aufweist, und der Zustand der Bearbeitungsmaschinen (die Achseninformationen S3, die Zykluszeit S4, die Temperatur S5, die Materialinformationen S6 und die Forminformationen S7) entsprechen der Aktion a der Aktualisierungsformel, und die Auswirkung R, die durch die Auswirkungsberechnungseinheit 112 erlangt wird, entspricht der Auswirkung r der Aktualisierungsformel. Daher aktualisiert die Wertfunktionsaktualisierungseinheit 114 wiederholt die Funktion Q, welche einen Wert des Befehlswerts in Bezug auf den gegenwärtigen Zustand darstellt, durch Q-Lernen unter Verwendung der Auswirkung R.
Wenn der Servomotor zum Beispiel beruhend auf dem bestimmten Befehlswert S1 angetrieben wird und die Bearbeitung ausgeführt wird und ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen als „adäquat“ bestimmt wird, kann die Auswirkungsberechnungseinheit 112 die Auswirkung R auf einen positiven Wert setzen. Wenn andererseits ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen als „inadäquat“ bestimmt wird, kann die Auswirkungsberechnungseinheit 112 die Auswirkung R auf einen negativen Wert setzen. Absolutwerte positiver oder negativer Auswirkungen R können dieselben sein oder sich voneinander unterscheiden.
Fälle, in welchen das Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen als „adäquat“ bestimmt wird, können zum Beispiel umfassen: wenn die Präzision D1 (ein Fehler zwischen Dimensionen und Auslegungswerten des bearbeiteten Produkts oder dergleichen) kleiner ist, als ein Schwellenwert; wenn die Vibration D2 kleiner ist, als ein Schwellenwert; wenn die Last D3 kleiner ist, als ein Schwellenwert; wenn der Energieverbrauch D4 kleiner ist, als ein Schwellenwert; wenn die Zykluszeit D5 kürzer ist, als ein Schwellenwert; und wenn die Reaktionszeit D6 kürzer ist, als ein Schwellenwert. Fälle, in welchen das Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen als „inadäquat“ bestimmt wird, können zum Beispiel Fälle umfassen, bei welchen D1 bis D6 gleich den vorgeschriebenen Schwellenwerten sind oder diese überschreiten. Alternativ dazu kann die Auswirkungsberechnungseinheit 112 die Korrektheit bestimmen, indem sie eine Mehrzahl von Werten kombiniert, die in den Bestimmungsdaten D enthalten sind.
Die Auswirkungsberechnungseinheit 112 kann ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen bestimmen, indem sie einen Wert (einen Änderungsbetrag, eine Änderungsrate oder dergleichen innerhalb eines vorgeschriebenen Zeitraums oder eines vorgeschriebenen Zyklus), der eine Änderung im Laufe der Zeit der oben beschriebenen D1 bis D6 angibt, verwendet. Zum Beispiel kann eine Bestimmung von „adäquat“ gemacht werden, wenn der Änderungsbetrag der oben beschriebenen D1 bis D6 0 ist oder einen negativen Wert annimmt, während eine Bestimmung von „inadäquat“ gemacht werden kann, wenn der Änderungsbetrag einen positiven Wert annimmt.
Ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen kann nur auf zwei Werte gesetzt werden, nämlich „adäquat“ und „inadäquat“, kann jedoch auch auf eine Mehrzahl von Stufen gesetzt werden. Zum Beispiel kann die Auswirkungsberechnungseinheit 112 die Auswirkung R derart reduzieren, dass die Auswirkung R umso kleiner ist, je größer ein Unterschied auf einer positiven Seite zwischen einem der oben beschriebenen Werte von D1 bis D6 und einem vorgeschriebenen Schwellenwert ist, und die Auswirkung R derart erhöhen, dass die Auswirkung R umso größer ist, je größer der Unterschied auf einer negativen Seite ist. Zum Beispiel kann die Auswirkungsberechnungseinheit 112 die Auswirkung R derart reduzieren, dass die Auswirkung R umso kleiner ist, je größer ein Unterschied auf einer positiven Seite zwischen einem Änderungsbetrag oder einer Änderungsrate der oben beschriebenen Werte von D1 bis D6 und einem vorgeschriebenen Schwellenwert ist, und die Auswirkung R derart erhöhen, dass die Auswirkung R umso größer ist, je größer der Unterschied auf einer negativen Seite ist.
Die Wertfunktionsaktualisierungseinheit 114 kann eine Aktionswerttabelle aufweisen, in welcher die Zustandsvariablen S, die Bestimmungsdaten D und die Auswirkung R in Zusammenhang mit einem Aktionswert (zum Beispiel einem numerischen Wert), dargestellt durch die Funktion Q, organisiert sind. In diesem Fall kann ein Vorgang der Aktualisierung der Funktion Q durch die Wertfunktionsaktualisierungseinheit 114 gleichbedeutend mit einem Vorgang der Aktualisierung der Aktionswerttabelle durch die Wertfunktionsaktualisierungseinheit 114 sein. Da die Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 am Beginn des Q-Lernens unbekannt sind, sind in der Aktionswerttabelle verschiedene Zustandsvariablen S, Bestimmungsdaten D und Auswirkungen R hinsichtlich ihres Zusammenhangs mit zufällig bestimmten Werten (der Funktion Q) des Aktionswerts vorbereitet. Die Auswirkungsberechnungseinheit 112 ist dazu fähig, eine entsprechende Auswirkung R unmittelbar zu berechnen, sobald die Bestimmungsdaten D bekannt sind, wobei in diesem Fall der berechnete Wert R in die Aktionswerttabelle geschrieben wird.
Wenn das Q-Lernen unter Verwendung einer Auswirkung R im Einklang mit einem Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen fortschreitet, wird das Lernen in eine Richtung geführt, in welcher eine Aktion ausgewählt wird, die eine höhere Auswirkung R aufweist, und die Aktionswerttabelle aktualisiert wird, indem ein Wert (die Funktion Q) eines Aktionswerts in Bezug auf eine im gegenwärtigen Zustand ausgeführte Aktion im Einklang mit einem Zustand (mit anderen Worten, den Zustandsvariablen S und den Bestimmungsdaten D) der Umgebung, welche sich als ein Ergebnis des Ausführens der ausgewählten Aktion im gegenwärtigen Zustand ändert, überschrieben wird. Durch Wiederholen dieser Aktualisierung wird der Wert (die Funktion Q) des in der Aktionswerttabelle angezeigten Aktionswerts derart überschrieben, dass der Wert umso größer ist, je korrekter die Aktion ist. Auf diese Weise wird das zuvor unbekannte Korrelationsverhältnis zwischen dem gegenwärtigen Zustand der Umgebung oder, mit anderen Worten, dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 allmählich offensichtlich. Mit anderen Worten werden durch Aktualisieren der Aktionswerttabelle die Korrelationen zwischen dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) und dem Befehlswert S1 allmählich einer optimalen Lösung angenähert.
Bezugnehmend auf 4 wird ein Ablauf des Q-Lernens (mit anderen Worten ein Aspekt eines maschinellen Lernverfahrens), das durch die Lerneinheit 110 ausgeführt wird, näher beschrieben.
Schritt SA01: Die Wertfunktionsaktualisierungseinheit 114 bezieht sich an diesem Zeitpunkt auf die Aktionswerttabelle, um den Befehlswert S1 als eine Aktion, die im gegenwärtigen Zustand, der durch die Zustandsvariablen S beobachtet durch die Zustandsbeobachtungseinheit 106 angezeigt ist, auszuführen ist, zufällig auszuwählen.
Schritt SA02: Die Wertfunktionsaktualisierungseinheit 114 lädt die Zustandsvariablen S des durch die Zustandsbeobachtungseinheit 106 beobachteten gegenwärtigen Zustands.
Schritt SA03: Die Wertfunktionsaktualisierungseinheit 114 lädt die durch die Bestimmungsdatenerfassungseinheit 108 erfassten Bestimmungsdaten D des gegenwärtigen Zustands.
Schritt SA04: Die Wertfunktionsaktualisierungseinheit 114 bestimmt beruhend auf den Bestimmungsdaten D, ob der Befehlswert S1 angemessen ist, oder nicht. Wenn der Befehlswert S1 angemessen ist, erfolgt ein Übergang zu Schritt SA05. Wenn der Befehlswert S1 unangemessen ist, erfolgt ein Übergang zu Schritt SA07.
Schritt SA05: Die Wertfunktionsaktualisierungseinheit 114 wendet eine positive Auswirkung R erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Schritt SA06: Die Wertfunktionsaktualisierungseinheit 114 aktualisiert die Aktionswerttabelle unter Verwendung der Zustandsvariablen S und der Bestimmungsdaten D im gegenwärtigen Zustand, der Auswirkung R und des Werts des Aktionswerts (der Funktion Q nach der Aktualisierung).
Schritt SA07: Die Wertfunktionsaktualisierungseinheit 114 wendet eine negative Auswirkung R erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Die Lerneinheit 110 aktualisiert wiederholt die Aktionswerttabelle durch Wiederholen der Schritte SA01 bis SA07, und führt das Lernen fort.
Es ist anzumerken, dass der Vorgang des Erlangens der Auswirkung R und der Aktualisierungsvorgang der Wertfunktion in den Schritten SA04 bis SA07 in Bezug auf jede der Dateninformationen, welche die Bestimmungsdaten D aufweisen, ausgeführt werden. Zum Beispiel ist 9 ein Ablaufdiagramm in einem Fall, in welchem die Reaktionszeit D6 und der Energieverbrauch D4 als zwei Einzelteile der Bestimmungsdaten D verwendet werden.
Schritt SB01: Die Wertfunktionsaktualisierungseinheit 114 bezieht sich an diesem Zeitpunkt auf die Aktionswerttabelle, um den Befehlswert S1 als eine Aktion, die im gegenwärtigen Zustand, der durch die Zustandsvariablen S beobachtet durch die Zustandsbeobachtungseinheit 106 angezeigt ist, auszuführen ist, zufällig auszuwählen.
Schritt SB02: Die Wertfunktionsaktualisierungseinheit 114 lädt die Zustandsvariablen S des durch die Zustandsbeobachtungseinheit 106 beobachteten gegenwärtigen Zustands.
Schritt SB03: Die Wertfunktionsaktualisierungseinheit 114 lädt die durch die Bestimmungsdatenerfassungseinheit 108 erfassten Bestimmungsdaten D des gegenwärtigen Zustands.
Schritt SB04: Die Wertfunktionsaktualisierungseinheit 114 bestimmt beruhend auf der Reaktionszeit D6 in den Bestimmungsdaten D, ob der Befehlswert S1 angemessen ist, oder nicht. Wenn der Befehlswert S1 angemessen ist, erfolgt ein Übergang zu Schritt SB05. Wenn der Befehlswert S1 unangemessen ist, erfolgt ein Übergang zu Schritt SB06.
Schritt SB05: Die Wertfunktionsaktualisierungseinheit 114 wendet eine positive Auswirkung R1 erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Schritt SB06: Die Wertfunktionsaktualisierungseinheit 114 wendet eine negative Auswirkung R1 erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Schritt SB07: Die Wertfunktionsaktualisierungseinheit 114 bestimmt beruhend auf dem Energieverbrauch D4 in den Bestimmungsdaten D, ob der Befehlswert S1 angemessen ist, oder nicht. Wenn der Befehlswert S1 angemessen ist, erfolgt ein Übergang zu Schritt SB08. Wenn der Befehlswert S1 unangemessen ist, erfolgt ein Übergang zu Schritt SB09.
Schritt SB08: Die Wertfunktionsaktualisierungseinheit 114 wendet eine positive Auswirkung R2 erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Schritt SB09: Die Wertfunktionsaktualisierungseinheit 114 wendet eine negative Auswirkung R2 erlangt durch die Auswirkungsberechnungseinheit 112 auf eine Aktualisierungsformel der Funktion Q an.
Schritt SB10: Die Wertfunktionsaktualisierungseinheit 114 aktualisiert die Aktionswerttabelle unter Verwendung der Zustandsvariablen S und der einzelnen Bestimmungsdaten D4 und D6 im gegenwärtigen Zustand, der Auswirkungen R1 und R2 und des Werts des Aktionswerts (der Funktion Q nach der Aktualisierung).
In der Folge wird ein spezielles Beispiel eines Lernprozesses ausgeführt im Einklang mit dem in 9 gezeigten Ablauf beschrieben.
Beispiel 1

• In Schritt SB01 wird der folgende Wert als der Befehlswert S1 ausgegeben. Geschwindigkeitsbefehlswert S1:
- X = Geschwindigkeitsumwandlungswert von 0,021 V
• In Schritt SB02 werden die folgenden Werte als die Zustandsvariablen S erfasst. Analoger Spannungsbefehlswert S2:
- 0,021 V (aufweisend einen Fehler von 0,021 V)
Achseninformationen 3 (Positionsrückmeldung):
- X = 0,001 mm kontinuierlicher Anstieg
- Y = 5,000 mm kontinuierlicher Anstieg
- Z = 10,000 mm kontinuierlicher Anstieg
Achseninformation 3 (Geschwindigkeitsrückmeldung):
- X = 0,001 min-1
- Y = 1,000 min-1
- Z = 2,000 min-1
• In Schritt SB03 werden die folgenden Werte als die Bestimmungsdaten D erfasst. Reaktionszeit D6:
- 100 ms Anstieg
Energieverbrauch D4:
- 1,0 kWh Anstieg
• Da sich die Reaktionszeit D6 erhöht hat, wird in Schritt SB04 bestimmt, dass der Befehlswert S1 unangemessen ist.
• In Schritt SB06 wird die Auswirkung R reduziert.
• Da sich der Energieverbrauch D4 erhöht hat, wird in Schritt SB07 bestimmt, dass der Befehlswert S1 unangemessen ist.
• In Schritt SB09 wird die Auswirkung R reduziert.
• In Schritt SB10 wird der Wert Q aktualisiert.

Beispiel 2

• In Schritt SB01 wird der folgende Wert als der Befehlswert S1 ausgegeben. Geschwindigkeitsbefehlswert S1:
- X = Geschwindigkeitsumwandlungswert von 0,000 V
• In Schritt SB02 werden die folgenden Werte als die Zustandsvariablen S erfasst. Analoger Spannungsbefehlswert S2:
- 0,021 V (aufweisend einen Fehler von 0,021 V)
Achseninformation 3 (Positionsrückmeldung):
- X = 0,000 mm angehaltener Zustand
- Y = 5,000 mm kontinuierlicher Anstieg
- Z = 10,000 mm kontinuierlicher Anstieg
Achseninformation 3 (Geschwindigkeitsrückmeldung):
- X = 0,000 min-1
- Y = 1,000 min-1
- Z = 2,000 min-1
• In Schritt SB03 werden die folgenden Werte als die Bestimmungsdaten D erfasst. Reaktionszeit D6:
- 100 ms kürzer
Energieverbrauch D4:
- 1,5 kWh Verringerung
• Da sich die Reaktionszeit D6 verringert hat, wird in Schritt SB04 bestimmt, dass der Befehlswert S1 angemessen ist.
• In Schritt SB05 wird die Auswirkung R erhöht.
• Da sich der Energieverbrauch D4 verringert hat, wird in Schritt SB07 bestimmt, dass der Befehlswert S1 angemessen ist.
• In Schritt SB08 wird die Auswirkung R erhöht.
• In Schritt SB10 wird der Wert Q aktualisiert.

Beim Voranbringen des Verstärkungslernens kann statt des Q-Lernens zum Beispiel ein neuronales Netzwerk verwendet werden. 5A bildet ein Modell eines Neurons schematisch ab. 5B bildet ein Modell eines durch Kombinieren der in 5A abgebildeten Neuronen konfigurierten dreischichtigen neuronalen Netzwerks ab. Das neuronale Netzwerk kann zum Beispiel durch eine Datenverarbeitungsvorrichtung, eine Speichervorrichtung und dergleichen gebildet werden, die ein Modell eines Neurons simulieren.
Das in 5A gezeigte Neuron gibt ein Ergebnis y in Bezug auf eine Mehrzahl von Eingaben x (in diesem Fall zum Beispiel Eingabe x₁ bis Eingabe x₃) aus. Jede der Eingaben x₁ bis x₃ wird multipliziert mit einem Gewicht w (w₁ bis w₃), das der Eingabe x entspricht. Dementsprechend gibt das Neuron das Ergebnis y dargestellt durch den unten abgebildeten Ausdruck 2 aus. Es ist anzumerken, dass in Ausdruck 2 die Eingabe x, die Ausgabe y und das Gewicht w jeweils Vektoren sind. Darüber hinaus bezeichnet θ eine Verzerrung und f_k bezeichnet eine Aktivierungsfunktion. $y = f_{k} (\sum_{i = 1}^{n} x_{i} w_{i} - θ)$
Mit dem dreischichtigen neuronalen Netzwerk, das in 5B gezeigt ist, wird eine Mehrzahl von Eingaben x (in diesem Fall zum Beispiel die Eingaben x1 bis x3) von einer linken Seite eingegeben, und Ergebnisse y (in diesem Fall zum Beispiel ein Ergebnis y1 bis y3) werden von einer rechten Seite ausgegeben. Im dargestellten Beispiel werden die jeweiligen Eingaben x1, x2 und x3 mit entsprechenden Gewichten (zusammen dargestellt durch w1) multipliziert, und jede der Eingaben x1, x2 und x3 wird in drei Neuronen N11, N12 und N13 eingegeben.
In 5B sind die Ausgaben der jeweiligen Neuronen N11 bis N13 zusammen dargestellt durch z1. z1 kann als ein Merkmalsvektor angesehen werden, der durch Extrahieren einer Merkmalsmenge eines Eingabevektor erlangt wird. Im dargestellten Beispiel werden die jeweiligen Merkmalsvektoren z1 mit entsprechenden Gewichten (zusammen dargestellt durch w2) multipliziert, und jeder der Merkmalsvektoren z1 wird in zwei Neuronen N21 und N22 eingegeben. Die Merkmalsvektoren z1 stellen ein Merkmal zwischen einem Gewicht W1 und einem Gewicht W2 dar.
In 5B sind die Ausgaben der jeweiligen Neuronen N21 bis N22 zusammen dargestellt durch z2. z2 kann als ein Merkmalsvektor angesehen werden, der durch Extrahieren einer Merkmalsmenge des Eingabevektors z1 erlangt wird. Im dargestellten Beispiel werden die jeweiligen Merkmalsvektoren z2 mit entsprechenden Gewichten (zusammen dargestellt durch w3) multipliziert, und jeder der Merkmalsvektoren z2 wird in drei Neuronen N31, N32 und N33 eingegeben. Die Merkmalsvektoren z2 stellen ein Merkmal zwischen einem Gewicht W2 und einem Gewicht W3 dar. Schließlich geben die Neuronen N31 bis N33 die entsprechenden Ergebnisse y1 bis y3 aus.
Es ist anzumerken, dass auch ein Verfahren des sogenannten tiefen Lernens unter Verwendung eines neuronalen Netzwerks aufweisend drei oder mehr Ebenen verwendet werden kann.
In der Vorrichtung zum maschinellen Lernen 100 kann dadurch, dass die Lerneinheit 110 eine Berechnung mit einer vielschichtigen Struktur im Einklang mit dem neuronalen Netzwerk unter Verwendung der Zustandsvariables S und der Bestimmungsdaten D als die Eingabe x ausführt, der Befehlswert S1 als das Ergebnis y ausgegeben werden. Darüber hinaus kann in der Vorrichtung zum maschinellen Lernen 100 dadurch, dass die Lerneinheit 110 ein neuronales Netzwerk als eine Wertfunktion im Verstärkungslernen verwendet und eine Berechnung mit einer vielschichtigen Struktur im Einklang mit dem neuronalen Netzwerk unter Verwendung der Zustandsvariablen S und eine Aktion a als die Eingabe x ausführt, ein Wert (das Ergebnis y) der Aktion in dem Zustand ausgegeben werden. Betriebsmodi eines neuronalen Netzwerks umfassen einen Lernmodus und einen Wertvorhersagemodus, und zum Beispiel kann ein Gewicht w erlernt werden unter Verwendung eines Lerndatensatzes im Lernmodus, und eine Wertbestimmung einer Aktion kann im Wertvorhersagemodus unter Verwendung des erlernten Gewichts w ausgeführt werden. Erfassung, Klassifizierung, Rückschluss und dergleichen können ebenfalls im Wertvorhersagemodus ausgeführt werden.
Die oben beschriebene Konfiguration der Antriebsvorrichtung 1 kann als ein maschinelles Lernverfahren (oder Programm) beschrieben werden, welches durch den Prozessor 101 ausgeführt wird. Das maschinelle Lernverfahren ist ein maschinelles Lernverfahren des Erlernens einer angemessenen Umwandlung eines externen Befehls in den Befehlswert S1, das maschinelle Lernverfahren umfassend die durch eine CPU eines Computers ausgeführten Schritte: Beobachten des analogen Spannungsbefehlswerts S2, der einen Fehler aufweist, und des Zustands einer Bearbeitungsmaschine (der Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, der Materialinformationen S6 und der Forminformationen S7) als Zustandsvariablen S, welche einen gegenwärtigen Zustand einer Umgebung darstellen; Erfassen von Bestimmungsdaten D, welche ein Auswertungsergebnis einer Präzision oder einer Qualität eines bearbeiteten Produkts, einer Produktivität, einer Effizienz oder dergleichen der im Einklang mit einem Ausgabebefehlswert S1 ausgeführten Bearbeitung angeben; und Lernen des analogen Spannungsbefehlswerts S2, der einen Fehler aufweist, und des Zustands einer Bearbeitungsmaschine (der Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, der Materialinformationen S6 und der Forminformationen S7) und des Befehlswerts S1 in Verbindung miteinander unter Verwendung der Zustandsvariablen S und der Bestimmungsdaten D.
6 zeigt eine Antriebsvorrichtung 2 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. Die Antriebsvorrichtung 2 weist eine Vorrichtung zum maschinellen Lernen 120 und eine Zustandsdatenerfassungseinheit 3 auf.
Die Zustandsdatenerfassungseinheit 3 erfasst den analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und den Zustand der Bearbeitungsmaschine (die Achseninformationen S3, die Zykluszeit S4, die Temperatur S5, die Materialinformationen S6 und die Forminformationen S7) und den Befehlswert S1 als die Zustandsdaten S0 und stellt der Zustandsbeobachtungseinheit 106 die Zustandsdaten S0 bereit. Zum Beispiel kann die Zustandsdatenerfassungseinheit 3 die Zustandsdaten S0 von der Antriebsvorrichtung 2 erfassen.
Die Vorrichtung zum maschinellen Lernen 120 weist zusätzlich zur Zustandsbeobachtungseinheit 106, der Bestimmungsdatenerfassungseinheit 108 und der Lerneinheit 110 eine Entscheidungsfindungseinheit 122 auf. Zum Beispiel kann die Entscheidungsfindungseinheit 122 als eine Funktion des Prozessors 101 umgesetzt sein. Alternativ dazu kann die Entscheidungsfindungseinheit 122 zum Beispiel umgesetzt sein, indem der Prozessor 101 dazu veranlasst wird, im ROM 102 gespeicherte Software auszuführen.
Zusätzlich zu Software (wie zum Beispiel einem Lernalgorithmus) und Hardware (dem Prozessor 101 oder dergleichen) zum eigenständigen Lernen einer angemessenen Umwandlung von einem externen Befehl in den Befehlswert S1, umfasst die Vorrichtung zum maschinellen Lernen 120 Software (wie zum Beispiel einen arithmetischen Algorithmus) und Hardware (den Prozessor 101 oder dergleichen) zum Ausgeben des Befehlswert S1 erlangt beruhend auf einem Lernergebnis als einen Befehl an den Servomotor 50. Alternativ, dazu kann die Vorrichtung zum maschinellen Lernen 120 eine Konfiguration annehmen, in welcher ein gemeinsamer Prozessor sämtliche Software ausführt, einschließlich des Lernalgorithmus und des arithmetischen Algorithmus.
Beruhend auf einem durch die Lerneinheit 110 erlernten Ergebnis erzeugt die Entscheidungsfindungseinheit 122 einen Befehlswert C, der ein Befehlswert S1 entsprechend dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, der Materialinformationen S6 und der Forminformationen S7) ist. Sobald die Entscheidungsfindungseinheit 122 den Befehlswert C an den Servomotor 50 ausgibt, wird der Servomotor 50 durch die Antriebsvorrichtung 2 im Einklang mit dem Befehlswert C angetrieben. Ein Zustand der Umgebung ändert sich auf diese Weise.
Die Zustandsbeobachtungseinheit 106 beobachtet in einem nächsten Lernzeitraum die Zustandsvariablen S, die sich aufgrund der Ausgabe des Befehlswerts C an die Umgebung durch die Entscheidungsfindungseinheit 122 geändert haben. Die Lerneinheit 110 erlernt eine angemessene Umwandlung von einem externen Befehl in den Befehlswert S1, zum Beispiel durch Aktualisieren der Wertfunktion Q (mit anderen Worten, der Aktionswerttabelle) unter Verwendung der geänderten Zustandsvariablen S. Anstatt den Befehlswert S1 aus den durch die Zustandsdatenerfassungseinheit 3 erfassten Zustandsdaten S0 zu erfassen, kann die Zustandsbeobachtungseinheit 106 dadurch den Befehlswert S1 vom RAM 103 der Vorrichtung zum maschinellen Lernen 120 erfassen, wie in der ersten Ausführungsform beschrieben.
Darüber hinaus gibt die Entscheidungsfindungseinheit 122 erneut den Befehlswert C, welcher der Befehlswert S1 erlangt beruhend auf dem Lernergebnis ist, an den Servomotor 50 aus. Durch Wiederholen dieses Lernzeitraums führt die Vorrichtung zum maschinellen Lernen 120 das Lernen fort und verbessert allmählich die Zuverlässigkeit des Befehlswerts S1 bestimmt durch die Vorrichtung zum maschinellen Lernen 120 selbst.
Die Vorrichtung zum maschinellen Lernen 120 erzeugt eine ähnliche Wirkung wie die Vorrichtung zum maschinellen Lernen 100 gemäß der ersten Ausführungsform. Darüber hinaus ist die Vorrichtung zum maschinellen Lernen 120 dazu imstande, einen Zustand der Umgebung durch eine Ausgabe der Entscheidungsfindungseinheit 122 zu verändern. In der Vorrichtung zum maschinellen Lernen 100 kann sich ein Lernergebnis der Lerneinheit 110 in der Umgebung wiederspiegeln, indem eine externe Vorrichtung Funktionen bereitstellt, welche der Entscheidungsfindungseinheit 122 entsprechen.
7 zeigt ein System 170 aufweisend eine Mehrzahl von Antriebsvorrichtungen. Das System 170 weist eine Mehrzahl von Antriebsvorrichtungen 160 und Antriebsvorrichtungen 160' auf. Sämtliche der Antriebsvorrichtungen 160 und der Antriebsvorrichtungen 160' sind miteinander durch ein verdrahtetes oder ein drahtloses Netzwerk 172 verbunden.
Die Antriebsvorrichtungen 160 und die Antriebsvorrichtungen 160' weisen einen Mechanismus auf, der für Operationen mit demselben Ziel erforderlich ist. Andererseits weisen die Antriebsvorrichtungen 160' die Vorrichtung zum maschinellen Lernen 100 nicht auf, während die Antriebsvorrichtungen 160 die Vorrichtung zum maschinellen Lernen 100 aufweisen.
Die Antriebsvorrichtungen 160 aufweisend die Vorrichtung zum maschinellen Lernen 100 sind dazu fähig, ein Lernergebnis der Lerneinheit 110 zu verwenden, um den Befehlswert S1 entsprechend dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) automatisch und genau zu erlangen, ohne Berechnungen oder Schätzungen zu verwenden. Darüber hinaus kann eine Konfiguration angenommen werden, in welcher die Vorrichtung zum maschinellen Lernen 100 mindestens einer Antriebsvorrichtung 160 eine angemessene Umwandlung eines externen Befehls in den Befehlswert S1, der allen Antriebsvorrichtungen 160 und den Antriebsvorrichtungen 160' gemein ist, beruhend auf den Zustandsvariablen S und den Bestimmungsdaten D, die für jede der Mehrzahl anderer Antriebsvorrichtungen 160 und die Antriebsvorrichtungen 160' erlangt werden, erlernt, und ein Lernergebnis daraus wird von allen Antriebsvorrichtungen 160 und den Antriebsvorrichtungen 160' gemeinsam verwendet. Gemäß dem System 170 kann eine Geschwindigkeit und eine Zuverlässigkeit des Erlernens einer angemessenen Umwandlung von einem externen Befehl zum Befehlswert S1 verbessert werden durch Verwendung von Datensätzen (einschließlich der Zustandsvariablen S und der Bestimmungsdaten D) mit größerer Variation als Eingabe.
8 zeigt ein System 170' aufweisend eine Mehrzahl von Antriebsvorrichtungen 160'. Das System 170' weist die Mehrzahl von Antriebsvorrichtungen 160' aufweisend dieselbe mechanische Konfiguration und die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) auf. Die Mehrzahl von Antriebsvorrichtungen 160' und die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) sind durch ein verdrahtetes oder drahtloses Netzwerk 172 miteinander verbunden.
Die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) erlernt eine angemessene Umwandlung eines externen Befehls in den Befehlswert S1, der allen Antriebsvorrichtungen 160' gemein ist, beruhend auf den Zustandsvariablen S und den Bestimmungsdaten D erlangt für jede der Mehrzahl von Antriebsvorrichtungen 160'. Die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) ist dazu fähig, ein Lernergebnis derselben zu verwenden, um den Befehlswert S1 entsprechend dem analogen Spannungsbefehlswert S2, der einen Fehler aufweist, und dem Zustand der Bearbeitungsmaschine (den Achseninformationen S3, der Zykluszeit S4, der Temperatur S5, den Materialinformationen S6 und den Forminformationen S7) automatisch und genau zu erlangen, ohne Berechnungen oder Schätzungen zu verwenden.
Die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) kann in einem Cloudserver oder dergleichen, der auf einem Netzwerk 172 bereitgestellt ist, vorhanden sein. Gemäß dieser Konfiguration kann unabhängig von einer Position oder einem Zeitraum des Vorhandenseins jeder der Mehrzahl von Antriebsvorrichtungen 160', wann immer es notwendig ist, eine erforderliche Anzahl von Antriebsvorrichtungen 160' mit der Vorrichtung zum maschinellen Lernen 120 (oder der Vorrichtung zum maschinellen Lernen 100) verbunden werden.
Ein Bediener, der an dem System 170 oder dem System 170' arbeitet, kann zu einem geeigneten Zeitpunkt nach dem Start des Lernens durch die Vorrichtung zum maschinellen Lernen 120 (oder 100) bestimmen, ob ein Erfüllungsgrad des Lernens des Befehlswerts S1 (mit anderen Worten die Zuverlässigkeit des Befehlswerts S1, der ausgegeben wird) durch die Vorrichtung zum maschinellen Lernen 120 (oder die Vorrichtung zum maschinellen Lernen 100) ein gefordertes Niveau erreicht hat, oder nicht.
Während oben Ausführungsformen der vorliegenden Erfindung beschrieben worden sind, versteht sich, dass die vorliegende Erfindung nicht auf die in den oben beschriebenen Ausführungsformen dargelegten Beispiele beschränkt sind, und in verschiedensten Aspekten durch Vornehmen geeigneter Modifikationen derselben umgesetzt werden kann.
Zum Beispiel sind der durch die Vorrichtung zum maschinellen Lernen 100 und die Vorrichtung zum maschinellen Lernen 120 ausgeführte Lernalgorithmus, der durch die Antriebsvorrichtung 1 und die Antriebsvorrichtung 2 ausgeführte Steueralgorithmus und dergleichen nicht auf die oben beschriebenen beschränkt, und verschiedenste Algorithmen können übernommen werden.
Während die Antriebsvorrichtung 1 (oder die Antriebsvorrichtung 2) und die Vorrichtung zum maschinellen Lernen 100 (oder die Vorrichtung zum maschinellen Lernen 120) in den oben beschriebenen Ausführungsformen als Vorrichtungen aufweisend verschiedene CPU erklärt sind, kann die Vorrichtung zum maschinellen Lernen 100 (oder die Vorrichtung zum maschinellen Lernen 120) derart konfiguriert sein, dass sie durch die CPU 11, welche die Antriebsvorrichtung 1 (oder die Antriebsvorrichtung 2) aufweist, und ein im ROM 12 gespeichertes Systemprogramm umgesetzt werden kann.
Ferner kann die Vorrichtung zum maschinellen Lernen 100 (oder die Vorrichtung zum maschinellen Lernen 120) in Informationsverarbeitungsumgebungen bezeichnet als Cloud-Datenverarbeitung, Fog-Datenverarbeitung und Edge-Datenverarbeitung und dergleichen umgesetzt werden.
Während darüber hinaus in den oben beschriebenen Ausführungsformen in erster Linie ein Beispiel, in welchem ein analoger Spannungsbefehlswert als ein externer Befehl eingegeben wird, erklärt ist, ist die vorliegende Erfindung nicht darauf beschränkt, sondern ist auf sämtliche Antriebsvorrichtungen anwendbar, welche eine Vorrichtung gemäß einem aus irgendeiner Art von externem Befehl umgewandelten Befehl antreiben.
Während oben Ausführungsformen der vorliegenden Erfindung beschrieben worden sind, versteht sich, dass die vorliegende Erfindung nicht auf die in den oben beschriebenen Ausführungsformen dargelegten Beispiele beschränkt ist, und in anderen Aspekten durch Vornehmen geeigneter Modifikationen derselben umgesetzt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017102613 [0005, 0006]

Claims

Antriebsvorrichtung, welche eine Geschwindigkeit oder ein Drehmoment eines Servomotors einer Bearbeitungsmaschine gemäß einem Befehl steuert, welcher durch Umwandeln eines von außen eingegebenen externen Befehls erlangt ist, die Antriebsvorrichtung umfassend eine Vorrichtung zum maschinellen Lernen, welche eine angemessene Umwandlung vom externen Befehl zum Befehl erlernt, wobei die Vorrichtung zum maschinellen Lernen aufweist: eine Zustandsbeobachtungseinheit, welche den externen Befehl, den Befehl und einen Zustand der Bearbeitungsmaschine oder des Servomotors als Zustandsvariablen beobachtet, welche einen gegenwärtigen Zustand einer Umgebung darstellen; eine Bestimmungsdatenerfassungseinheit, welche Bestimmungsdaten, die ein Auswertungsergebnis der Bearbeitung durch die Bearbeitungsmaschine anzeigen, erfasst; und eine Lerneinheit, welche unter Verwendung der Zustandsvariablen und der Bestimmungsdaten den externen Befehl und den Zustand der Bearbeitungsmaschine oder des Servomotors und den Befehl in Zusammenhang miteinander erlernt.
Antriebsvorrichtung nach Anspruch 1, wobei die Zustandsvariablen, als den Zustand der Bearbeitungsmaschine oder des Servomotors, mindestens eines der Elemente aus der Gruppe bestehend aus Geschwindigkeitsbefehlswert, Drehmomentbefehlswert, Positionsrückmeldung, Geschwindigkeitsrückmeldung, Drehmomentrückmeldung, Motorstromwert und Motortemperatur jeder der Achsen der Bearbeitungsmaschine, Zykluszeit der Bearbeitung, Temperatur jeder der Einheiten der Bearbeitungsmaschine, Form und Rohmaterial eines bei der Bearbeitung verwendeten Materials und Form und Rohmaterial eines bei der Bearbeitung verwendeten Formwerkzeugs aufweisen.
Antriebsvorrichtung nach Anspruch 1 oder 2, wobei die Bestimmungsdaten mindestens einen der Werte aus der Gruppe bestehend aus Präzision und Qualität eines bearbeiteten Produkts, Vibration der Bearbeitungsmaschine, Formwerkzeug oder Kugelspindel, Last auf den Servomotor, Energieverbrauch durch die Verarbeitungsmaschine und Zykluszeit der Bearbeitung umfassen.
Antriebsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Lerneinheit aufweist: eine Auswirkungsberechnungseinheit, welche eine Auswirkung in Zusammenhang mit dem Auswertungsergebnis erlangt; und eine Wertfunktionsaktualisierungseinheit, welche unter Verwendung der Auswirkung eine Funktion aktualisiert, die einen Wert des Befehls in Bezug auf den externen Befehl und den Zustand der Bearbeitungsmaschine oder des Servomotors darstellt.
Antriebsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Lerneinheit die Zustandsvariablen und die Bestimmungsdaten in einer mehrschichtigen Struktur berechnet.
Antriebsvorrichtung nach einem der Ansprüche 1 bis 5, ferner umfassend eine Entscheidungsfindungseinheit, welche einen Wert des Befehls beruhend auf einem Lernergebnis durch die Lerneinheit ausgibt.
Antriebsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Lerneinheit das Lernen unter Verwendung der Zustandsvariablen und der von einer Mehrzahl der Antriebsvorrichtungen erlangten Bestimmungsdaten ausführt.
Antriebsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Vorrichtung zum maschinellen Lernen durch eine Cloud-Datenverarbeitungsumgebung, eine Fog-Datenverarbeitungsumgebung (Datenverarbeitung am Rand der Cloud) oder eine Edge-Datenverarbeitungsumgebung (Datenverarbeitung am Rand des Netzwerks) verwirklicht ist.
Vorrichtung zum maschinellen Lernen, welche eine angemessene Umwandlung von einem externen Befehl, der von außerhalb in eine Antriebsvorrichtung eingegeben wird, zu einem Befehl zum Steuern einer Geschwindigkeit oder eines Drehmoments eines Servomotors einer Bearbeitungsmaschine lernt, die Vorrichtung zum maschinellen Lernen umfassend: eine Zustandsbeobachtungseinheit, welche den externen Befehl, den Befehl und einen Zustand der Bearbeitungsmaschine oder des Servomotors als Zustandsvariablen beobachtet, welche einen gegenwärtigen Zustand einer Umgebung darstellen; eine Bestimmungsdatenerfassungseinheit, welche Bestimmungsdaten, die ein Auswertungsergebnis der Bearbeitung durch die Bearbeitungsmaschine anzeigen, erfasst; und eine Lerneinheit, welche unter Verwendung der Zustandsvariablen und der Bestimmungsdaten den externen Befehl und den Zustand der Bearbeitungsmaschine oder des Servomotors und den Befehl in Zusammenhang miteinander erlernt.