DE102019109624B4

DE102019109624B4 - Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung

Info

Publication number: DE102019109624B4
Application number: DE102019109624.3A
Authority: DE
Inventors: Wenjie Chen; Kaimeng Wang; Tetsuaki Kato
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-04-18
Filing date: 2019-04-11
Publication date: 2022-11-03
Anticipated expiration: 2039-04-12
Also published as: US20190321983A1; JP2019188477A; US11130236B2; DE102019109624A1; JP6826069B2; CN110385694A

Abstract

Roboterbewegungseinlernvorrichtung (10), umfassend:eine Bewegungspfadextraktionseinheit (14), konfiguriert zum Verarbeiten von zeitvariierenden Bildern eines ersten Werkstücks (W1) und von Fingern (F) oder Armen eines Menschen (H), der an dem ersten Werkstück (W1) arbeitet, und dadurch einen Bewegungspfad (A, A') der Finger (F) oder Arme des Menschen (H) zu extrahieren;eine Zuordnungserzeugungseinheit (17), konfiguriert zum Erzeugen einer Transformationsfunktion für die Transformation von dem ersten Werkstück (W1) auf ein zweites Werkstück (W2) basierend auf Merkmalspunkten des ersten Werkstücks (W1) und Merkmalspunkten des zweiten Werkstücks (W2), wobei das zweite Werkstück (W2) durch einen Roboter (2) bearbeitet wird; undeine Bewegungspfaderzeugungseinheit (18), konfiguriert zum Erzeugen eines Bewegungspfads (A, A') des Roboters (2) basierend auf dem Bewegungspfad (A, A') der Finger (F) oder der Arme des Menschen (H), die durch die Bewegungspfadextraktionseinheit (14) extrahiert wurden, und basierend auf der Transformationsfunktion, die durch die Zuordnungserzeugungseinheit (17) erzeugt wurde, gekennzeichnet durcheine Ortsoptimierungseinheit, die konfiguriert ist, den Roboterbewegungspfad (A, A'), der durch die Bewegungspfaderzeugungseinheit (18) erzeugt wird, basierend auf einer Bewegungszeit, für die sich der Roboter (2) entlang des Bewegungspfads (A, A') bewegt, und basierend auf Beschleunigung jeder Welle des Roboters (2) zu optimieren.

Description

Die vorliegende Erfindung bezieht sich auf eine Roboterbewegungseinlernvorrichtung, ein Robotersystem und eine Robotersteuerung.
Bewegungseinlernvorrichtungen sind bekannt, die Roboter dazu bringen, menschliche manuelle Arbeit zu imitieren.
Die Druckschrift DE 10 2018 201 589 A1 offenbart ein Verfahren zur Programmierung der Steuerung eines Industrieroboters. In einem Schritt werden dabei Bahnsteuerungsdaten zur Steuerung einer Bewegung des Industrieroboters in Abhängigkeit von einer manuell bewirkten Bewegung des Industrieroboters erzeugt. In Abhängigkeit der Bahnsteuerungsdaten wird dann eine virtuellen Bahnkurve ermittelt. Die reale Werkstückgeometrie eines Werkstücks wird erfasst, mit der virtuellen Bahnkurve überlagert sowie angezeigt. Schließlich wird die virtuellen Bahnkurve in Abhängigkeit der überlagerten Anzeige bearbeitet und geänderte Bahnsteuerungsdaten werden in Abhängigkeit von der bearbeiteten virtuellen Bahnkurve erzeugt.
Die Druckschrift DE 11 2016 006 116 T5 offenbart eine Änderungserkennungseinheit zum Erkennen einer Änderung einer Position eines Arbeitsobjekts aus einem mithilfe einer Bildeingabevorrichtung erfassten Bild, eine Fingerbewegungs-Erkennungseinheit zum Erkennen einer Bewegung von Fingern eines Arbeiters aus dem mithilfe der Bildeingabevorrichtung erfassten Bild, eine Arbeitsinhalts-Schätzeinheit zum Schätzen eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobjekt aus der mithilfe der Fingerbewegungs-Erkennungseinheit erkannten Bewegung der Finger und eine Steuerprogramm-Erzeugungseinheit zum Erzeugen eines Steuerprogramms eines Roboters zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts aus dem von der Arbeitsinhalts-Schätzeinheit geschätzten Arbeitsinhalt und der Änderung der Position des Arbeitsobjekts, die von der Änderungserkennungseinheit erkannt wird.
Die Druckschrift DE 10 2013 110 847 B3 offenbart eine Steuervorrichtung zum Steuern eines Robotersystems mit wenigstens einem Roboterarm, an dem ein chirurgisches Instrument befestigt ist, das einen Endeffektor aufweist, wobei die Steuervorrichtung ein Bilderfassungssystem umfasst, das die Steuervorgabe wenigstens einer Hand aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems umsetzt. Um die Steuerung des Robotersystems zu vereinfachen und insbesondere intuitiv zu gestalten, ist eine Steuereinheit vorgesehen, die die Orientierung und/oder die Position und/oder den Öffnungsgrad des Endeffektors eines chirurgischen Instruments als erste Größe bzw. erste Größen ermittelt, und ferner die Orientierung und/oder die Position und/oder den Öffnungsgrad wenigstens einer Hand als zweite Größe bzw. zweite Größen ermittelt und im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe eine manuelle Steuerung des Endeffektors unterbindet, und im Falle einer Übereinstimmung einer oder mehrerer der ersten Größen mit der jeweils entsprechenden zweiten Größe eine Gestensteuerung freigibt, so dass das chirurgische Instrument von Hand betätigt werden kann.
Die Druckschrift DE 10 2010 029 745 A1 trifft ein Werkstück-Handhabungssystem, aufweisend mindestens zwei zur Handhabung von Werkstücken kooperierende Manipulatoren, die mittels wenigstens einer frei programmierbaren Steuervorrichtung in drei oder mehr Achsen automatisch steuerbar und/oder programmierbar sind, wobei mindestens ein erster Manipulator in wenigstens einem seiner Freiheitsgrade zum manuell geführten Bewegen eingerichtet ist, und die Steuervorrichtung eingerichtet ist, mindestens einen zweiten Manipulator in Abhängigkeit des manuell geführten Manipulators automatisch zusteuern. Die Druckschrift offenbart außerdem ein zugehöriges Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren, die von wenigstens einer Steuervorrichtung gesteuert sind.
Die Druckschrift US 2016 / 0 243 704 A1 offenbart ein Verfahren zum Programmieren mindestens eines Roboters durch Vorführung. Das Verfahren umfasst das Durchführen mindestens einer Demonstration mindestens einer Aufgabe im Sichtfeld mindestens einer feststehenden Kamera, um mindestens eine beobachtete Aufgabentrajektorie mindestens eines manipulierten Objekts, vorzugsweise mindestens einen Satz von beobachteten Aufgabentrajektorien, zu erhalten. Danach wird eine einer verallgemeinerte Aufgabentrajektorie aus der mindestens einen beobachteten Aufgabentrajektorie erzeugt, vorzugsweise aus dem mindestens einen Satz von beobachteten Aufgabentrajektorien.
Schließlich wird mindestens eine Aufgabe durch den mindestens einen Roboter im Sichtfeld der mindestens einen feststehenden Kamera ausgeführt, vorzugsweise unter Verwendung einer bildbasierten visuellen Servosteuerung, um die Differenz zwischen der ausgeführten Trajektorie während der Ausführung und der verallgemeinerten Aufgabentrajektorie zu minimieren.
Die Druckschrift US 2016 / 0 059 407 A1 offenbart eine Roboter-Lehrvorrichtung zum Lehren einer Operation eines Roboters. Die Roboter-Lehrvorrichtung misst einen Zustand einer Aktion eines Mechanismus an einem Zielobjekt, während der Mechanismus auf das Zielobjekt einwirkt. Der Mechanismus hat eine Form oder eine Funktion, die einer Handeinheit des Roboters entspricht. Die Roboter-Lehrvorrichtung erzeugt eine Betriebsanweisung für den Roboter auf der Grundlage des gemessenen Zustands und zeichnet die erzeugte Betriebsanweisung auf.
Die Bewegungseinlernvorrichtung in der Druckschrift JP S60 - 205 721 A verwendet mehrere Kameras zum Erhalten von Zeitreihendaten zu mehreren dreidimensionalen Positionen, die den Bewegungen der Arme, Hände und Fingerspitzen eines Menschen entsprechen, der an einem Gegenstand arbeitet, oder den Bewegungen des Objekts, an dem gearbeitet wird. Die Bewegungseinlernvorrichtung verwendet auch Sensoren, die an den Händen und Fingerspitzen des Menschen befestigt sind, um die Kraft zu erkennen, die auf den Gegenstand ausgeübt wird, an dem gearbeitet wird, und Zeitreihendaten über die Kraft zu erhalten. Die Vorrichtung transformiert die zwei Zeitreihendatensätze, die für denselben Zeitraum erhalten wurden, in Wellenortsdaten, die den Bewegungen der Gelenkwellen mehrerer Roboterarme entsprechen.
Die Bewegungseinlernvorrichtung in der Druckschrift JP S60 - 205 721 A nimmt jedoch an, dass ein Werkstück, an dem ein Mensch manuell arbeitet und ein Werkstück, an dem Roboter arbeiten, denselben Typ aufweisen. Daher ist es schwer für die Bewegungseinlernvorrichtung, Robotern Bewegungen beizubringen, wenn die Werkstücke auch nur leicht unterschiedlich geformt sind.
Die vorliegende Erfindung wurde mit Blick auf das obige Problem durchgeführt. Ein Aufgabe der Erfindung ist es, eine Roboterbewegungseinlernvorrichtung, ein Robotersystem und eine Robotersteuerung bereitzustellen, die einem Roboter leicht Bewegungen basierend auf einem arbeitenden Menschen beibringen können, um die Herstellungseffizienz selbst in dem Fall zu verbessern, dass ein Werkstück, das manuell durch den Menschen bearbeitet wird, und ein Werkstück, das durch den Roboter bearbeitet wird, unterschiedliche Typen aufweisen. Diese Aufgabe wir durch die Roboterbewegungseinlernvorrichtung gemäß Anspruch 1, das Robotersystem gemäß Anspruch 6 und die Robotersteuerung gemäß Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein Aspekt der vorliegenden Erfindung ist eine Roboterbewegungseinlernvorrichtung, enthaltend: eine Bewegungspfadextraktionseinheit, konfiguriert zum Verarbeiten von zeitvariierenden Bildern eines ersten Werkstücks und Fingern oder Armen eines Menschen, der an dem ersten Werkstück arbeitet, und dadurch einen Bewegungspfads der Finger oder Arme des Menschen zu extrahieren; Zuordnungserzeugungseinheit, konfiguriert zum Erzeugen einer Transformationsfunktion zur Transformation von dem ersten Werkstück zu einem zweiten Werkstück, das durch einen Roboter bearbeitet wird, basierend auf Merkmalspunkten des ersten Werkstücks und Merkmalspunkten des zweiten Werkstücks; und einer Bewegungspfaderzeugungseinheit, konfiguriert zum Erzeugen eines Bewegungspfads des Roboters basierend auf dem Bewegungspfad der Finger oder Arme des Menschen, die durch die Bewegungspfadextraktionseinheit extrahiert werden, und basierend auf der Transformationsfunktion, die durch die Zuordnungserzeugungseinheit erzeugt wird.
Nach diesem Aspekt verarbeitet die Bewegungspfadextraktionseinheit die zeitvariierenden Bilder des ersten Werkstücks und der Finger oder Arme des Menschen, der an dem ersten Werkstück arbeitet, und extrahiert dadurch den Bewegungspfad der Finger oder Arme des Menschen, und die Zuordnungserzeugungseinheit erzeugt die Transformationsfunktion für die Transformation von dem ersten Werkstück zu dem zweiten Werkstück, an dem der Roboter arbeitet, basierend auf den Merkmalspunkten des ersten Werkstücks und den Merkmalspunkten des zweiten Werkstücks. Die Bewegungspfaderzeugungseinheit erzeugt dann den Bewegungspfad des Roboters basierend auf dem extrahierten Bewegungspfad der Finger oder Arme des Menschen und der erzeugten Transformationsfunktion. Dieser Prozess ermöglicht die Verbesserung der Herstellungseffizienz durch leichtes Einlernen von Bewegungen für den Roboter basierend auf menschlicher Manueller Arbeit, selbst, wenn das erste Werkstück, an dem ein Mensch manuell arbeitet, und das zweite Werkstück, an dem der Roboter arbeitet, unterschiedliche Typen sind.
Erfindungsgemäß umfasst die Vorrichtung eine Ortsoptimierungseinheit, die konfiguriert ist, den Roboterbewegungspfad, der durch die Bewegungspfaderzeugungseinheit erzeugt wird, basierend auf einer Bewegungszeit, für die sich der Roboter entlang des Bewegungspfads bewegt, und basierend auf der Beschleunigung jeder Welle des Roboters zu optimieren.
Die Ortsoptimierungseinheit optimiert den Roboterbewegungspfad in einer Weise, um die Bewegungszeit zu verringern und übermäßig Beschleunigung zu regulieren.
In dem obigen Aspekt kann die Vorrichtung auch einen ersten visuellen Sensor enthalten, der konfiguriert ist, zeitvariierende Bilder des ersten Werkstücks und der Finger oder Arme des Menschen, der an dem ersten Werkstück arbeitet, zu erfassen, und eine erste Merkmalspunktextraktionseinheit, die konfiguriert ist, die Merkmalspunkte des ersten Werkstücks aus einem Bild zu extrahieren, das durch einen ersten visuellen Sensor erhalten wurde. Die Bewegungspfadextraktionseinheit kann konfiguriert sein, den Bewegungspfad der Finger oder Arme des Menschen aus den Bildern zu extrahieren, die durch den ersten optischen Sensor erhalten wurden.
In dieser Konfiguration erhält der erste optische Sensor zeitvariierende Bilder des ersten Werkstücks und der Finger oder Arme des Menschen, die Bewegungspfadextraktionseinheit extrahiert den Bewegungspfad der Finger oder Arme des Menschen aus den erhaltenen Bildern und die erste Merkmalspunktextraktionseinheit extrahiert die Merkmalspunkte des ersten Werkstücks aus den erhaltenen Bildern.
In dem obigen Aspekt kann die Vorrichtung auch einen zweiten optischen Sensor enthalten, der konfiguriert ist, ein Bild des zweiten Werkstücks zu erfassen, und eine zweite Merkmalspunktextraktionseinheit, die konfiguriert ist, die Merkmalspunkte des zweiten Werkstücks aus dem Bild zu extrahieren, das durch den zweiten optischen Sensor erhalten wurde.
In dieser Konfiguration erhält der zweite optische Sensor ein Bild des zweiten Werkstücks, und die zweite Merkmalspunktextraktionseinheit extrahiert die Merkmalspunkte des zweiten Werkstücks aus dem erhaltenen Bild.
In dem obigen Aspekt kann die Arbeit des Menschen an dem ersten Werkstück in einem virtuellen Raum ausgeführt werden.
Dies eliminiert die Notwendigkeit einer echten Arbeitsumgebung für das erste Werkstück und den Menschen und erlaubt die Extraktion des Bewegungspfads der Finger des Menschen, wenn der Mensch in dem ersten virtuellen Raum an einem ersten Werkstück, das durch Software erzeugt wurde, arbeitet, und dieses bewegt.
In dem obigen Aspekt kann die Vorrichtung auch eine Speichereinheit enthalten, die konfiguriert ist, die Merkmalspunkte des zweiten Werkstücks und den Roboterbewegungspfad in Assoziation miteinander zu speichern.
Dies verbessert die Arbeitseffizienz durch Lesen der Roboterbewegungspfad aus der Speichereinheit, wenn an dem zweiten Werkstück erneut gearbeitet wird.
Ein anderer Aspekt der vorliegenden Erfindung ist ein Robotersystem, enthaltend: mehrere Roboter; mehrere Controller, konfiguriert, jeweils die Roboter zu steuern; ein Netzwerk, konfiguriert zum Verbinden der Controller; und die obige Roboterbewegungseinlernvorrichtung, die mit dem Netzwerk verbunden ist.
Dieser Aspekt erlaubt den Controllern für die Roboter das Lesen des Bewegungspfads jedes Roboters von der Speichereinheit der Bewegungseinlernvorrichtung über das Netzwerk basierend auf den Merkmalspunkten des zweiten Werkstücks, und die Roboter können die Informationen untereinander austauschen.
Noch ein weiterer Aspekt der vorliegenden Erfindung ist eine Robotersteuerung, einschließlich der Roboterbewegungseinlernvorrichtung. Die zweite Merkmalspunktextraktionseinheit ist konfiguriert zum Extrahieren von Positionen der Merkmalspunkte des zweiten Werkstücks in vorgegebenen Intervallen. Die Robotersteuerung enthält eine Positions-/Haltungsberechnungseinheit, die konfiguriert ist, eine Gleichung aus der Bewegung jedes Merkmalspunkts in den vorgegebenen Intervallen basierend auf den extrahierten Positionen der Merkmalspunkte zu extrahieren, und eine Position oder Haltung des zweiten Werkstücks basierend auf jeder Merkmalspunktposition berechnet, die aus der jeweiligen aktualisierten Gleichung der Bewegung berechnet wurde. Die Robotersteuerung steuert den Roboter basierend auf der zweiten Werkstückposition oder -haltung, die durch die Positions-/Haltungsberechnungseinheit berechnet wurde, und veranlasst dadurch den Roboter, dem zweiten Werkstück zu folgen.
Nach diesem Aspekt extrahiert die zweite Merkmalspunktextraktionseinheit die Positionen der Merkmalspunkte des zweiten Werkstücks in den vorgegebenen Intervallen aus den Bildern, die durch den optischen Sensor erhalten wurden. Die Positions-/Haltungsberechnungseinheit aktualisiert dann die Gleichung der Bewegung jedes Merkmalspunkts in den vorgegebenen Intervallen basierend auf den Positionen der Merkmalspunkte, die durch die zweite Merkmalspunktextraktionseinheit extrahiert wurden. Die Positions-/Haltungsberechnungseinheit berechnet auch die Positionen der Merkmalspunkte erneut auf den aktualisierten Gleichungen der Bewegung, und berechnet die Position oder Haltung des zweiten Werkstücks basierend auf den berechneten Merkmalspunktpositionen. Die Robotersteuerung steuert dann den Roboter basierend auf der zweiten Werkstückposition oder - haltung, die durch die Positions-/Haltungsberechnungseinheit berechnet wurde, und veranlasst dadurch den Roboter, dem zweiten Werkstück zu folgen.
In dieser Weise werden die Gleichung der Bewegung jedes Merkmalspunkts in den vorgegebenen Intervallen aktualisiert und die Gleichung der Bewegung des zweiten Werkstücks kann so online festgestellt werden. Dies erlaubt es dem Roboter, dem zweiten Werkstück, selbst dann, wenn es sich zufällig bewegt, zuverlässig zu folgen.
Die vorliegende Erfindung kann vorteilhaft die Herstellungseffizienz durch leichtes Einlernen von Bewegungen für den Roboter basierend auf menschlicher Manueller Arbeit verbessern, selbst, wenn ein Werkstück, an dem ein Mensch manuell arbeitet, und ein Werkstück, an dem der Roboter arbeitet, unterschiedliche Typen sind.

1 illustriert eine ganze Konfiguration eines Robotersystems nach einer Ausführungsform der vorliegenden Erfindung.
2 ist ein Blockdiagramm einer Bewegungseinlernvorrichtung, die in dem Robotersystem in 1 enthalten ist.
3 illustriert die Transformationsfunktionserzeugungsverarbeitung durch eine Zuordnungserzeugungseinheit, die in der Bewegungseinlernvorrichtung in 2 enthalten ist.

Eine Roboterbewegungseinlernvorrichtung 10 und ein Robotersystem 1 nach einer Ausführungsform der vorliegenden Erfindung wird nun mit Verweis auf die Zeichnungen beschrieben.
Wie in 1 illustriert, enthält das Robotersystem 1 nach der vorliegenden Ausführungsform einen Roboter 2, eine Robotersteuerung 3, die mit dem Roboter 2 verbunden ist, und die Bewegungseinlernvorrichtung 10 nach der vorliegenden Ausführungsform, verbunden mit der Robotersteuerung 3.
Die Bewegungseinlernvorrichtung 10 enthält eine erste Kamera (einen ersten optischen Sensor) 11, die zeitvariierende Bilder eines ersten Werkstücks W1 und Finger F eines Menschen H erfasst, wenn der Mensch H an dem ersten Werkstück W1 arbeitet, eine zweite Kamera (einen zweiten optischen Sensor) 12, die Bilder eines zweiten Werkstücks W2 erfasst, an dem der Roboter 2 arbeitet, und eine Bildverarbeitungseinheit 13, die mit der ersten Kamera 11 und der zweiten Kamera 12 verbunden ist.
Wie in 2 illustriert, enthält die Bildverarbeitungseinheit 13 eine Bewegungspfadextraktionseinheit 14, die mit der ersten Kamera 11 verbunden ist, eine erste Merkmalspunktextraktionseinheit 15, die mit der ersten Kamera 11 verbunden ist, eine zweite Merkmalspunktextraktionseinheit 16, die mit der zweiten Kamera 12 verbunden ist, eine Zuordnungserzeugungseinheit 17, die mit der ersten Merkmalspunktextraktionseinheit 15 und einer zweiten Merkmalspunktextraktionseinheit 16 verbunden ist, und eine Bewegungspfaderzeugungseinheit 18, die mit der Bewegungspfadextraktionseinheit 14 und der Zuordnungserzeugungseinheit 17 verbunden ist.
Die Bewegungspfadextraktionseinheit 14 extrahiert den Bewegungspfad der Finger F des Menschen H aus den Bildern, die durch die erste Kamera 11 erhalten wurden. Genauer gesagt wird mit den Markierungen an den Fingern F des Menschen H eine bekannte Bewegungserfassungstechnik verwendet, um die Bewegungsspur der Markierungen aus den zeitvariierenden Bildern zu extrahieren, die durch die erste Kamera 11 erfasst werden.
Die erste Merkmalspunktextraktionseinheit 15 führt die Bildverarbeitung durch, um das erste Werkstück W1 in einem der Bilder zu extrahieren, die durch die erste Kamera 11 erhalten wurden, und extrahiert die Koordinaten der mehreren Merkmalspunkte, wie etwa Eckpunkte und Kanten.
Die zweite Merkmalspunktextraktionseinheit 16 führt die Bildverarbeitung durch, um das zweite Werkstück W2 in einem der Bilder zu extrahieren, die durch die zweite Kamera 12 erhalten wurden, und extrahiert die Koordinaten mehrerer Merkmalspunkte, wie etwa Eckpunkte und Kanten.
Die Zuordnungserzeugungseinheit 17 berechnet eine Transformationsfunktion f unter Verwendung der Zuordnung einer theoretischen Formel (1) unten, basierend auf den Koordinaten der Merkmalspunkte, die durch die erste Merkmalspunktextraktionseinheit 15 extrahiert wurden, und der Koordinaten der Merkmalspunkte, die durch die zweite Merkmalspunktextraktionseinheit 16 extrahiert wurden. $\begin{array}{l} ƒ = a r g m i n_{ƒ} {\sum_{k} ‖ ƒ (x^{(k)}) - x^{(k)} ‖}^{2} \\ + \int_{x 1} \int_{x 2} [{(\frac{\partial^{2} ƒ}{\partial x_{1}^{2}})}^{2} + 2 {(\frac{\partial^{2} ƒ}{\partial_{x 1} \partial_{x 2}})}^{2} + {(\frac{\partial^{2} ƒ}{\partial x_{2}^{2}})}^{2}] d x_{1} d x_{2} \end{array}$
Wobei Referenzzeichen f die Transformationsfunktion bezeichnet, k die Anzahl der Merkmalspunkte des ersten Werkstücks W1 bezeichnet, x^(k) die Koordinaten des k-ten Merkmalspunkts bezeichnet, x₁ und x₂ die Koordinaten (x₁, x₂) für eine zweidimensionale Form in einem zweidimensionalen Koordinatensystem bezeichnen, x^(k)' die Koordinaten des k-ten Merkmalspunkts des zweiten Werkstücks W2 bezeichnen und f(x^(k)) die Koordinaten an dem zweiten Werkstück W2 bezeichnen, auf das die k-ten Koordinaten x^(k) des ersten Werkstücks W1 durch die Zuordnungsfunktion f zugeordnet werden.
Das Berechnungsverfahren wird nun durch Verweis auf 3 beschrieben. 3 illustriert eine rechteckige Form B und eine Form B' als ein Beispiel. Die Form B ist die Form des ersten Werkstücks W1 und die Form B' ist die Form des zweiten Werkstücks W2, die sich von der Form des ersten Werkstücks W1 unterscheidet.
In 3 wird ein Punkt C in einer frei gewählten Position auf dem ersten Werkstück W1 definiert. Die Form B des ersten Werkstücks W1, die Form B' des zweiten Werkstücks W2, und der Punkt C sind in 3 als Koordinaten in einem Koordinatensystem C₂ dargestellt.
3 zeigt einen Punkt C', der die Position an der Form des zweiten Werkstücks W2 ist, die der Position des Punkts C an der Form des ersten Werkstücks W1 entspricht. Wenn die Koordinaten der Form B des ersten Werkstücks W1 und der Form B' des zweiten Werkstücks W2 in dem Koordinatensystem C₂ bekannt sind, kann die Position des Punkts C' (d. h die Koordinaten im Koordinatensystem C₂) durch Ersetzen dieser Koordinaten in der Transformationsfunktion f der Formel (1) berechnet werden.
Die Bewegungspfaderzeugungseinheit 18 verwendet ein solches Berechnungsverfahren zur Berechnung des Bewegungspfads für die Form B' des zweiten Werkstücks W2, die dem Bewegungspfad der Finger F des Menschen H entspricht, die für die Form B des ersten Werkstücks W1 erhalten werden. Genauer kann die Bewegungspfaderzeugungseinheit 18 in dem Koordinatensystem in 1 einen Bewegungspfad A' des Roboters 2 für das zweite Werkstück W2 berechnen, indem es in der Transformationsfunktion f einen Bewegungspfad A der Finger F des Menschen H für das erste Werkstück W1 ersetzt, der durch die Bewegungspfadextraktionseinheit 14 extrahiert wurde.
Wenn der Robotersteuerung 3 den Bewegungspfad A von der Bewegungspfaderzeugungseinheit 18 empfängt, multipliziert die Robotersteuerung 3 die Koordinaten der Punkte des Bewegungspfads A mit einer Koordinatentransformationsmatrix (z. B. eine Jacobimatrix) zur Transformation der Koordinaten des Bewegungspfads A in Koordinaten auf dem dreidimensionalen Roboterkoordinatensystem. Die entstehenden Koordinaten können als Einlernpunkte verwendet werden, um den Roboter 2 dem Bewegungspfad A' entsprechend zu bewegen.
Die Bewegungseinlernvorrichtung 10 und das Robotersystem 1 nach der vorliegenden Ausführungsform transformieren den Bewegungspfad A der Finger F des Menschen H, der durch eine Bewegungserfassungstechnik erhalten wurde, in den Bewegungspfad A' des Roboters 2. Die Bewegungseinlernvorrichtung 10 und das Robotersystem 1 können so den Zeitraum zum Einlernen eines komplizierten Bewegungspfads A im Verglich mit einer Technik, die einen Lernanhänger verwendet, verkürzen. Der einlernende Mensch H kann den Bewegungspfad A vorteilhaft durch intuitive Bewegungen einlernen. Weiterhin kann der einlernende Mensch H im Gegensatz zu einer Technik, die einen Lernanhänger verwendet, vorteilhaft auch nicht qualifiziert sein.
In der Bewegungseinlernvorrichtung 10 und dem Robotersystem 1 nach der vorliegenden Ausführungsform erzeugt die Zuordnungserzeugungseinheit 17, selbst, wenn das erste Werkstück W1, an dem der Mensch H arbeitet, und das zweite Werkstück W2, an dem der Roboter 2 arbeitet, nicht eine identische Form aufweisen, eine Transformationsfunktion, die die Transformation des Bewegungspfads A der Finger F des Menschen H in den Bewegungspfad A' des Roboters 2 basierend auf der Differenz der Formen der Werkstücke W1 und W2 erlauben.
Selbst wenn beispielsweise das erste Werkstück W1 und das zweite Werkstück W2 sich in der Form ähneln oder sich in einer Dimension unterscheiden, kann der Bewegungspfad A' des Roboters 2 genau erzeugt werden. Dies erlaubt dem Menschen H vorteilhaft das einfache Einlernen von Bewegungen für den Roboter 2 basierend auf intuitiver manueller Arbeit, was die Herstellungseffizienz erhöht.
Weiterhin müssen im Gegensatz zum Einlernen mit einer Computersimulation vorteilhaft nicht unbedingt genaue CAD-Daten erzeugt werden.
Die vorliegende Ausführungsform kann auch eine Ortsoptimierungseinheit (nicht dargestellt) umfassen, die den Bewegungspfad A' des Roboters 2 optimiert, der durch die Bewegungspfaderzeugungseinheit 18 erzeugt wird. Die Ortsoptimierungseinheit kann die Verarbeitung der Optimierung des Bewegungspfads A' beispielsweise unter Verwendung der Technik durchführen, die in Changliu Liu, Masayoshi Tomizuka, Real time trajectory optimization for nonlinear robotics systems: Relaxation and convexification, Systems & Control Letters 108 (2017), S. 56 bis 63, beschrieben ist.
Die Optimierungsverarbeitung optimiert den Ort nach der Ortsplanung, um ein Hindernis zu vermeiden. In der Ortsplanung werden die Bewertungsfunktion und die einschränkenden Bedingungen, die durch die Formeln (2) bis (5) unten dargestellt sind, verwendet, um einen Ort zu bestimmen, der mit einem geringen Motordrehmoment und einer kleinen Abweichung von dem erzeugten Bewegungspfad A' einen vorgegebenen Abstand von dem Hindernis einhält. $\underset{x, u}{m i n} J (x, u) = w_{1} {‖ x - x^{r} ‖}_{Q}^{2} + w_{2} {‖ u ‖}_{R}^{2}$
$x_{t} \in X, u_{t} \in u$
$x_{t} = ƒ (x_{t - 1}, u_{t - 1})$
$d (x_{t}, O_{t}) \geq d_{m i n}, \forall t = 1, \dots \dots, N$
Die Formel (2) stellt eine Bewertungsfunktion J(x, u) für die Ortsplanung dar und bestimmt den Ort x und das Drehmoment u, die die Summe der quadrierten Norm der Menge einer Abweichung von dem vorgegebenen Bewegungspfad x^r des Roboters 2 (x - x^r) und der quadrierten Norm des Motordrehmoments u, darstellt, wobei die vorgegebenen Gewichtungen ω₁ und ω₂ jeweils den quadrierten Normen zugewiesen werden.
Die Formeln (3), (4) und (5) sind einschränkende Bedingungen für die Formel (2).
Die Formel (4) ist ein Dynamikmodell.
Die Formel (5) gibt den Zustand vor, dass der Abstand von dem Hindernis größer ist, als der Mindestabstand.
In der Ortsoptimierung werden die Ortsbewertungsfunktion und die einschränkenden Bedingungen, die durch die Formeln (6) bis (8) unten dargestellt sind, verwendet, um den Ort in einer Weise zu bestimmen, um die Bewegungszeit für die Bewegung entlang des Bewegungspfads A' zu verringern und auch die Beschleunigung zu verringern. $\underset{τ, α}{m i n} J_{T} (τ, α) = w_{3} {‖ τ ‖}_{1} + w_{4} {‖ α ‖}_{R}^{2}$
$τ > 0, α \in A$
$g_{T} (τ, α) = 0$
Die Formel (6) stellt eine Bewertungsfunktion J_T(τ, a) für die Ortsoptimierung dar und bestimmt die Bewegungszeit τ und die Beschleunigung a, die die Summe der quadrierten Norm der Bewegungszeit τ und der quadrierten Norm der Beschleunigung a minimieren, wobei die vorgegebenen Gewichtungen ω₃ und ω₄ jeweils den quadrierten Normen zugewiesen werden.
Die Formeln (7) und (8) sind einschränkende Bedingungen für die Formel (6), und die Formel (8) stellt die Beziehung zwischen Zeit und Beschleunigung dar.
Die Verarbeitung der Optimierung des Bewegungspfads A' ermöglicht das Einlernen des Bewegungspfads A', der eine schnelle Bewegung ohne Kollision mit einem Hindernis in der Nähe erlaubt.
Wenn sich das zweite Werkstück W2 zufällig bewegt, kann beispielsweise die Robotersteuerung, die in der japanischen ungeprüften Patentanmeldung Veröffentlichungsnr. JP 2018 - 027 580 A offenbart ist, verwendet werden. Genauer kann die zweite Merkmalspunktextraktionseinheit 16 die Positionen mehrerer Merkmalspunkte des zweiten Werkstücks W2 zu vorgegebenen Intervallen extrahieren, und eine Positions-/Haltungsberechnungseinheit kann die Gleichung der Bewegung jedes Merkmalspunkts in denselben Intervallen basierend auf den extrahierten Positionen der Merkmalspunkte aktualisieren und die Position oder Haltung des zweiten Werkstücks W2 basierend auf der Position jedes Merkmalspunkts berechnen, der aus der jeweiligen aktualisierten Gleichung der Bewegung berechnet wurde. Der Roboter 2 kann basierend auf der berechneten Position oder Haltung des zweiten Werkstücks W2 gesteuert werden. Dies erlaubt dem Roboter 2 vorteilhaft, durch optisches Servoing dem zweiten Werkstück W2 zu folgen, das sich zufällig bewegt.
Wenn das zweite Werkstück W2 eine unbestimmte Form aufweist, wie etwa ein Kabel, kann ein Bild, das durch die erste Kamera 11 erhalten wird, verwendet werden, die Form durch Simulation zu erkennen, und die Zuordnungserzeugungseinheit 17 kann die Transformationsfunktion basierend auf der erkannten Funktion bestimmen.
In der vorliegenden Ausführungsform wird eine bekannte Bewegungserfassungstechnik verwendet, um die Bewegungsspur der Markierungen von den zeitvariierenden Bildern zu extrahieren, die durch die erste Kamera 11 mit den Markierungen an den Fingern F des Menschen H erhalten wurden. Stattdessen kann der Mensch H an dem ersten Werkstück W1 in einem Virtual-Reality-(VR) Raum arbeiten. Dies erlaubt es, den Bewegungspfad A der Finger F des Menschen H zu extrahieren, ohne eine echte Arbeitsumgebung für das erste Werkstück W1 und den Menschen H bereitzustellen.
Weiterhin kann eine Speichereinheit enthalten sein, um die Merkmalspunkte des zweiten Werkstücks W2 zu speichern und den Bewegungspfad A' des Roboters 2 in Assoziation miteinander zu erzeugen. Dies verbessert die Arbeitseffizienz durch Lesen des Bewegungspfads A! des Roboters 2 aus der Speichereinheit, wenn an dem zweiten Werkstück W2 erneut gearbeitet wird.
Ein Robotersystem kann verwendet werden, das mehrere Roboter 2, Controller, die die Roboter 2, ein Netzwerk, das die Controller verbindet, und die Bewegungseinlernvorrichtung 10, die eine Speichereinheit enthält, die mit dem Netzwerk verbunden ist, umfasst.
Das Robotersystem erlaubt den Controllern für die Roboter 2 das Lesen des Bewegungspfads jedes Roboters 2 von der Speichereinheit der Bewegungseinlernvorrichtung 10 über das Netzwerk basierend auf den Merkmalspunkten des zweiten Werkstücks W2, und die Roboter 2 können die Informationen vorteilhaft untereinander austauschen.
Bezugszeichenliste

1: Robotersystem
2: Roboter
3: Robotersteuerung
10: Bewegungseinlernvorrichtung
11: Erste Kamera (erster optischer Sensor)
12: Zweite Kamera (zweiter optischer Sensor)
14: Bewegungspfadextraktionseinheit
15: Erste Merkmalspunktextraktionseinheit
16: Zweite Merkmalspunktextraktionseinheit
17: Zuordnungserzeugungseinheit
18: Bewegungspfaderzeugungseinheit
W1: Erstes Werkstück
W2: Zweites Werkstück
A, A': Bewegungspfad
F: Finger
H: Mensch

Claims

Roboterbewegungseinlernvorrichtung (10), umfassend: eine Bewegungspfadextraktionseinheit (14), konfiguriert zum Verarbeiten von zeitvariierenden Bildern eines ersten Werkstücks (W1) und von Fingern (F) oder Armen eines Menschen (H), der an dem ersten Werkstück (W1) arbeitet, und dadurch einen Bewegungspfad (A, A') der Finger (F) oder Arme des Menschen (H) zu extrahieren; eine Zuordnungserzeugungseinheit (17), konfiguriert zum Erzeugen einer Transformationsfunktion für die Transformation von dem ersten Werkstück (W1) auf ein zweites Werkstück (W2) basierend auf Merkmalspunkten des ersten Werkstücks (W1) und Merkmalspunkten des zweiten Werkstücks (W2), wobei das zweite Werkstück (W2) durch einen Roboter (2) bearbeitet wird; und eine Bewegungspfaderzeugungseinheit (18), konfiguriert zum Erzeugen eines Bewegungspfads (A, A') des Roboters (2) basierend auf dem Bewegungspfad (A, A') der Finger (F) oder der Arme des Menschen (H), die durch die Bewegungspfadextraktionseinheit (14) extrahiert wurden, und basierend auf der Transformationsfunktion, die durch die Zuordnungserzeugungseinheit (17) erzeugt wurde, gekennzeichnet durch eine Ortsoptimierungseinheit, die konfiguriert ist, den Roboterbewegungspfad (A, A'), der durch die Bewegungspfaderzeugungseinheit (18) erzeugt wird, basierend auf einer Bewegungszeit, für die sich der Roboter (2) entlang des Bewegungspfads (A, A') bewegt, und basierend auf Beschleunigung jeder Welle des Roboters (2) zu optimieren.
Roboterbewegungseinlernvorrichtung (10) nach Anspruch 1, ferner umfassend: einen ersten optischen Sensor (11), konfiguriert zum Erhalten zeitvariierender Bilder des ersten Werkstücks (W1) und der Finger (F) oder der Arme des Menschen (H), der an dem ersten Werkstück (W1) arbeitet; und eine erste Merkmalspunktextraktionseinheit (15), konfiguriert zum Extrahieren der Merkmalspunkte des ersten Werkstücks (W1) aus einem Bild, das durch den ersten optischen Sensor (11) erhalten wurde, wobei die Bewegungspfadextraktionseinheit (14) konfiguriert ist, einen Bewegungspfad (A, A') der Finger (F) oder der Arme des Menschen (H) aus den Bildern zu extrahieren, die durch den ersten optischen Sensor (11) erhalten wurden.
Roboterbewegungseinlernvorrichtung (10) nach einem der Ansprüche 1 bis 2, ferner umfassend: einen zweiten optischen Sensor (12), konfiguriert zum Erfassen eines Bilds des zweiten Werkstücks (W2); und eine zweite Merkmalspunktextraktionseinheit (16), konfiguriert zum Extrahieren der Merkmalspunkte des zweiten Werkstücks (W2) aus einem Bild, das durch den zweiten optischen Sensor (12) erhalten wurde.
Roboterbewegungseinlernvorrichtung (10) nach Anspruch 1, wobei die Arbeit des Menschen (H) an dem ersten Werkstück (W1) in einem virtuellen Raum ausgeführt wird.
Roboterbewegungseinlernvorrichtung (10) nach einem der Ansprüche 1 bis 4, ferner umfassend eine Speichereinheit, die konfiguriert ist, die Merkmalspunkte des zweiten Werkstücks (W2) und den Roboterbewegungspfad (A, A') in Assoziation miteinander zu speichern.
Robotersystem (1), umfassend: mehrere Roboter (2); mehrere Controller, die konfiguriert sind, jeweils die Roboter (2) zu steuern; ein Netzwerk, das konfiguriert ist, sich mit den Controllern zu verbinden; und die Roboterbewegungseinlernvorrichtung (10) nach Anspruch 5, wobei die Vorrichtung mit dem Netzwerk verbunden ist.
Robotersteuerung (3), umfassend die Roboterbewegungseinlernvorrichtung (10) nach Anspruch 3, wobei die zweite Merkmalspunktextraktionseinheit (16) zum Extrahieren von Positionen der Merkmalspunkte des zweiten Werkstücks (W2) in vorgegebenen Intervallen konfiguriert ist, die Robotersteuerung (3) eine Positions-/Haltungsberechnungseinheit umfasst, die konfiguriert ist, eine Gleichung aus der Bewegung jedes Merkmalspunkts in den vorgegebenen Intervallen basierend auf den extrahierten Positionen der Merkmalspunkte zu extrahieren, und eine Position oder Haltung des zweiten Werkstücks (W2) basierend auf jeder Merkmalspunktposition berechnet, die aus der jeweiligen aktualisierten Gleichung der Bewegung berechnet wurde; und die Robotersteuerung (3) den Roboter (2) basierend auf der zweiten Werkstückposition oder -haltung steuert, die durch die Positions-/Haltungsberechnungseinheit berechnet wurde, und dadurch den Roboter (2) veranlasst, dem zweiten Werkstück (W2) zu folgen.