DE202018103922U1

DE202018103922U1 - Greifsystem als intelligentes Sensor-Aktor-System

Info

Publication number: DE202018103922U1
Application number: DE202018103922.9U
Authority: DE
Original assignee: Schunk GmbH and Co KG
Current assignee: Schunk GmbH and Co KG
Priority date: 2018-07-09
Filing date: 2018-07-09
Publication date: 2018-08-06
Anticipated expiration: 2028-07-10

Abstract

Greifsystem mit einer wenigstens einen Aktuator aufweisenden Greifeinrichtung, mit Sensordaten erzeugenden Sensoren, die das unmittelbare Greiffeld und/oder einen Werkstückkontakt der Greifeinrichtung mit einem Werkstück überwachen, und mit wenigstens einer dezentralen Signalanalyse- und Steuereinheit, dadurch gekennzeichnet, dass das Greifsystem als intelligentes Sensor-Aktor-System derart eingerichtet ist und dass die Signalanalyse- und Steuereinheit ein künstliches neuronales Netzwerk so einrichtet und ausbildet, dass unmittelbar im Greifumfeld gewonnene Sensordaten direkt analysiert und Fähigkeiten des maschinellen Lernens zur Bestimmung und situationsgerechten Anpassung der für den Greifprozess relevanten Greifparameter und zur Ansteuerung des Aktuators in Abhängigkeit von der zu erledigenden Handhabungsaufgabe genutzt werden.

Description

Die Erfindung betrifft ein Greifsystem mit einer wenigstens einen Aktuator aufweisenden Greifeinrichtung, mit Sensordaten erzeugenden Sensoren, die das unmittelbare Greiffeld und/oder einen Werkstückkontakt der Greifeinrichtung mit einem Werkstück überwachen, und mit wenigstens einer dezentralen Signalanalyse- und Steuereinheit. Derartige Greifsysteme sind aus dem Stand der Technik in vielfältiger Art und Weise bekannt, insbesondere als Parallelgreifer- oder zentrische Greifersysteme.
Bei heutigen Greifsystemen finden Endeffektoren Verwendung, die als Aktoren am Ende einer kinematischen Kette (beispielsweise als Anbauwerkzeuge an einem Roboter) eingesetzt und in der Regel zum Öffnen oder Schließen bzw. zur Greifkrafterzeugung und Werkstückhandhabung pneumatisch über Kolbenhübe oder mechatronisch mittels elektromotorischer Antriebskomponenten angesteuert werden. Sie weisen entweder keine eigene Steuerung oder allenfalls Komponenten zur deterministischen Ansteuerung der relevanten Funktionsbaugruppen (z. B. der Motoren) auf.
Im Allgemeinen stellen diese Greifsysteme reine Aktoren dar, die ihre Handhabungsaufgaben schnell und zuverlässig erledigen. Die Aktionen sind vorprogrammiert und vorhersehbar. Integrierte oder angebaute Sensoren werden allenfalls zur Wegmessung, Greifpositions- oder Endlagenerkennung eingesetzt.
Im Greifer bzw. im Greiferumfeld eingesetzte Steuerungssysteme setzen Steuerkommandos übergeordneter Einheiten (z. B. der Robotersteuerung) direkt über unidirektionale Schnittstellen um und sorgen für ein kontrolliertes Greifen, Öffnen oder Schließen. Sie eröffnen im Allgemeinen nur eine eingeschränkte Möglichkeit der Parameteranpassung und weisen keine bzw. nur eine eingeschränkte Sensitivität auf. Eine eigenständige Systemanpassung unter Nutzung von Methoden der künstlichen Intelligenz oder des maschinellen Lernens kommt nicht zum Einsatz.
Zur Vorgabe der idealen Greifparameter muss der Anwender heute konkret wissen, was für ein Werkstück und wie dieses am besten zu greifen ist, ohne dabei das Werkstück zu beschädigen oder es auf den Bewegungsfahrten des Manipulators zu verlieren. Bei der Vorgabe der Greifparameter müssen diese auf dem Erfahrungshintergrund des Anwenders direkt ausgewählt oder durch direkte Messung und Regelung charakteristischer Kenngrößen, z. B. der Greifkräfte, in einem geschlossenen Regelkreis situationsgerecht adaptiert werden.
Alternativ zu diesen bekannten, geschlossenen Regelkreisen werden bei anderen Prozessen verstärkt auch Methodenansätze aus der Künstlichen Intelligenz Forschung (KI) genutzt, um eine adaptive Regelung komplexer Vorgänge auf indirektem Weg über Lernstrategien zu erreichen, insbesondere dort, wo eine bildgebende oder taktile Sensortechnik ihre Grenzen erreicht, beispielsweise bei der Sortierung stark diversifizierter Werkstücke in Logistikanwendungen.
Das Machine Learning (ML) verleiht einem Algorithmus beispielsweise selbstlernende Fähigkeiten. Dies erfolgt in der Regel unter der Nutzung neuronaler Netze, die explizit durch Trainingsphasen und Bewertung sowie unterstützt durch geeignete Modellierung trainiert werden und sich so ideal auf die Anwendung selbst anpassen.
Das neuronale Netz stellt hierbei einen mehrstufigen, rechenaufwendigen Prozess dar, der Daten über mehrere Stufen separiert, nach verschiedensten Merkmalen bewertet und so Klassifizierungen vornimmt. Die intelligente Leistung des Algorithmus liegt darin, dass er bekannte Muster erkennt und anhand der vorher getätigten Klassifizierung lernt, wie mit diesen umzugehen ist.
Ein intelligentes Greifwerkzeug lernt auf diese Weise, anhand welcher Parameter das handzuhabende Werkstück einzustufen ist. Damit kann der Algorithmus zukünftige Werkstücke während des Greifprozesses selbstständig klassifizieren und die Handhabung situationsgerecht vornehmen.
Im bisherigen Stand der Technik kommen neuronale Netze und das maschinelle Lernen vor allem unter Ausnutzung von zusätzlicher optischer Messtechnik und bildverarbeitender Systeme zum Einsatz.
Noch immer klafft eine große Lücke zwischen den Fähigkeiten des Menschen und den Fähigkeiten heutiger Roboter, selbst wenn es um vermeintlich einfache Dinge wie das Greifen beliebiger Alltagsgegenstände und die Handhabung beliebiger Stückgüter geht, die man unter Ausnutzung von Methoden der KI zukünftig gezielt verkleinern möchte.
Bei den bisher bekannten Anwendungen neuronaler Netze im Umfeld der Stückguthandhabung und Greiftechnik erfolgten die Realisierung und das Training neuronaler Netze unter Nutzung und Verarbeitung gemessener Sensordaten, die von periphär gewonnenen, vorzugsweise optischen Sensorsystemen wie Kameras oder 3D Laserscanner stammen.
Google Research nutzte beispielsweise 14 Roboterarme, ausgestattet mit Zweifingergreifern und einer monokularen Farbkamera, um ein neuronales Netz für Greifprozesse auf Basis der optischen Daten zu trainieren. Dabei durften die genutzten Aufbauten und die Anordnung der Roboter, der Kameras und der Greifer nur minimal variiert werden, um in der nachgelagerten betrieblichen Anwendung auf die eintrainierten Trainingsläufe und die dabei gewonnene Parametrierung der neuronalen Netze verlässlich zurückzugreifen.
Größere Veränderungen des Aufbaus erforderten jeweils ein komplett neues, über zahlreiche Stunden andauendes Training der neuronalen Netze und der Systeme, deren Fehleranfälligkeit auf Grund der insgesamt zu betrachtenden kinematischen Kette und der Einsatzbedingungen des zu nutzenden periphären Sensorsystems erheblich ist; nicht zuletzt auch wegen der Störanfälligkeit und hohen Abhängigkeit von den Beleuchtungsverhältnissen der genutzten Kameras und vergleichbarer optischer Komponenten.
Der Erfindung liegt daher die Aufgabe zu Grunde, den genannten Nachteilen des Standes der Technik abzuhelfen.
Diese Aufgabe wird durch ein Greifsystem mit den Merkmalen des Patentanspruchs 1 gelöst. Folglich ist vorgesehen, dass das Greifsystem als intelligentes Sensor-Aktor-System derart eingerichtet ist und dass die Signalanalyse- und Steuereinheit ein künstliches neuronales Netzwerk so einrichtet und ausbildet, dass unmittelbar im Greifumfeld gewonnene Sensordaten direkt analysiert und Fähigkeiten des maschinellen Lernens zur Bestimmung und situationsgerechten Anpassung der für den Greifprozess relevanten Greifparameter und zur Ansteuerung des Aktuators in Abhängigkeit von der zu erledigenden Handhabungsaufgabe genutzt werden.
Vorgeschlagen wird die funktionelle Erweiterung klassischer Greifsysteme und Endeffektoren um eine dezentrale Signalanalyse- und Steuereinheit im oder außerhalb des Greifers oder Endeffektors, die unmittelbar im Greifumfeld im unmittelbaren oder direkten Werkstückkontakt gewonnene Sensorsignale mittels eines neuronalen Netzwerks analysiert, eine Werkstück- und Greifprozessklassifikation über maschinelles Lernen vornimmt und die Regelparametereinstellungen des Greifsystems in-situ an die zu erledigende Greif- und Handhabungsaufgabe und an das vorgefundene Werkstück situationsgerecht anpasst, ggf. durch maschinelles Lernen optimiert und die gewonnene Lernerfahrung mit anderen vergleichbaren Greifsystemen teilt.
Vorteilhafterweise wird eine Bewertung haptischer Sensorsignale aus dem Greifumfeld durch eine dezentrale externe oder eine im Greifer oder im Endeffektor eingebettete interne Systemintelligenz genutzt. Neu ist insbesondere ein Training neuronaler Netze auf der Basis taktiler Sensoren, die auf Grund von Kraftmessungen oder über die Werkstückberührung möglicher weiterer elektrischer Sensorsignale ein maschinelles Lernen ermöglichen.
Insbesondere neu ist hierbei der unmittelbare Einsatz neuronaler Netzwerke zur Optimierung von Greifprozessen und die hierbei genutzte Lernstrategie, die beim Training auf direkt und unmittelbar im Greifraum aufgenommenen Sensorsignalen basiert und daraus abgeleitete Erkenntnisse direkt verarbeitet.
Insbesondere neu ist, dass das vorgeschlagene Greifsystem und das genutzte neuronale Netz ohne Mustererkennung aus Bilddaten oder Signalen auskommt, welche von periphären, nicht am Greifprozess unmittelbar beteiligter optischer Messsysteme herrühren; seien es pixelbasierte Kameradaten oder Punktewolken, die mittels Scannern oder aus der Auswertung mehrerer Kamerasysteme erzeugt werden.
Insbesondere neu ist, dass bei der Werkstoff- und Werkstückklassifikation, die durch das neuronale Netz vorgenommen wird, eine unmittelbare Bewertung der Werkstückeigenschaften erfolgt und das maschinelle Lernen nicht über die Auswertung dritter Informationsquellen, z. B. Kamerabildern, erfolgt.
Insbesondere neu ist, dass erstmals der Einsatz neuronaler Netzwerke im unmittelbaren Greiferumfeld bzw. direkt integriert als Embedded System in einem Greifwerkzeug oder Endeffektor vorgeschlagen wird und diese sich beim Lernen auf abgeleitete Größen aus dem Kraft-Weg-System sowie weiterer durch Sensorfusion und Analyse mehrerer integrierter Messstellen gewonnene Erkenntnisse abstützen.
Insbesondere neu ist auch, dass durch den Einsatz der neuronalen Netzwerke nicht nur eine Werkstückerkennung erreicht wird, sondern darüber hinaus eine unmittelbare Optimierung bei der Durchführung der Handhabungsaufgabe ermöglicht wird.
Insbesondere neu ist ferner, dass durch die In-Situ Analyse der Greifkraftsituation mittels des im Greifsystem integrierten neuronalen Netzwerks keine unmittelbare Interaktion mit allen Elementen der kinematischen und sensoroptischen Wirkketten (z. B. der Roboterarme oder der Kameras) mehr erforderlich ist und daher auch unabhängig von der konkreten Anordnung des Roboters oder eines periphären optischen Mess- oder Kamerasystems ein maschinelles Lernen und eine Weiternutzung der hierbei gewonnenen Lernerfahrung für das Greifen ermöglicht wird, das nunmehr ausschließlich vom genutzten Greifsystem abhängt.
Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen definiert.

Claims

Greifsystem mit einer wenigstens einen Aktuator aufweisenden Greifeinrichtung, mit Sensordaten erzeugenden Sensoren, die das unmittelbare Greiffeld und/oder einen Werkstückkontakt der Greifeinrichtung mit einem Werkstück überwachen, und mit wenigstens einer dezentralen Signalanalyse- und Steuereinheit, dadurch gekennzeichnet, dass das Greifsystem als intelligentes Sensor-Aktor-System derart eingerichtet ist und dass die Signalanalyse- und Steuereinheit ein künstliches neuronales Netzwerk so einrichtet und ausbildet, dass unmittelbar im Greifumfeld gewonnene Sensordaten direkt analysiert und Fähigkeiten des maschinellen Lernens zur Bestimmung und situationsgerechten Anpassung der für den Greifprozess relevanten Greifparameter und zur Ansteuerung des Aktuators in Abhängigkeit von der zu erledigenden Handhabungsaufgabe genutzt werden.
Greifsystem nach Anspruch 1 oder nach dem Oberbegriff von Anspruch 1, dadurch gekennzeichnet, dass das Greifsystem als intelligentes Sensor-Aktor-System derart eingerichtet ist und dass die Signalanalyse- und Steuereinheit ein künstliches neuronales Netzwerk so einrichtet und ausbildet, dass unmittelbar im Greifumfeld gewonnene Sensordaten direkt analysiert und Fähigkeiten des maschinellen Lernens zur Werkstückidentifikation genutzt werden.
Greifsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensoren als taktile Berührungssensoren ausgebildet sind dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass aufgrund der von den Berührungssensoren erzeigten Sensordaten ein maschinelles Lernen erfolgt.
Greifsystem nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Signalanalyse- und Steuereinheit in, an und/oder außerhalb der Greifeinrichtung angeordnet ist.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass über statistische Methoden und über die Analyse von Wahrscheinlichkeiten der Sensordaten für den Greifprozess relevante Greifparameter bestimmt (Deep Learning) und darauf basierend der Aktuator angesteuert wird.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass sich die Greifparameter automatisch einstellen und die Greifsituation, insbesondere die Werkstückaufnahme und Werkstückablage während des Greifvorgangs selbsttätig optimiert wird.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass es eine Topologie mit einer oder mehreren Schichten ausbildet.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass es auf wiederholtes Zugreifen reagiert, den Erfolg des Zugriffsszenarios klassifiziert und unterschiedliche Zugriffssituationen selbsttätig oder mit Hilfe eines bewertenden Bedieners erlernt und optimiert.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass eine Werkstückklassifikation insbesondere über ein- oder mehrschichtige Entscheidungsbäume erfolgt.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass es auf den einzelnen Analyseschritten und/oder Netzwerkschichten folgende Analysegrößen, Parameter und aus diesen abgeleitete bzw. mit diesen korrelierte Kenngrößen zur Verarbeitung beim maschinellen Lernen herangezogen, bewertet oder verwendet werden : Dimensionelle Abmessungen, ausgezeichnete Abmessungen und Größen, Größenverhältnisse, Formfaktoren, Umfang zu Flächenverhältnisse, geometrische Grundformen, Materialparameter, Leitfähigkeiten, Lichtdurchlässigkeiten, Nachgiebigkeiten, Härten, Magnetisierbarkeit, Magnetisierungsgrade, Oberflächenbeschaffenheiten, Reflexionen, Rauheiten, Schwerpunktlage, Widerstandskräfte, Viskositäten, Kompressibilitäten, Kraft-Weg-Verhalten (Dehnung), Flächenpressungen.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass die erfassen Sensordaten (und Sensorfusionen) aus dem Greifumfeld erfasst und in einer lokalen Recheneinheit analysiert werden, ob und welche der gelernten Muster erkannt werden, um daraus resultierend Handlungsbefehle an nachgelagerte Systemschritte einzuleiten oder zu veranlassen.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass Greifsystem- oder Netzwerkparametrierungen von vergleichbaren Greifsituationen und Greifeinrichtungen übernommen werden und diese unmittelbar genutzt oder nach weiterer Optimierung eingesetzt werden.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass zu einem früheren Zeitpunkt erlernte Greifkraft- oder Netzwerkparametrierungen von vergleichbaren Greifsituationen und Greifeinrichtungen aus einer Wissensdatenbank, einem Wissensnetzwerk und/oder einem Cloud-basierenden Service unmittelbar genutzt oder diese als Ausgangsbasis für weitere Optimierungen eingesetzt werden.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass potentielle Sortierungenauigkeiten, Fehlleitungen, Anlagenausfälle, Wartezeiten und eine manuelle Nachbearbeitung der Systemparametrierung durch Machine Learning anhand eines gelernten Klassifikations-Schemas erkannt und ggf. kompensiert werden.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass die Signalverläufe und deren Güte während des Betriebs gemessen und bewertet werden, um allgemeine Betriebszustände, Zustände des Greifsystems und dessen Anschluss an weitere elektrische, elektronische oder informationstechnische Systeme im Betrieb abzuleiten sowie darauf basierend deren Funktion zu diagnostizieren.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass die Erkenntnisse aus dem maschinellen Lernen und die aus den Analysen unter Zuhilfenahme von Methoden der künstlichen Intelligenz (KI) abgeleiteten Zustandsmerkmale zur vorausschauenden Prognose von Systemfunktion, Wartungs-, Erneuerungsbedarf und Einsatzreichweiten verwendet werden.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass die Erkenntnisse aus dem maschinellen Lernen und die aus den Analysen unter Zuhilfenahme von Methoden der künstlichen Intelligenz (KI) abgeleiteten Zustandsmerkmale zur Modellierung des systemischen Verhaltens der Regelstrecke sowie der gesamten kinematischen Wirkkette verwendet werden.
Greifsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk so gebildet und eingerichtet ist, dass ein unmittelbarer Informationsaustausch zwischen den an der Steuerung der kinematischen Wirkkette beteiligten Komponenten und Steuereinheiten erfolgt, um eine wenigstens weitgehend autonome Inbetriebnahme und eine unmittelbare Aufnahme der maschinellen Lernphasen zu erzielen.