DE102013203381B4

DE102013203381B4 - Verfahren und system zum trainieren eines roboters unter verwendung einer von menschen unterstützten aufgabendemonstration

Info

Publication number: DE102013203381B4
Application number: DE102013203381.8A
Authority: DE
Inventors: Leandro G. Barajas; Eric Martinson; David W. Payton; Ryan M. Uhlenbrock
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-03-15
Filing date: 2013-02-28
Publication date: 2015-07-16
Anticipated expiration: 2033-03-01
Also published as: JP2013193202A; US8843236B2; DE102013203381A1; US20130245824A1

Abstract

Verfahren (100) zum Trainieren eines Roboters (10), um eine Roboteraufgabe in einem Arbeitsumfeld auszuführen, wobei das Verfahren (100) umfasst, dass: der Roboter (10) über seinen Konfigurationsraum hinweg durch mehrere Zustande der Roboteraufgabe bewegt wird, um dadurch dem Roboter (10) die Roboteraufgabe zu demonstrieren, wobei der Konfigurationsraum der Satz aller möglichen Konfigurationen für den Roboter (10) ist; Motorschemata (28) durch eine elektronische Steuerungseinheit (ECU) (22) aufgezeichnet werden, die eine Verhaltenssequenz des Roboters (10) beschreiben; sensorische Daten (15) durch die ECU (22) aufgezeichnet werden, die Leistungs- und Zustandswerte des Roboters (10) beschreiben, während der Roboter (10) über seinen Konfigurationsraum hinweg bewegt wird; wahrnehmbare Merkmale von Objekten (21, 23), die in der Umgebung angeordnet sind, detektiert werden; virtuelle deiktische Markierungen den detektierten wahrnehmbaren Merkmalen über die ECU (22) zugewiesen werden; und die zugewiesenen virtuellen deiktischen Markierungen und die aufgezeichneten Motorschemata (28) verwendet werden, um durch Nachahmung der demonstrierten Roboteraufgabe die Steuerung des Roboters (10) anschließend bei einer automatisierten Ausführung einer anderen Roboteraufgabe durch die ECU (22) zu ermöglichen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft ein Verfahren und ein System zum Trainieren eines Roboters unter Verwendung einer von Menschen unterstützten Aufgabendemonstration.
HINTERGRUND
Roboter sind elektromechanische Vorrichtungen, die Objekte unter Verwendung einer Reihe von Robotergliedern manipulieren können. Die Roboterglieder sind miteinander durch Gelenke verbunden, wobei jedes von diesen von einem Gelenkmotor und/oder einem anderen geeigneten Aktor unabhängig oder voneinander abhängig angetrieben werden kann. Jedes Robotergelenk stellt eine unabhängige Steuerungsvariable oder einen Freiheitsgrad dar. Greiforgane, die auch als Manipulatoren bezeichnet werden, sind die speziellen Endglieder, die verwendet werden, um eine gegebene Arbeitsaufgabe oder Fertigkeit direkt auszuführen, etwa das Ergreifen eines Arbeitswerkzeugs, das Stapeln eines Teils auf ein anderes usw. Eine präzise Bewegungssteuerung durch die verschiedenen Freiheitsgrade des Roboters kann durch eine Aufgabenebene organisiert werden: eine Steuerung auf Objektebene, d. h. das Vermögen, das Verhalten eines ergriffenen Objekts zu steuern, eine Greiforgansteuerung, und eine Steuerung auf Gelenkebene. Die verschiedenen Steuerungsebenen arbeiten miteinander zusammen, um die benötigte Geschicklichkeit und die die Arbeitsaufgabe betreffende Funktionalität des Roboters zu erreichen.
Eine Modifikation an einem Objekt, das bei der Ausführung einer Aufgabensequenz von einem Roboter gehandhabt wird, erfordert typischerweise ein relativ kostspieliges erneutes Training der zugehörigen Steuerungshardware. Dies trifft tendenziell selbst dann zu, wenn die Oberflächen des ergriffenen Objekts selbst nicht verändert wurden. Auf ähnliche Weise können auch Veränderungen bei der Positionierung des Objekts in dem Arbeitsumfeld, das den Roboter umgibt, als Folge eines Fehlers und/oder einer nachlässigen Betriebsstabilität ein kostspieliges erneutes Training benötigen. Es ist jedoch nicht leicht, eine existierende Steuerungssoftware für Robotermanipulatoren umzurüsten, um Anforderungen durch eine sich verändernde Flexibilität zu erfüllen.
Die Druckschrift US 2008/0 312 772 A1 offenbart ein Bewegungssteuerungssystem für einen Roboter, bei dem ein Bewegungsablauf für den Roboter erlernt wird, indem ein entsprechender Bewegungsablauf eines Menschen analysiert und nur notwendige Teile davon extrahiert und vom Roboter gelernt werden, um den Bewegungsablauf durch den Roboter nachzubilden.
In der Druckschrift US 2010/0 114 807 A1 ist ein Lernsystem für Roboter mit mehreren Lernvorrichtungen offenbart, bei dem Lernergebnisse der mehreren Lernvorrichtungen zusammengeführt werden, um zu ermöglichen, dass der Roboter das Ausführen komplexer Aufgaben schnell erlernen kann.
Die Druckschrift JP 2003-089 082 A offenbart ein Verfahren zum Detektieren einer Begrenzungskraft zwischen Objekten, die sich wechselseitig beeinflussen, bei dem eine Kontaktfläche zwischen den Objekten und eine jeweilige Eindringtiefe bestimmt wird und daraus die Begrenzungskraft zwischen den Objekten bestimmt wird.
In der Druckschrift US 2009/0 326 679 A1 ist ein Verhaltensschätzsystem zum Schätzen des Verhaltens eines Instruktors offenbart, bei dem mit Hilfe eines zweiten Modells und der Position eines charakteristischen Punkts auf einer Referenztrajektorie eine geschätzte Trajektorie des Instruktors erzeugt wird und die Verhaltensweise, die einem von mehreren ersten Modellen von Referenztrajektorien entspricht, das die geringste Schwankung und die größte Stabilität aufweist, als Verhaltensweise des Instruktors geschätzt wird.
Die Druckschrift US 2012/0 053 728 A1 offenbart einen Roboter, der Objekte erlernen kann, und ein zugehöriges Verfahren. Der Roboter umfasst einen Greifer zum Ergreifen des zu erlernenden Objekts und ein optisches System zum Beobachten des Objekts und des Greifers. Ein Controller steuert die Greiferbewegung und ein Bildverarbeitungsmittel analysiert die Daten vom optischen System, um das Objekt zu identifizieren.
In der Druckschrift JP H09-325 806 A ist ein Teachverfahren für Roboter offenbart, bei dem verschiedenartige zu behandelnde Objekte, die geteacht werden, anhand von Gleichungen/Ungleichungen definiert und gespeichert werden. Bei der Reproduktion der geteachten Abläufe wird das jeweilige Objekt anhand der gespeicherten Gleichungen/Ungleichungen erkannt und eine passende Trajektorie für den Roboter erzeugt.
Die Aufgabe der Erfindung besteht darin, Verfahren und Systeme bereitzustellen, die ein dynamisches Zuweisen von Arbeitsaufgaben für Manipulatoren auf einfache und schnelle Weise ermöglichen.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 sowie das System nach Anspruch 7 gelöst.
ZUSAMMENFASSUNG
Es werden hier ein Verfahren und ein System zum Trainieren eines Roboters unter Verwendung einer von Menschen unterstützten Aufgabendemonstration und von virtuellen deiktischen bzw. hinweisenden Markierungen, die wahrnehmbaren Merkmalen des Arbeitsumfelds des Roboters zugewiesen werden, offenbart. Herkömmliche Manipulatoren sind typischerweise so konstruiert, dass sie in einem hochgradig strukturierten Umfeld mit einem Minimum an Variabilität arbeiten, das oft spezielle Bewegungstrajektorien erfordert. Diese Trajektorien müssen für jede neue Roboteraufgabe manuell programmiert werden. Selbst Systeme, die eine Sensorrückkopplung für eine autonome Trajektorienplanung beinhalten, benötigen eine erhebliche Interaktion mit einem Programmierer, um die Roboteraufgabe zu identifizieren, die erforderlichen Bewegungsparameter zu justieren, die benötigten Greifpositionen des Manipulators festzulegen und Trajektorien an kritischen Stellen zu justieren. Der vorliegende Ansatz beabsichtigt, einen speziellen Mechanismus zum dynamischen Zuweisen von Arbeitsaufgaben für derartige Manipulatoren bereitzustellen, beispielsweise für Greifer mit zwei Fingern oder mehreren Fingern.
Im Speziellen umfasst das vorliegende Verfahren, dass der Roboter durch den Konfigurationsraum des Roboters hindurch bewegt wird, um eine Arbeitsaufgabe zu demonstrieren, und dass Motorschemata aufgezeichnet werden, die eine benötigte Verhaltenssequenz des Roboters während der Bewegung beschreiben. Das Verfahren umfasst außerdem, dass sensorische Daten aufgezeichnet werden, die Leistungs- und Zustandswerte des Roboters beschreiben, während er sich über den Konfigurationsraum hinweg bewegt, und dass wahrnehmbare Merkmale von Objekten detektiert werden, die in der Umgebung angeordnet sind. Zudem umfasst das Verfahren, dass die virtuellen deiktischen Markierungen diesen detektierten wahrnehmbaren Merkmalen zugewiesen werden, z. B. Objekten, Stellen, Zeitpunkten, Orten usw., wobei die Markierungen später verwendet werden, um das automatisierte Verhalten des Roboters zu lenken. Die zugewiesenen Markierungen und die aufgezeichneten Motorschemata werden verwendet, um anschließend den Roboter bei der Ausführung einer anderen Roboteraufgabe zu steuern.
Bei einer anderen Ausführungsform umfasst das Verfahren, dass Datensequenzen von sich verändernden Positionen eines Manipulators des Roboters aus Bewegungen des Roboters, die von einem Bediener gesteuert werden, erfasst werden und Datensegmente aus den erfassten Datensequenzen extrahiert werden. Die Datensegmente stellen Aktionen des Roboters während der Ausführung einer gegebenen Aufgabe dar. Das Verfahren kann umfassen, dass Objekte in der Arbeitsumgebung des Roboters detektiert werden und mindestens einigen der detektierten Objekte eine virtuelle deiktische Markierung und/oder andere wahrnehmbare Daten wie etwa ein Zeitpunkt, ein Ort, Stellen usw. zugewiesen werden. Dies stellt eine Assoziation der räumlichen Orientierung eines beobachteten Objekts in der Umgebung zu Bewegungen her, die vom Roboter mit Bezug auf dieses Objekt durchgeführt werden. Danach werden die Markierungen kombiniert, um eine allgemeine Markierung zu erzeugen. Die allgemeine Markierung führt einen Datensatz mit visuellen Merkmalen mit, die den Markierungen gemeinsam sind, zusammen mit rotatorischen und translatorischen Versätzen, die benötigt werden, damit diese Markierungen übereinstimmen.
Der vorliegende Ansatz teacht eine Roboterarbeitsaufgabe für einen Roboter unter Verwendung einer Reihe von gelernten Beispielen, wobei jedes in gewisser Weise von Menschen demonstriert wurde, und von zugehörigen primitiven Bewegungen oder ”Aufgabenprimitiven”. Beispielhafte Aufgabenprimitive umfassen das Bewegen von Punkt A zu Punkt B, das Öffnen eines Greifers, das Schließen eines Greifers, usw. Kontextbasierte Aktionsauswahlsequenzen lenken mit Hilfe der Wahrnehmung eine Bewegung zwischen den Primitiven in einem dynamischen Umfeld. Der vorliegende Ansatz kann mit minimalem Trainieren oder Umprogrammieren des Roboters schnell auf neue und andere Arbeitsaufgaben angewendet werden.
Die vorstehend erwähnten Markierungen werden vom Roboter durch eine direkte Demonstration von Menschen gelernt. Beispielsweise kann ein Bediener bei einem einfachen Ergreifen eines Objekts durch einen Greifer mit zwei Fingern den Greifer physisch handhaben und ihn in eine Position derart bewegen, dass er das Objekt bei einem Punkt A ergreift, oder eine Eingabevorrichtung, etwa einen Joystick, verwenden, um den Roboter mit dem gleichen Effekt rückwärts zu verfahren. Dann bewegt der Bediener den Roboterarm und den Greifer zu einem Punkt B und öffnet den Greifer, wodurch das Objekt bei Punkt B abgestellt wird.
Währenddessen zeichnet der Roboter wahrnehmbare Daten auf, die beispielsweise den Annäherungswinkel, den Abrückwinkel, die Position und die Orientierung des Objekts beschreiben, z. B. unter Verwendung einer oder mehrerer 3D-Kameras, Gelenkwinkelsensoren usw. Der Roboter zeichnet auch die Kräfte oder Drehmomente, die vom Greifer auf das ergriffene Objekt aufgebracht werden, Gelenkwinkel und möglicherweise andere Informationen auf. Der Roboter lernt genau, wo das Quellenobjekt platziert war, ohne tatsächlich die genaue Strecke zu lernen, die der Greifer genommen hat. Diese Informationen werden während einer Nachverarbeitung und Ausführung aus Motorschemata und den aufgezeichneten Markierungen eingefüllt.
Es wird auch ein System offenbart, das einen Roboter mit einem Arm und einem mit dem Arm verbundenen Manipulator, ein Sensorfeld, das sensorische Daten misst, welche Leistungs- und Zustandswerte des Roboters beschreiben, und einen Wahrnehmungssensor umfasst, der Bilder von Objekten aufnimmt, die im Umfeld angeordnet sind. Das System umfasst außerdem eine elektronische Steuerungseinheit (ECU) in Verbindung mit dem Roboter, dem Sensorfeld und den Wahrnehmungssensoren. Die ECU enthält aufgezeichnete Motorschemata, die eine Verhaltenssequenz des Roboters beschreiben. Die ECU ist ausgestaltet, um das vorstehende Verfahren auszuführen.
Die vorstehenden Merkmale und Vorteile und andere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich leicht aus der folgenden genauen Beschreibung der besten Arten, um die Erfindung auszuführen, wenn sie in Verbindung mit den beiliegenden Zeichnungen gelesen wird.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung eines Roboters und einer elektronischen Steuerungseinheit (ECU), die virtuelle deiktische Markierungen Merkmalen des Arbeitsumfelds des Roboters zuweist, die mithilfe einer Demonstration von Menschen gelernt wurden.
2 ist ein Flussdiagramm, das ein Verfahren zum Teachen des Roboters von 1 mithilfe einer Demonstration von Menschen und einer Markierungszuweisung beschreibt.
3 ist ein Flussdiagramm, das die Fertigkeitserkennung und Markierungszuweisung beschreibt, die im Verfahren von 2 verwendet werden.
4 ist ein Blockdiagramm von verschiedenen Logikelementen, die in der in 1 gezeigten ECU verwendet werden.
5 ist ein Flussdiagramm, das eine Robotergrifferkennung beschreibt, die als Teil des Verfahrens von 2 verwendet wird.
6 ist ein Flussdiagramm, das eine Kostenschätzung beschreibt, wie sie im Verfahren von 2 verwendet wird.
GENAUE BESCHREIBUNG
Mit Bezug auf die Zeichnungen, bei denen gleiche Bezugszeichen in den mehreren Ansichten gleiche oder ähnliche Komponenten bezeichnen, ist in 1 ein beispielhafter Roboter 10 gezeigt. Der Roboter 10 kann eine Basis 14 enthalten, die auf einer Oberfläche 11 positioniert ist. Der Roboter 10 kann einen Arm 16 enthalten, der ein oder mehrere Armsegmente 18 aufweist. Ein Greiforgan oder Manipulator 20 ist an einem Ende des mit Bezug auf die Basis 14 am weitesten distalen Segments 18 des Arms 16 positioniert. Der Manipulator 20 kann bei einer beispielhaften Ausführungsform ein Greifer sein, der mehrere Finger 27 zum Ergreifen eines Objekts 23 aufweist.
Robotergelenke 17 können die verschiedenen Armsegmente 18 verbinden. Jedes Robotergelenk 17 kann von einem Gelenkaktor, etwa einem Motor 19, angetrieben werden, um den Manipulator 20 während der Ausführung einer Arbeitsaufgabe an gewünschte Positionen zu bewegen. Sensor-Rohdaten (Pfeil 15), die Roboterleistungswerte beschreiben, werden an eine elektronische Steuerungseinheit (ECU) 22 weitergeleitet und von dieser verwendet, um die Aktionen des Roboters 10 zu steuern. Die Sensor-Rohdaten (Pfeil 15) beschreiben Leistungs- und Zustandswerte des Roboters 10. Beispielhafte Sensor-Rohdaten (Pfeil 15) können ein Drehmoment, eine Kraft, eine Geschwindigkeit und eine Beschleunigung des Manipulators 20 umfassen.
Zur Sammlung derartiger Daten, kann ein Sensorfeld 33 mit dem Roboter 10 verbunden sein, das in 1 der Einfachheit halber mit der Basis 14 verbunden gezeigt ist. Das Sensorfeld 33 kann Kraftaufnehmer, Drehmomentsensoren, Beschleunigungsmesser, Positionssensoren und dergleichen umfassen. Das Sensorfeld 33 kann ”weiche” Sensoren umfassen, die bestimmte Werte aus anderen direkt gemessenen Werten berechnen, wie in der Technik gut verstanden wird. Zudem kann ein Wahrnehmungssensor 25 mit Bezug zum Roboter 10 positioniert und ausgestaltet sein, um das Verhalten des Roboters 10 in seinem Arbeitsumfeld wie nachstehend erläutert zu filmen, auf Video aufzuzeichnen, Bilder davon zu erfassen und/oder es auf andere Weise aufzuzeichnen.
Auf die ECU 22 kann mit Hilfe einer Anwenderschnittstelle 24 zugegriffen werden. Die ECU 22 kann Logikelemente 40 enthalten, wie nachstehend mit Bezug auf 4 erläutert ist, und beliebige benötigte Prozessanweisungen, die zum Ausführen des vorliegenden Verfahrens 100 geeignet sind, wie nachstehend mit Bezug auf 2 beschrieben ist. Die ECU 22 kann als ein oder mehrere digitale Computer oder Trägermaschinen ausgeführt sein, die jeweils einen oder mehrere Prozessoren, Festwertspeicher (ROM), Speicher mit wahlfreiere Zugriff (RAM), elektrisch programmierbaren Festwertspeicher (EPROM), optische Laufwerke, magnetische Laufwerke usw., einen Hochgeschwindigkeits-Taktgeber, Analog/Digital-Schaltungen (A/D-Schaltungen), Digital/Analog-Schaltungen (D/A-Schaltungen) und beliebige notwendige Eingabe/Ausgabe-Schaltungen (I/O-Schaltungen), I/O-Vorrichtungen und Kommunikationsschnittstellen sowie Signalaufbereitungs- und Pufferelektronik aufweisen. Eine Eingabevorrichtung 13 kann von der Anwenderschnittstelle 24 getrennt oder darin eingebaut sein. Die Eingabevorrichtung 13 kann eine 3D-Maus, ein Joystick oder eine andere Steuerungsvorrichtung sein, die geeignet ist, um den Roboter 10 durch eine von Menschen demonstrierte Aufgabe wie nachstehend erläutert zu bewegen oder rückwärts zu verfahren.
Jeder von einem Computer lesbare Speicher, der in Verbindung mit der ECU 22 verwendet wird, kann einen nicht vorübergehenden/konkreten Speicher umfassen, der nicht flüchtig oder flüchtig sein kann. Nichtflüchtige Medien können beispielsweise optische oder magnetische Platten und anderen dauerhaften Speicher umfassen. Beispielhafte flüchtige Medien können einen dynamischen Speicher mit wahlfreiem Zugriff (DRAM) umfassen, der einen Hauptspeicher bilden kann. Andere Beispiele umfassen eine Diskette, eine flexible Platte, eine Festplatte, ein Magnetband oder ein anderes magnetisches Medium, eine CD-ROM, eine DVD und/oder ein beliebiges anderes optisches Medium sowie andere mögliche Speichervorrichtungen, etwa einen Flash-Speicher.
Der Roboter 10 von 1 wird durch eine von Menschen unterstützte Demonstration und Lernen geteacht, um eine spezielle Aufgabensequenz auszuführen. Die ECU 22 führt dies durch, indem sie virtuelle deiktische Markierungen aufzeichnet, die wahrnehmbare Merkmale des Arbeitsumfelds anzeigen, in dem der Roboter 10 arbeitet, d. h. das physische Umfeld, das den Roboter 10 umgibt. Die Markierungen können mit Objekten in dem Umfeld in Beziehung stehen, z. B. dem Objekt 23 oder einem anderen Objekt 21 wie gezeigt, Stellen, Zeitpunkten, Orten usw. Außerdem zeichnet die ECU 22 Motorschemata 28 im Speicher auf, wobei die Motorschemata 28 die benötigten Aktionen oder Fertigkeiten des Roboters 10 beschreiben. Diese Motorschemata 28 werden durch die Markierungen bei der automatisierten Ausführung einer Arbeitsaufgabe geleitet, um das tatsächliche Umfeld des Roboters 10 zu berücksichtigen, das von den Wahrnehmungssensoren 25 wahrgenommen wird, wie nachstehend beschrieben ist.
Der Roboter 10 lernt benötigte Greifpositionen und Annäherungsrichtungen, wenn er das Ergreifen eines Objekts lernt, z. B. des Beispielobjekts 23. Diese Informationen werden an die Markierungen angehängt, die von der ECU 22 zur Laufzeit beliebigen wahrnehmbaren Merkmalen zugewiesen werden, die in dem Umfeld detektiert wurden, in dem der Roboter 10 arbeitet. Wie nachstehend im Detail erläutert wird, lernt der Manipulator 20 zuerst die benötigten Markierungen mit Hilfe einer Demonstration von Menschen und zeichnet diese auf und weist dann auf dynamische Weise die gelernten Markierungen detektierten wahrnehmbaren Merkmalen zu. Dies wiederum ermöglicht eine schnelle Anpassung an ein sich veränderndes Umfeld, wobei dennoch mehrstufige Montageprozesse abgeschlossen werden.
Lerntheorie
Die Wiederholung einer beliebigen neuen Montageaufgabe kann in drei verschiedene Teile unterteilt werden: die Demonstration der Aufgabe durch einen menschlichen Bediener, etwa das Ergreifen des Objekts 23 und das Stapeln des ergriffenen Objekts 23 auf ein anderes Objekt 21, einen Satz von Roboterfertigkeiten und zugehörigen Funktionen, und ein Unterstützungsbezugssystem zum Extrahieren der benötigten Markierungen und zum Zuweisen dieser Markierungen zur Laufzeit zu beliebigen anderen Objekten, die von den Wahrnehmungssensoren 25 detektiert werden, z. B. von einer 3D-Stereokamera, einer Kamera mit hoher Auflösung und/oder anderen Sensoren, die über einen drahtgebundenen oder drahtlosen Kommunikationskanal 26 mit der ECU 22 in Verbindung stehen.
Mit der Demonstration durch Menschen beginnend betrachtet der vorliegende Ansatz, dass ein menschlicher Bediener den Roboter 10 von 1 physikalisch durch oder über den Konfigurationsraum hinweg bewegt, indem er beispielsweise den Arm 16 und/oder den Manipulator 20 durch alle Schritte einer benötigten Aufgabe hindurch bewegt. Dies kann umfassen, dass die Eingabevorrichtung 13 verwendet wird, um den Roboter 10 zu bewegen, den Roboter 10 rückwärts zu verfahren usw. Für eine einfache Ergreifen- und Aufheben-Aufgabe, d. h. wenn der Roboter 10 den Manipulator 20 verwendet, um ein Objekt 23 wie gezeigt zu ergreifen, bewegt der Bediener zuerst den Manipulator 20 mit Bezug auf das Objekt 23 an Ort und Stelle und ergreift dann das Objekt 23 auf korrekte Weise unter Verwendung des Manipulators 20, z. B., indem die Finger 27 mit ausreichend Kraft zusammendrückt werden, um eine geeignete Griffpose herzustellen. Dann bewegt der Bediener den Arm 16 und den Manipulator 20, um das Objekt 23 dadurch aufzuheben und zu bewegen. Wie in der Technik verstanden wird, beschreibt der Begriff ”Konfiguration” eine Pose des Roboters 10, während der Begriff ”Konfigurationsraum” den Satz aller möglichen Konfigurationen für den Roboter 10 bezeichnet. Der Konfigurationsraum kann in Abhängigkeit von der Komplexität des Roboters 10 von einer einfachen Ebene bis zu einer speziellen euklidischen Gruppe reichen. Wenn der Roboter 10 ein Manipulator mit einer feststehenden Basis mit N Drehgelenken und ohne geschlossene Kreise bzw. Regelkreise ist, ist der Konfigurationsraum (C) für diesen Roboter N-dimensional.
Obwohl der Roboter 10 von 1 potentiell Aufgabensequenzen und einige relevante wahrnehmbare Daten identifizieren kann, indem einfach ein menschlicher Bediener beobachtet wird, der die Aufgabe durchführt, besteht einer der kompliziertesten Teile der Handhabung neuer Objekte und der Schaffung neuer Anordnungen im Bestimmen, wo der Manipulator 20 platziert werden soll und wie der Werkzeugmittelpunkt (TCP, TCP von tool center point) an den korrekten Ort gebracht werden soll. Indem ein menschlicher Bediener den Arm 16 und den Manipulator 20 manuell durch jede Aufgabe bewegt, während der Roboter 10 mit Hilfe der ECU 22 seine eigenen Sensor-Rohdaten (Pfeil 15) aufzeichnet, liefert jede Demonstration einen Datenstrom von Erfahrungen (T), mit deren Hilfe der Roboter 10 diese schwierigen Probleme mit einer Nachverarbeitung lösen kann, d. h. dem Schritt unmittelbar im Anschluss an das von Menschen unterstützte Lernen.
Hinsichtlich der Roboterfertigkeiten beruht die Nachahmung des Verhaltens einer demonstrierten Arbeitsaufgabe auf dem Erkennen und Wiederholen bekannter Roboterfertigkeiten, etwa dem Ergreifen des Objekts 23, dem Absetzen des Objekts 23 usw. Jede Fertigkeit im Repertoire des Roboters 10, die als von der ECU 22 aufgezeichnete Motorschemata 28 ausgeführt sein kann, kann durch vier allgemeine Funktionen definiert werden: eine Recognizer- oder Erkennungsfunktion, eine Predictor- oder Vorhersagefunktion, eine Kostenschätzungsfunktion und Motorschemata 28. Für die Nachahmung ist der Ursprung jeder Fertigkeit ohne Bedeutung. Sie kann entweder erlernt oder vorprogrammiert sein. Die zuvor erwähnten vier allgemeinen Funktionen können wie folgt dargestellt werden:
Die Recognizer-Funktion, d. h. recognizer_i(T) identifiziert 1) den frühesten Zeitschritt ts im aufgezeichneten Datenstrom T, an dem die Fertigkeit abgeschlossen ist; 2) eine freie Markierung M_a, die Informationen enthält, die für die aufgabenspezifische Ausführung der Fertigkeit i notwendig sind; und 3) einen erkannten Endzustand E für das manipulierte Objekt, z. B. das Objekt 23, welches vom Roboter 10 ergriffen und auf einem anderen Objekt, z. B. dem Objekt 21, platziert werden kann. Die in der freien Markierung M_a enthaltenen Informationen sind für jede Fertigkeit spezifisch, können aber einen Manipulationsobjekttyp, einen Annäherungsvektor, eine Griffposition, einen Abrücken- oder Ausgangsvektor usw. enthalten. Im Allgemeinen enthält jede Markierung M_a alles Wissen, das notwendig ist, damit die Motorschemata 28 von 1 die Aufgabe abgesehen von einem spezifischen Manipulationsziel wiederholen können. Unter Verwendung der Daten in der Markierung wird dieses Ziel zur Laufzeit relevanten wahrnehmbaren Objekten zugewiesen.
Die Vorhersagefunktion, d. h. predictor (M_a, P_b, W_t) identifiziert den erwarteten Endzustand als Folge des Zuweisens einer Markierung (M_a) zu einem speziellen visuell detektierten Objekt. Der aktuelle Zustand der Welt W_t kann definiert sein als: W_t = {P(t), J(t), sensors(t)} wobei P(t) der Satz aller Objekte ist, die im Zeitschritt t visuell identifiziert und lokalisiert sind, J(t) die aktuellste Gelenkwinkelkonfiguration des Roboters 10 ist und sensors(t) der Satz von Daten ist, die von allen anderen verfügbaren Sensoren, die in Verbindung mit dem Roboter 10 verwendet werden, zurückgegeben wurden. Die Vorhersagefunktion identifiziert dann W_t+1. Dies ermöglicht, dass eine von der ECU 22 durchgeführte Markierungszuweisung zur Laufzeit Markierungszuweisungen benachteiligt, die in der Zukunft nicht zu einer weiteren Markierungszuweisung führen werden.
Die Kostenschätzungsfunktion, d. h. estimator_i(M_a, E, W_t) ist dann der Laufzeitmechanismus zum Identifizieren des besten wahrgenommenen Objekts, dem eine Markierung (M_a) zugewiesen werden soll. Diese Funktion gibt die Kosten des Zuweisens der extrahierten Markierung M_a zu allen Objekten im Satz P zurück, wenn W_t und der Satz aus allen erkannten Endzuständen E gegeben sind. Wenn das Wissen verfügbar ist, kann die Kostenschätzungsfunktion Strafen für schwer zu erreichende oder unmöglich zu erreichende Positionen enthalten, wenn die Position des Manipulators und/oder Hindernisplatzierungen in dem Umfeld gegeben sind.
Schließlich verwenden die deiktischen Motorschemata 28 von 1, d. h. motor_schema_i(M_a, P_b, W_t) die extrahierte Markierung M_a, ein zugewiesenes Objekt P_b und den aktuellen Zustand der Welt W_t, um die nächsten Gelenkwinkel J(t+1) zu bestimmen, die an den Roboter 10 gesandt werden sollen. Im Allgemeinen nimmt diese Endfunktion an, dass die ECU 22 ein relativ schnell aktualisierender reagierender Controller ist, sodass er schnell auf beliebige Veränderungen im Umfeld oder im Zuweisungsobjekt reagiert. Die tatsächliche Konfiguration der ECU 22 ist nicht wichtig, sofern es einen Weg gibt, um die aktuellen Gelenkwinkel des Roboters 10 zu schätzen, um eine Roboterbewegung zu verändern, wenn Markierungen (M_a) zur Laufzeit neu zugewiesen werden.
Unterstütztes Lernen
Mit Bezug auf 2 ist das vorliegende Verfahren 100 mit Bezug auf das Lernen einer einfachen Aufheben- und Absetzenoperation beschrieben, zum Beispiel einer Aufgabe, bei der das Objekt 23 von 1 auf dem Objekt 21 gestapelt werden soll. Das Verfahren 100 beginnt mit Schritt 102, bei dem der menschliche Bediener ein Quellenobjekt, bei diesem Beispiel das Objekt 23, und ein Zielobjekt, welches in diesem Fall das Objekt 21 ist, wählt.
Bei Schritt 104 wird die Position und Orientierung des Objekts 21 mithilfe der Wahrnehmungssensoren 25 von 1 aufgezeichnet. Schritt 104 kann umfassen, dass ein oder mehrere 3D-Kameras oder andere Vorrichtungen aktiviert werden, um die Position und Orientierung in Echtzeit aufzuzeichnen. Wie in der Technik verstanden wird, kann eine Bildverarbeitungssoftware verwendet werden, um eine Merkmalserkennung bereitzustellen.
Bei Schritt 106 bewegt der Bediener den Roboter dann physikalisch über seinen Konfigurationsraum (C) hinweg. Beispielsweise können der Arm 16 und/oder der Manipulator 20 entweder manuell durch einen direkten Kontakt und eine aufgebrachte Kraft oder indirekt mithilfe der Eingabevorrichtung 13 von 1 oder unter Verwendung einer Kombination dieser beiden bewegt werden. Dies bewegt den Arm 16 und den Manipulator 20 zu der gewünschten Position.
Bei Schritt 108 werden die Sensor-Rohdaten (Pfeil 15) von 1 der ECU 22 zugeführt, um Leistungs- und Zustandswertinformationen zu liefern, welche möglicherweise die Kraft und das Drehmoment, die auf den Manipulator 20 aufgebracht werden, umfassen, aber nicht darauf beschränkt sind. Die Wahrnehmungssensoren 25 können auch verwendet werden, um Annäherungs- und Abrückwinkel zu bestimmen, d. h. den Winkel, mit dem sich der Manipulator 20 jeweils bei den Ergreifen- und Loslassen-Stufen der Aufgabe dem Objekt 23 nähert und davon weg bewegt. Schritt 108 kann umfassen, dass Datensequenzen von Positionen des Manipulators 20 aus den bedienergesteuerten Bewegungen des Roboters 10 möglicherweise auch unter Verwendung der Wahrnehmungssensoren 25 erfasst werden.
Bei Schritt 110 führt die ECU 22 eine Nachverarbeitung aus, um Markierungen zu Objekten im Umfeld zuzuweisen, welche die bei Schritt 108 detektierten wahrnehmbaren Merkmale beschreiben. Wie vorstehend erwähnt wurde, sind die Markierungen virtuell und werden daher mithilfe der ECU 22 aufgezeichnet, um die wahrgenommenen Merkmale beispielsweise mit Objektmerkmalen, Stellen, Orten, Start/Stopp-Zeitpunkten und dergleichen in Beziehung zu setzen.
Bei Schritt 112 steuert die ECU 22 den Roboter 10 in einer nachfolgenden Aufgabe unter Verwendung der Markierungen von Schritt 110, um die aufgezeichneten Motorschemata 28 zu lenken. Der Roboter 10 kann daher das gelernte Manöver unter Verwendung der aufgezeichneten Markierungen und Schemata wiederholen, wobei die Schemata Aufgabenprimitive definieren, wie etwa ”Objekt aufheben”, ”Objekt absetzen”, ”von Punkt A zu Punkt B bewegen” usw.
Schritt 112 kann umfassen, dass eine Kostenfunktion und eine Grifferkennungsanalyse verwendet werden, um zu bestimmen, wie die Motorschemata 28 mithilfe der Markierungen auf die beste Weise gelenkt werden sollen, wenn eine aktuelle Kenntnis des Umfelds vorhanden ist, in dem der Roboter 10 arbeitet. Daher kann Schritt 112 in mehrere Teilaufgaben unterteilt werden, wie nachstehend mit Bezug auf 3–6 beschrieben ist.
Das vorliegende Problem des Lernens durch Nachahmung fokussiert sich auf die Unterstützung der Erkennung von Roboterfertigkeiten und der Zuweisung von Markierungen in Echtzeit zu detektierten Objekten im Umfeld des Roboters 10. Dieses Problem ist in zwei verschiedene Bereiche unterteilt: Fertigkeitenerkennung und Markierungszuweisung. Jeder von diesen wird nun nacheinander mit Bezug auf 3 erörtert.
Fertigkeitenerkennung
Wenn ein Satz von bekannten Fertigkeiten mit Erkennungsfunktionen R gegeben ist, wobei R den frühesten Zeitschritt zurückgibt, bei dem eine Fertigkeit abgeschlossen ist, analysiert das folgende iterative Verfahren 200, welches als Teil des Verfahrens 100 verwendet werden kann, den Trainingsdatenstrom T, um Roboterfertigkeiten zu identifizieren. Nach dem Start (*) umfasst Schritt 202, dass die ECU 22 von 1 verwendet wird, um alle Erkennungsfunktionen R ablaufen zu lassen, um die speziellen Motorschemata 28 zu finden, d. h. die Fertigkeit i, die zuerst stattfindet, und außerdem den Zeitpunkt ts_a, an dem die erkannte Fertigkeit beendet ist. Zum Beispiel kann ein Roboter 10 für ein Objekt in der Form eines Würfels drei verschiedene Grifftypen kennen und damit repräsentieren die drei Griffe drei Schemata oder Fertigkeiten.
Bei Schritt 204 wird die von der Erkennungsfunktion R_i erzeugte gelernte Markierung M_a in einem Satz aus gültigen Markierungen m gespeichert. Beispielsweise kann es drei gültige Markierungen geben, die den drei Grifftypen in dem Beispiel von Schritt 202 entsprechen.
Bei Schritt 206 entfernt die ECU 22 alle Trainingsdaten bis zu ts_a aus dem Datenstrom T.
Bei Schritt 208 stellt die ECU 22 fest, ob im Datenstrom T irgendwelche zusätzlichen Aktionen detektiert werden. Wenn zusätzliche Aktionen detektiert werden, wiederholt das Verfahren 200 Schritt 202. Andernfalls ist das Verfahren 200 beendet (**).
Das Endergebnis des iterativen Prozesses, der hier als das beispielhafte Verfahren 200 verkörpert ist, ist ein Satz aus Markierungen m, die aus einer einzigen Trainingssitzung T gelernt wurden. Wenn es mehr als eine Trainingssitzung gibt, welche die gleiche Demonstration behandelt, dann kann das Verfahren 200 für alle Trainingssitzungen wiederholt werden, wobei der Satz von Markierungen m jedes Mal vergrößert wird. Eine verallgemeinerte Kenntnis der Aufgabensequenz kann aus mehreren Beispielen abgeleitet werden, wie hier nachstehend später erläutert ist.
Markierungszuweisung
Der vorstehend erwähnte Markierungszuweisungsschritt 204 tritt zur Laufzeit auf, nachdem alle Markierungen extrahiert worden sind und der Roboter 10 von 1 angewiesen worden ist, eine spezielle Aufgabe zu wiederholen. Dieser Schritt geht von einer Wahrnehmungsfunktion aus, welche den Typ, die Position und die Orientierungen von allen detektierten Objekten im Umfeld in einer Schleife mit regelmäßigen Aktualisierungen zurückgibt. Ausgehend von bekannten Objektmodellen, etwa CAD-Zeichnungen von Fahrzeugteilen, ist eine modellbasierte Objekterkennung und Positionsidentifikation durch zwei oder mehr Kameras, z. B. die Wahrnehmungssensoren 25 von 1, machbar und robust im Hinblick auf vorhandenes Rauschen. Sofern derartige objektbezogene Informationen verfügbar sind, ist die Zuweisung von Markierungen zu einem speziellen Objekt eine Suche, um diejenige Kombination aus Markierung M_a und Objekt P_k mit den geringsten Kosten d_a,k unter Verwendung der Wahrnehmungszuweisungsfunktion für die geeignete Fertigkeit zu finden.
Bei Schritt 204 findet die ECU 22 von 1 für jede Markierung M_a das wahrnehmbare Objekt P_k mit den minimalen Abschlusskosten. Die Kosten zur Berücksichtigung einer zukünftigen Markierungszuweisung können durch Vorhersagen von W_t+1 justiert werden, zum Beispiel wie folgt:
Dann identifiziert die ECU 22 die Kombination {M_a, P_k} mit den geringsten Gesamtkosten, wobei zu der Kombination, die beim vorherigen Zeitschritt verwendet wurde, ein kleiner negativer Wert als Hysteresewert addiert wird, um eine Schwingung zu verhindern. Die ECU 22 sendet dann die identifizierte Markierung/die zugewiesene Objektposition zu einer Verhaltensschleife zur Ausführung durch ein deiktisches Motorschema S_i, das der Markierung M_a zugeordnet ist, die im Speicher aufgezeichnet sein kann. Die Markierung mit den geringsten Ausführungskosten kann an das Verhaltenssteuerungsmodul von 4 weitergeleitet werden. Die Logikelemente 40 von 4 werden nun in weiterem Detail beschrieben.
Implementierung
4 veranschaulicht beispielhafte Logikelemente 40 der ECU 22 von 1. Der vorliegende Ansatz kann beispielsweise auf der Microsoft Roboter Entwickler Software (MRDS) implementiert werden. Die in 4 schematisch gezeigten Logikelemente 40 sind diejenigen, die speziell auf das Lernen durch Nachahmung gerichtet sind und folglich sind andere nicht damit in Beziehung stehende Hardware- und Softwareelemente der ECU 22 der Einfachheit und Klarheit halber weggelassen.
Die Wahrnehmung in der ECU 22 von 1 ist eine Mischung aus Kapazitäten, die jeweils eine Rückmeldung in Echtzeit von verschiedenen Robotersensoren zur aktiven Steuerung, Bilder von simulierten Kameras, und Objektpositionen, die von der ECU 22 direkt geholt werden, verwenden. Die folgende Beschreibung bezieht sich auf eine einzige Roboterfertigkeit, d. h. einen einfachen Griff. Im Allgemeinen stellt die Greiffertigkeit eine gute Vorlage zur Implementierung von Roboterfertigkeiten bereit, da das Lösen des Griffs eine ähnliche Aufgabe ist und da andere Fertigkeiten, etwa Verbundaktionen, als eine Erweiterung des Ergreifens und Loslassens konstruiert werden können.
Auf einer Ebene enthalten die Logikelemente 40 verschiedene Hardwaretreiber 50 für den Roboter 10 von 1. Beispielhafte Hardwaretreiber 50 können einen Armtreiber 52, einen Manipulator/Greifer-Treiber 54, einen 3D-Bewegung-Bedienelementetreiber 56, z. B. einen Treiber für eine 3D-Maus, einen Joystick usw. der in 1 gezeigten Eingabevorrichtung 13, und beliebige benötigte Simulationstreiber 58 umfassen. Die Treiber 50 stehen in Verbindung mit einer Anzahl von Steuerungsmodulen, welche die benötigten Aufgaben des in 1 gezeigten Roboters 10 steuern. Diese Steuerungsmodule können ein Objektwahrnehmungsmodul 46 umfassen, das Aufgaben wie etwa Datensammlung, Merkmalsextraktion, und Synchronisation möglicherweise unter Verwendung beliebiger Kameras bereitstellt, die in den Wahrnehmungssensoren 25 von 1 enthalten sind. Ein Verfolgungsmodul 47 kann Objektverfolgungsaufgaben durchführen, z. B. des Objekts 23 von 1, wenn es sich bei der Ausführung einer Aufgabensequenz in einem Arbeitsgebiet bewegt. Das Verfolgungsmodul 47 sucht nach Objekten und/oder Merkmalen in und extrahiert diese aus den wahrgenommenen Daten, die durch Lernen gelenkt sind. Ein Verhaltenssteuerungsmodul 48 bewegt den Roboter 10 an eine Zielstelle oder ein Ziel, wobei Hindernisse vermieden werden, und koppelt außerdem mit dem Manipulator 20.
Jedes dieser Steuerungsmodule 46, 47 und 48 steht mit einem Lernmodul 41 auf oberster Ebene in Verbindung. Das Lernmodul 41 zeichnet während des Trainings wahrnehmbare Daten in einer Datenbank 44 auf und verwendet die aufgezeichneten wahrnehmbaren Daten in der Zukunft, um eine Wahrnehmungsaufmerksamkeit und Verhaltenssteuerung durch Zuweisung von Markierungen und Aufgaben zu lenken. Das Lernmodul 41 kann ein Modul 42 für passive Dienste und ein Modul 43 für aktive Dienste enthalten. Das Modul 42 für passive Dienste kann das Aufgabenlernen und die Verallgemeinerung handhaben, z. B. die Kernschritte des Beobachtens von Start- und Stopppositionen, die von einem menschlichen Bediener gelenkt werden, von Annäherungs- und Abrückwinkeln usw. Das Modul 43 für aktive Dienste kann zum Planen eines Trainings, zur Fehlerdetektion, zur Markierungszuweisung und dergleichen verwendet werden. Die Anwenderschnittstelle 24 stellt bei der beispielhaften Ausführungsform von 4 einen Zugriffspunkt auf das Lernmodul 41 und das Verhaltenssteuerungsmodul 48 bereit.
Grifferkennung
Mit Bezug auf 5 ist ein beispielhaftes Verfahren 300 gezeigt, um Schritte dazustellen, die für die Grifferkennung bei der Ausführung einer nachfolgenden automatisierten Aufgabe benötigt werden, zum Beispiel wenn Schritt 112 von 3 ausgeführt wird.
Mit Schritt 302 beginnend, wird eine Trainingssitzung in den Speicher der ECU 22 geladen.
Bei Schritt 304 werden dann die zugehörigen Erkennungsfunktionen wie vorstehend beschrieben für alle bekannten Motorschemata/Fertigkeiten für die geladene Sitzung von der ECU 22 von 1 ablaufen gelassen.
Bei Schritt 306 wird dann die Markierung, die der am frühsten abgeschlossenen erkannten Fertigkeit zugeordnet ist, beispielsweise in der Datenbank 44 von 4 gespeichert. Eine beispielhafte Implementierung einer Erkennungsfunktion ist hier für eine einfache Greiffertigkeit mit zwei Fingern beschrieben. Die Implementierung der Erkennungsfunktion für eine grundlegende Greiffertigkeit ist unkompliziert, da es einen speziellen detektierbaren Zeitpunkt ist, an dem der Roboter 10 von einem geöffneten Greifer zu einem geschlossenen Greifer wechselt. Wenn eine Rückmeldung vom Manipulator 20 verfügbar ist, dann kann die detektierte Anwesenheit eines Objekts im Manipulator 20 in die Erkennungsfunktion integriert sein. Der Zeitschritt, bei dem dieser Übergang im Datenstrom T auftritt, wird als der Greifpunkt ts_grasp dargestellt. Dieser Zeitpunkt plus ein konstanter Versatz wird an das Lernmodul 41 von 4 zurückgegeben, um den detektierten Abschluss einer erkannten Fertigkeit anzuzeigen.
Die Erkennungsfunktion gibt außerdem eine Markierung M_a zurück, die zur Laufzeit wahrnehmbaren Objekten zugewiesen werden soll. Diese Markierung sollte genügend Informationen enthalten, damit die Kostenschätzungsfunktion die Kosten zum Ergreifen des Objekts vorhersagen kann, und damit die allgemeinen Motorschemata den demonstrierten Griff an einem Objekt duplizieren können, dem die Markierung zugewiesen worden ist. Für eine Greiffertigkeit sind die eindeutigen Informationen, die aus der Demonstration durch Menschen extrahiert werden sollen, der Objekttyp, die Endposition des Roboters 10 relativ zum Objekt, d. h. die Griffposition, und die Richtung relativ zum Objekt, aus der die Griffposition angenähert werden soll.
Schritt 308 umfasst, dass die Griffposition identifiziert wird. Diese Position ist am einfachsten zu identifizieren, da der Punkt im Datenstrom T, bei dem der Roboter 10 mit dem Ergreifen des Objekts, z. B. des Objekts 23 von 1, beginnt, bekannt ist. Das Identifizieren der Griffposition kann umfassen, dass die globale Position X_robot und die Orientierungsmatrix relativ zur Basis R_robot des Robotergreiforgans, d. h. des Manipulators 20, identifizieren werden, indem die Gelenkwinkel, die zum Zeitschritt ts_grasp aufgezeichnet sind, extrahiert werden und Vorwärtskinematikmodelle, etwa das Denavit-Hartenberg-Modell, angewendet werden. Das Objekt 23 und damit der Objekttyp O wird identifiziert, indem das Objekt gewählt wird, das beim Zeitschritt ts_grasp eine aufgezeichnete Position aufweist, die dem geschlossenen Manipulator 20 am nächsten liegt. Falls verfügbar, kann außerdem eine visuelle Rückmeldung, die das ergriffene Objekt identifiziert, später im Datenstrom extrahiert werden, um die Wahrscheinlichkeit für Fehler zu reduzieren.
Bei Schritt 310 von 5 wandelt die ECU 22 von 1 Bewegungsparameter in einen Bezugsrahmen relativ zu dem Objekt zur Identifikation von Bewegungszielen um, wenn eine zugewiesene deiktische Markierungsposition gegeben ist: m_{target_rotation} = R_robot(ts_grasp)·R –1 / object(ts_grasp) m -_target = (X -_robot(ts_grasp) – X -_object(ts_grasp))·R –1 / object(ts_grasp)
Das Identifizieren der Richtung, von der aus man sich dem Greifpunkt nähern soll, ist schwieriger, weil nicht bekannt ist, wie die ”Annäherung” in T beginnt. Eine Kenntnis der Annäherungsrichtung ist wichtig, um ein Umwerfen des Objekts mit dem befestigten Werkzeug zu verhindern, wenn sich der Manipulator 20 in Position bewegt. Eine Option zum Identifizieren dieses Startpunkts für die Annäherungsstrecke besteht darin, einen früheren Zeitschritt in dem aufgezeichneten Datenstrom zu suchen, bei dem der Roboter immer noch einen minimalen Abstand zurücklegen muss, um die gewünschte Greifstelle zu erreichen: X -_app = X -_robot(ts_app) – X -_robot(ts_grasp), so dass |X -_app| > travel_dist_min
Wenn die bekannten Objektmodelle, die mit dem Wahrnehmungssystem verwendet werden, gegeben sind, kann dieses einfache Minimaldistanzmodell verbessert werden, indem die Größe des ergriffenen Objekts D in drei Dimensionen mit aufgenommen wird, um variable Größen zu berücksichtigen. Box = k - + D -_original(O)·R_object(ts_grasp)
Dies gibt eine gedrehte Begrenzungsbox zurück, die den Greifpunkt umgibt, außerhalb welcher sich das Robotergreiforgan bewegen muss, um ein Stoßen an das Zielobjekt zu vermeiden. Der Vektor k ist ein konstanter Versatz, mit typischerweise dem gleichen Wert für alle Dimensionen, um einen zusätzlichen Fehler zuzulassen, etwa eine Greifergröße oder einen Manövrierraum.
Ein Problem bei diesem Verfahren zum Identifizieren einer Annäherungsrichtung besteht darin, dass es annimmt, dass der menschliche Demonstrator eine gerade Linie zum Erreichen des Ziels zurückgelegt hat. Obwohl dies oft zutrifft, ist es nicht immer der Fall. Auch erfahrene Anwender müssen gelegentlich neu justieren, wenn die Position des Manipulators 20 falsch eingeschätzt wurde, wobei manchmal zurückgefahren wird und man sich dem Zielobjekt wieder nähert. Ein willkürlicher Distanzschwellenwert, von dem aus eine geradlinige Annäherung berechnet werden soll, ignoriert diese Korrekturen und kann möglicherweise einen sicheren Annäherungsvektor an den Greifpunkt nicht korrekt erfassen. Aus diesem Grund kann ein Filter verwendet werden, das mit der aktuellen Geschwindigkeit bis zum ersten Punkt außerhalb der Begrenzungsbox gewichtet ist. Bei dieser Annäherung kann es weniger wahrscheinlich sein, ein willkürlich dimensioniertes Objekt umzuwerfen.
Das Identifizieren der Annäherungsstrecke bei Schritt 310 umfasst das Umwandeln der Annäherungsstrecke in einen objektbezogenen Bezugsrahmen, um ihre Verwendung mit zugewiesenen deiktischen Markierungen in willkürlichen Positionen zu vereinfachen: m -_approach = (F -_app(ts_app) + X -_robot(ts_grasp) – X -_object)·R –1 / object(ts_grasp)
Die objektbezogene Greiforganposition (m_target), Rotation (m_{target_rotation}) und Annäherungsrichtung (m_approach) werden in der erzeugten deiktischen Markierung zusammen mit dem Greifobjekttyp, der bei der Markierungszuweisung verwendet werden soll, und Motorschemafunktionen in Echtzeit gespeichert.
Greifkosten schätzen
Wenn ein Satz von Markierungen gegeben ist, die aus den Trainingsdaten extrahiert wurden, ist der nächste wichtige Aspekt des Lernmoduls 41 von 4 das dynamische Zuweisen von Markierungen zu realen Objekten und damit das reaktive Wählen einer auszuführenden Fertigkeit in Ansprechen auf den aktuellen Zustand des Umfelds. Um diese Bemühung zu unterstützen, kann das Objektwahrnehmungsmodul 46 von 4 einen aktualisierten Weltzustand W_t zum Lernen in einer Schleife mit regelmäßiger Aktualisierung liefern, bei dem alle wahrnehmbaren Daten analysiert worden sind, um bekannte Objekttypen und ihre Positionen zu extrahieren sowie die aktuellste Roboterkonfiguration (d. h. Gelenkwinkel und Sensorinformationen) anzuzeigen. Unter Verwendung von W_t identifiziert das Lernmodul 41 von 4 dann die Kosten aller möglichen Zuweisungen von Markierungen zu detektierten Objekten, indem es die geeignete Kostenschätzungsfunktion für jede Markierung aufruft, und die Zuweisung mit den geringsten Gesamtkosten wählt. Die Markierung mit den geringsten Gesamtkosten wird an das Verfolgungsmodul 47 und das Verhaltenssteuerungsmodul 48 von 4 weitergeleitet.
Ein Beispiel für eine Implementierung einer Kostenschätzungsfunktion wird in der Form einer Greiffertigkeitsschätzung bereitgestellt. Die Kostenschätzungsfunktionen oder Werte von der ECU 22 von 1, die als Eingänge empfangen werden, umfassen: 1) eine Greifmarkierung, die von der vorstehend beschriebenen Erkennungsfunktion erzeugt wurde; 2) einen Satz gültiger Endzustände, der einen gewünschten Positions- und Rotationsversatz zwischen zwei Objekten, z. B. den Objekten 21 und 23 von 1, angibt; und 3) den aktuellen Zustand der Welt, der die aktuelle Gelenkwinkelkonfiguration des Roboters 10 und den Satz aller Objekte umfasst, die bei diesem Zeitschritt visuell erkannt und lokalisiert sind. Das Ziel der Greiffertigkeitsschätzungsfunktion besteht in der Quantifizierung der Kosten für das Aufheben des spezifizierten Objekts. Im Allgemeinen identifiziert dieser Kostenschätzungsprozess die zum Ergreifen eines bekannten Objekts benötigte Abstandsveränderung, wobei er Strafen für nicht erreichbare Zielpunkte oder schwierig zu erreichende Objekte zuweist.
Mit Bezug auf 6 ist die Kostenschätzungsfunktion, die bei der Ausführung des Verfahrens 100 von 2 verwendet wird, mithilfe eines beispielhaften Verfahrens 400 dargestellt. Mit Schritt 402 beginnend kann die ECU 22 Objekte des falschen Typs ausfiltern und kann unendliche Kosten für Objekte zuweisen, die von einem anderen Objekttyp als demjenigen Objekttyp sind, der in der bereitgestellten Markierung verwendet wird.
Schritt 404 kann umfassen, dass Objekte ausgefiltert werden, die sich bereits in einem gültigen Endzustand befinden, und dass Objekten in dem Umfeld, die bereits korrekt platziert sind, unendliche Kosten zugewiesen werden.
Schritt 406 kann umfassen, dass der benötigte Griffpunkt in globaler Koordination für jedes verbleibende Objekt, das ergriffen werden soll, identifiziert wird: R_grasp = m_{target_rotation}·R_object X -_grasp = X -_object + m -_target·R_object X -_approach = X -_object + m -_approach·R_object wobei m_{targetrotation}, m_target und m_approach aus der Eingabemarkierung M entnommen sind und R_grasp und X_grasp die Zielrotationsmatrix und Griffposition für dieses Objekt sind. X_approach ist der Endpunkt der Linie, entlang welcher das Robotergreiforgan die Annäherung an den Greifort versuchen sollte, um ein Umwerfen des Zielobjekts zu vermeiden.
Bei Schritt 408 kann die ECU 22 ein inverses Kinematikmodell des Roboters 10 verwenden, um den Satz von Gelenkwinkeln mit der minimal notwendigen Veränderung pro Gelenk zum Erreichen von X_grasp und X_approach zu identifizieren. Die Kosten d_a,b zum Zuweisen der Markierung M_a zum Objekt P_b ohne Strafen ist der euklidische Abstand von der aktuellen Greiforganposition zur Zielposition X_grasp.
Die Wahl der Kostenschätzungsfunktion ist willkürlich. Die Veränderung der Gelenkwinkel wurde vorstehend anstelle des euklidischen Abstands beschrieben, aber dieser Ansatz zeigte potentielle Probleme beim Erreichen aller Zielobjekte. Obwohl in der Praxis einige Objekte nah genug sind, damit ein reaktives Motorschema ein Ergreifen dieses Objekts versucht, kann der tatsächliche Zielpunkt gemäß der inversen Kinematik des Roboters 10 gerade außerhalb der Reichweite liegen, und kann somit zu einem falschen unendlichen Wert führen. Eine weitere Lösung dafür besteht darin, für Griffe, von denen angenommen wird, dass sie außerhalb der Reichweite liegen, endliche Strafen zuzuweisen, und die reaktiven Motorschemata, die den Roboter 10 steuern, diese Griffe versuchen zu lassen, wenn andere leichter zu ergreifende Objekte bereits aufgehoben worden sind und in einen korrekten Endzustand platziert wurden.
Immer noch mit Bezug auf 6 kann Schritt 410 umfassen, dass Strafen für nicht erreichbare Gelenkwinkelkonfigurationen zugewiesen werden. Wenn die inverse Kinematikfunktion nahelegt, dass entweder der Greifpunkt oder der Annäherungspunkt nicht erreichbar sind, kann d_a,b eine kalibrierte Strafe zugewiesen werden.
Bei Schritt 412 kann die ECU 22 Strafen für Objekte zuweisen, die aufgrund von Hindernissen in der Strecke des Annäherungsvektors nicht erreichbar sind. Derartige Hindernisse können durch verschiedene Mittel detektiert werden, etwa mithilfe des Hinderniswahrnehmungsmoduls 46, das in 4 gezeigt ist.
Visuelle Merkmale Aufnehmen
Die vorstehende Beschreibung nimmt an, dass alle Objekte P unabhängige physikalische Objekte sind, die von einem externen visuellen Erkennungssystem erkannt und lokalisiert werden. Dieses System ermöglicht das Lernen aus einer Demonstration von Manipulationsaufgaben durch Menschen, die derartige Objekte betreffen, vorausgesetzt, sie sind sichtbar. Jedoch kann ein derartiges Wahrnehmungssystem Probleme verursachen, wenn teilmontierte Objekte manipuliert werden oder wenn Objekte mit einer gewissen Rotationssymmetrie gehandhabt werden.
Im ersten Fall kann es sein, dass der Roboter 10 von 1 nicht in der Lage ist, korrekt zu identifizieren, was er gerade manipuliert, weil der Roboter 10 nicht über ein vollständiges Modell der Teilanordnung verfügt. Zum Beispiel kann es sein, dass eine Tür mit eingeführten Schrauben unmöglich von einer Tür ohne derartige Schrauben unterschieden werden kann, wenn für die Kombination aus Tür und Schrauben kein Wahrnehmungsmodell verfügbar ist. Im letzteren Fall kann ein Objekt mit einer gewissen Rotationssymmetrie, sei es visuell symmetrisch, d. h. es führt zu willkürlichen Richtungsergebnissen von einem visuellen Erkennungssystem, oder funktionssymmetrisch, d. h. visuell eindeutig orientiert, aber während einer Manipulation drehbar, ohne die Anordnung zu beeinflussen, bewirken, dass der Roboter 10 gültige Markierungen fälschlich bestraft oder sie als unerreichbar aussondert, wodurch erreichbare Objekte im Arbeitsraum zurückgelassen werden.
Die Antwort auf dieses Problem ist zweifach. Erstens werden mehr visuelle Merkmale benötigt, um den visuellen Raum besser darzustellen. Menschen können zwischen vielen derartigen Problemen unter Verwendung allgemeiner Merkmale wie etwa Ecken, Farben oder Ränder unterscheiden, und daher benötigt ein Roboter diese Merkmale zusätzlich zu Objekterkennungskapazitäten. Zweitens braucht der Roboter 10 die Kapazität zur Verallgemeinerung über mehrere Versuche hinweg, um diejenigen Merkmale zu identifizieren, die sich zwischen Beispielen nicht verändern, und sie zu einem existierenden Wahrnehmungsmodell hinzuzufügen. Auf diese Weise lernt der Roboter 10, welche visuellen Merkmale neben dem Basisobjektmodell für die Montagaufgabe kritisch sind.
Verallgemeinerung einer Markierung
Der vorliegende Ansatz kann unter Verwendung eines simulierten visuellen 3D-Bildgebungssystems, das über dem Roboterarbeitsraum montiert ist, implementiert werden. Dieses stellt ein Farbbild und Bereichsinformationen bereit, aus denen Ecken und Farb-Blobs in einem Bild gefunden und in 3D lokalisiert werden können. Standardmäßig ist die Höhe eines detektierten Merkmals der höchste Punkt im Arbeitsraum innerhalb eines Pixels des visuellen Mittelpunkts. Während des Trainings werden diese allgemeinen Merkmale zu dem Datenstrom T hinzugefügt, der an die geeigneten Erkennungsfunktionen weitergeleitet werden soll, sobald die Aufgabendemonstration abgeschlossen ist.
Fertigkeitenerkennung
Um die Anwesenheit neuer visueller Merkmale im Datenstrom zuzulassen, werden Erkennungsfunktionen justiert, um alle visuellen Merkmale aufzuzeichnen, welche interessierende Objekte bei kritischen Zeitpunkten umfassen, wie etwa dem Ergreifen des Objekts oder dem Absetzen desselben. Alle Merkmale enthalten einen Typ und eine 3D-Stelle sowie eine Drehung, sofern verfügbar. Um die Rechenlast zu minimieren, kann der Satz der interessierenden visuellen Merkmale auf einen kalibrierten Bereich um den Greif/Loslasspunkt herum begrenzt werden.
Markierungsverallgemeinerung
Eine neue Verallgemeinerungsfunktion ist dann für die Feststellung verantwortlich, dass zwei Markierungen gleich sind, und für das Suchen der Schnittmenge der Merkmalssätze dieser beiden. Die Verallgemeinerungsfunktion empfängt zwei Markierungen als Eingabe und gibt eine einzige neue Markierung des gleichen Typs wie die Eingaben aus. Aufgrund von Variationen in der Praxis zwischen Szenarien kann man wählen, die Eingaben nicht zu löschen, sondern stattdessen die neue verallgemeinerte Markierung parallel zu verwenden. generalizor(M_a, M_b) ⇒ M_new
Die Verallgemeinerungsfunktion löst ein Gleichungssystem für die Greiffertigkeit. Wenn zwei Markierungen M_a und M_b tatsächlich das gleiche Beispiel sind, dann sollte es irgendeine Translation X_transf und Rotation R_transf geben, die M_a in M_b umformen wird. Die Herausforderung besteht darin, den Satz von Übereinstimmungsmerkmalen in beiden Markierungen zu identifizieren, für welche diese Transformation gültig ist. X -_feature,b = (X -_feature,a – X -_robot,a)·R_transf + X -_transf R_feature,b = R_transf·R_feature,a
X_feature,b R_feature,b sind die Stelle und die Rotation eines einzelnen aufgezeichneten Merkmales, wobei implementierte Merkmale Ecken, Farb-Blobs und interessierende Objekte umfassen. Wenn M_a und M_b Variationen der gleichen allgemeinen Markierung sind, dann sollte unter Verwendung eines Levenberg-Marquardt(LM)-Lösers zum Auflösen nach X_transf und R_transf der Gesamtfehler zwischen der Position/Rotation der gelösten Merkmale und den in M_b aufgezeichneten Positionen kleiner als ein Schwellenwert sein. Es wird angemerkt, dass die Rotationskomponente dieser Gleichungen nur enthalten ist, wenn ein Merkmal, das eine Objektstelle umfasst, zur Aufnahme in Betracht gezogen wird. Darüber hinaus kann die Rotationskomponente eines Merkmals mit bekannter Orientierung unter Verwendung dieser Trennung unabhängig von der Relativposition fallen gelassen werden, was Symmetrieuntersuchungen praktikabel macht. Das Ergreifen eines Würfels benötigt daher vier nicht ebene Merkmale, welche drei Ecken und ein Objektmittelpunkt oder vier Ecken usw. sein können.
Die vorstehenden Gleichungen lösen nicht nach der Rotation des Robotergreifers, z. B. des Manipulators 20 von 1, relativ zu der Merkmalssammlung auf. Nach dem Identifizieren eines möglichen Satzes von übereinstimmenden Merkmalen kann ein zusätzliches Filter verwendet werden, um zu verifizieren, dass Robotergreiferrotationen relativ zum ergriffenen Objekt für beide Markierungen übereinstimmen.
Kostenschätzung mit Verallgemeinerten Markierungen
Die vorstehend beschriebene Kostenschätzung verändert sich nicht, sobald eine Sammlung übereinstimmender Merkmale im aktuellen Wahrnehmungsraum identifiziert wurde. Um diese übereinstimmenden Merkmale zu finden, kann man den gleichen LM-basierten Problemlöser verwenden, um Merkmalssätze zu identifizieren, welche mit einem Minimum an zusätzlichem Fehler übereinstimmen. Deren zugehörige Drehung wird dann die Drehung des ”Objekts”, das der Roboter aufnehmen soll. Unter Verwendung der Drehung dieses neuen ”Objekts” bleiben die vorstehend beschriebenen Kostenschätzungsgleichungen gleich.
Suchmodellraum
Ein Hauptnachteil dieses auf visuellen Merkmalen beruhenden Ansatzes ist die Auswirkung der Überdeckung. Beispielsweise können an der Unterseite eines Objekts angeordnete Ecken für eine Deckenkamera aufgrund des Blickwinkels nicht an allen Stellen im Arbeitsraum sichtbar sein. Auf ähnliche Weise können andere Objekte sichtbare Merkmale vor einer einzigen Kamera verbergen. Daher können allgemeine Modelle erheblich beeinträchtigt werden, wenn ein spezieller Satz mit visuellen Merkmalen verwendet wird, die nicht immer sichtbar sind. Im Fall von objektspezifischen Merkmalen im Gegensatz zu Merkmalen, die durch die Kombination von zwei Objekten erzeugt werden, ist eine mögliche Lösung, eine a-priori-Kenntnis von Merkmalstellen, die aus dem Objektmodell erhalten wurden, in Verbindung mit Echtzeitinformationen von Objektposition und Rotation, welche durch die Objektverfolgung zurückgegeben werden, zu verwenden.
Im Gegensatz zu verallgemeinerten Markierungen, die von der Sichtbarkeit von Merkmalen abhängen, kann das Objektverfolgungssystem, z. B. das Verfolgungsmodul 47 von 4, eine Wolke aus sichtbaren Merkmalen verwenden, um das Objekt aus einem beliebigen Winkel zu identifizieren. Diese Wolke von Merkmalen kann a priori entweder aus einer detaillierten Abtastung des Objekts oder durch Drehen des Objekts vor der Kamera, d. h. einem Teil der Wahrnehmungssensoren 25 von 1, extrahiert werden. Wenn man zur gleichen Zeit die relativen Positionen von biologisch plausiblen Merkmalen wie etwa Ecken, Rändern und/oder Farb-Blobs extrahiert, kann man die 3D-Positionen aller derartigen Merkmale als eine Transformation vom Mittelpunkt des Objekts aus in Echtzeit schätzen, ob diese Merkmale nun sichtbar sind oder nicht. Nun sind diese Merkmale zu Abgleichszwecken immer sichtbar.
Das Lernen durch Nachahmung mithilfe der ECU 22 von 1, welche die Logikelemente 40 von 4 aufweist, stellt ein leistungsfähiges Werkzeug zum schnellen Neutrainieren einer Roboterarbeitskraft bereit. Es ist daher für die Entwicklung flexibler Anlagen und Montagelinien von Bedeutung. Ohne eine Repräsentation des flexiblen Lernens jedoch kann eine Demonstration durch Menschen nicht korrekt auf einen Roboterpartner übertragen werden. Deiktische Markierungen wie vorstehend beschrieben stellen eine derartige flexible Repräsentation bereit. Diese um Fertigkeiten, die der Roboter sehr gut kennt, herum organisierten Markierungen können zunächst bei der Demonstration durch Menschen erkannt und dann ankommenden wahrnehmbaren Daten in Echtzeit zugewiesen werden, wodurch der Roboter durch sich verändernde Umfelder und sogar mehrstufige Montageaufgaben geführt wird.
Dieser Ansatz kann bei verschiedenen auf einem Manipulator basierenden Szenarien verwendet werden, welche Stapel-, Bestückungs- und Stift-in-Loch-Aufgaben umfassen. Darüber hinaus können, wie vorstehend angemerkt, mehrere Demonstrationen durch logische Ableitung kombiniert werden, um deiktische Markierungen mit komplexen Zielen und Symmetriebedingungen auf der Grundlage von allgemeinen visuellen Merkmalen wie etwa Ecken und Farb-Blobs zu identifizieren. Ein schnelles Training von Robotern wird somit durch die Verwendung von vorbestimmten Aufgabenprimitiven für komplexe Montageaufgaben ermöglicht, ohne ein kostspieliges erneutes Training von Robotern und ohne auf CAD-Modelle zuzugreifen.
Obwohl die besten Arten zum Ausführen der Erfindung im Detail beschrieben wurden, werden Fachleute auf dem Gebiet, das dieses Erfindung betrifft, verschiedene alternative Konstruktionen und Ausführungsformen zum Umsetzen der Erfindung in die Praxis im Umfang der beigefügten Ansprüche erkennen.

Claims

Verfahren (100) zum Trainieren eines Roboters (10), um eine Roboteraufgabe in einem Arbeitsumfeld auszuführen, wobei das Verfahren (100) umfasst, dass: der Roboter (10) über seinen Konfigurationsraum hinweg durch mehrere Zustande der Roboteraufgabe bewegt wird, um dadurch dem Roboter (10) die Roboteraufgabe zu demonstrieren, wobei der Konfigurationsraum der Satz aller möglichen Konfigurationen für den Roboter (10) ist; Motorschemata (28) durch eine elektronische Steuerungseinheit (ECU) (22) aufgezeichnet werden, die eine Verhaltenssequenz des Roboters (10) beschreiben; sensorische Daten (15) durch die ECU (22) aufgezeichnet werden, die Leistungs- und Zustandswerte des Roboters (10) beschreiben, während der Roboter (10) über seinen Konfigurationsraum hinweg bewegt wird; wahrnehmbare Merkmale von Objekten (21, 23), die in der Umgebung angeordnet sind, detektiert werden; virtuelle deiktische Markierungen den detektierten wahrnehmbaren Merkmalen über die ECU (22) zugewiesen werden; und die zugewiesenen virtuellen deiktischen Markierungen und die aufgezeichneten Motorschemata (28) verwendet werden, um durch Nachahmung der demonstrierten Roboteraufgabe die Steuerung des Roboters (10) anschließend bei einer automatisierten Ausführung einer anderen Roboteraufgabe durch die ECU (22) zu ermöglichen.
Verfahren (100) nach Anspruch 1, wobei das Bewegen des Roboters (10) über seinen Konfigurationsraum hinweg umfasst, dass ein Roboterarm (16) und/oder ein Manipulator (20) des Roboters (10) manuell rückwärts verfahren werden.
Verfahren (100) nach Anspruch 1, wobei der Roboter (10) mit einer Eingabevorrichtung (13) in Verbindung steht, und wobei das Bewegen des Roboters (10) über seinen Konfigurationsraum hinweg umfasst, dass die Bewegung mithilfe der Eingabevorrichtung (13) befohlen wird.
Verfahren (100) nach Anspruch 1, wobei das Aufzeichnen sensorischer Daten (15) umfasst, dass eine Kraft und ein Drehmoment aufgezeichnet werden, die von dem Manipulator (20) auf ein Objekt (23) aufgebracht werden, das von dem Manipulator (20) während der Demonstration der Aufgabe ergriffen wird.
Verfahren (100) nach Anspruch 1, wobei das Detektieren von wahrnehmbaren Merkmalen eines Objekts (21, 23), das in dem Umfeld angeordnet ist, das Verwenden einer Kamera (25) umfasst, um die wahrnehmbaren Merkmale visuell zu detektieren.
Verfahren (100) nach Anspruch 1, wobei das Verwenden einer Kamera (25), um die wahrnehmbaren Merkmale visuell zu detektieren, das visuelle Detektieren eines Oberflächenmerkmals des Objekts (23) umfasst.
System, das umfasst: einen Roboter (10) mit einem Arm (16) und einem Manipulator (20), der mit dem Arm (16) verbunden ist; ein Sensorfeld (33), das sensorische Daten (15) misst, welche Leistungs- und Zustandswerte des Roboters (10) beschreiben; einen Wahrnehmungssensor (25), der Bilder von Objekten (21, 23) aufnimmt, die im Umfeld angeordnet sind; und eine elektronische Steuerungseinheit (ECU) (22) in Verbindung mit dem Roboter (10), dem Sensorfeld (33) und den Wahrnehmungssensoren (25), die aufgezeichnete Motorschemata (28) enthält, welche eine Verhaltenssequenz des Roboters (10) beschreiben, wobei die ECU (22) ausgestaltet ist, um: die sensorischen Daten (15) aufzuzeichnen, wenn der Arm (16) und der Manipulator (20) von einem menschlichen Bediener über den Konfigurationsraum des Roboters (10) hinweg durch mehrere Zustände einer Roboteraufgabe bewegt werden; wahrnehmbare Merkmale und die von Wahrnehmungssensoren (25) aufgenommenen Bilder zu detektieren; den detektierten wahrnehmbaren Merkmalen virtuelle deiktische Markierungen zuzuweisen; und die zugewiesenen virtuellen deiktischen Markierungen und die aufgezeichneten Motorschemata (28) zu verwenden, um den Roboter (10) durch Nachahmung der demonstrierten Roboteraufgabe bei einer automatisierten Ausführung einer anderen Roboteraufgabe zu steuern.
System nach Anspruch 7, wobei die ECU (22) ferner ausgestaltet ist, um: einzelne deiktische Markierungen selektiv zu kombinieren, um eine verallgemeinerte Markierung zu erzeugen, die einen Datensatz von wahrnehmbaren Merkmalen mitführt, die den kombinierten einzelnen Markierungen gemeinsam sind, zusammen mit rotatorischen und translatorischen Versätzen, die benötigt werden, damit die einzelnen Markierungen übereinstimmen.
System nach Anspruch 7, wobei die ECU (22) ausgestaltet ist, um Datensequenzen von Positionen des Manipulators (20) aus bedienergesteuerten Bewegungen des Roboters (10) zu erfassen.
System nach Anspruch 7, ferner umfassend: eine Eingabevorrichtung (13) in Verbindung mit der ECU (22), wobei der Arm (16) und der Manipulator (20) von einem menschlichen Bediener während der Aufzeichnung der sensorischen Daten (15) unter Verwendung der Eingabevorrichtung (13) bewegt werden.