-
Die Erfindung betrifft u.a. ein Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines auf Grundlage eines entsprechenden Trainingsdatensatzes trainierbaren Industrieroboters, wobei der Industrieroboter wenigstens eine Handhabungseinrichtung, welche wenigstens ein in wenigstens einem Bewegungsfreiheitsgrad bewegbares Handhabungselement zur Handhabung eines von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position umzusetzenden Objekts umfasst.
-
Trainingsdatensätze zum Trainieren von Industrierobotern sind aus dem Bereich der Robotik, insbesondere im Zusammenhang mit dem Begriff Maschinenlernen („machine learning“) weithin bekannt.
-
Entsprechende Trainingsdatensätze sollen einen Industrieroboter im Zusammenhang mit einer bestimmten Aufgabenstellung, wie z. B. einer Pick-and-Place- oder einer Vereinzelungsaufgabenstellung, insbesondere dahin trainieren, dass die ihm im Rahmen der Aufgabenstellung zur Verfügung gestellten Daten, wie z. B. handzuhabende Objekte betreffende Erfassungsdaten, derart verarbeitet werden, dass eine zur Lösung der jeweiligen Aufgabenstellung auszuführende Aktion möglichst automatisiert ausgeführt werden kann.
-
Mithin sind auch entsprechende Verfahren zur Erzeugung von Trainingsdatensätzen zum Trainieren von Industrierobotern aus dem Bereich der Robotik in unterschiedlichen Ausführungen dem Grunde nach bekannt.
-
Verbesserungswürdig an entsprechenden Verfahren ist, dass die Trainingsdatensätze bisweilen in sehr langwierigen und komplexen Prozessen erzeugt werden, sodass ein Bedarf nach Möglichkeiten einer einfachen, jedoch gleichwohl effizienten Erzeugung entsprechender Trainingsdatensätze besteht. Insbesondere soll die Erzeugung entsprechender Trainingsdatensätze für einen Anwender, welcher einen Industrieroboter für eine bestimmte Aufgabe trainieren möchte, einfach ausführbar sein.
-
DE 10 2019 002 065 A1 offenbart eine maschinelle Lernvorrichtung, eine Robotersteuervorrichtung und ein Robotervisionssystem, das eine maschinelle Lernvorrichtung verwendet.
-
DE 10 2018 002 423 A1 offenbart ein Robotersteuerung, eine Vorrichtung für maschinelles Lernen und ein Verfahren für maschinelles Lernen.
-
DE 10 2017 008 836 A1 offenbart eine maschinelle Lernvorrichtung und ein maschinelles Lernverfahren zum Lernen eines optimalen Objekt-Greifwegs.
-
DE 10 2016 009 030 B4 offenbart eine Vorrichtung für maschinelles Lernen, ein Robotersystem und ein maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs.
-
EP 3 515 671 B1 offenbart eine robotische Greifvorhersage unter Verwendung neuronaler Netzwerke.
-
-
US 2019 / 0 184 570 A1 offenbart einen Industrieroboter.
Der Erfindung liegt die Aufgabe zugrunde, ein demgegenüber, insbesondere im Hinblick auf die Möglichkeit einer einfachen, jedoch gleichwohl effizienten Erzeugung entsprechender Trainingsdatensätze, verbessertes Verfahren zum Erzeugen eines Trainingsdatensatzes für einen Industrieroboter anzugeben.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen bzw. nebengeordneten Ansprüche gelöst. Die hierzu abhängigen Ansprüche betreffen mögliche Ausführungsformen.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines auf Grundlage eines entsprechenden Trainingsdatensatzes trainierbaren Industrieroboters. Ein entsprechender Industrieroboter umfasst typischerweise wenigstens eine Handhabungseinrichtung, welche wenigstens ein Handhabungselement, d. h. z. B. ein Greifelement, Saugelement, etc., z. B. zur Handhabung eines von einer ersten räumlichen Ausrichtung und/oder Position in eine zweite räumliche Ausrichtung und/oder Position umzusetzenden Objekts umfasst. Eine entsprechende Handhabungseinrichtung eines entsprechenden Industrieroboters kann gegebenenfalls auch als Endeffektoreinrichtung bezeichnet bzw. erachtet werden. Ein entsprechendes Handhabungselement kann in allen Ausführungsformen sonach gegebenenfalls auch als Endeffektorelement bezeichnet bzw. erachtet werden.
-
Ein entsprechender Industrieroboter ist zur automatisierbaren bzw. automatisierten Ausführung von Aktionen zur Lösung von bestimmten Aufgaben bzw. Aufgabenstellungen konfiguriert. Bei entsprechenden Aufgaben bzw. Aufgabenstellungen kann es sich z. B. um Pick-and-Place- bzw. Umsetz- bzw. Vereinzelungsaufgaben von einem oder mehreren Objekten handeln. Bei einem entsprechenden Industrieroboter kann es sich sonach insbesondere um einen zur Ausführung von Pick-and-Place- bzw. Umsetz- bzw. Vereinzelungsaufgaben von einem oder mehreren Objekten konfigurierten Industrieroboter handeln.
-
Ein entsprechender Industrieroboter kann in allen Ausführungsformen als kollaborativer Industrieroboter („Cobot“) ausgebildet sein bzw. einen solchen umfassen. Mithin kann das Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines kollaborativen Industrieroboters („Cobot“) implementiert sein bzw. werden.
-
Ein entsprechender Industrieroboter kann einen Bestandteil einer Anordnung sein, welche neben dem Industrieroboter auch ein oder mehrere Peripheriegeräte umfasst. Ein entsprechendes Peripheriegerät kann z. B. als eine Zuführeinrichtung zur Zuführung von Objekten, insbesondere von in einer ersten Ausrichtung und/oder Position befindlichen Objekten, in einen Aktionsbereich wenigstens eines Handhabungselements der Handhabungseinrichtung des Industrieroboters ausgebildet sein oder eine solche umfassen. Alternativ oder ergänzend kann eine entsprechende Peripherieeinrichtung als eine Abführeinrichtung zur Abführung von Objekten, insbesondere von vermittels des Industrieroboters in die zweite Ausrichtung und/oder Position umgesetzten Objekten ausgebildet sein oder eine solche umfassen.
-
Eine entsprechende Anordnung bzw. Maschine kann eine Verpackungsmaschine zum Verpacken von Objekten sein oder einen Bestandteil einer solchen bilden. Eine entsprechende Verpackungsmaschine kann z. B. eingerichtet sein, Objekte, wie z. B. Lebensmittel, kosmetische Artikel, pharmazeutische Artikel, technische Artikel, aus einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position, d. h. z. B. in eine trägerartige, Aufnahmeeinrichtung, umzusetzen.
-
Ein verfahrensgemäß erzeugbarer bzw. erzeugter Trainingsdatensatz dient z. B. dazu, ein Modell für die Steuerung eines Industrieroboters im Zusammenhang mit der Ausführung einer bestimmten Aufgabe bzw. Aufgabenstellung zu erzeugen, auf Grundlage welches Modells der Industrieroboter zur Ausführung der jeweiligen Aufgabe bzw. Aufgabenstellung gesteuert werden kann. Wie sich im Weiteren ergibt, werden hierzu Daten bzw. Informationen bereitgestellt und zur Erzeugung eines jeweiligen Trainingsdatensatzes in bestimmter Weise verarbeitet. Ein verfahrensgemäß erzeugter Trainingsdatensatz betrifft sonach typischerweise eine oder mehrere vermittels eines Industrieroboters auszuführende Aufgabe(n) bzw. Aufgabenstellung(en), deren Ausführung dem Industrieroboter „antrainiert“ bzw. „angelernt“ werden soll. Die Verarbeitung der bereitgestellten Daten bzw. Informationen zur Erzeugung eines jeweiligen Trainingsdatensatzes erfolgt typischerweise über Algorithmen, welche die bereitgestellten Daten bzw. Informationen zur Erzeugung eines jeweiligen Trainingsdatensatzes, d. h. insbesondere auch im Hinblick auf eine bestimmte zu trainierende Aufgabe bzw. Aufgabenstellung, verarbeitet. Entsprechende Algorithmen können z. B. eingerichtet sein, in bereitgestellten Daten bzw. Informationen Muster und/oder Gesetzmäßigkeiten zu erkennen oder solche aus bereitgestellten Daten zu extrahieren. Dies kann im Weiteren ermöglichen, auch „unbekannte“ Daten in entsprechender Weise zu verarbeiten, was insbesondere auch ein Erkennen neuer Muster und/oder Gesetzmäßigkeiten erlauben kann.
-
Das Verfahren zum Erzeugen eines entsprechenden Trainingsdatensatzes zum Trainieren eines Industrieroboters umfasst die im Weiteren näher beschriebenen Schritte:
- In einem ersten Schritt des Verfahrens erfolgt ein Bereitstellen einer ersten Abbildeinformation, welche eine erste ein- oder mehrdimensionale Abbildung eines vermittels eines auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters umzusetzenden Objekts beschreibt. In dem ersten Schritt des Verfahrens wird sonach, z. B. vermittels einer geeigneten hardware- und/oder softwaremäßig implementierten Bereitstellungseinrichtung oder vermittels Cloud-Computing, eine erste Abbildeinformationen bereitgestellt. Die erste Abbildeinformation beschreibt bzw. betrifft eine erste ein- oder mehrdimensionale Abbildung eines Objekts, welches vermittels eines auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters umzusetzen ist. Die erste Abbildeinformation kann eine ein- oder mehrdimensionale Abbildung eines bestimmten Objekts z. B. in einer bestimmten Ausrichtung und/oder Position und/oder vor einem bestimmten Vorder- bzw. Hintergrund und/oder in einer bestimmten Belichtungssituation beschreiben. Bei dem durch die erste Abbildeinformation beschriebenen Objekt handelt es sich typischerweise um das Objekt, dessen Handhabung dem auf Grundlage des zu erzeugenden Trainingsdatensatzes zur Ausführung einer bestimmten Aufgabe zu trainierenden Industrieroboters antrainiert bzw. angelernt werden soll.
-
Die erste Abbildeinformation beschreibt eine Abbildung des jeweiligen Objekts in einer ersten räumlichen Ausrichtung und/oder Position und/oder in einer ersten räumlichen Umgebung, insbesondere vor einem ersten Vorder- und/oder Hintergrund, und/oder unter einer ersten chemischen und/oder physikalischen Bedingung, wie z. B. in einer ersten chemischen Zusammensetzung, bei einem ersten Druck, bei einer ersten Feuchtigkeit, bei einer ersten Temperatur, etc., und/oder in einer ersten Belichtungssituation und/oder in einer ersten Farbgebung.
-
Bei der ersten Abbildeinformation handelt es sich unabhängig von ihrem konkreten Inhalt typischerweise um eine digitale Information, welche über geeignete hardware- und/oder softwaremäßig implementierte Daten- bzw. Bildverarbeitungsmaßnahmen verarbeitet werden kann.
-
In einem zweiten Schritt des Verfahrens erfolgt ein Verarbeiten der ersten Abbildeinformation zum Erzeugen einer weiteren Abbildeinformation, welche wenigstens eine künstlich erzeugte weitere ein- oder mehrdimensionale Abbildung des vermittels des auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters umzusetzenden Objekts beschreibt. In dem zweiten Schritt des Verfahrens wird die in dem ersten Schritt des Verfahrens bereitgestellte erste Abbildeinformation sonach, z. B. vermittels einer geeigneten hardware- und/oder softwaremäßig implementierten Daten- bzw. Bildverarbeitungseinrichtung oder vermittels Cloud-Computing, verarbeitet, um eine weitere Abbildeinformation zu erzeugen. In dem zweiten Schritt des Verfahrens wird sonach durch Verarbeiten der ersten Abbildeinformation eine weitere Abbildeinformation erzeugt. Resultat des zweiten Schritts des Verfahrens ist sonach eine weitere Abbildeinformation, welche auf Grundlage der ersten Abbildeinformation erzeugt wurde. Die weitere Abbildeinformation beschreibt bzw. betrifft eine, insbesondere auf Grundlage der ersten Abbildeinformation, künstlich erzeugte ein- oder mehrdimensionale Abbildung des auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters umzusetzenden Objekts. Die weitere Abbildeinformation beschreibt sonach typischerweise dasselbe Objekt wie die erste Abbildeinformation, allerdings kann das Objekt in der weiteren Abbildeinformation im Vergleich zu der ersten Abbildeinformation in einer künstlich erzeugten anderen ein- oder mehrdimensionalen Abbildung und/oder in einer künstlich erzeugten anderen bzw. weiteren Ausrichtung und/oder Position und/oder vor einem künstlich erzeugten anderen bzw. weiteren Vorder- und/oder Hintergrund und/oder in einer künstlich erzeugten anderen bzw. weiteren Belichtungssituation beschrieben sein. Das Objekt kann in der weiteren Abbildeinformation sonach z. B. in wenigstens einer künstlich erzeugten Darstellung, gegebenenfalls auch in einer künstlich erzeugten Umgebung, beschrieben sein.
-
Die weitere Abbildeinformation beschreibt eine künstlich erzeugte Abbildung des Objekts in wenigstens einer weiteren räumlichen Ausrichtung und/oder Position und/oder in wenigstens einer weiteren räumlichen Umgebung, insbesondere vor wenigstens einem weiteren Hintergrund, und/oder unter wenigstens einer weiteren chemischen und/oder physikalischen Bedingung, wie z. B. in einer weiteren chemischen Zusammensetzung, bei einem weiteren Druck, bei einer weiteren Feuchtigkeit, bei einer weiteren Temperatur, etc., und/oder in wenigstens einer weiteren Belichtungssituation und/oder in wenigstens einer weiteren Farbgebung.
-
Insbesondere kann die weitere Abbildeinformation eine künstlich erzeugte Abbildung des jeweiligen Objekts in einer, insbesondere geordneten oder ungeordneten, Anordnung mit wenigstens einem weiteren Objekt, insbesondere wenigstens einem weiteren Objekt gleicher oder ungleicher Art bzw. Gattung, beschreiben. Mithin kann ein in einer ersten Abbildeinformation beschriebenes Objekt in der weiteren Abbildeinformation in einer Anordnung mit weiteren Objekten abgebildet respektive beschrieben sein bzw. werden. Auch derart kann der für die Erzeugung eines Trainingsdatensatzes erforderliche bzw. nützliche Informationsgehalt der weiteren Abbildeinformation im Vergleich zu der ersten Abbildeinformation erweitert werden.
-
Bei der weiteren Abbildeinformation handelt es sich unabhängig von ihrem konkreten Inhalt typischerweise um eine digitale Information, welche über geeignete hardware- und/oder softwaremäßig implementierte Daten- bzw. Bildverarbeitungsmaßnahmen verarbeitet werden kann.
-
Zur Verarbeitung der ersten Abbildeinformation und somit zur Erzeugung der weiteren Abbildeinformation können sonach geeignete Datenverarbeitungsmaßnahmen, d. h. insbesondere geeignete Bildverarbeitungsmaßnahmen, angewendet werden, welche ein Verarbeiten einer entsprechenden ersten Abbildeinformation zur Erzeugung einer entsprechenden weiteren Abbildeinformation ermöglichen. Entsprechende Daten- bzw. Bildverarbeitungsmaßnahmen können durch geeignete Daten- bzw. Bildverarbeitungsalgorithmen implementiert sein bzw. werden.
-
In einem dritten Schritt des Verfahrens erfolgt ein Verarbeiten der weiteren Abbildeinformation zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines auf Grundlage des Trainingsdatensatzes trainierbaren Industrieroboters. In dem dritten Schritt des Verfahrens wird die in dem zweiten Schritt des Verfahrens erzeugte weitere Abbildeinformation, z. B. vermittels der oder einer geeigneten hardware- und/oder softwaremäßig implementierten Daten- bzw. Bildverarbeitungseinrichtung, verarbeitet, um einen Trainingsdatensatz zu erzeugen, auf Grundlage welches ein entsprechender Industrieroboter trainiert werden kann. In dem dritten Schritt des Verfahrens wird sonach durch Verarbeiten der weiteren Abbildeinformation ein Trainingsdatensatz erzeugt. Resultat des dritten Schritts des Verfahrens ist sonach ein Trainingsdatensatz, welcher auf Grundlage der weiteren Abbildeinformation erzeugt wurde.
-
Wesentlich für das Verfahren ist die in dem zweiten Schritt, insbesondere automatisierbar bzw. automatisiert erfolgende, Erzeugung der weiteren Abbildeinformation, welche das jeweilige Objekt in mehreren künstlich erzeugten Situationen, d. h. z. B. in mehreren unterschiedlichen künstlich erzeugten Ausrichtungen bzw. Positionen und/oder vor mehreren unterschiedlichen künstlich erzeugten Vorder- und/oder Hintergründen und/oder in mehreren unterschiedlichen künstlich erzeugten Belichtungssituationen, beschreibt. Der in der ersten Abbildeinformation enthaltene Informationsgehalt, d. h. insbesondere die in der ersten Abbildeinformation beschriebene Informationen zu dem jeweiligen Objekt, wird bzw. werden durch die weitere Abbildeinformation sonach künstlich erweitert, als in der weiteren Abbildeinformation Informationen zu dem jeweiligen Objekt in wenigstens einer künstlich erzeugten weiteren ein- oder mehrdimensionalen Abbildung beschrieben sind. Dies stellt einen wesentlichen Aspekt für die Erzeugung eines entsprechenden Trainingsdatensatzes und für das Trainieren des jeweiligen Industrieroboters dar, als das Trainieren des Industrieroboters sonach auf Grundlage einer Vielzahl an durch die jeweilige weitere Abbildeinformation beschriebenen unterschiedlichen Informationen zu dem jeweils umzusetzenden Objekt erfolgen kann, obwohl ursprünglich nur eine (einzige) Abbildeinformation, nämlich die erste Abbildeinformation, bereitgestellt wurde.
-
Insgesamt liegt damit ein verbessertes Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Industrieroboters vor.
-
Wie erwähnt, kann das Verarbeiten der ersten Abbildeinformation zum Erzeugen der weiteren Abbildeinformation vermittels wenigstens einer Bildverarbeitungsmaßnahme durchgeführt werden. Es werden ein oder mehrere digitale Bildverarbeitungsmaßnahmen angewendet welche, wie ebenso erwähnt, z. B. durch Bildverarbeitungsalgorithmen implementiert werden können. Eine entsprechende digitale Bildverarbeitungsmaßnahme beinhaltet wenigstens eine Maßnahme zum Erkennen bestimmter Objektparameter, insbesondere geometrisch-konstruktiver Objektparameter, Oberflächen(beschaffenheits)parameter, optischer Reflexionsparameter, etc.. Auch kann eine entsprechende Bildverarbeitungsmaßnahme wenigstens eine Maßnahme zum Erkennen bestimmter Parameter eines Vorder- und/oder Hintergrunds und/oder bestimmter chemischer und/oder physikalischer Bedingungen und/oder bestimmter Belichtungssituationen und/oder bestimmter Farbgebungen des in der ersten Abbildeinformation beschriebenen Objekts beinhalten.
-
In diesem Zusammenhang, jedoch grundsätzlich unabhängig von diesem, ist zu erwähnen, dass eine entsprechende erste Abbildeinformation in allen Ausführungsformen Meta-Informationen beinhalten bzw. einer entsprechenden ersten Abbildeinformation in allen Ausführungsformen Meta-Informationen zugeordnet werden können. Entsprechende Meta-Informationen können eine oder mehrere Sub-Informationen beschreiben bzw. betreffen kann. Entsprechende Meta-Informationen können sonach Angaben dahin liefern, was in einer jeweiligen ersten Abbildeinformation beschrieben bzw. „zu sehen“ ist. Die in der ersten Abbildeinformation enthaltenen bzw. dieser zugeordneten Meta-Informationen können in der weiteren Abbildeinformation künstlich verändert und/oder künstlich vervielfältigt sein bzw. werden.
-
Eine entsprechende Sub- bzw. Meta-Information kann sonach z. B. eine die in Pick-and-Place-Anwendungen bisweilen auch als „Format“ bezeichnete Gattung bzw. Klasse wenigstens eines Objekts beschreibende Gattungs- bzw. Klasseninformation sein. Mithin kann die Gattung bzw. Klasse wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine absolute Ausrichtung und/oder Position wenigstens eines Objekts beschreibende Absolutausrichtungsinformation und/oder Absolutpositionsinformation sein. Eine Absolutausrichtungsinformation und/oder Absolutpositionsinformation kann z. B. in Lagewinkeln und/oder in Weltkoordinaten angegeben sein bzw. solche beinhalten. Mithin kann eine absolute Ausrichtung und/oder Position wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine relative Ausrichtung und/oder Position wenigstens eines Objekts zu wenigstens einem weiteren Objekt beschreibende Relativausrichtungsinformation und/oder Relativpositionsinformation sein. Eine Relativausrichtungsinformation und/oder Relativpositionsinformation kann z. B. in Lagewinkeln und/oder in Weltkoordinaten angegeben sein bzw. solche beinhalten. Mithin kann eine relative Ausrichtung und/oder Position wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts zu wenigstens einem weiteren in der Abbildeinformation enthaltenen Objekt als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine einen Vordergrund und/oder einen Hintergrund wenigstens eines Objekts beschreibende Vordergrund- und/oder Hintergrundinformation sein. Mithin kann der Vordergrund und/oder Hintergrund wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine Belichtungssituation bzw. die Belichtungsverhältnisse wenigstens eines Objekts beschreibende Belichtungsinformation sein. Mithin kann bzw. können die Belichtungssituation bzw. die Belichtungsverhältnisse wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine, insbesondere von einer IST-Position und/oder IST-Ausrichtung, erforderliche(n) Anfahrbewegung bzw. Anfahrvektor eines Handhabungselements der Handhabungseinrichtung des Industrieroboters zum Anfahren wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts beschreibende Anfahrinformation sein. Mithin kann eine, insbesondere von einer IST-Position und/oder IST-Ausrichtung erforderliche(r) Anfahrbewegung bzw. ein Anfahrvektor eines Handhabungselements der Handhabungseinrichtung des Industrieroboters erfasst und als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine wenigstens eine geometrisch-konstruktive Abmessung wenigstens eines Objekts beschreibende Abmessungsinformation sein. Mithin kann wenigstens eine Abmessung wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine wenigstens eine geometrische-konstruktive Form (Raumform) wenigstens eines Objekts beschreibende Forminformation sein. Mithin kann wenigstens eine Form wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Farbgebung wenigstens eines Objekts beschreibende Farbinformation sein. Mithin kann die Farbgebung wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information eine alphanumerische und/oder graphische Elemente, wie z. B. eine Produktbezeichnung, wenigstens eines Objekts, gegebenenfalls auch einer Verpackung eines Objekts, beschreibende oder durch solche beschriebene Produktbezeichnungsinformation sein. Mithin können alphanumerische und/oder graphische Elemente wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Oberfläche, insbesondere die Oberflächenbeschaffenheit, d. h. insbesondere die optischen Oberflächeneigenschaften, wie z. B. einen Glanz- oder Reflexionsgrad, wenigstens eines Objekts beschreibende Oberflächeninformation sein. Mithin kann die Oberfläche, insbesondere die Oberflächenbeschaffenheit, wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Masse, insbesondere einen Masseschwerpunkt, und/oder das Volumen, insbesondere einen Volumenschwerpunkt, wenigstens eines Objekts beschreibende Masse- und/oder Volumeninformation sein. Mithin kann die Masse, insbesondere ein Masseschwerpunkt, und/oder das Volumen, insbesondere ein Volumenschwerpunkt, wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts als Sub-Information bzw. als Meta-Information verwendet werden.
-
Wie erwähnt, kann die digitale Bildverarbeitungsmaßnahme zum Erzeugen der weiteren Abbildeinformation vermittels Cloud-Computing durchgeführt werden. Alternativ oder ergänzend ist es möglich, die digitale Bildverarbeitungsmaßnahme vermittels wenigstens einer Deep-Learning-Maßnahme, insbesondere unter Einbeziehung wenigstens eines ein- oder mehrschichtigen künstlichen neuronalen Netzes, zu implementieren.
-
Das in dem dritten Schritt des Verfahrens erfolgende Erzeugen des Trainingsdatensatzes kann gegebenenfalls vermittels Cloud-Computing durchgeführt werden. Mithin kann ein entsprechender Trainingsdatensatz grundsätzlich zentral oder dezentral erzeugt werden. Eine zentrale Erzeugung eines entsprechenden Trainingsdatensatzes kann z. B. realisiert werden, wenn der Trainingsdatensatz vermittels einer zentralen bzw. lokalen Datenverarbeitungseinrichtung, wie z. B. einem lokalen Computer, Smartphone, Tablet, etc., durchgeführt wird. Eine dezentrale Erzeugung eines entsprechenden Trainingsdatensatzes kann z. B. realisiert werden, wenn der Trainingsdatensatz vermittels einer dezentralen bzw. globalen Datenverarbeitungseinrichtung, wie z. B. einem an ein übergeordnetes Daten- bzw. Kommunikationsnetzwerk, wie z. B. ein Intranet- oder das Internet, angeschlossenen Server, durchgeführt wird.
-
Die erste Abbildeinformation ist eine vermittels einer, insbesondere hardware- und/oder softwaremäßig implementierten, Bildaufnahme- bzw. Kameraeinrichtung erzeugte digitale Bildinformation des Objekts oder wird als solche bereitgestellt. Bei einer ersten Abbildeinformation kann es sich sonach z. B. um eine Fotografie oder ein Video eines jeweiligen Objekts oder eines Abbilds eines jeweiligen Objekts handeln. Die erste Abbildeinformation kann sonach z. B. durch eine, gegebenenfalls in ein nutzerseitiges (mobiles) Endgerät, wie z. B. ein Smartphone, Tablet, Laptop, etc., integrierte Bildaufnahme- bzw. Kameraeinrichtung erzeugt werden.
-
Alternativ oder ergänzend kann die erste Abbildeinformation eine vermittels einer, insbesondere hardware- und/oder softwaremäßig implementierten, Konstruktionsprogrammeinrichtung erzeugte digitale Konstruktionsinformation eines jeweiligen Objekts sein oder als solche bereitgestellt werden. Bei einer ersten Abbildeinformation kann es sich z. B. um eine CAD-Datei, STL-Datei, etc. eines jeweiligen Objekts handeln. Die erste Abbildeinformation kann sonach z. B. durch ein rechnerbasiertes Konstruktionsprogramm, wie z. B. ein CAD-Programm, erzeugt werden.
-
Alternativ oder ergänzend kann die erste Abbildeinformation ein eine Abbildung eines jeweiligen Objekts beinhaltendes elektronisches Dokument bzw. eine entsprechende Datei sein oder als solches bereitgestellt werden. Bei einer ersten Abbildeinformation kann es sich z. B. um ein editierbares oder nicht-editierbares elektronisches Dokument, welches ein jeweiliges Objekt beinhaltet, handeln. Die erste Abbildeinformation kann sonach eine pdf-Datei, eine Präsentations-Datei, eine Textverarbeitungsdatei, eine Webseite, etc., sein.
-
Das Verfahren kann in allen Ausführungsformen einen Schritt des Übertragens der weiteren Abbildeinformation an einen zu trainierenden Industrieroboter und/oder an eine Cloud-Computing-Einrichtung umfassen. Mithin kann die weitere Abbildeinformation über eine geeignete Daten- bzw. Kommunikationsverbindung an einen zu trainierenden Industrieroboter und/oder an eine Cloud-Computing-Einrichtung übertragen werden. Eine entsprechende Daten- bzw. Kommunikationsverbindung kann eine drahtgebundene oder drahtlose Daten- bzw. Kommunikationsverbindung über ein oder mehrere Daten- bzw. Kommunikationsnetzwerke sein oder umfassen. Eine entsprechende Daten- bzw. Kommunikationsverbindung kann verschlüsselt oder unverschlüsselt sein.
-
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines auf Grundlage eines entsprechenden Trainingsdatensatzes trainierbaren Industrieroboters, wobei der Industrieroboter wenigstens eine Handhabungseinrichtung, welche z. B. wenigstens ein in wenigstens einem Bewegungsfreiheitsgrad bewegbares Handhabungselement zur Handhabung eines von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position umzusetzenden Objekts umfasst. Das Verfahren umfasst die Schritte: Bereitstellen eines Trainingsdatensatzes, welcher gemäß einem Verfahren nach dem ersten Aspekt der Erfindung erzeugt wurde, und Trainieren des Industrieroboters auf Grundlage des bereitgestellten Trainingsdatensatzes. Sämtliche Ausführungen im Zusammenhang mit dem Verfahren nach dem ersten Aspekt der Erfindung gelten analog für das Verfahren nach dem zweiten Aspekt der Erfindung und umgekehrt.
-
Das Trainieren des Industrieroboters kann vermittels wenigstens einer Maßnahme zum maschinellen Lernen („machine learning“) implementiert bzw. durchgeführt werden. Die wenigstens eine Maßnahme zum maschinellen Lernen beinhaltet typischerweise die Verarbeitung eines entsprechenden Trainingsdatensatzes. Die wenigstens eine Maßnahme zum maschinellen Lernen kann insbesondere vermittels wenigstens einer Deep-Learning-Maßnahme, insbesondere unter Einbeziehung wenigstens eines ein- oder mehrschichtigen künstlichen neuronalen Netzes, implementiert bzw. durchgeführt werden. Ein jeweiliges künstliches neuronales Netz kann sonach mit eine oder mehrere zwischen einer Eingabe- und einer Ausgabeschicht implementierte Zwischenschichten aufweisen. Insbesondere werden neuronale Netze mit einer Vielzahl an entsprechenden Zwischenschichten verwendet, als derart regelmäßig bessere Trainingsergebnisse erzielt werden können.
-
Das Trainieren des Industrieroboters kann vermittels Cloud-Computing durchgeführt bzw. implementiert werden. Der zu trainierende Industrieroboter kann sonach über eine geeignete Daten- bzw. Kommunikationsverbindung mit einer Cloud-Computing-Einrichtung, z. B. in Form einer entsprechenden IT-Infrastruktur bzw. einem Rechnernetz, verbunden werden, über welche(s) das Trainieren des Industrieroboters durchgeführt werden kann. Mithin kann ein entsprechend erzeugter Trainingsdatensatz über Cloud-Computing zum Trainieren des Industrieroboters verarbeitet werden. Der Industrieroboter muss daher nicht zwingend hardware- und/oder softwaremäßig konfiguriert sein, um „sich selbst zu trainieren“, vielmehr kann das Trainieren des Industrieroboters über eine entsprechende IT-Infrastruktur bzw. ein entsprechendes Rechnernetz erfolgen, mit welcher der Industrieroboter über eine Daten- bzw. Kommunikationsverbindung kommuniziert.
-
Das Trainieren des Industrieroboters kann wenigstens eine simuliert ausgeführte Aktion und/oder wenigstens eine tatsächlich ausgeführte Aktion der Handhabungseinrichtung des Industrieroboters beinhalten. Insbesondere ist es denkbar, dass trainierte Aktionen der Handhabungseinrichtung zunächst wenigstens einmal simuliert werden, bevor diese tatsächlich ausgeführt werden.
-
Im Rahmen des Trainierens des Industrieroboters kann auf Grundlage des bereitgestellten Trainingsdatensatzes ein Steuerungsdatensatz zur Steuerung des Betriebs des Industrieroboters erzeugt werden. Der Steuerungsdatensatz kann Steuerinformationen zur Ausführung einer bestimmten Aufgabe bzw. Aufgabenstellung beinhalten. Der Steuerungsdatensatz kann bei weiterem Training des Industrieroboters aktualisiert bzw. verändert werden.
-
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zur Steuerung des Betriebs eines Industrieroboters, wobei der Industrieroboter wenigstens eine Handhabungseinrichtung umfasst, welche z. B. wenigstens ein in wenigstens einem Bewegungsfreiheitsgrad bewegbares Handhabungselement zur Handhabung eines von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position umzusetzenden Objekts umfasst. Das Verfahren umfasst die Schritte: Bereitstellen eines Steuerungsdatensatzes zur Steuerung des Betriebs des Industrieroboters, wobei der Steuerungsdatensatz auf Grundlage eines gemäß einem Verfahren nach dem ersten Aspekt der Erfindung erzeugten Trainingsdatensatzes erzeugt wurde, oder der Steuerungsdatensatz auf Grundlage eines Verfahrens nach dem zweiten Aspekt der Erfindung erzeugt wurde, und Steuern des Betriebs des Industrieroboters auf Grundlage des bereitgestellten Steuerungsdatensatzes. Sämtliche Ausführungen im Zusammenhang mit dem Verfahren nach dem ersten Aspekt der Erfindung und dem Verfahren nach dem zweiten Aspekt der Erfindung gelten analog für das Verfahren nach dem dritten Aspekt der Erfindung und umgekehrt.
-
Ein vierter Aspekt der Erfindung betrifft einen Industrieroboter, insbesondere einen kollaborativen Industrieroboter („Cobot“), umfassend wenigstens eine Handhabungseinrichtung, welche z. B. wenigstens ein in wenigstens einem Bewegungsfreiheitsgrad bewegbares Handhabungselement zur Handhabung eines von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position umzusetzenden Objekts umfasst. Der Industrieroboter ist auf Grundlage eines gemäß einem Verfahren nach dem ersten Aspekt der Erfindung erzeugten Trainingsdatensatzes trainiert und/oder auf Grundlage eines Verfahrens nach dem zweiten Aspekt der Erfindung trainiert und/oder auf Grundlage eines Verfahrens nach dem dritten Aspekt der Erfindung steuerbar oder gesteuert. Sämtliche Ausführungen im Zusammenhang mit dem Verfahren nach dem ersten Aspekt der Erfindung, dem Verfahren nach dem zweiten Aspekt der Erfindung, dem Verfahren nach dem dritten Aspekt der Erfindung gelten analog für den Industrieroboter nach dem vierten Aspekt der Erfindung und umgekehrt.
-
Die Erfindung ist anhand von Ausführungsbeispielen in den Zeichnungen näher erläutert. Dabei zeigt:
- 1 eine Prinzipdarstellung einer Anordnung zur Umsetzung von Objekten von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position gemäß einem Ausführungsbeispiel;
- 2 eine Prinzipdarstellung einer ersten Abbildeinformation gemäß einem Ausführungsbeispiel;
- 3 eine Prinzipdarstellung einer weiteren Abbildeinformation gemäß einem Ausführungsbeispiel; und
- 4 ein Blockdiagramm zur Darstellung eines Verfahrens zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Industrieroboters gemäß einem Ausführungsbeispiel.
-
1 zeigt eine Prinzipdarstellung einer Anordnung 1 zur Umsetzung von Objekten 2 von einer ersten Ausrichtung und/oder Position in eine zweite Ausrichtung und/oder Position gemäß einem Ausführungsbeispiel in einer Aufsicht. Die Anordnung 1 kann auch als Maschine bezeichnet bzw. erachtet werden.
-
Die Anordnung 1 umfasst einen, z. B. als kollaborativen Industrieroboter („Cobot“), ausgebildeten Industrieroboter 3 und mehrere Peripheriegeräte. Bei entsprechenden Peripheriegeräten handelt es sich in dem Ausführungsbeispiel um eine z. B. als Zuführband ausgebildete Zuführeinrichtung 4 zur Zuführung von Objekten 2, insbesondere von in einer ersten Ausrichtung und/oder Position befindlichen Objekten 2, in einen Aktionsbereich 5 eines, z. B. als Greif- oder Saugelement ausgebildeten, Endeffektor- bzw. Handhabungselements 6 einer Endeffektor- bzw. Handhabungseinrichtung 7 des Industrieroboters 3 und um eine z. B. als Abführband ausgebildete Abführeinrichtung 9 zur Abführung von Objekten 2, insbesondere von vermittels des Industrieroboters in eine zweite Ausrichtung und/oder Position umgesetzten Objekten 2.
-
In strichlierter Darstellung ist angedeutet, dass die Anordnung 1 auch mehrere entsprechende Peripheriegeräte sowie mehrere entsprechende Endeffektor- bzw. Handhabungseinrichtungen 7 nebst zugehörigen Endeffektor- bzw. Handhabungselements 6 umfassen kann.
-
Die Anordnung 1 umfasst zudem eine hardware- und/oder softwaremäßig implementierte Steuereinrichtung 8, welche zur Steuerung des Betriebs des Industrieroboters 3 eingerichtet ist. Die in 1 rein beispielhaft als struktureller Bestandteil des Industrieroboters 3 dargestellte Steuereinrichtung 8 ist sonach eingerichtet, Steuerdatensätze bzw. Steuerinformationen zu erzeugen, auf Grundlage welcher der Betrieb des Industrieroboters 3 zur Ausführung bestimmter Aufgaben bzw. Aufgabenstellungen gesteuert wird. Bei entsprechenden Aufgaben bzw. Aufgabenstellungen kann es sich z. B. um Pick-and-Place- bzw. Vereinzelungsaufgaben von Objekten 2 handeln.
-
Die dem Betrieb des Industrieroboter 3 zugrundeliegenden Steuerdatensätze bzw. Steuerinformationen wurden im Rahmen eines Trainierens des Industrieroboters 3 erzeugt. Das Trainieren des Industrieroboters 3 erfolgt wiederum auf Grundlage eines Trainingsdatensatzes.
-
Das Trainieren des Industrieroboters 3 kann vermittels wenigstens einer Maßnahme zum maschinellen Lernen („machine learning“) implementiert bzw. durchgeführt werden. Die wenigstens eine Maßnahme zum maschinellen Lernen beinhaltet die Verarbeitung eines entsprechenden Trainingsdatensatzes. Die wenigstens eine Maßnahme zum maschinellen Lernen kann insbesondere vermittels wenigstens einer Deep-Learning-Maßnahme, insbesondere unter Einbeziehung wenigstens eines ein- oder mehrschichtigen künstlichen neuronalen Netzes, implementiert bzw. durchgeführt werden. Ein jeweiliges künstliches neuronales Netz kann sonach mit eine oder mehrere zwischen einer Eingabe- und einer Ausgabeschicht implementierte Zwischenschichten aufweisen.
-
Das Trainieren des Industrieroboters 3 kann vermittels Cloud-Computing durchgeführt bzw. implementiert werden. Der Industrieroboter 3 kann sonach über eine geeignete Daten- bzw. Kommunikationsverbindung mit einer Cloud-Computing-Einrichtung 9, d. h. einer entsprechenden IT-Infrastruktur bzw. einem Rechnernetz, verbunden werden, über welche(s) das Trainieren des Industrieroboters 3 durchgeführt werden kann. Mithin kann ein Trainingsdatensatz über Cloud-Computing zum Trainieren des Industrieroboters 3 verarbeitet werden. Der Industrieroboter 3 muss daher nicht zwingend hardware- und/oder softwaremäßig konfiguriert sein, um „sich selbst zu trainieren“, vielmehr kann das Trainieren des Industrieroboters 3 über eine entsprechende IT-Infrastruktur bzw. ein entsprechendes Rechnernetz erfolgen, mit welcher der Industrieroboter 3 über eine Daten- bzw. Kommunikationsverbindung kommuniziert.
-
Das Trainieren des Industrieroboters 3 kann wenigstens eine simuliert ausgeführte Aktion und/oder wenigstens eine tatsächlich ausgeführte Aktion der Handhabungseinrichtung 7 beinhalten. Insbesondere ist es denkbar, dass trainierte Aktionen der Handhabungseinrichtung 7 zunächst wenigstens einmal simuliert werden, bevor diese tatsächlich ausgeführt werden.
-
Im Rahmen des Trainierens des Industrieroboters 3 kann, wie erwähnt, auf Grundlage des Trainingsdatensatzes ein Steuerungsdatensatz zur Steuerung des Betriebs des Industrieroboters 3 erzeugt werden. Der Steuerungsdatensatz kann Steuerinformationen zur Ausführung einer bestimmten Aufgabe bzw. Aufgabenstellung beinhalten. Der Steuerungsdatensatz kann bei weiterem Training des Industrieroboters aktualisiert bzw. verändert werden.
-
Ein Ausführungsbeispiel eines Verfahrens zum Erzeugen eines Trainingsdatensatzes zum Trainieren des Industrieroboters 3 wird nachfolgend unter Bezugnahme auf die 2 - 4 näher erläutert.
-
Ein entsprechender Trainingsdatensatz dient typischerweise dazu, ein Modell für die Steuerung eines Industrieroboters 3 im Zusammenhang mit der Ausführung einer bestimmten Aufgabe bzw. Aufgabenstellung zu erzeugen, auf Grundlage welches der Industrieroboter 3 zur Ausführung der jeweiligen Aufgabe bzw. Aufgabenstellung gesteuert werden kann. Hierzu werden Daten bzw. Informationen bereitgestellt und zur Erzeugung eines jeweiligen Trainingsdatensatzes in bestimmter Weise verarbeitet. Ein entsprechend erzeugter Trainingsdatensatz betrifft sonach typischerweise eine oder mehrere vermittels eines Industrieroboters auszuführende Aufgabe(n) bzw. Aufgabenstellung(en), deren Ausführung dem Industrieroboter „antrainiert“ bzw. „angelernt“ werden soll. Die Verarbeitung der bereitgestellten Daten bzw. Informationen zur Erzeugung eines jeweiligen Trainingsdatensatzes erfolgt typischerweise über Algorithmen, welche die bereitgestellten Daten bzw. Informationen zur Erzeugung eines jeweiligen Trainingsdatensatzes, d. h. insbesondere auch im Hinblick auf eine bestimmte zu trainierende Aufgabe bzw. Aufgabenstellung, verarbeitet. Entsprechende Algorithmen können z. B. eingerichtet sein, in bereitgestellten Daten bzw. Informationen Muster und/oder Gesetzmäßigkeiten zu erkennen oder solche aus bereitgestellten Daten zu extrahieren. Dies kann im Weiteren ermöglichen, auch „unbekannte“ Daten in entsprechender Weise zu verarbeiten, was insbesondere auch ein Erkennen neuer Muster und/oder Gesetzmäßigkeiten erlauben kann.
-
In einem ersten Schritt S1 des Verfahrens wird, z. B. vermittels einer geeigneten hardware- und/oder softwaremäßig implementierten Bereitstellungseinrichtung oder vermittels Cloud-Computing, eine erste Abbildeinformationen AI1 bereitgestellt. Die erste Abbildeinformation AI1 beschreibt bzw. betrifft eine erste ein- oder mehrdimensionale Abbildung eines Objekts 2, welches vermittels eines auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters 3 umzusetzen ist. Die in 2 in einem Ausführungsbeispiel gezeigte erste Abbildeinformation AI1 beschreibt eine ein- oder mehrdimensionale Abbildung eines bestimmten Objekts 2 z. B. in einer bestimmten Ausrichtung und/oder Position und/oder vor einem bestimmten Vorder- bzw. Hintergrund und/oder in einer bestimmten Belichtungssituation. Bei dem durch die erste Abbildeinformation beschriebenen Objekt handelt es sich typischerweise um das Objekt, dessen Handhabung dem auf Grundlage des zu erzeugenden Trainingsdatensatzes zur Ausführung einer bestimmten Aufgabe zu trainierenden Industrieroboters antrainiert bzw. angelernt werden soll.
-
In dem in 2 gezeigten Ausführungsbeispiel beschreibt die erste Abbildeinformation 11 eine mehrdimensionale Abbildung eines vor einem neutralen Hintergrund abgebildeten Objekts 2. Das Objekt 2 weist rein beispielhaft eine längliche Geometrie auf. Bei dem Objekt 2 kann es sich konkret z. B. um einen in einer zur Aufnahme mehrerer Schokoladenriegel eingerichteten schachtel- oder trägerartigen Verpackung zu verpackenden Schokoladenriegel handeln.
-
Die erste Abbildeinformation AI1 beschreibt sonach eine Abbildung des jeweiligen Objekts 2 in einer ersten räumlichen Ausrichtung und/oder Position und/oder in einer ersten räumlichen Umgebung, insbesondere vor einem ersten Vorder- und/oder Hintergrund, und/oder unter einer ersten chemischen und/oder physikalischen Bedingung, wie z. B. in einer ersten chemischen Zusammensetzung, bei einem ersten Druck, bei einer ersten Feuchtigkeit, bei einer ersten Temperatur, etc., und/oder in einer ersten Belichtungssituation und/oder in einer ersten Farbgebung.
-
Bei der ersten Abbildeinformation AI1 handelt es sich unabhängig von ihrem konkreten Inhalt um eine digitale Information, welche über geeignete hardware- und/oder softwaremäßig implementierte Daten- bzw. Bildverarbeitungsmaßnahmen verarbeitet werden kann.
-
In einem zweiten Schritt S2 des Verfahrens wird die in dem ersten Schritt S1 des Verfahrens bereitgestellte erste Abbildeinformation AI1, z. B. vermittels einer geeigneten hardware- und/oder softwaremäßig implementierten Daten- bzw. Bildverarbeitungseinrichtung oder vermittels Cloud-Computing, verarbeitet, um eine weitere Abbildeinformation AI2 zu erzeugen. Resultat des zweiten Schritts S2 des Verfahrens ist sonach eine weitere Abbildeinformation AI2, welche auf Grundlage der ersten Abbildeinformation AI1 erzeugt wurde. Die in 3 in einem Ausführungsbeispiel gezeigte weitere Abbildeinformation AI2 beschreibt bzw. betrifft eine, insbesondere auf Grundlage der ersten Abbildeinformation AI1, künstlich erzeugte ein- oder mehrdimensionale Abbildung des auf Grundlage des zu erzeugenden Trainingsdatensatzes zu trainierenden Industrieroboters 2 umzusetzenden Objekts 2. Die weitere Abbildeinformation AI2 beschreibt sonach typischerweise dasselbe Objekt 2 wie die erste Abbildeinformation AI1, allerdings kann das Objekt 2 in der weiteren Abbildeinformation AI2 im Vergleich zu der ersten Abbildeinformation AI1 in einer künstlich erzeugten anderen ein- oder mehrdimensionalen Abbildung und/oder in einer künstlich erzeugten anderen bzw. weiteren Ausrichtung und/oder Position und/oder vor einem künstlich erzeugten anderen bzw. weiteren Vorder- und/oder Hintergrund und/oder in einer künstlich erzeugten anderen bzw. weiteren Belichtungssituation beschrieben sein. Das Objekt 2 kann in der weiteren Abbildeinformation AI2 sonach z. B. in wenigstens einer künstlich erzeugten Darstellung, gegebenenfalls auch in einer künstlich erzeugten Umgebung, beschrieben sein.
-
Die weitere Abbildeinformation AI2 beschreibt sonach eine künstlich erzeugte Abbildung des Objekts 2 in wenigstens einer weiteren räumlichen Ausrichtung und/oder Position und/oder in wenigstens einer weiteren räumlichen Umgebung, insbesondere vor wenigstens einem weiteren Hintergrund, und/oder unter wenigstens einer weiteren chemischen und/oder physikalischen Bedingung, wie z. B. in einer weiteren chemischen Zusammensetzung, bei einem weiteren Druck, bei einer weiteren Feuchtigkeit, bei einer weiteren Temperatur, etc., und/oder in wenigstens einer weiteren Belichtungssituation und/oder in wenigstens einer weiteren Farbgebung.
-
Wie in 3 angedeutet ist, kann die weitere Abbildeinformation AI2 eine künstlich erzeugte Abbildung des jeweiligen Objekts 2 in einer, insbesondere geordneten oder ungeordneten, Anordnung mit wenigstens einem weiteren Objekt 2' gleicher oder ungleicher Art bzw. Gattung beschreiben. Mithin kann das in einer ersten Abbildeinformation AI1 beschriebene Objekt 2 in der weiteren Abbildeinformation AI2 in einer künstlich erzeugten Anordnung mit weiteren Objekten 2' abgebildet respektive beschrieben sein bzw. werden.
-
Bei der weiteren Abbildeinformation AI2 handelt es sich unabhängig von ihrem konkreten Inhalt typischerweise um eine digitale Information, welche über geeignete hardware- und/oder softwaremäßig implementierte Daten- bzw. Bildverarbeitungsmaßnahmen verarbeitet werden kann.
-
Zur Verarbeitung der ersten Abbildeinformation AI1 und somit zur Erzeugung der weiteren Abbildeinformation AI2 können sonach geeignete Datenverarbeitungsmaßnahmen, d. h. insbesondere geeignete Bildverarbeitungsmaßnahmen, angewendet werden, welche ein Verarbeiten einer entsprechenden ersten Abbildeinformation AI1 zur Erzeugung einer entsprechenden weiteren Abbildeinformation AI2 ermöglichen. Entsprechende Daten- bzw. Bildverarbeitungsmaßnahmen können durch geeignete Daten- bzw. Bildverarbeitungsalgorithmen implementiert sein bzw. werden.
-
In einem dritten Schritt S3 des Verfahrens wird die in dem zweiten Schritt S2 des Verfahrens erzeugte weitere Abbildeinformation AI2, z. B. vermittels der oder einer geeigneten hardware- und/oder softwaremäßig implementierten Daten- bzw.
-
Bildverarbeitungseinrichtung, verarbeitet, um einen Trainingsdatensatz TDS zu erzeugen, auf Grundlage welches ein entsprechender Industrieroboter 3 trainiert werden kann. In dem dritten Schritt S3 des Verfahrens wird sonach durch Verarbeiten der weiteren Abbildeinformation AI2 ein Trainingsdatensatz TDS erzeugt. Resultat des dritten Schritts S3 des Verfahrens ist sonach ein Trainingsdatensatz TDS, welcher auf Grundlage der weiteren Abbildeinformation AI2 erzeugt wurde.
.,
Wesentlich für das Verfahren ist die in dem zweiten Schritt S2, insbesondere automatisierbar bzw. automatisiert erfolgende, Erzeugung der weiteren Abbildeinformation AI2, welche das jeweilige Objekt 2 in mehreren künstlich erzeugten Situationen, d. h. z. B. in mehreren unterschiedlichen künstlich erzeugten Ausrichtungen bzw. Positionen und/oder vor mehreren unterschiedlichen künstlich erzeugten Vorder- und/oder Hintergründen und/oder in mehreren unterschiedlichen künstlich erzeugten Belichtungssituationen, beschreibt. Der in der ersten Abbildeinformation AI1 enthaltene Informationsgehalt, d. h. insbesondere die in der ersten Abbildeinformation AI1 beschriebene Informationen zu dem jeweiligen Objekt 2, wird bzw. werden durch die weitere Abbildeinformation AI2 sonach künstlich erweitert, als in der weiteren Abbildeinformation AI2 Informationen zu dem jeweiligen Objekt 2 in wenigstens einer künstlich erzeugten weiteren ein- oder mehrdimensionalen Abbildung beschrieben sind. Dies stellt einen wesentlichen Aspekt für die Erzeugung eines Trainingsdatensatzes TDS und für das Trainieren des jeweiligen Industrieroboters 3 dar, als das Trainieren des Industrieroboters 3 auf Grundlage einer Vielzahl an durch die jeweilige weitere Abbildeinformation AI2 beschriebenen unterschiedlichen Informationen zu dem jeweils umzusetzenden Objekt 2 erfolgen kann, obwohl ursprünglich nur eine (einzige) Abbildeinformation AI1, nämlich die erste Abbildeinformation AI1, bereitgestellt wurde.
-
Wie erwähnt, kann das Verarbeiten der ersten Abbildeinformation AI1 zum Erzeugen der weiteren Abbildeinformation AI2 vermittels wenigstens einer Bildverarbeitungsmaßnahme durchgeführt werden. Es werden ein oder mehrere digitale Bildverarbeitungsmaßnahmen angewendet, welche, wie ebenso erwähnt, z. B. durch Bildverarbeitungsalgorithmen implementiert werden können. Eine entsprechende digitale Bildverarbeitungsmaßnahme beinhaltet wenigstens eine Maßnahme zum Erkennen bestimmter Objektparameter, insbesondere geometrisch-konstruktiver Objektparameter, Oberflächen(beschaffenheits)parameter, optischer Reflexionsparameter, etc.. Auch kann eine entsprechende Bildverarbeitungsmaßnahme wenigstens eine Maßnahme zum Erkennen bestimmter Parameter eines Vorder- und/oder Hintergrunds und/oder bestimmter chemischer und/oder physikalischer Bedingungen und/oder bestimmter Belichtungssituationen und/oder bestimmter Farbgebungen des in der ersten Abbildeinformation beschriebenen Objekts AI1 beinhalten.
-
Eine erste Abbildeinformation AI1 kann Meta-Informationen beinhalten bzw. können einer ersten Abbildeinformation AI1 Meta-Informationen zugeordnet werden können. Entsprechende Meta-Informationen können eine oder mehrere in der ersten Abbildeinformation AI1 beschriebene Sub-Informationen beschreiben bzw. betreffen. Die Meta-Informationen können sonach typischerweise Angaben dahin liefern, was in einer jeweiligen ersten Abbildeinformation AI1 beschrieben bzw. „zu sehen“ ist. Die in der ersten Abbildeinformation AI1 enthaltenen oder dieser zugeordneten Meta-Informationen können in der weiteren Abbildeinformation AI2 künstlich verändert und/oder künstlich vervielfältigt sein bzw. werden.
-
Eine entsprechende Sub- bzw. Meta-Information kann sonach z. B. eine die in Pick-and-Place-Anwendungen bisweilen auch als „Format“ bezeichnete Gattung bzw. Klasse wenigstens eines Objekts 2 beschreibende Gattungs- bzw. Klasseninformation sein. Mithin kann die Gattung bzw. Klasse wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine absolute Ausrichtung und/oder Position wenigstens eines Objekts 2 beschreibende Absolutausrichtungsinformation und/oder Absolutpositionsinformation sein. Eine Absolutausrichtungsinformation und/oder Absolutpositionsinformation kann z. B. in Lagewinkeln und/oder in Weltkoordinaten angegeben sein bzw. solche beinhalten. Mithin kann eine absolute Ausrichtung und/oder Position wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine relative Ausrichtung und/oder Position wenigstens eines Objekts 2 zu wenigstens einem weiteren Objekt beschreibende Relativausrichtungsinformation und/oder Relativpositionsinformation sein. Eine Relativausrichtungsinformation und/oder Relativpositionsinformation kann z. B. in Lagewinkeln und/oder in Weltkoordinaten angegeben sein bzw. solche beinhalten. Mithin kann eine relative Ausrichtung und/oder Position wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 zu wenigstens einem weiteren in der ersten Abbildeinformation AI1 enthaltenen Objekt als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine einen Vordergrund und/oder einen Hintergrund wenigstens eines Objekts 2 beschreibende Vordergrund- und/oder Hintergrundinformation sein. Mithin kann der Vordergrund und/oder Hintergrund wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine Belichtungssituation bzw. die Belichtungsverhältnisse wenigstens eines Objekts 2 beschreibende Belichtungsinformation sein. Mithin kann bzw. können die Belichtungssituation bzw. die Belichtungsverhältnisse wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine eine, insbesondere von einer IST-Position und/oder IST-Ausrichtung, erforderliche(n) Anfahrbewegung bzw. Anfahrvektor eines Handhabungselements 6 der Handhabungseinrichtung 7 des Industrieroboters 3 zum Anfahren wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 beschreibende Anfahrinformation sein. Mithin kann eine, insbesondere von einer IST-Position und/oder IST-Ausrichtung erforderliche(r) Anfahrbewegung bzw. ein Anfahrvektor eines Handhabungselements 6 der Handhabungseinrichtung 7 des Industrieroboters 3 erfasst und als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine wenigstens eine geometrisch-konstruktive Abmessung wenigstens eines Objekts 2 beschreibende Abmessungsinformation sein. Mithin kann wenigstens eine Abmessung wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine wenigstens eine geometrische-konstruktive Form (Raumform) wenigstens eines Objekts 2 beschreibende Forminformation sein. Mithin kann wenigstens eine Form wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Farbgebung wenigstens eines Objekts 2 beschreibende Farbinformation sein. Mithin kann die Farbgebung wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information eine alphanumerische und/oder graphische Elemente, wie z. B. eine Produktbezeichnung, wenigstens eines Objekts 2, gegebenenfalls auch einer Verpackung eines Objekts 2, beschreibende oder durch solche beschriebene Produktbezeichnungsinformation sein. Mithin können alphanumerische und/oder graphische Elemente wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Oberfläche, insbesondere die Oberflächenbeschaffenheit, d. h. insbesondere die optischen Oberflächeneigenschaften, wie z. B. einen Glanz- oder Reflexionsgrad, wenigstens eines Objekts 2 beschreibende Oberflächeninformation sein. Mithin kann die Oberfläche, insbesondere die Oberflächenbeschaffenheit, wenigstens eines in einer ersten Abbildeinformation AI1 enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Alternativ oder ergänzend kann eine entsprechende Sub- bzw. Meta-Information z. B. eine die Masse, insbesondere einen Masseschwerpunkt, und/oder das Volumen, insbesondere einen Volumenschwerpunkt, wenigstens eines Objekts 2 beschreibende Masse- und/oder Volumeninformation sein. Mithin kann die Masse, insbesondere ein Masseschwerpunkt, und/oder das Volumen, insbesondere ein Volumenschwerpunkt, wenigstens eines in einer ersten Abbildeinformation enthaltenen Objekts 2 als Sub-Information bzw. als Meta-Information verwendet werden.
-
Wie erwähnt, kann die digitale Bildverarbeitungsmaßnahme zum Erzeugen der weiteren Abbildeinformation AI2 vermittels Cloud-Computing durchgeführt werden. Alternativ oder ergänzend ist es möglich, die digitale Bildverarbeitungsmaßnahme vermittels wenigstens einer Deep-Learning-Maßnahme, insbesondere unter Einbeziehung wenigstens eines ein- oder mehrschichtigen künstlichen neuronalen Netzes, zu implementieren.
-
Das in dem dritten Schritt S3 des Verfahrens erfolgende Erzeugen des Trainingsdatensatzes TDS kann gegebenenfalls vermittels Cloud-Computing durchgeführt werden. Mithin kann ein entsprechender Trainingsdatensatz TDS grundsätzlich zentral oder dezentral erzeugt werden. Eine zentrale Erzeugung eines entsprechenden Trainingsdatensatzes TDS kann z. B. realisiert werden, wenn der Trainingsdatensatz TDS vermittels einer zentralen bzw. lokalen Datenverarbeitungseinrichtung, wie z. B. einem lokalen Computer, Smartphone, Tablet, etc., durchgeführt wird. Eine dezentrale Erzeugung eines entsprechenden Trainingsdatensatzes TDS kann z. B. realisiert werden, wenn der Trainingsdatensatz TDS vermittels einer dezentralen bzw. globalen Datenverarbeitungseinrichtung, wie z. B. einem an ein übergeordnetes Daten- bzw. Kommunikationsnetzwerk, wie z. B. ein Intranet- oder das Internet, angeschlossenen Server, durchgeführt wird.
-
Die erste Abbildeinformation AI1 ist eine vermittels einer, insbesondere hardware- und/oder softwaremäßig implementierten, Bildaufnahme- bzw. Kameraeinrichtung erzeugte digitale Bildinformation des jeweiligen Objekts 2 sein oder wird als solche bereitgestellt. Bei einer ersten Abbildeinformation AI1 kann es sich sonach z. B. um eine Fotografie oder ein Video eines jeweiligen Objekts 2 oder eines Abbilds des Objekts 2 handeln. Die erste Abbildeinformation AI1 kann sonach z. B. durch eine, gegebenenfalls in ein nutzerseitiges (mobiles) Endgerät, wie z. B. ein Smartphone, Tablet, Laptop, etc., integrierte Bildaufnahme- bzw. Kameraeinrichtung erzeugt werden.
-
Alternativ oder ergänzend kann die erste Abbildeinformation AI1 eine vermittels einer, insbesondere hardware- und/oder softwaremäßig implementierten, Konstruktionsprogrammeinrichtung erzeugte digitale Konstruktionsinformation des jeweiligen Objekts sein oder als solches bereitgestellt werden. Bei einer ersten Abbildeinformation AI1 kann es sich z. B. um eine CAD-Datei, STL-Datei, etc. des Objekts 2 handeln. Die erste Abbildeinformation AI1 kann sonach z. B. durch ein rechnerbasiertes Konstruktionsprogramm, wie z. B. ein CAD-Programm, erzeugt werden.
-
Alternativ oder ergänzend kann die erste Abbildeinformation AI1 ein eine Abbildung des jeweiligen Objekts 2 beinhaltendes elektronisches Dokument bzw. eine entsprechende Datei sein oder als solche(s) bereitgestellt werden. Bei einer ersten Abbildeinformation AI1 kann es sich z. B. um ein editierbares oder nicht-editierbares elektronisches Dokument, welches das jeweilige Objekt 2 beinhaltet, handeln. Die erste Abbildeinformation AI1 kann sonach eine pdf-Datei, eine Präsentations-Datei, eine Textverarbeitungsdatei, eine Webseite, etc., sein.
-
Das Verfahren kann einen Schritt des Übertragens der weiteren Abbildeinformation AI2 an einen zu trainierenden Industrieroboter 3 und/oder an eine Cloud-Computing-Einrichtung umfassen. Mithin kann die weitere Abbildeinformation über eine geeignete Daten- bzw. Kommunikationsverbindung an einen zu trainierenden Industrieroboter 3 und/oder an eine Cloud-Computing-Einrichtung übertragen werden. Eine entsprechende Daten- bzw. Kommunikationsverbindung kann eine drahtgebundene oder drahtlose Daten- bzw. Kommunikationsverbindung über ein oder mehrere Daten- bzw. Kommunikationsnetzwerke sein oder umfassen. Eine entsprechende Daten- bzw. Kommunikationsverbindung kann verschlüsselt oder unverschlüsselt sein.
