-
Die Erfindung betrifft ein Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters. Ferner betrifft die Erfindung ein System bestehend aus einem mit einem Menschen kollaborierenden Roboter und einer Bilderfassungsvorrichtung und einer Steuereinrichtung.
-
Mit Menschen kollaborierende Roboter, auch Cobots genannt, werden typischerweise in Fabrikationsprozessen eingesetzt, in denen sowohl die Flexibilität menschlicher Arbeit als auch die Effizienz von Robotern Synergieeffekte erzeugt, bzw. von Nöten ist. Beispielsweise ergibt sich mit fortschreitender Digitalisierung in Fabriken eine Vielzahl von Möglichkeiten für den Einsatz und Kombination dieser beiden Aspekte in Produktionslinien und im Bereich der Fließbandarbeit.
-
Ein großes Sicherheitsproblem in diesen Fabrikationsprozessen stellt die Mensch-Roboter-Interaktion dar. Bedingt durch z.B. unvorhergesehene menschliche Bewegungen, komplexe menschliche Handlungen, bzw. Bewegungen und/oder eine Verzögerung seitens des Roboters birgt diese Interaktion ein hohes Sicherheitsrisiko für Mensch und Roboter. Konventionelle Lösungsansätze verwenden Schutzeinrichtungen, wie beispielsweise Schutzkäfige, zwischen dem Menschen und dem kollaborierenden Roboter, jedoch mindern solche Schutzeinrichtungen signifikant die Effizienz dieser Fabrikationsprozesse.
-
Im Stand der Technik sind Lösungsansätze bekannt, die mit dem kollaborierenden Roboter gekoppelte Abstandssensoren nach Art von RADAR- oder LIDAR-Sensoren vorsehen, um das Umfeld des Roboters zu überwachen. Diese Sensoren sind jedoch mit hohen Hardwarekosten und einem gesteigerten Rechenaufwand verbunden.
-
Vor diesem Hintergrund stellt sich die Aufgabe, die Zusammenarbeit eines kollaborativen Roboters mit einem Menschen mit reduziertem Aufwand zu ermöglichen.
-
Die Aufgabe wird gelöst durch ein Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters, aufweisend folgende Verfahrensschritte:
- - Erfassen von zweidimensionalen Bilddaten des Menschen mittels einer Bilderfassungsvorrichtung;
- - Detektieren von zweidimensionalen Referenzpunkten des Menschen in den zweidimensionalen Bilddaten;
- - Ermitteln von dreidimensionalen Referenzpunkten des Menschen anhand der detektierten zweidimensionalen Referenzpunkte des Menschen;
- - Bereitstellen einer Hindernisinformation anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen; und
- - Steuern einer Bewegung des kollaborativen Roboters in Abhängigkeit von der Hindernisinformation.
-
Bei dem erfindungsgemäßen Verfahren kann auf eine aufwändige und teure Abstandssensoren zur Erfassung dreidimensionaler Bilddaten verzichtet werden. Hingegen erfolgt die Detektion des Menschen anhand von zweidimensionalen Bilddaten einer Bilderfassungsvorrichtung. In diesen zweidimensionalen Bilddaten werden Referenzpunkte des Menschen detektiert. Anhand der zweidimensionalen Referenzpunkte werden erfindungsgemäß dreidimensionale Referenzpunkte ermittelt. Das Verfahrens erlaubt es ferner, anhand der dreidimensionalen Referenzpunkte eine Hindernisinformation zu ermitteln, die zur Steuerung der Bewegung des Roboters herangezogen wird. Eine direkte Erfassung dreidimensionaler Bilddaten mittels Abstandssensoren ist nicht erforderlich.
-
Bevorzugt definieren die zweidimensionalen Referenzpunkte vorgegebene Punkte des menschlichen Körpers, wie z.B. das rechte und linke Schultergelenk, das rechte und linke Ellbogengelenk und das rechte und linke Handgelenk, in der zweidimensionalen Bildebene. Diese Referenzpunkte können über eine Detektionsalgorithmus zuverlässig in den zweidimensionalen Bilddaten erkannt werden. Die dreidimensionalen Referenzpunkte können eine Transformation der entsprechenden zweidimensionalen Bildpunkte aus der zweidimensionalen Bildebene in den dreidimensionalen Raum bilden.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass das Verfahren folgenden zusätzlichen Verfahrensschritt aufweist:
- - Ermitteln eines volumetrischen Körpermodells des Menschen anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen, wobei die Hindernisinformation anhand des ermittelten volumetrischen Körpermodells des Menschen bereitgestellt wird.
-
Das volumetrische Körpermodell kann ein Volumen um die dreidimensionalen Referenzpunkte beschreiben, welches den erfassten Menschen wiedergibt. Die Ermittlung kann ausgehend von einem vorgegebenen, generischen Körpermodell eines Menschen erfolgen, welches durch die ermittelten dreidimensionalen Referenzpunkte parametrisiert wird. Das volumetrische Körpermodell kann gegenüber den dreidimensionalen Referenzpunkten eine detailliertere Hindernisinformation zur Verfügung stellen. Der mit dem Roboter interagierende Mensch kann mit größerer Genauigkeit in der Hindernisinformation abgebildet werden. Somit trägt dieser Verfahrensschritt zur Verbesserung der Sicherheit des mit dem Roboter kollaborierenden Menschen bei.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass das Verfahren folgenden zusätzlichen Verfahrensschritt aufweist:
- - Ermitteln von Voxeln des volumetrischen Körpermodells, die sich in einem vorgegebenen Arbeitsbereich des Roboters befinden, wobei die Hindernisinformation anhand der ermittelten Voxel in dem Arbeitsbereich bereitgestellt wird und Voxel außerhalb des Arbeitsbereichs unberücksichtigt bleiben.
-
Durch die Ermittlung der Voxel im Arbeitsbereich des Roboters kann der Rechenaufwand für die Kollionsvermeidung reduziert werden, da für außerhalb des Arbeitsbereichs liegende Voxel des volumetrischen Körpermodells keine Rechenoperationen ausgeführt werden müssen. Dies wirkt sich wiederum auf die Geschwindigkeit der Informationserfassung aus und trägt somit zur Verbesserung der Sicherheit des Menschen bei.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass das Verfahren folgenden zusätzlichen Verfahrensschritt aufweist:
- - Ermitteln einer Geste, insbesondere einer Handgeste, des Menschen anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen, wobei die Hindernisinformation anhand der ermittelten Geste des Menschen bereitgestellt wird.
-
Durch das Ermitteln von Gesten wird es möglich, zusätzlich zu der erfassten Gestalt des Menschen auch dessen Bewegung bzw. Haltung bei der Steuerung des Roboters zu berücksichtigen. Das Ermitteln von Gesten kann beispielsweise zusätzliche Hindernisinformationen betreffend eine Wahrscheinlichkeit einer Bewegung oder eines Bewegungsmusters des Menschen liefern. Somit kann eine Voraussage erfolgen, wie sich der Mensch bewegen wird. Alternativ oder zusätzlich kann die Ermittlung von Gesten dazu genutzt werden, bestimmte Aktionen des Roboters zu steuern und/oder dem Roboter Befehle zu übermitteln.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass das Verfahren folgenden zusätzlichen Verfahrensschritt aufweist:
- - Ermitteln einer Kopfstellung des Menschen anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen, wobei die Hindernisinformation anhand der ermittelten Kopfstellung des Menschen bereitgestellt wird.
-
Durch das Ermitteln der Kopfstellung wird es möglich, zusätzlich zu der erfassten Gestalt des Menschen auch dessen Kopfstellung bei der Steuerung des Roboters zu berücksichtigen. Das Ermitteln der Kopfstellung kann beispielsweise zusätzliche Hindernisinformationen betreffend eine Wahrscheinlichkeit einer Bewegung oder eines Bewegungsmusters des Menschen liefern. Somit kann eine Voraussage erfolgen, wie sich der Mensch bewegen wird, beispielsweise in welche Richtung. Alternativ oder zusätzlich kann die Ermittlung der Kopfstellung dazu genutzt werden, bestimmte Aktionen des Roboters zu steuern und/oder dem Roboter Befehle zu übermitteln.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bewegung des Roboters anhand der Hindernisinformation derart gesteuert wird, dass eine Kollision mit dem Menschen vermieden wird. Somit lässt sich die Bewegung des Roboters dynamisch steuern und auf unvorhergesehene und komplexe menschliche Verhaltensmuster zu reagieren. Weiter lässt sich so eine hohe Sicherheit für den Menschen gewährleisten.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bewegung des Roboters anhand der Hindernisinformation derart gesteuert wird, dass eine Aktion in Abhängigkeit von einer erkannten Geste oder einer erkannten Kopfstellung des Menschen ausgeführt wird. Daher kann eine effiziente und dynamisch gestaltete Interaktion zwischen dem Menschen und dem Roboter erzielt werden, sowie eine hohe Sicherheit beider gewährleistet werden.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass der Roboter ein Industrieroboter mit einem mehrgelenkigen Arm ist.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bilderfassungsvorrichtung eine Kamera oder mehrere separate Kameras umfasst. Bei der Kamera kann es sich mit eine CMOS- oder CCD-Kamera handeln. Derartige Kameras stellen eine kostengünstigere Alternative gegenüber Abstandssensoren wie LIDAR- und RADAR-Sensoren dar. Sofern die Bilderfassungsvorrichtung mehrere separate Kameras umfasst, sind diese bevorzugt in verschiedene Raumrichtungen ausgerichtet, so dass das Umfeld des Roboters aus verschiedenen Perspektiven erfasst werden kann.
-
Ein weiterer Gegenstand der Erfindung ist ein System bestehend aus einem mit einem Menschen kollaborierenden Roboter und einer Bilderfassungsvorrichtung und einer Steuereinrichtung, wobei die Steuereinrichtung dazu konfiguriert ist folgende Verfahrensschritte auszuführen:
- - Erhalten von zweidimensionalen Bilddaten des Menschen, die mittels der Bilderfassungsvorrichtung erfasst wurden;
- - Detektieren von zweidimensionalen Referenzpunkten des Menschen in den zweidimensionalen Bilddaten;
- - Ermitteln von dreidimensionalen Referenzpunkten des Menschen anhand der detektierten zweidimensionalen Referenzpunkte des Menschen;
- - Bereitstellen einer Hindernisinformation anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen; und
- - Steuern einer Bewegung des kollaborativen Roboters in Abhängigkeit von der Hindernisinformation.
-
Bei dem System können dieselben Vorteile erreicht werden, die bereits im Zusammenhang mit dem Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters beschrieben wurden. Es können auch die in diesem Zusammenhang beschriebenen vorteilhaften Ausgestaltungen und Merkmale bei dem System zur Anwendung kommen.
-
Weitere Einzelheiten und Vorteile der Erfindung sollen nachfolgend anhand der in den Zeichnungen dargestellten Ausführungsbeispiele erläutert werden. Hierin zeigt:
- 1a ein erstes Ausführungsbeispiel eines erfindungsgemäßen Systems mit einem kollaborativen Roboter, einer Bilderfassungsvorrichtung und einer Steuereinrichtung;
- 1b ein zweites Ausführungsbeispiel eines erfindungsgemäßen Systems mit einem kollaborativen Roboter, einer Bilderfassungseinheit und einer Steuereinrichtung;
- 2 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Steuerung eines mit einem Menschen kollaborierenden Roboters;
- 3 eine Darstellung von zweidimensionale Bilddaten eines Menschen, in denen zweidimensionale Referenzpunkte des Menschen detektiert wurden;
- 4 eine Darstellung zweidimensionaler Referenzpunkte und entsprechender dreidimensionale Referenzpunkte;
- 5a eine Darstellung dreidimensionaler Referenzpunkte eines Menschen
- 5b eine Darstellung eines aus den dreidimensionalen Referenzpunkten ermittelten volumetrischen Körpermodells des Menschen;
- 6 eine Darstellungen von Voxeln eines volumetrischen Körpermodells; und
- 7 zweidimensionale Bilddaten mit detektierten zweidimensionalen Referenzpunkten und, auf den ausgewerteten dreidimensionalen Referenzpunkten basierenden, Gestiken- und Kopfstellungserfassungen.
-
In der 1a ist ein erstes Ausführungsbeispiel eines erfindungsgemäßen Systems gezeigt. Das System umfasst einen kollaborativen Roboter 100, eine Bilderfassungsvorrichtung 101 sowie eine Steuereinrichtung 103 zum Steuern des Roboters 100. Der Roboter 100 ist als Industrieroboter mit einem mehrgelenkigen Arm ausgebildet. Die Bilderfassungsvorrichtung 101 umfasst in diesem Ausführungsbeispiel genau eine Kamera zum Erfassen zweidimensionaler Bilddaten.
-
Die 1b zeigt ein zweites Ausführungsbeispiel eines erfindungsgemäßen Systems, welches einen kollaborativen Roboter 100, eine Bilderfassungsvorrichtung 102 sowie eine Steuereinrichtung 103 zum Steuern des Roboters 100 umfasst. Wie bei dem ersten Ausführungsbeispiel ist der Roboter 100 gemäß dem zweiten Ausführungsbeispiel als Industrieroboter mit einem mehrgelenkigen Arm ausgebildet. Im Unterschied zum ersten Ausführungsbeispiel weist die Bilderfassungsvorrichtung mehrere, hier genau drei, Kameras zum Erfassen zweidimensionaler Bilddaten auf, die in unterschiedliche Raumrichtungen ausgerichtet sind.
-
Bei den Systemen gemäß 1a und 1b sind die Steuereinrichtungen 103 jeweils mit der Bilderfassungsvorrichtung 101, 102 verbunden, so dass von der Bilderfassungsvorrichtung erfasste zweidimensionale Bilddaten an die Steuereinrichtung übermittelt werden können. Zur Steuerung des jeweiligen Roboters 100 sind die Steuereinrichtungen 103 jeweils mit dem Roboter 100 verbunden. Die Steuereinrichtungen sind ferner dazu konfiguriert, folgende Verfahrensschritte auszuführen:
- - Erhalten von zweidimensionalen Bilddaten des Menschen, die mittels der Bilderfassungsvorrichtung 101, 102 erfasst wurden;
- - Detektieren von zweidimensionalen Referenzpunkten des Menschen in den zweidimensionalen Bilddaten;
- - Ermitteln von dreidimensionalen Referenzpunkten des Menschen anhand der detektierten zweidimensionalen Referenzpunkte des Menschen;
- - Bereitstellen einer Hindernisinformation anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen; und
- - Steuern einer Bewegung des kollaborativen Roboters 100 in Abhängigkeit von der Hindernisinformation.
-
In der 2 ist ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens 100 gezeigt, welches beispielsweise bei den in 1a und 1b gezeigten Systemen Anwendung finden kann.
-
Zunächst werden in einem ersten Schritt 202 zweidimensionale Bilddaten der Umgebung des Roboters 100 und damit auch eines sich in der Umgebung aufhaltenden Menschen 201 durch die Bilderfassungsvorrichtung 101, 102 erfasst und an die Steuereinrichtung 103 übermittelt. Die Steuereinheit 103 ermittelt in einem dem ersten Schritt 202 nachfolgenden zweiten Schritt 203 zweidimensionale Referenzpunkte des Menschen 201. Dabei werden beispielsweise charakteristische Gelenke des Menschen, wie Schultergelenke, Ellenbogengelenke, Handgelenke, Hüftgelenke, Kniegelenke oder das Halsgelenk in den zweidimensionalen Bilddaten erkannt.
-
In einem dem zweiten Schritt 203 nachfolgenden dritten Schritt 204 werden anhand der zweidimensionalen Referenzpunkte des Menschen entsprechende dreidimensionale Referenzpunkte ermittelt. Anhand dieser ermittelten dreidimensionalen Referenzpunkte werden dann in einem Bereitstellungsschritt 206 Hindernisinformationen bereitgestellt, die zur Steuerung der Bewegung des Roboters herangezogen werden. Diese Hindernisinformationen umfassen bei dem Ausführungsbeispiel sowohl Informationen zur erfassten Gestalt und Position des Menschen als auch Informationen zu Gesten bzw. der Kopfstellung des Menschen.
-
Die Detektion von Gesten bzw. der Kopfstellung des Menschen erfolgt in einem dem dritten Schritt 204 nachfolgenden Erkennungsschritt 205. Die im Erkennungsschritt 205 erkannten Gesten bzw. Kopfstellung wird in dem nachfolgenden Bereitstellungsschritt 206 herangezogen, um die aktuelle Position des Menschen in der Umgebung des Roboters darzustellen aber auch um zukünftige Positionen des Menschen in dieser Umgebung abzuschätzen. Zur Abschätzung kann beispielsweise eine wahrscheinliche zukünftige Bewegung des Menschen bereitgestellt werden. Zudem können aus den erkannten Gesten bzw. der Kopfstellung Befehle zur Steuerung des Roboters abgeleitet werden. Diese Befehle können im Bereitstellungsschritt 206 zusätzlich bereitgestellt werden und dann zur Steuerung des Roboters in einem nachfolgenden Steuerungsschritt 207 herangezogen werden.
-
Die Informationen zur erfassten Gestalt und Position des Menschen werden bei dem Ausführungsbeispiel in einem parallelen Ablauf aus den dreidimensionalen Referenzpunkten gewonnen. In einem dem dritten Schritt 204 nachfolgenden vierten Schritt 208 wird anhand der ermittelten dreidimensionalen Referenzpunkte des Menschen ein volumetrisches Körpermodells des Menschen ermittelt. Diese volumetrische Körpermodell umfasst Voxel, die zusätzlich zu den dreidimensionalen Referenzpunkte auch einen Raum um die dreidimensionalen Referenzpunkte einnehmen. In einem Abfrageschritt 209 werden diejenigen Voxel identifiziert, die innerhalb eines vorgegebenen Arbeitsbereichs des Roboters 100 angeordnet sind. Es verbleiben in einem fünften Schritt 210 somit nur diejenigen Voxel im Arbeitsbereich, wobei Voxel außerhalb des Arbeitsberiechs unberücksichtigt bleiben. Nur die innerhalb des vorgegebenen Arbeitsbereichs angeordneten Voxel werden zur Bereitstellung der Hindernisinformation im Bereitstellungsschritt 206 herangezogen.
-
Die im Bereitstellungsschritt 206 bereitgestellten Hindernisinformationen werden im nachfolgenden Steuerungsschritt 207 herangezogen, um den Roboter 100 zu steuern.
-
In der 3 sind beispielhafte zweidimensionale Bilddaten eines Menschen 230 gezeigt, wie sie im ersten Schritt 202 des Verfahrens nach 2 erfasst werden können. 3 zeigt ferner zweidimensionale Referenzpunkte 231, die im zweiten Schritt 203 detektiert worden sind. Diese zweidimensionalen Referenzpunkte 231 entsprechen vorgegebenen Gelenken sowie vorgegebenen Punkten am Kopf des Menschen 230, hier den Augen und den Ohren.
-
In der 4 sind zweidimensionale Referenzpunkte 231 und die diesen entsprechenden, ermittelten dreidimensionalen Referenzpunkte 232 eines Menschen 230 dargestellt.
-
5a zeigt eine Darstellung dreidimensionaler Referenzpunkte 232 eines Menschen 230. In 5b ist eine Darstellung eines aus den dreidimensionalen Referenzpunkten 232 ermittelten volumetrischen Körpermodells 233 des Menschen 230 gezeigt.
-
In der 6 ist eine Darstellung von Voxeln eines volumetrischen Körpermodells 233 in gezeigt, die sich in einem vorgegebenen Arbeitsbereich des Roboters 100 befinden.
-
In der 7 sind beispielhaft zweidimensionale Bilddaten und detektierte Gesten und Kopfstellungen dargestellt. Dabei zeigt die 7a) eine detektierte Kopfstellung sowie eine detektierte Gesichtsgestik. In 7b) ist eine gegenüber der 7a) veränderte Kopfstellung mit derselben Gesichtsgestik gezeigt. Die 7c) zeigt eine detektierte Gestik des gesamten Körpers. Die 7d) zeigt eine detektierte Handgestik sowie eine detektierte Gesichtsgestik.
