DE112019003204T5

DE112019003204T5 - Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität

Info

Publication number: DE112019003204T5
Application number: DE112019003204.6T
Authority: DE
Inventors: Derek Jung; Bruce Coldren; Sam Yung-Sen Lee; Leo Keselman; Kenneth W. Krause
Original assignee: Fanuc America Corp
Current assignee: Fanuc America Corp
Priority date: 2018-06-26
Filing date: 2019-06-26
Publication date: 2021-03-11
Also published as: CN112313046A; US20190389066A1; WO2020006144A1; JP2021529391A; US11850755B2; JP7419271B2

Abstract

System in erweiterter Realität (AR) zur Visualisierung und Modifizierung von Roboterarbeitsbereichen. Das System enthält ein AR-Gerät wie etwa eine Sprechgarnitur, die mit einer Robotersteuereinheit in Verbindung steht. Das AR-Gerät enthält Software zur AR-Anzeige und Modifizierung der Arbeitsbereiche. Das AR-Gerät wird mit dem Koordinatenrahmen des Roboters über Detektion einer visuellen Markierung registriert. Das AR-Gerät zeigt Arbeitsbereiche an, die mit Wirklichkeitsbildern des Roboters und bestehender Aufnahmevorrichtungen zur Deckung gebracht sind, wobei die Anzeige aktualisiert wird, wenn sich der Benutzer um die Bearbeitungszelle des Roboters herumbewegt. Es werden Kontrollpunkte auf den virtuellen Arbeitsbereichen angezeigt, die es dem Benutzer erlauben, die Arbeitsbereiche umzugestalten. Der Roboter kann während der AR-Sitzung bedient werden, indem die programmierte Bewegung des Roboters abläuft und die Arbeitsbereiche beurteilt werden. In der AR-Anzeige werden Bereichsverletzungen hervorgehoben. Wenn eine Bereichsdefinition fertig ist, werden die abgeschlossenen Arbeitsbereiche in die Robotersteuereinheit heraufgeladen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung erhebt Anspruch auf den Vorteil des Prioritätsdatums der am 26. Juni 2018 eingereichten vorläufigen US-Patentanmeldung Serien-Nr. 62/690 125 mit der Bezeichnung „Visualisierung und Modifizierung von Sicherheitszonen mit zweifacher Prüfung in erweiterter Realität“.
HINTERGRUND
Gebiet
Diese Erfindung betrifft das Gebiet der Einrichtung von Arbeitsbereichen für Roboter und spezieller ein System, welches ein Displaygerät in erweiterter Realität verwendet, um Roboterarbeitsbereiche und Bereichsgrenzen wie Sicherheitszonen zu visualisieren und zu modifizieren, wobei Bereiche unter Verwendung von Computergrafik, die mit einer Wirklichkeitsansicht zur Deckung gebracht sind, dargestellt und manipuliert werden, die Computergrafik ständig aktualisiert wird, wenn die Position des Gerätes/Benutzers verfolgt wird, und eine Überlagerung von Bereichen über Wirklichkeitsobjekten automatisch stattfindet.
Erörterung des Standes der Technik
Industrieroboter sind sehr komplexe Maschinen, die imstande sind, viele unterschiedliche Funktionen genau und zuverlässig durchzuführen. Denjenigen, die mit Roboteranlagen/Anwendungen vertraut sind, ist es bekannt, Arbeitsbereiche zu definieren, die entweder eine zulässige oder eine unzulässige räumliche Bewegung des Roboters definieren. Arbeitsbereiche werden auf vielfache Art und Weise genutzt, einschließlich als Sicherheitszonen, in denen Roboterbetrieb unzulässig ist, bedingte Sicherheitszonen, in denen Roboterbetrieb unter einer bestimmten Bedingung wie etwa der Präsenz einer Bedienperson unzulässig ist, erlaubte Zonen, die Bereiche sind, in denen ein Roboter jederzeit verbleiben muss, Prüfbereiche von Gelenkpositionen, welche die Gelenkposition auf Eignung überwachen und Kollisionsprüfbereiche. Jedoch ist eine Einrichtung von Betriebsbereichen für Roboter und Mehrfachrobotersysteme, die vorherige Techniken nutzen, schwierig und zeitaufwändig.
Bei bestehenden Systemen sind Arbeitsbereiche und Bereichsgrenzen schwierig einzurichten und zu visualisieren, wobei eine Bearbeitung von Betriebsbereichen völlig menügesteuert und kompliziert ist. Außerdem können Systeme in „4D-Visualisierung“ keine Überlagerung von Arbeitsbereichen mit Wirklichkeitsobjekten darstellen, es sei denn, dass computerbasierte Objektmodelle der Objekte eingelesen werden. Darüber hinaus erfordert jeder Wechsel in eine Bereichsgrenze des Arbeitsbereichs einen Neustart der Robotersteuereinheit, um den Arbeitsbereich zu beurteilen, darum sind Änderungen zum Optimieren der Bereiche sehr zeitaufwändig.
Angesichts der oben beschriebenen Umstände ist es wünschenswert, ein interaktives Werkzeug in erweiterter Realität (AR) zur Visualisierung und Modifizierung von Roboterarbeitsbereichen bereitzustellen.
ZUSAMMENFASSUNG
Entsprechend der technischen Lehre der vorliegenden Offenlegung wird ein System in erweiterter Realität offengelegt, um Roboterarbeitsbereiche zu visualisieren und zu modifizieren. Das offengelegte System umfasst ein Gerät in erweiterter Realität (AR) wie eine Sprechgarnitur, die mit einer Robotersteuereinheit in Verbindung steht. Das AR-Gerät enthält einen Prozessor, auf dem Software zur AR-Anzeige und Modifizierung der Arbeitsbereiche abläuft. Nach Herstellung einer Kommunikation mit der Robotersteuereinheit und dem Herunterladen beliebiger vorhandener Arbeitsbereiche, wird das AR-Gerät mit dem Weltkoordinatenrahmen des Roboters durch Erkennung einer visuellen Markierung oder anderer Technik registriert. AR-Gerät und Software zeigen dann Arbeitsbereiche an, die mit Wirklichkeitsbildern des Roboters und beliebiger vorhandener Vorrichtungen zur Deckung gebracht sind, wobei die Anzeige aktualisiert wird, wenn sich der Benutzer mit dem AR-Gerät um die Bearbeitungszelle des Roboters herumbewegt. Auf den virtuellen Arbeitsbereichen werden Kontrollpunkte angezeigt, die es dem Benutzer erlauben, durch Bewegung der Kontrollpunkte Größe und Form der Arbeitsbereiche zu ändern. Der Roboter kann während der AR-Sitzung bedient werden, so dass die programmierte Bewegung des Roboters abläuft und die Arbeitsbereiche beurteilt werden. Jede Verletzung eines Bereichs wird in der AR-Anzeige beispielsweise durch eine Farbänderung hervorgehoben. Wenn die Bereichsdefinition vollkommen ist, werden die zum Abschluss gebrachten Arbeitsbereiche in die Robotersteuerung zum Einsatz im Produktionsbetrieb des Roboters heraufgeladen.
Zusätzliche Merkmale der gegenwärtig offengelegten Vorrichtungen erschließen sich aus der folgenden Beschreibung und angefügten Ansprüchen, wenn sie in Verbindung mit den begleitenden Zeichnungen betrachtet werden.
Figurenliste

1 ist eine Darstellung eines Industrieroboters, einer Bedienperson und eines als Sicherheitszone zum Schutz der Bedienperson eingerichteten Arbeitsbereichs;
2 ist eine Darstellung eines an einem Werkstück arbeitenden, auf einem Sockel angeordneten Industrieroboters, die um einzelne Teile des Roboters definierte Kollisionsprüfungsbereiche zeigt;
3A ist die Darstellung eines Industrieroboters mit Kollisionsprüfungsbereichen, die um einzelne Teile des Roboters herum definiert sind, der innerhalb eines zugelassenen Bereiches arbeitet, und 3B ist eine Darstellung des gleichen Roboters, wo einer der Kollisionsprüfbereiche eine Bereichsgrenze des zugelassenen Bereiches verletzt hat;
4A ist eine Darstellung eines Industrieroboters mit einem Prüfbereich einer Gelenkposition, die für ein Drehgelenk und die Gelenkposition innerhalb von Bereichsgrenzen definiert ist, und 4B ist eine Darstellung des gleichen Roboters, wo die Grenze des Prüfbereichs des Gelenkbereichs überschritten ist;
5A ist eine Darstellung eines Industrieroboters mit einem Prüfbereich der Gelenkposition, der für ein translatorisches Gelenk und die Gelenkposition innerhalb von Bereichsgrenzen definiert ist, und 5 B ist eine Darstellung des gleichen Roboters, wo die Grenze des Prüfbereichs der Gelenkposition überschritten ist.
6 ist eine Darstellung eines Systems zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität gemäß einer Ausführungsform der vorliegenden Offenlegung; und
7 ist ein erläuterndes Ablaufdiagramm eines Verfahrens zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität, welches das System von 6 gemäß einer Ausführungsform der vorliegenden Offenlegung ei nsetzt.

AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Erörterung der Ausführungsformen der auf ein Verfahren und System zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität gerichteten Offenlegung ist nur beispielhafter Natur und ist in keiner Weise beabsichtigt, die offengelegten Vorrichtungen und Verfahren oder deren Anwendungen oder Einsätze zu beschränken.
In der Benutzergemeinschaft von Industrierobotern ist es bekannt, Sicherheitsbereiche und andere Arten räumlicher Zonen zu definieren, die für die Bewegung des Roboters relevant sind, wie etwa einen Bereich, der dem Roboter zu betreten untersagt ist. Diese Sicherheitsbereiche und andere Bereichsarten werden hier gemeinsam als Arbeitsbereiche bezeichnet.
Arbeitsbereiche werden normalerweise zur Errichtung von Bewegungsgrenzen für Industrieroboter und andere Maschinentypen eingerichtet. In der folgenden Erörterung und den entsprechenden Figuren werden die Arbeitsbereiche durchweg im Zusammenhang mit Industrierobotern beschrieben und dargestellt. Jedoch sind die offengelegten Systeme und Verfahren nicht nur auf Roboter anwendbar, sondern auch auf jeden beliebigen anderen Maschinentyp, der sich durch räumliche Umgrenzungslinien bewegt, wo es sich um Kollisionen, Zusammenstöße und die Sicherheit von Bedienpersonen handeln kann.
Es können viele verschiedene Arten von Arbeitsbereichen einschließlich dreidimensionaler (3D) Volumen, die einen zugelassenen oder unzulässigen Bewegungsraum definieren, Kollisionsprüfzonen, die räumliche Puffer um Roboterarme und andere Elemente herum herstellen, und Prüfbereiche für Gelenkpositionen, die Robotergelenkpositionen überwachen, eingerichtet werden. Arbeitsbereiche werden vor den Produktionsvorgängen eines Roboters in seinem Arbeitsraum eingerichtet, wobei anschließend die Geschwindigkeit und Position des Roboters gegenüber diesen Bereichen ständig geprüft werden, um sicherzustellen, dass der Roboter immer die Bereichsgrenzen der definierten Bereiche respektiert.
1 ist eine Darstellung eines Industrieroboters 100, einer Bedienperson 102 und eines als Sicherheitszone zum Schutz der Bedienperson 102 eingerichteten Arbeitsbereichs 110. Ein Tisch 104 dient als Sockel oder Plattform, auf dem ein Werkstück zum Einsatz durch den Roboter 100 aufgelegt werden kann. Wie es in 1 dargestellt ist, weist der Betriebsbereich 110 die Form eines regelmäßigen Sechsecks auf, jedoch könnte der Arbeitsbereich 110 eine beliebige Form aufweisen, die Asymmetrie, nicht ebene Flächen, zylindrische und kugelförmige Volumen usw. einschließt. Der in 1 dargestellte Arbeitsbereich 110 ist eine Sicherheitszone, die einen Sperrbereich für den Roboter 100 direkt über dem Tisch 104 definiert. Darüber hinaus ist der Bereich 110 eine bedingte Sicherheitszone, was bedeutet, dass der Einfall des Roboters in den Bereich 110 nur dann untersagt ist, wenn die Bedienperson 102 sich neben dem Tisch 104 befindet, was durch eine Bodenunterlage angegeben werden kann (die ein Gewicht detektiert, wenn die Bedienperson 102 auf ihr steht) oder einen Sensor (wie ein optischer Sensor, der die Blockierung eines Lichtstrahls detektiert). Folglich ist der Arbeitsbereich 110 so definiert, dass der Roboter 100 in den Bereich 110 eintreten kann, wenn sich die Bedienperson 102 nicht dem Tisch 104 benachbart befindet, und es dem Roboter 100 untersagt ist, in den Bereich 110 einzutreten, wenn sich die Bedienperson 102 dem Tisch 104 benachbart befindet.
Der Arbeitsbereich 110 von 1 ist einfach ein Beispiel einer Art von Arbeitsbereich. Andere Arbeitsbereichsarten werden in Verbindung mit 2 bis 5 erörtert. Visualisierung und Modifizierung der Arbeitsbereiche unter Verwendung von AR-Verfahren der vorliegenden Offenlegung werden später erörtert.
2 ist eine Darstellung eines Industrieroboters 200, der an einem auf einem Sockel 204 angeordneten Werkstück 202 arbeitet, und die um einzelne Teile des Roboters 200 herum definierte Kollisionsprüfzonen zeigt. Um einen Roboterfuß herum sind Kollisionsprüfzonen 210, 212, 214, 216 und 218, ein Hüftgelenk, ein innerer Arm, ein Ellenbogengelenk bzw. ein äußerer Arm definiert. Die Kollisionsprüfzonen 210 bis 218 sind als „Blasen“ definiert, die einen Puffer um die physikalischen Teile des Roboters 200 herum umgeben und bereitstellen. Jede Kollisionsprüfzone bewegt sich mit ihrem entsprechenden Teil, wenn der Roboter gelenkig gelagert ist. Zum Beispiel bewegt sich die Zone 218 mit dem äußeren Roboterarm. Die Kollisionsprüfzonen 210 bis 218 werden anschließend während der Produktionsvorgänge des Roboters überwacht, um sicherzustellen, dass die Zonen 210 bis 218 nicht auf ein beliebiges anderes Objekt in der Bearbeitungszelle wie etwa dem Sockel 204 störend einwirken. Falls eine Kollision unmittelbar bevorsteht, kann die Bewegung des Roboters verlangsamt oder angehalten werden, um eine physikalische Kollision zu verhindern.
In einer bevorzugten Ausführungsform weisen die Kollisionsprüfzonen 210 bis 218 Formen auf wie etwa die Form eines Sphäroids, Ellipsoids oder einer „Kapsel“ (Zylinder mit halbkugelförmigen Enden), wie es in 2 gezeigt ist. Diese Formen sind geeignet, den Arm oder das Gelenk eines speziellen Roboters zu umfassen, obwohl um die physikalischen Teile herum ein Puffer bewirkt wird, während es außerdem einfach (Mindestanzahl von Parametern) ist, eine Bewegung des Roboters in Echtzeit zu definieren und leicht zu berechnen. Es können auch andere Formen für die Kollisionsprüfzonen 210 bis 218 genutzt werden, einschließlich prismatischer Formen (wie etwa Stäbe mit einem dreieckigen oder rechteckigen Querschnitt).
3A ist eine Darstellung eines Industrieroboters 300 mit Kollisionsprüfzonen, die um jeden Arm des Roboters herum definiert sind und innerhalb einer zugelassenen Zone arbeiten. Kollisionsprüfzonen 310, 312, 314, 316 und 318 werden entsprechend den einzelnen Teilen des Roboters 300 in der zuvor mit Bezug auf 2 erörterten Art und Weise definiert. In 3A ist außerdem eine zugelassene Zone 320 definiert. Die zugelassene Zone 320, im Allgemeinen in kubischer Form, ist in diesem Beispiel eine Art eines Arbeitsbereichs, der einen Arbeitsraum definiert, in welchem der Roboter 300 verbleiben muss.
In 3A sind die Kollisionsprüfzonen 310 bis 318 alle innerhalb des Volumens der zugelassenen Zone 320 angeordnet. Das heißt, in der gegenwärtigen Position des Roboters 300 schneidet sich keine der Kollisionsprüfzonen 310 bis 318 mit irgendeiner der Außenwände der zugelassenen Zone 320. Mit den definierten Kollisionsprüfzonen 310 bis 318 und der zugelassene Zone 320 kann der Roboter 300 durch seine programmierten Bewegungen gelenkig gelagert werden, und es können beliebige mögliche Kollisionsbedingungen ermittelt werden. In einer bevorzugten Ausführungsform der vorliegenden Offenlegung wird der aktuelle Roboter 300 physikalisch durch seine programmierten Bewegungen bewegt, während die Kollisionsprüfzonen 310 bis 318 und die zugelassene Zone 320 mathematisch beurteilt werden und Ergebnisse unter Verwendung des Systems in erweiterter Realität dargestellt werden. Es ist jedoch auch möglich, die Bewegungen des Roboters 300, die Kollisionsprüfzonen 320 bis 318 und die zugelassene Zone 320 zu simulieren.
3B ist eine Darstellung des Roboters 300, bei der eine der Kollisionsprüfzonen eine Bereichsgrenze der zugelassenen Zone 320 verletzt hat. In 3B hat sich der Roboter 300 auf seinem Unterteil gedreht, so dass die Kollisionsprüfzone 318 (die das Gelenk und Werkzeug darstellt) sich mit einer äußeren Wand der zugelassenen Zone 320 schneidet, wie es durch die Bezugszahl 330 angegeben ist. Der Kollisionszustand bei 330 wird vorzugsweise durch Wechseln der Farbe der Kollisionsprüfzone 318 und/oder der zugelassenen Zone 320 oder durch ein lokalisiertes visuelles Anzeigeelement in der Nähe des Kollisionszustands oder einer Kombination von diesen hervorgehoben. Wenn ein Kollisionszustand wie in 3B ermittelt ist, kann der Benutzer durch Umprogrammierung der Bewegung des Roboters 300 reagieren, um die Kollision zu verhindern oder indem die Größe der zugelassenen Zone 320 erweitert wird. Wenn die Größe der zugelassenen Zone 320 in der Softwaresimulation erweitert ist, dann kann eine entsprechende Änderung in der physikalischen Bearbeitungszelle notwendig werden, wobei zum Beispiel ein Sicherheitszaun zurückbewegt werden könnte. In jedem Fall sind in 3A und 3B Definition, Visualisierung und Interaktion von Kollisionsprüfzonen mit einer zugelassenen Zone dargestellt.
4A ist eine Darstellung eines Industrieroboter 400 mit einer Gelenkpositionsprüfzone 410, die für ein Drehgelenk 420 und die Gelenkposition innerhalb von Bereichsgrenzen definiert ist. Die Gelenkpositionsprüfzone 410 ist eine weitere Art von Arbeitsbereichen, die unter Verwendung der Verfahren der vorliegenden Offenlegung erzeugt, visualisiert und modifiziert werden kann. Die Gelenkpositionsprüfzone 410 definiert den zulässigen Winkelbereich des Drehgelenks 420, welches das Gelenk ist, das eine Drehung des äußeren Teils des Arms am Ellenbogen des Roboters 400 bewirkt. Zum Beispiel kann das Drehgelenk 420 eine zusätzliche Winkelbewegung von +/- 88 Grad von einer „Ausgangsposition“ (in 4A vertikal) aufweisen.
Der zugelassene Bewegungsbereich des Drehgelenks 420 kann beschränkt werden, um zu verhindern, dass ein Stromkabel knickt oder sich verdreht, oder zum Beispiel basierend auf dem physikalischen Entwurf des Gelenks selbst. In jedem Fall ist die Gelenkpositionsprüfzone 410 so definiert, dass sie dem zugelassenen Bewegungsbereich des Drehgelenks 420 entspricht. In 4A befindet sich die Gelenkpositionsprüfzone nahe dem Mittelpunkt ihres Bereichs, wie es durch einen Zeiger 412 angegeben ist. Der akzeptierbare Zustand der Gelenkpositionsprüfzone 410 kann auch durch eine grüne Farbe des Sektors, der die Zone 410 bezeichnet, angegeben werden.
4B ist eine Darstellung des Roboters 400, wo die Gelenkpositionsprüfzone 410 ihre Grenze überschritten hat. In 4B kann der Roboter 400 dabei sein zu versuchen, eine Schweißung oder einen anderen Arbeitsgang durchzuführen, bei dem eine extreme Bewegung des Drehgelenks 420 verlangt wird. Die Visualisierung der Gelenkpositionsprüfzone 410 erlaubt es dem Benutzer, ohne weiteres festzustellen, dass das Gelenk 420 seine Drehgrenze überschritten hat. Dies wird durch den Zeiger 412 angezeigt und kann außerdem durch den Sektor angezeigt werden, der zum Beispiel zu einer roten Farbe wechselt. Als Reaktion auf eine solche Begrenzungsverletzung muss dann, wenn die Drehgelenkgrenze selbst nicht erweitert werden kann, ein anderes Roboterprogramm definiert werden, welches erlaubt, den erforderlichen Arbeitsgang durchzuführen, ohne die Bewegungsgrenzen des Drehgelenks 420 zu überschreiten.
5A ist eine Darstellung eines Industrieroboter 500 mit einer Gelenkpositionsprüfzone 510, die definiert ist für ein Translationsgelenk 520 und die Gelenkposition innerhalb von Bereichsgrenzen. Die Gelenkpositionsprüfzone ist eine weitere Art von Arbeitsbereichen, die unter Verwendung der Verfahren der vorliegenden Offenlegung erzeugt, visualisiert und modifiziert werden kann. Die Gelenkpositionsprüfzone 510 definiert den zulässigen linearen Bereich des Translationsgelenks 520, welches ein spezialisierter Gelenktyp ist, der in einigen Robotern wie etwa dem Roboter 500 verwendet wird. Zum Beispiel kann das Translationsgelenk 520 eine zulässige Linearbewegung von +/- 500 mm von einer „Ausgangsposition“ (wie in 5A gezeigt) aufweisen.
Der zugelassene Bewegungsbereich des Translationsgelenks 520 kann auf Beschränkungen von Gewicht oder Biegemoment basieren oder kann zum Beispiel dem physikalischen Entwurf des Gelenks selbst zugrunde gelegt sein. In jedem Fall ist die Gelenkpositionsprüfzone 510 so definiert, dass sie dem zugelassenen Bewegungsbereich des Translationsgelenks 520 entspricht. In 5A befindet sich die Gelenkpositionsprüfzone 510, wie gezeigt ist, in der Nähe der Mitte ihres Bereiches. Der akzeptable Zustand der Gelenkpositionsprüfzone 510 kann auch durch eine grüne Farbe des Striches, der die Zone 510 bezeichnet, angegeben werden.
5B ist eine Darstellung des Roboters 500, wo die Gelenkpositionsprüfzone 510 ihre Grenze überschritten hat. In 5B kann der Roboter 500 dabei sein zu versuchen, einen Teil auf einen Ort zu erweitern, wo eine extreme Bewegung des Translationsgelenks 520 verlangt wird. Die Visualisierung der Gelenkpositionsprüfzone 510 erlaubt es dem Benutzer, ohne weiteres zu bestimmen, dass das Gelenk 520 seine Translationsgrenze überschritten hat. Dies kann zum Beispiel durch den Strich angezeigt werden, der zu einer roten Farbe wechselt. Als Reaktion auf eine solche Grenzverletzung muss, falls die Gelenksgrenze selbst nicht erweitert werden kann, dann ein anderes Roboterprogramm definiert werden, welches es erlaubt, die erforderliche Operation durchzuführen, ohne die Bewegungsgrenzen des Translationsgelenks 520 zu überschreiten.
Die oben erörterten 1 bis 5 veranschaulichen mehrere verschiedene Arbeitsbereichsarten, die in einer Roboterbewegungssteuerung verwendet werden können. Diese Bereichsarten können individuell, in Kombinationen, so wie in 3A und 3D gezeigt, oder in einer weiteren Kombination mehrerer Bereichsarten verwendet werden. Ohne Rücksicht auf die Art des Arbeitsbereichs, seine Form oder seinen beabsichtigten Zweck (zum Beispiel zugelassen oder nicht zulässig) muss die räumliche Definition und Visualisierung der Arbeitsbereiche für den Benutzer bequem und gefühlsmäßig sein, mit anderen Worten, um alle Arten von Arbeitsbereichen leicht zu definieren, zu visualisieren und zu modifizieren.
Traditionell wurden Arbeitsbereiche unter Verwendung von Textmenüs auf einem Handprogrammiergerät eingerichtet und können dann unter Verwendung einer „4D- Darstellung“ (3D plus Bewegung des Roboters) betrachtet werden. Weil sich bei der 4D-Darstellung oft die anderen Wirklichkeitsobjekte der Bearbeitungszelle nicht darstellen lassen, kann es schwierig werden, Arbeitsbereiche korrekt sichtbar zu machen, wenn sie diese Objekte anwenden. Darüber hinaus ist der Einsatz von Menüs auf einem Handprogrammiergerät zur Definition einer geometrischen Form eines 3D-Volumens oft nicht gefühlsmäßig, unbequem und fehleranfällig.
Jedoch bewirkt eine Anzeige in erweiterter Realität (AR) eine gefühlsmäßige Art und Weise, diese Arbeitsbereiche sichtbar zu machen und mit ihnen zu interagieren, die mit Bildern von Wirklichkeitsobjekten einschließlich des Roboters und Teilen, Werkzeugen und Befestigungen zur Deckung gebracht sind. Außerdem ermöglichen Editierbereiche in erweiterter Realität dem Benutzer, die Bereiche einzustellen, oder neue zu erzeugen, die auf der Wirklichkeits-Bearbeitungszelle basieren, viel leichter als durch Menüs. Dies ist die Grundlage der gegenwärtig offengelegten Verfahren.
6 ist eine Darstellung eines Systems 600 zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität nach einer Ausführungsform der vorliegenden Offenlegung. Das System 600 enthält einen Roboter 610, ein Gerät 620 in erweiterter Realität (AR) und eine Robotersteuereinheit 630. Die Robotersteuereinheit 630 befindet sich mit dem Roboter 610, typischerweise über ein Kabel 632, in einer Zweiwegekommunikation, wie es dem Fachmann verständlich wäre. Das AR-Gerät 620 befindet sich mit der Robotersteuereinheit 630 in einer Zweiwegekommunikation, vorzugsweise über eine drahtlose Kommunikation wie WiFi, Bluetooth oder andere drahtlose Kommunikationsmittel. Das AR-Gerät 620 ist vorzugsweise eine von einem Benutzer 612 tragbare Sprechgarnitur, wobei die Sprechgarnitur einen Prozessor, Trägheitssensoren, eine Kamera und Schutzbrillen umfasst, die computergenerierte 3-dimensionale Bilder über der Ansicht des Benutzers von Wirklichkeitsobjekten einblenden. Wenn das AR-Gerät 620 eine Sprechgarnitur ist, kann das Gerät 620 außerdem eine getrennte Tastatur oder eine Sensorbildschirmeinheit zur Eingabe von Menübefehlen und Eingabedaten umfassen. Das AR-Gerät 620 kann außerdem ein handgeführtes Gerät wie ein Mobiltelefon, ein Tablet-Gerät oder ein Roboter-Handprogrammiergerät sein, wobei in diesem Fall das Gerät 620 weiterhin einen Prozessor, Trägheitssensoren, eine Kamera und einen Anzeigebildschirm zusätzlich zu dem benötigten Kommunikationssystem einschließt.
In 6 erzeugt, visualisiert und modifiziert der Benutzer 612 einen Arbeitsbereich 640 in einem Raum über einem Tisch 614. Die physikalische Bearbeitungszelle in Wirklichkeit, in welcher der Benutzer 612 steht, umfasst den Roboter 610 (mit der Steuereinheit 630 verbunden) und den Tisch 614. Der Arbeitsbereich 640 ist eine virtuelle Einheit, die nur in Software existiert. Das AR-Gerät 620 wird mit AR-Bereichssoftware konfiguriert, die auf dessen Prozessor läuft. Die AR-Bereichssoftware auf dem Gerät 620 kommuniziert (vorzugsweise drahtlos) mit der Robotersteuereinheit 630, wobei das AR-Gerät 620 der Steuereinheit 630 Definitionen und Modifizierungen des Arbeitsbereichs liefert, und die Steuereinheit 630 dem AR-Gerät 620 Informationen der Roboterposition und andere Informationen liefert.
Der Arbeitsbereich 640 ist durch eine Vielzahl von Kontrollpunkten 642 gekennzeichnet. Im Fall eines sechsflächigen Arbeitsbereichs, wie dem Bereich 640, können die Kontrollpunkte 642 an jedem Scheitelpunkt oder Eckpunkt angeordnet sein. In der AR-Bereichssoftware können viele verschiedene Formschablonen des Arbeitsbereichs, die sechsflächige, kugelförmige, zylindrische, pyramidenförmige usw. einschließen, vorgesehen sein. Jede unterschiedliche Formschablone des Bereichs wird eine unterschiedliche Anzahl und Typen von Kontrollpunkten umfassen. Zum Beispiel kann ein kugelförmiger Arbeitsbereich durch einen Mittelpunkt und einen Radius definiert sein, und es können zusätzliche Kontrollpunkte genutzt werden, um die kugelförmige Form in unterschiedliche Richtungen zu strecken. Ebenso kann ein zylindrischer Bereich durch zwei Endpunkte und einen Radius definiert sein, wobei zusätzliche Kontrollpunkte oder Parameter verfügbar sind, um die Form der Enden des Zylinders zu definieren. Außerdem können Parameter wie etwa ein Radius ebenso über Kontrollpunkte definiert werden. In der AR-Bereichssoftware ist jeder Arbeitsbereich bezeichnet, eine Art (wie etwa einen gesperrten Sicherheitsbereich) zu haben und wird, falls zutreffend einem Roboterteil zugeordnet.
Das System 600 erlaubt es dem Benutzer 612, beliebige vorhandene Arbeitsbereiche von der Robotersteuereinheit 630 abzurufen, neue Arbeitsbereiche in der AR-Bereichssoftware zu erzeugen, die auf dem AR-Gerät 620 abläuft, die virtuellen Arbeitsbereiche sichtbar zu machen, die mit Bildern der physikalischen Wirklichkeitselemente in der Bearbeitungszelle zur Deckung gebracht sind, was einschließt, dass der Benutzer 612 um die Arbeitsbereiche herum gehen kann und die physikalischen Element von unterschiedlichen Standpunkten aus betrachten kann, die Arbeitsbereiche zu modifizieren, indem die Kontrollpunkte wenn nötig bewegt werden, den Roboter 610 einschließlich des Betriebs eines vorher festgelegten Bewegungsprogramm des Roboters zu bedienen und neue oder modifizierte Arbeitsbereiche der Robotersteuerung 630 zu überlassen.
Ob auf einer Sprechgarnitur oder einem Tablet-Gerät ablaufend, stellt die AR-Bereichssoftware dem Benutzer mehrere Hauptfunktionen zur Verfügung, die das Erzeugen eines neuen Arbeitsbereichs und das Modifizieren eines Bereichs usw. einschließen. Einige dieser Funktionen erfordern die Auswahl einer Option aus einem Menü, weshalb die AR-Bereichssoftware Menüanzeige- und Auswahlmerkmale umfasst. Wenn das AR-Gerät 620 eine Sprechgarnitur ist, wird eine Modifizierung der Kontrollpunkte 642 vorzugsweise über Benutzergesten wie das Berühren oder Greifen eines der Kontrollpunkte 642 und dessen Bewegung in die gewünschte Richtung im Raum vollbracht. Auf einem Tablet-Gerät oder einem Handprogrammiergerät kann eine Modifizierung der Kontrollpunkte über eine Bildschirmauswahl des speziellen Kontrollpunkts 642 und eine Bewegung des Kontrollpunkts 642 durch einen bezeichneten Umfang in einer bezeichneten Richtung auf der Basis von Menütasten vollbracht werden.
Zur Erzeugung von Kollisionsprüfzonen enthält die AR-Bereichs-software Merkmale, die für Bequemlichkeit und Produktivität des Benutzers ausgelegt sind. Weil die Robotersteuereinheit 630 (und somit das AR-Gerät 620) die Stellung des Roboters 610 einschließlich der Orte aller Gelenkmittelpunkte jederzeit kennt, können die Gelenkmittelpunkte zur Erzeugung einer Kollisionsprüfzone genutzt werden. Zum Beispiel kann eine kugelförmige Kollisionsprüfzone mit einem Mittelpunkt an einem Gelenk J2 definiert werden und erfordert nur, einen Radius zu definieren, oder es kann eine zylindrische Kollisionsprüfzone mit einer Achse definiert werden, die sich vom Gelenk J2 zu einem Gelenk J3 erstreckt, und erfordert nur, einen Radius zu definieren. Unter Verwendung dieser Merkmale zur bequemen Erzeugung eines Arbeitsbereichs zusammen mit einer durch AR ermöglichten Modifizierung von Kontrollpunkten kann der Benutzer 612 bei Bedarf die Arbeitsbereiche für jede Anwendung leicht konfig urieren.
Wie es früher bezüglich 3A und 3B erörtert wurde, können Kollisionsprüfzonen in Kombination mit anderen Arbeitsbereichen wie etwa zugelassenen und/oder unzulässigen Zonen verwendet werden. In diesem Umgebungstyp ist es wünschenswert, den Roboter 610 durch seine programmierten Bewegungen laufen zu lassen und auf Kollisionen zu prüfen. Nachstehend werden verschiedene Szenarien zur Durchführung dieser Kollisionsprüfungen erörtert.
Kollisionen können zwischen zwei virtuellen Arbeitsbereichen wie einer Kollisionsprüfzone und einer zugelassenen Zone auftreten. In dieser Situation kann die AR-Bereichs-software auf dem AR-Gerät 620 die Prüfungen der Kollision in Echtzeit durchführen, wenn der Roboter 610 durch seine programmierten Bewegungen bewegt wird. Jede Kollision, die auftritt, kann durch die AR-Bereichssoftware hervorgehoben werden, wie etwa durch Anhalten der Roboterbewegung, Wechseln der Farbe einer Zone, Bereitstellen einer visuellen Betonung an der Stelle der Kollision usw. Wenn die Arbeitsbereiche an die Robotersteuereinheit 630 kommuniziert wurden, dann kann die Steuereinheit 630 auch die Kollisionsprüfzonen zwischen den Zonen durchführen, wenn der Roboter durch seine programmierten Bewegungen bewegt wird.
Kollisionen können auch zwischen einem virtuellen Arbeitsbereich und einem physikalischen Element wie etwa einer Kollisionsprüfzone und dem Tisch 614 auftreten. In dieser Situation kann die Kollision durch den Benutzer 612 detektiert werden, indem die Kollisionsprüfzonen beobachtet werden, wenn sich der Roboter bewegt, was das Gehen um die Bearbeitungszelle herum und das Betrachten des Roboters 610 und von Arbeitsbereichen von verschiedenen Standpunkten aus einschließt. Wenn auf diese Weise eine Kollision detektiert wird, kann der Benutzer 612 anschließend geeignete Schritte unternehmen, um die Kollision zu lösen, wie etwa das Umprogrammieren der Roboterbewegung oder Bewegen von Elementen zu verschiedenen Orten innerhalb der Bearbeitungszelle.
Damit die AR-Bereichssoftware auf dem AR-Gerät 620 die virtuellen Arbeitsbereiche, in die Wirklichkeitselemente eingeblendet werden, richtig darstellt, muss die AR-Bereichssoftware die Position und Ausrichtung des AR-Geräts 620 jederzeit kennen. Dies wird erreicht durch die Kamera(s) und Trägheitssensoren (Beschleunigungsmesser und Kreisel) an Bord des AR-Gerätes 620, wobei ein oder mehrere Kamerabilder einer bekannten Einheit (eine visuelle Markierung bekannter Größe, Gestaltung und Ausrichtung) verwendet werden, um eine anfängliche Position/Ausrichtung des AR-Gerätes 620 herzustellen, wobei danach Kamerabilder in Kombination mit Trägheitsmessungen in visuellen/trägen Kopplungsberechnungen verwendet werden. Diese visuellen/trägen Kopplungsberechnungen sind an sich bekannt und werden weiter unten erörtert.
7 ist ein dargestelltes Ablaufdiagramm 700 eines Verfahrens zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität, welches das System 600 von 6 nach einer Ausführungsform der vorliegenden Offenlegung verwendet. Beim Kästchen 702 richtet das AR-Gerät 620 die Kommunikation ein mit der Robotersteuereinheit 630 durch einen drahtlosen Kommunikationskanal, wie es früher erörtert ist. Die Robotersteuereinheit 630 kann bereits eine oder mehrere Arbeitsbereiche aufweisen, die für die den Roboter 610 enthaltende spezielle Bearbeitungszelle definiert sind. Wenn solche beliebigen Arbeitsbereiche vorhanden sind, werden sie von der Robotersteuereinheit 630 an das AR-Gerät 620 beim Kästchen 704 heruntergeladen. Wenn keine vorher bestehenden Arbeitsbereiche verfügbar sind, kann der Benutzer fortfahren mit dem Prozess, einen oder mehrere neue Arbeitsbereiche zur erzeugen, zu modifizieren und sichtbar zu machen.
Beim Kästchen 706 startet der Benutzer die Anwendung (App) der AR-Bereichssoftware auf dem AR-Gerät 620. Beim Kästchen 708 werden Position und Ausrichtung des AR-Gerätes 620 mit dem „Weltraum“ registriert, was einfach ein festgelegtes Koordinatensystem in der Bearbeitungszelle des Roboters 610 ist. Der Koordinatenrahmen der Bearbeitungszelle ist der Robotersteuereinheit 630 bekannt, und es sind Robotergelenkpositionen und eine Position des Werkzeugmittelpunkts im Koordinatenrahmen der Bearbeitungszelle für alle Positionskonfigurationen des Roboters 610 bekannt. Das Registrieren des AR-Geräts 620 beim Koordinatenrahmen der Bearbeitungszelle wird durchgeführt, indem die Kamera im AR-Gerät 620 auf eine visuelle Markierung 618 zeigt, so dass eine Vielzahl von Bildern der Markierung 618 von dem AR-Gerät 620 eingefangen werden. Praktisch wird dies vollbracht, indem die Kamera des AR-Gerätes 620 auf die Markierung 618 zeigt, so dass die Markierung 618 im Display des AR-Geräts 620 erscheint; eine natürliche Bewegung des AR-Gerätes 620 (aufgrund dessen, dass es von einer Person gehalten oder getragen wird) anschließende Bilder der Markierung 618 (die ein Muster und einen Ort besitzt, die der Robotersteuereinheit 630 und der AR-Bereichssoftware bekannt sind) aus etwas unterschiedlichen Perspektiven bereitstellt, was es der AR-Bereichssoftware ermöglicht, die Position und die Ausrichtung des AR-Gerätes 620 relativ zu dem Koordinatenrahmen der Bearbeitungszelle zu bestimmen. Es können andere Verfahren, das AR-Gerät 620 beim Koordinatenrahmen der Bearbeitungszelle zu registrieren, neben einer Bildgebung der visuellen Markierung 618, verwendet werden, wie es dem Fachmann bekannt wäre.
Wenn Position und Ausrichtung des AR-Gerätes 620 beim Koordinatenrahmen der Bearbeitungszelle registriert sind, wird durch die AR-Bereichssoftware träge und visuelle Wegmessung genutzt, um die Position und Ausrichtung des AR-Gerätes 620 relativ zum Koordinatenrahmen der Bearbeitungszelle kontinuierlich zu verfolgen. Bei diesem Verfahren empfängt der Prozessor im AR-Gerät 620 Signale von Beschleunigungsmessern und Kreiseln an Bord des Gerätes 620 und berechnet ständig die aktualisierte Position und Ausrichtung des Gerätes 620 basierend auf einer Integration von Signalen der Beschleunigung und Giergeschwindigkeit. Position und Ausrichtung werden auf der Basis von Bildern von der Kamera am Gerät 620 wie etwa Bildern der Markierung 618 oder anderer erkennbarer Objekte, die an einem bekannten Ort vorhanden sind, geprüft und korrigiert.
Beim Kästchen 710 zeigt die AR-Bereichssoftware auf dem AR-Gerät 620 alle Arbeitsbereiche an (wie beispielsweise den Bereich 640), mit denen Bilder von Wirklichkeitselementen zur Überdeckung gebracht sind. Die Arbeitsbereiche sind virtuell, das bedeutet, sie existieren in der AR-Bereichssoftware, jedoch existieren sie nicht physikalisch. Der Roboter 610, der Tisch 614 und jedes andere physikalische Element in der Bearbeitungszelle erscheinen in den Kamerabildern auf dem AR-Gerät 620, wobei die AR-Bereichssoftware die virtuellen Arbeitsbereiche austauscht, so dass sie in der richtigen Position/Ausrichtung relativ zu den physikalischen Elementen erscheinen. Die Anzeige der Arbeitsbereiche wird ständig aktualisiert, so dass die Bereiche von jedem Standpunkt aus, eine korrekte Erscheinung basierend auf der ständig aktualisierten Position und Ausrichtung des AR-Gerät 620 besitzen. Die AR-Bereichssoftware zeigt außerdem die Kontrollpunkte 642 auf dem Arbeitsbereich 640 an.
Beim Kästchen 712 interagiert der Benutzer mit den Kontrollpunkten 642, um die Bereichsgrenzen des Arbeitsbereichs (der Arbeitsbereiche) zu modifizieren. Zum Beispiel kann eine Ecke des Arbeitsbereichs 640 bewegt werden, oder es kann ein Radius einer zylindrischen Kollisionsprüfzone verändert werden. Es können unter Verwendung physikalischer Gestenbefehle (ergreifen, bewegen usw.) Kontrollpunkte modifiziert werden, wenn das AR-Gerät 620 eine Sprechgarnitur ist. Unter Verwendung von Menübefehlen und einer Eingabe mit Tastenanschlag können Kontrollpunkte modifiziert werden, wenn das AR-Gerät 620 ein Tablet, ein Smartphone oder ein Handprogrammiergerät ist. Die Auswahl von Menüs und Menüpunkten ist ebenso auf der Sprechgarnitur verfügbar.
Noch beim Kästchen 712 kann der Benutzer außerdem neue Arbeitsbereiche erzeugen, welche Sicherheitszonen (entweder ein für den Roboter 610 zulässiger Raum oder gesperrter Raum), bedingte Sicherheitszonen (zum Beispiel bedingt bei Anwesenheit eines Arbeiters oder Vorhandensein eines Teils), auf Komponenten des Roboters 610 bezogene Kollisionsprüfzonen, Gelenkpositionsprüfzonen (Rotation oder Translation) oder andere sein können, die sich einem erfahrenen Benutzer erschließen können. Die Arbeitsbereiche können eine beliebige gewünschte geometrische Form aufweisen, die Linien, Ebenen, facettenreiche Volumen, kugelförmige und zylindrische Volumen, prismatische Formen usw. einschließt. Es können neue Arbeitsbereiche erzeugt werden, wo zuvor keine vorhanden waren (falls beim Kästchen 704 keine Bereiche heruntergeladen wurden), oder es können neue Bereiche zusätzlich zu den bereits vorhandenen erzeugt werden. Wenn Arbeitsbereiche zur Zufriedenstellung des Benutzers erzeugt und modifiziert wurden, werden die Bereiche in die Robotersteuereinheit 630 zur zeitweiligen Speicherung (zur Analyse und Simulation jedoch noch nicht zum Einsatz bei Produktionsvorgängen des Roboters 610 festgelegt) heraufgeladen.
Bei den Kästchen 714a und 714b werden Kollisionsprüfsimulationen für die gesamte programmierte Bewegung des Roboters 610 durchgeführt. Diese Kollisionsprüfsimulationen können durch die AR-Bereichssoftware (Kästchen 714a) oder die Software der Robotersteuereinheit (Kästchen 714b) durchgeführt werden.
Die Kollisionsprüfsimulationen durch die AR-Bereichssoftware beim Kästchen 714a werden wie folgt durchgeführt. Die AR-Bereichssoftware auf dem AR-Gerät 620 weist die Robotersteuereinheit 630 an, den Roboter 610 durch seine programmierte Bewegung zu bewegen. Zum Beispiel kann der Roboter 610 programmiert werden, um darauf zu warten, dass ein Werkstück auf den Tisch 614 gelegt wird und anschließend Schweißvorgänge an dem Werkstück durchführen. Bei jedem Schritt ordnet die Robotersteuereinheit 630 die Bewegung des Roboters 610 an und stellt außerdem der AR-Bereichssoftware die neue Roboterposition zur Verfügung. Aus den Informationen der Roboterposition kann die AR-Bereichssoftware die Position jeder der Kollisionsprüfzonen aktualisieren und beliebige Kollisionsbedingungen zwischen Kollisionsprüfzonen und anderen Arbeitsbereichen ermitteln. Kollisionsbedingungen sind im AR-Display hervorgehoben und können außerdem konfiguriert werden, um zu bewirken, dass die Bewegung des Roboters 610 anhält. Der Benutzer kann auch, wenn sich der Roboter 610 bewegt, visuell auf Kollisionen zwischen Kollisionszonen prüfen, die für die Teile des Roboters 610 definiert sind, und physikalischen Elementen wie dem Tisch 614, wobei die virtuellen Zonen und die physikalischen Elemente alle auf dem Display des AR-Gerätes 620 sichtbar sind.
Die Kollisionsprüfsimulationen beim Kästchen 714 durch die Software der Robotersteuereinheit werden wie folgt durchgeführt. Arbeitsbereiche wie für Roboterteile definierte Kollisionsprüfzonen und Sicherheitszonen (zulässige oder gesperrte) werden von der AR-Bereichssoftware auf dem AR-Gerät 620 in die Robotersteuereinheitssoftware heraufgeladen. Die Robotersteuereinheit 630 schaltet den Roboter 610 durch seine programmierte Bewegung. Bei jedem Schritt kennt die Robotersteuereinheit 630 die Positionsinformationen des Roboters; so kann die Software der Robotersteuereinheit die Position jeder der Kollisionsprüfzonen heraufladen und alle Kollisionsbedingungen zwischen den Kollisionsprüfzonen (die sich mit den Roboterteilen bewegen) und anderen Arbeitsbereichen (die festgelegt sind) ermitteln. Kollisionsbedingungen werden in einem durch die Software der Robotersteuereinheit bereitgestellten Bericht hervorgehoben und können außerdem ausgelegt werden zu veranlassen, dass die Bewegung des Roboters 610 angehalten wird.
Beim Kästchen 716, wenn die Wechsel in die Bereiche vollständig sind, wird der „eingerichtete“ neue Arbeitsbereich (Definitionen der Bereiche) heraufgeladen in die Robotersteuereinheit 630 oder übertragen. Das heißt, wenn Visualisierung und Modifizierung der Arbeitsbereiche durch den Benutzer fertig sind, werden die abgeschlossenen Arbeitsbereiche in die Robotersteuereinheit 630 heraufgeladen und für Produktionsvorgänge bestätigt/überlassen. Während der Produktionsvorgänge werden die Arbeitsbereiche durch die Robotersteuereinheit 630 in Echtzeit geprüft, so dass zum Beispiel gewährleistet wird, dass der Roboter nicht in eine gesperrte Zone eintritt, wenn sich eine Bedienperson der Zone benachbart befindet.
In der vorangegangenen Erörterung sind durchweg verschiedene Steuereinheiten zur Steuerung von Bewegungen und Aufgaben eines Roboters, zur Funktion des AR-Gerätes usw. beschrieben und einbezogen. Es soll verständlich werden, dass die Softwareanwendungen und Module dieser Steuereinheiten auf einem oder mehreren Rechengeräten mit einem Prozessor und einem Speichermodul einschließlich Algorithmen ausgeführt werden, die in einem nichtflüchtigen Speicher konfiguriert sind. Insbesondere schließt dies Prozessoren in der Robotersteuereinheit 630 und dem AR-Gerät 620 ein, die oben erörtert wurden. Die Kommunikation zwischen den Robotern, ihren Steuereinheiten und dem AR-Gerät kann über ein fest verdrahtetes Netzwerk bestehen oder kann jede geeignete drahtlose Technologie wie etwa ein Mobiltelefon/Datennetz, WiFi, Bluetooth, Breitband-Internet usw. nutzen.
Wie oben beschrieben, bieten die offengelegten Verfahren zur Visualisierung und Modifizierung von Roboterarbeitsbereichen unter Verwendung von erweiterter Realität mehrere Vorteile gegenüber Verfahren im Stand der Technik. Die Befähigung eines Benutzers, Arbeitsbereiche im dreidimensionalen Raum schnell zu betrachten und gefühlsmäßig zu modifizieren, indem Gestenbefehle eher als Tastatureingaben genutzt werden, während der Roboter und andere Wirklichkeitselemente gleichzeitig betrachtet werden, ist weit überlegen gegenüber früheren iterativen Verfahren zur Bildung und Prüfung von Arbeitsbereichen.
Während eine Anzahl beispielhafter Aspekte und Ausführungsformen des Verfahrens und Systems zur Visualisierung und Modifizierung von Arbeitsbereichen in erweiterter Realität oben erörtert wurden, wird der Fachmann Modifizierungen, Umsetzungen, Ergänzungen und Unterkombinationen davon erkennen. Es ist deshalb beabsichtigt, dass die folgenden angefügten Ansprüche und die danach eingeführten Ansprüche so ausgelegt sind, alle diese Modifizierungen, Umsetzungen, Ergänzungen und Unterkombinationen als in deren wahrem Geist und Geltungsbereich befindlich einzuschließen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/690125 [0001]

Claims

System zur Visualisierung und Modifizierung von Maschinenarbeitsbereichen, wobei das System umfasst: eine Maschine, die in einer Bearbeitungszelle bedienbar ist; eine Maschinensteuereinheit, die mit der Maschine in Verbindung steht, wobei die Steuereinheit einen Prozessor und einen Speicher enthält und mit Maschinensteuersoftware zur Steuerung des Betriebs der Maschine gestaltet ist; und ein Gerät in erweiterter Realität (AR), das mit der Maschinensteuereinheit in Verbindung steht, wobei das AR-Gerät eine oder mehrere Kameras, Positionsverfolgungssensoren und ein Display besitzt, das AR-Gerät des Weiteren einen Prozessor und Speicher enthält, die gestaltet sind, eine AR-Bereichssoftwareanwendung abzuarbeiten; wobei die AR-Bereichssoftwareanwendung Merkmale bereitstellt, die umfassen: Einrichten einer Position und Ausrichtung des AR-Gerätes relativ zum Koordinatenrahmen einer Bearbeitungszelle; ständiges Verfolgen der Position und Ausrichtung des AR-Gerätes relativ zu dem Koordinatenrahmen der Bearbeitungszelle, wenn das AR-Gerät bewegt wird; Erzeugen, Anzeigen und Modifizieren einer oder mehrerer Arbeitsbereiche einschließlich des Bereitstellens einer virtuellen Anzeige der Arbeitsbereiche, die mit Bildern des Roboters und anderer physikalischer Gegenstände in der Bearbeitungszelle zur Überdeckung gebracht sind, wobei jeder der Arbeitsbereiche Kontrollpunkte enthält, die zur Definition von Ort, Größe und Form des Arbeitsbereiches verwendet werden; Prüfen auf Kollision zwischen Arbeitsbereichen, Teilen der Maschine und den anderen physikalischen Elementen in der Bearbeitungszelle einschließlich des Prüfens auf Kollision, während die Maschine durch ein vorgegebenes Bewegungsprogramm bewegt wird; und Übertragen der Arbeitsbereiche in die Maschinensteuereinheit zum anschließenden Einsatz bei Maschinenbedienungen.
System nach Anspruch 1, wobei das AR-Gerät eine von einem Benutzer getragene Sprechgarnitur ist.
System nach Anspruch 2, wobei die Kontrollpunkte der Arbeitsbereiche durch Benutzergesten manipulierbar sind, wobei der Benutzer die Kontrollpunkte über die Gesten auswählt und bewegt.
System nach Anspruch 1, wobei das AR-Gerät ein Smartphone, ein Tablet-Rechengerät oder ein von einem Benutzer gehaltenes Roboter-Handprogrammiergerät ist.
System nach Anspruch 1, wobei Einrichten von Position und Ausrichtung des AR-Gerätes relativ zu dem Koordinatenrahmen der Bearbeitungszelle das Analysieren von Bildern einer visuellen Markierung mit einer bekannten Gestaltung und an einem bekannten Ort in dem Koordinatenrahmen der Bearbeitungszelle angeordnet umfasst.
System nach Anspruch 1, wobei die Arbeitsbereiche eine oder mehrere Sicherheitszonen, die einen festgelegten Raum in der Bearbeitungszelle beschreiben, Kollisionsprüfzonen, die einen räumlichen Bereich um Teile des Roboters herum beschreiben und Gelenkpositionsprüfzonen, die einen zulässigen Gelenkpositionsbereich beschreiben, umfassen.
System nach Anspruch 6, wobei die Sicherheitszonen entweder als zulässige Bereiche konfigurierbar sind, die einen Raum definieren, in dem die Maschine verbleiben muss, oder als gesperrte Bereiche, die einen Raum definieren, in den die Maschine nicht eintreten darf.
System nach Anspruch 6, wobei die Kollisionsprüfzonen Formen aufweisen, die relativ zu Gelenkmittelpunktpositionen definierbar sind, die der Anwendung der AR-Bereichs-software bekannt und von dieser auswählbar sind.
System nach Anspruch 1, wobei die Arbeitsbereiche Formen aufweisen, die Punkte, Linien, Ebenen, polyedrische Volumen, prismatische Volumen, kugelförmige Volumen und zylindrische Volumen mit optionalen halbkugelförmigen Enden einschließen.
System nach Anspruch 1, wobei die Positionsverfolgungssensoren einen oder mehrere Kreisel und einen oder mehrere Beschleunigungsmesser umfassen, wobei die Sensoren dem Prozessor im AR-Gerät Signale bereitstellen, die eine ständige Berechnung von Positions- und Ausrichtungsänderungen des AR-Gerätes ermöglichen.
System nach Anspruch 10, wobei die virtuelle Anzeige der Arbeitsbereiche auf der Basis von Positions- und Ausrichtungsänderungen des AR-Gerätes ständig aktualisiert wird.
System nach Anspruch 1, wobei Prüfen auf Kollision das Ändern der virtuellen Anzeige der Arbeitsbereiche umfasst, wenn eine Kollision detektiert wird, das Wechseln einer Farbe eines Arbeitsbereichs, der verletzt wird, und visuelles Hervorheben eines Ortes, wo die Kollision auftritt, einschließt.
System nach Anspruch 1, wobei die Maschine ein Industrieroboter ist.
Vorrichtung zur Visualisierung und Modifizierung von Roboterarbeitsbereichen, wobei die Vorrichtung ein Gerät in erweiterter Realität (AR) aufweist, das mit einer Robotersteuereinheit in Verbindung steht, das AR-Gerät eine von einem Benutzer getragene Sprechgarnitur ist und eine oder mehrere Kameras, Trägheitssensoren und ein Display aufweist, wobei das AR-Gerät des Weiteren einen Prozessor und Speicher umfasst, die gestaltet sind, um eine Anwendung der AR-Bereichssoftware abzuarbeiten, wobei das AR-Gerät ständig seine Position und Ausrichtung relativ zu einer Roboter Bearbeitungszelle verfolgt, und das AR-Gerät eine virtuelle Anzeige einer oder mehrerer Arbeitsbereiche bereitstellt, die mit Bildern eines Roboters oder anderen physikalischen Elementen in der Bearbeitungszelle zur Überdeckung gebracht sind, wobei jeder der Arbeitsbereiche Kontrollpunkte enthält, die verwendet werden, um Größe und Form von Arbeitsbereichen zu definieren, und das AR-Gerät außerdem auf Kollision zwischen den Arbeitsbereichen, Teilen des Roboters und den anderen physikalischen Elementen in der Bearbeitungszelle prüft, einschließlich einer Prüfung auf Kollision, während der Roboter durch ein vorgegebenes Bewegungsprogramm bewegt wird.
Verfahren zur Visualisierung und Modifizierung von Arbeitsbereichen von Maschinen, wobei das Verfahren umfasst: Bereitstellen einer Maschine, die in einer Bearbeitungszelle bedienbar ist, und mit einer Maschinensteuereinheit, die mit der Maschine in Verbindung steht; Bereitstellen eines Gerätes in erweiterter Realität (AR), das mit der Maschinensteuereinheit in Verbindung steht, wobei das AR-Gerät eine oder mehrere Kameras, Positionsverfolgungssensoren und ein Display aufweist, das AR-Gerät des Weiteren einen Prozessor und Speicher umfasst, die gestaltet sind, um eine Anwendung (App) der AR-Bereichssoftware abzuarbeiten; Einrichten einer Position und Ausrichtung des AR-Gerätes relativ zu einem Koordinatenrahmen der Bearbeitungszelle durch die App; ständiges Verfolgen der Position und Ausrichtung des AR-Gerätes relativ zu dem Koordinatenrahmen der Bearbeitungszelle, wenn das AR-Gerät bewegt wird; Erzeugen, Anzeigen und Modifizieren einer oder mehrerer Arbeitsbereiche durch die App, einschließlich des Bereitstellens einer virtuellen Anzeige der Arbeitsbereiche, die mit Bildern der Maschine und anderer physikalischer Elemente in der Bearbeitungszelle zur Überdeckung gebracht sind, wobei jeder der Arbeitsbereiche Kontrollpunkte einschließt, die verwendet werden, um Größe und Form von Arbeitsbereichen zu definieren; Prüfen auf Kollision zwischen Arbeitsbereichen, Teilen der Maschine und den anderen physikalischen Elementen in der Bearbeitungszelle durch die App auf dem AR-Gerät oder durch Software in der Maschinensteuereinheit, einschließlich des Prüfens auf Kollision, während die Maschine durch ein vorgegebenes Bewegungsprogramm bewegt wird; und Übertragen der Arbeitsbereiche von dem AR-Gerät in die Maschinensteuereinheit zum anschließenden Einsatz bei Maschinenbedienungen.
Verfahren nach Anspruch 15, wobei das AR-Gerät eine von einem Benutzer getragene Sprechgarnitur ist, und bei dem die Kontrollpunkte der Arbeitsbereiche durch Benutzergesten manipulierbar sind, wobei der Benutzer die Kontrollpunkte durch die Gesten auswählt und bewegt.
Verfahren nach Anspruch 15, wobei Einrichten der Position und Ausrichtung des AR-Gerätes relativ zu dem Koordinatenrahmen der Bearbeitungszelle das Analysieren von Bildern einer visuellen Markierung mit einer bekannten Gestaltung und an einem bekannten Ort im Koordinatenrahmen der Bearbeitungszelle angeordnet umfasst.
Verfahren nach Anspruch 15, wobei die Arbeitsbereiche eine oder mehrere Sicherheitszonen, die einen festgelegten Raum in der Bearbeitungszelle beschreiben, Kollisionsprüfzonen, die einen räumlichen Bereich um Teile der Maschine herum beschreiben, und Gelenkpositionsprüfzonen, die einen zulässigen Gelenkpositionsbereich beschreiben, einschließen, und wobei die Sicherheitszonen konfigurierbar sind entweder als zulässige Bereiche, die einen Raum definieren, in welchem dem Maschine verbleiben muss oder als gesperrte Bereiche, die einen Raum definieren, in welchen die Maschine nicht eintreten darf, und wobei die Kollisionsprüfzonen Formen aufweisen, die relativ zu Gelenkmittelpunktpositionen definierbar sind, die der Anwendung der AR-Bereichssoftware bekannt und von dieser auswählbar sind.
Verfahren nach Anspruch 15, wobei die Arbeitsbereiche Formen aufweisen, die Punkte, Linien, Ebenen, polyedrische Volumen, prismatische Volumen, kugelförmige Volumen und zylindrische Volumen mit optionalen halbkugelförmigen Enden einschließen.
Verfahren nach Anspruch 15, wobei die Positionsverfolgungssensoren einen oder mehrere Kreisel und einen oder mehrere Beschleunigungsmesser einschließen, wobei die Sensoren dem Prozessor im AR-Gerät Signale zur Verfügung stellen, die eine ständige Berechnung von Positions- und Ausrichtungsänderungen des AR-Gerätes ermöglichen, und bei dem die virtuelle Anzeige der Arbeitsbereiche auf der Basis der Positions- und Ausrichtungsänderungen des AR-Gerätes ständig aktualisiert wird.
Verfahren nach Anspruch 15, wobei Prüfen auf Kollision das Ändern der virtuellen Anzeige der Arbeitsbereiche umfasst, wenn eine Kollision detektiert wird, das Wechseln einer Farbe eines Arbeitsbereichs, der verletzt wird, und visuelles Hervorheben eines Ortes, wo die Kollision auftritt, einschließt.
Verfahren nach Anspruch 15, wobei die Maschine ein Industrieroboter ist.