DE102020130520A1

DE102020130520A1 - Verfahren zum steuern eines roboters in gegenwart menschlicher bediener

Info

Publication number: DE102020130520A1
Application number: DE102020130520.6A
Authority: DE
Inventors: Gregory Linkowski; Shankar Narayan Mohan
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-11-19
Filing date: 2020-11-18
Publication date: 2021-05-20
Also published as: US20210146546A1; CN112894798A

Abstract

Die vorliegende Offenbarung stellt ein Verfahren zum Steuern eines Roboters in Gegenwart menschlicher Bediener bereit. Ein Verfahren für einen gemeinsamen Mensch-Roboter-Arbeitsvorgang beinhaltet, dass ein Roboter dazu veranlasst wird, mindestens eine automatisierte Aufgabe innerhalb eines Arbeitsbereichs durchzuführen, und dass ein dynamisches Modell eines Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von einer Vielzahl von Sensoren, die über die Gesamtheit des Arbeitsbereichs hinweg angeordnet sind, generiert wird. Das Verfahren beinhaltet außerdem ein Steuern des Betriebs des Roboters auf Grundlage des dynamischen Modells und des menschlichen Arbeitsvorgangs und ein Überprüfen der Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters, der mit dem menschlichen Arbeitsvorgang verknüpft ist, und auf Grundlage von wenigstens einem von dem dynamischen Modell, den Daten von der Vielzahl von Sensoren und der mindestens einen automatisierten Aufgabe, die von dem Roboter durchgeführt wird.

Description

GEBIET
Die vorliegende Offenbarung betrifft das Steuern von Robotern in einer Fertigungsumgebung, in der sich menschliche Bediener befinden, auf Grundlage von Aufgaben, die von dem Roboter und den menschlichen Bedienern ausgeführt werden.
ALLGEMEINER STAND DER TECHNIK
Die Aussagen in diesem Abschnitt vermitteln lediglich Hintergrundinformationen in Bezug auf die vorliegende Offenbarung und stellen unter Umständen nicht den Stand der Technik dar.
Industrieroboter eignen sich für Aufgaben, die wiederholbar und physisch anspruchsvoll sind (oft über das hinaus, was ein Mensch leisten kann). So sind sie in der Lage, sich mit mehreren Metern pro Sekunde zu bewegen; je schneller sich ein Roboter bewegt, desto größer der Nutzen für die Produktion. Typischerweise sind Industrieroboter, die bei so hohen Geschwindigkeiten arbeiten, auf Bereiche beschränkt, die mit Gittern umgeben sind, um Menschen zu schützen. In einigen Fällen arbeiten Mensch und Roboter als Teil gemeinsamer Mensch-Roboter-Arbeitsvorgänge zusammen, bei denen ein Roboter eine automatisierte Aufgabe an einem Werkstück durchführt und der Mensch menschliche Arbeitsschritte daran durchführt. Um eine Kollision zwischen dem Roboter und dem Menschen zu verhindern, sind die Kraft und Geschwindigkeit des Roboters typischerweise begrenzt.
Technologische Entwicklungen im Bereich gemeinsamer Mensch-Roboter-Arbeitsvorgänge haben interaktive Produktionsanlagen hervorgebracht, die Roboter ohne Gitterumgrenzung beinhalten, um rekonfigurierbare und effizientere Anordnungen zu ermöglichen. Dabei liegt es aber in der Sache begründet, dass gemeinsame Mensch-Roboter-Arbeitsvorgänge eine genaue Überwachung nicht nur des Roboters, sondern auch des Menschen erforderlich machen, damit ein ununterbrochener Arbeitsablauf möglich ist.
Die vorliegende Offenbarung ist auf die Behebung dieser Probleme im Zusammenhang mit der Verwendung von Industrierobotern neben menschlichen Bedienern in einer Produktionsumgebung, neben anderen Problemen im Zusammenhang mit Industrierobotern, gerichtet.
KURZDARSTELLUNG
Dieser Abschnitt stellt eine allgemeine Kurzdarstellung der Offenbarung bereit und ist keine umfassende Offenbarung ihres vollständigen Umfangs oder all ihrer Merkmale.
Die vorliegende Offenbarung stellt ein System für einen gemeinsamen Mensch-Roboter-Arbeitsvorgang bereit. Das System umfasst: eine Vielzahl von Sensoren, die über die Gesamtheit eines Arbeitsbereichs hinweg angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Arbeitsvorgang, welcher von einem Menschen an einem Werkstück durchzuführen ist, erhebt; einen Roboter, der dazu betreibbar ist, mindestens eine automatisierte Aufgabe in dem Arbeitsbereich durchzuführen, und ein Arbeitsbereichsteuersystem. Das Arbeitsbereichsteuersystem beinhaltet einen Speicher, der eine Objektklassifizierungsbibliothek speichert, in welcher eine Vielzahl vordefinierter Objekte mit einer oder mehreren Klassifizierungen verknüpft ist, und eine Arbeitsbereichsteuerung. Die Arbeitsbereichsteuerung ist dazu konfiguriert, als dynamisches Arbeitsbereichmodul zu arbeiten, das dazu konfiguriert ist, ein dynamisches Modell des Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von der Vielzahl von Sensoren zu generieren, wobei das dynamische Arbeitsbereichmodul dazu konfiguriert ist, auf Grundlage des dynamischen Modells und der Objektklassifizierungsbibliothek ein oder mehrere Objekte zu klassifizieren, die in dem Arbeitsbereich bereitgestellt sind. Die Arbeitsbereichsteuerung ist ferner dazu konfiguriert, als Aufgabenverwaltungsmodul zu funktionieren, das dazu konfiguriert ist, die Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters zu überprüfen, welcher mit dem menschlichen Arbeitsvorgang verknüpft ist, wobei das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage wenigstens eines von dem dynamischen Modell, den Daten von der Vielzahl von Sensoren und der mindestens einen automatisierten Aufgabe, die von dem Roboter ausgeführt wird, zu bestimmen, ob der Aufgabenerledigungsparameter erfüllt ist.
In einer Form beruht der Aufgabenerledigungsparameter auf wenigstens einem der Folgendem: einer Werkstückverbindbarkeitscharakteristik, wobei der menschliche Arbeitsvorgang ein Verbinden von mindestens zwei Komponenten beinhaltet und das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage einer elektrischen Verbindung, einer mechanischen Verbindung oder einer Kombination daraus zwischen den mindestens zwei Komponenten zu überprüfen, dass der menschliche Arbeitsvorgang erledigt ist, einem audiovisuellen Charakteristikum des Arbeitsbereichs, wobei das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage einer visuellen Inspektion, einer akustischen Bewertung oder einer Kombination daraus des Arbeitsbereichs zu überprüfen, dass der menschliche Arbeitsvorgang erledigt ist; einer Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, wobei der menschliche Arbeitsvorgang einen maschinellen Arbeitsvorgang beinhaltet, der mit dem Elektrowerkzeug auszuführen ist, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, zu bestimmen, ob der maschinelle Arbeitsvorgang des Elektrowerkzeugs ein vordefiniertes Werkzeugkriterium für den menschlichen Arbeitsvorgang erfüllt; und einer berührungsgestützten Roboterüberprüfung, wobei der Roboter dazu konfiguriert ist, als eine der mindestens einen automatisierten Aufgabe eine berührungsgestützte Bewertung des Werkstücks unter Verwendung eines Berührungssensors durchzuführen, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand zu vergleichen, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
Gemäß dieser Form beinhaltet die Vielzahl von Sensoren eine Kamera, die dazu betreibbar ist, ein oder mehrere Bilder des Arbeitsbereichs aufzunehmen, einen akustischen Sensor, der dazu betreibbar ist, akustische Wellen innerhalb des Arbeitsbereichs zu erfassen, oder eine Kombination daraus. Zudem ist das Aufgabenverwaltungsmodul im Hinblick auf das audiovisuelle Charakteristikum des Arbeitsbereichs dazu konfiguriert, einen aktuellen Zustand des Arbeitsbereichs, der das Werkstück aufweist, mit einem Arbeitszustand zu vergleichen, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand von dem Arbeitsbereich bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, und/oder ein Audiosignal aus dem Arbeitsbereich zu analysieren, das die erfassten akustischen Wellen mit einem nominalen Audiosignal-Soll-Profil angibt, welches ein während des menschlichen Arbeitsvorgangs erzeugtes Audiosignal angibt.
Der vordefinierte Zustand des Arbeitsbereichs nach dem Arbeitsvorgang kann ein physisches Erscheinungsbild des Werkstücks, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, ein Entfernen einer Baugruppenkomponente aus einem bestimmten Bereich und/oder einen Transfer einer in dem Arbeitsbereich bereitgestellten Baugruppenkomponente beinhalten.
In einer anderen Form ist der mindestens eine Bildsensor eine Infrarotkamera, die dazu betreibbar ist, ein Wärmebild des Arbeitsbereichs aufzunehmen, und für die Werkzeugbetriebsüberprüfung beruht das vordefinierte Werkzeugkriterium auf einem nominalen Wärmeprofil eines ausgewählten Abschnitts des Arbeitsbereichs, in dem das Elektrowerkzeug während des menschlichen Arbeitsvorgangs betrieben wird.
In einer weiteren Form ist das Aufgabenverwaltungsmodul kommunikativ mit dem Elektrowerkzeug gekoppelt, um Daten zu erheben, die den durch das Elektrowerkzeug durchgeführten maschinellen Arbeitsvorgang angeben, wobei die Daten, die den maschinellen Arbeitsvorgang angeben, mindestens eines von einem Drehmoment des Elektrowerkzeugs, einer elektrische Leistung, die dem Elektrowerkzeug bereitgestellt wird, einem Kontaktzustand eines Spannfutters des Elektrowerkzeugs und einem Kontaktzustand eines Griffs des Elektrowerkzeugs beinhalten.
In einer weiteren Form ist die Arbeitsbereichsteuerung ferner dazu konfiguriert, als adaptives Robotersteuermodul zu funktionieren, das dazu konfiguriert ist, den Roboter auf Grundlage eines Vergleichs des dynamischen Modells und des statischen Soll-Modells des Arbeitsbereichs zu betreiben, wobei das adaptive Robotersteuermodul dazu konfiguriert ist, eine wahrscheinliche Bewegungsbahn eines in dem dynamischen Modell bereitgestellten dynamischen Objekts auf Grundlage eines Vorhersagemodells zu bestimmen, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen eines dynamischen Objekts in dem Arbeitsbereich bestimmt und mindestens einen Roboterparameter auf Grundlage der wahrscheinlichen Bewegungsbahn des dynamischen Objekts und einer zukünftigen Position des Roboters anpasst.
In dieser Form ist das adaptive Robotersteuermodul dazu konfiguriert, nachfolgende Bewegungen des Roboters zu steuern, nachdem das Aufgabenverwaltungsmodul die Erledigung des menschlichen Arbeitsvorgangs überprüft hat.
In einer anderen Form verknüpft die Objektklassifizierungsbibliothek die Vielzahl vordefinierter Objekte mit einer der folgenden Klassifizierungen: einem Roboter, einem Menschen, einem beweglichen Objekt oder einem festen Objekt.
In einer weiteren Form ist der Roboter nicht von einem Gitter umgeben.
In einer anderen Form umfasst das System ferner eine Vielzahl der Roboter, wobei ein erster Roboter dazu bedienbar ist, das Werkstück als erste automatisierte Aufgabe zu bewegen, und ein zweiter Roboter dazu bedienbar ist, das Werkstück als zweite automatisierte Aufgabe zu inspizieren, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage der zweiten automatisierten Aufgabe zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist.
Die vorliegende Offenbarung stellt ferner ein Verfahren bereit, das Folgendes umfasst: Veranlassen, dass ein Roboter zumindest eine automatisierte Aufgabe in einem Arbeitsbereich durchführt, Generieren eines dynamischen Modells eines Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von einer Vielzahl von Sensoren, die in der Gesamtheit des Arbeitsbereichs angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Vorgang, der von einem Menschen an einem Werkstück durchzuführen ist, erhebt, Steuern des Betriebs des Roboters auf Grundlage des dynamischen Modells und des menschlichen Arbeitsvorgangs und Überprüfen der Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters, der mit dem menschlichen Arbeitsvorgang verknüpft ist, und auf Grundlage des dynamischen Modells, der Daten von der Vielzahl von Sensoren, der mindestens einen automatisierten Aufgabe, die durch den Roboter durchgeführt wird, oder einer Kombination daraus.
In einer Form beruht der Aufgabenerledigungsparameter wenigstens auf einem von einem Werkstückverbindbarkeitscharakteristikum, einem audiovisuellen Charakteristikum des Arbeitsbereichs, einer Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, und einer berührungsgestützten Roboterüberprüfung. In dieser Form umfasst das Verfahren ferner: für das Werkstückverbindbarkeitscharakteristikum des Werkstücks, Bestimmen, ob mindestens zwei Komponenten, die während des menschlichen Arbeitsvorgangs zu verbinden sind, eine elektrische Verbindung, eine mechanische Verbindung oder eine Kombination daraus zwischen den mindestens zwei Komponenten bilden; für das visuelle Charakteristikum des Werkstücks, Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem vordefinierten Zustand nach dem Arbeitsvorgang, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Werkstücks bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist; für das audiovisuelle Charakteristikum des Arbeitsbereichs, Überprüfen auf Grundlage einer visuellen Inspektion, einer akustischen Bewertung oder einer Kombination daraus des Arbeitsbereichs, dass der menschliche Arbeitsvorgang erledigt ist; für die Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das zum Durchführen des menschlichen Arbeitsvorgangs durch den Menschen verwendet wird, Bestimmen, ob ein maschineller Arbeitsvorgang des Elektrowerkzeugs, der als Teil des menschlichen Arbeitsvorgangs beinhaltet ist, ein vordefiniertes Werkzeugkriterium erfüllt, und/oder für die berührungsgestützte Roboterüberprüfung, bei welcher eine der wenigstens einen automatisierten Aufgaben des Roboters eine berührungsgestützte Bewertung des Werkstücks mithilfe eines Berührungssensors beinhaltet, Vergleichen von Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
Darüber hinaus kann das Verfahren im Hinblick auf das audiovisuelle Charakteristikum des Arbeitsbereichs ferner beinhalten: (1) Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem Arbeitszustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Arbeitsbereichs bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, und/oder (2) Messen eines hörbaren Signals in dem Arbeitsbereich während des menschlichen Arbeitsvorgangs und Vergleichen eines Audiosignalprofils des Arbeitsbereichs, welches das gemessene hörbare Signal angibt, mit einem nominalen Audiosignalprofil, das ein Audiosignal angibt, das während des menschlichen Arbeitsvorgangs unter Soll-Betriebsbedingungen generiert wird.
Der vordefinierte Zustand des Arbeitsbereichs nach dem Arbeitsvorgang kann ein physisches Erscheinungsbild des Werkstücks beinhalten, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist.
In einer anderen Form ist der mindestens eine Bildsensor eine Infrarotkamera, die dazu betreibbar ist, ein Wärmebild des Arbeitsbereichs zu erfassen, und für die Werkzeugbetriebsüberprüfung beruht das vordefinierte Werkzeugkriterium auf einem Wärmeprofil eines ausgewählten Abschnitts des Arbeitsbereichs, in dem das Elektrowerkzeug während des menschlichen Arbeitsvorgangs betrieben wird.
In einer weiteren Form umfasst das Verfahren ferner ein Erheben von Daten, die Hinweise auf den durch das Elektrowerkzeug durchgeführten maschinellen Arbeitsvorgang liefern, wobei die Daten, die Hinweise auf den maschinellen Arbeitsvorgang liefern, zumindest eines von einem Drehmoment des Elektrowerkzeugs, einer elektrischen Leistung, die dem Elektrowerkzeug bereitgestellt wird, einem Kontaktzustand eines Spannfutters des Elektrowerkzeugs und einem Kontaktzustand eines Griffs des Elektrowerkzeugs beinhalten.
In einer anderen Form umfasst das Verfahren ferner ein Bestimmen einer wahrscheinlichen Bewegungsbahn eines in dem dynamischen Modell bereitgestellten dynamischen Objekts auf Grundlage eines Vorhersagemodells, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen des dynamischen Objekts in dem Arbeitsbereich bestimmt; und ein Anpassen mindestens eines Roboterparameters auf Grundlage der wahrscheinlichen Bewegungsbahn des dynamischen Objekts und einer zukünftigen Position des Roboters; und ein derartiges Betreiben des Roboters, dass er eine nachfolgende Aufgabe durchführt, nachdem der menschliche Arbeitsvorgang als erledigt überprüft worden ist.
Die vorliegende Offenbarung stellt ferner ein Verfahren bereit, das Folgendes umfasst: Veranlassen, dass ein Roboter wenigstens eine automatisierte Aufgabe in einem Arbeitsbereich durchführt; Generieren eines dynamischen Modells eines Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von einer Vielzahl von Sensoren, die über die Gesamtheit des Arbeitsbereichs hinweg angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Arbeitsvorgang, der von einem Menschen an einem Werkstück durchzuführen ist, erhebt; Identifizieren des Menschen in dem dynamischen Modell; Bestimmen einer wahrscheinlichen Bewegungsbahn des Menschen, die in dem dynamischen Modell bereitgestellt ist, auf Grundlage eines Vorhersagemodells, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen eines dynamischen Objekts in dem Arbeitsbereich bestimmt; Steuern des Betriebs des Roboters auf Grundlage der wahrscheinlichen Bewegungsbahn des Menschen und einer zukünftigen Position des Roboters; und Überprüfen der Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters, der mit dem menschlichen Arbeitsvorgang verknüpft ist, und auf Grundlage zumindest eines von dem dynamischen Modell, den Daten von der Vielzahl von Sensoren und der mindestens einen automatisierten Aufgabe, die durch den Roboter durchgeführt wird.
Gemäß dieser Form beruht der Aufgabenerledigungsparameter auf mindestens einem von einem Verbindbarkeitscharakteristikum des Werkstücks, einem visuellen Charakteristikum des Arbeitsbereichs, einer Werkzeugbetriebsprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, und einer berührungsgestützten Roboterüberprüfung, wobei das Verfahren ferner umfasst: für das Verbindbarkeitscharakteristikum des Werkstücks, Bestimmen, ob mindestens zwei Komponenten, die während des menschlichen Arbeitsvorgangs zu verbinden sind, eine elektrische Verbindung, eine mechanische Verbindung oder eine Kombination daraus zwischen den mindestens zwei Komponenten bilden; für das visuelle Charakteristikum des Werkstücks, Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem vordefinierten Zustand nach dem Arbeitsvorgang, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Werkstücks bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist; für die Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das zum Durchführen des menschlichen Arbeitsvorgangs durch den Menschen verwendet wird, Bestimmen, ob ein maschineller Arbeitsvorgang des Elektrowerkzeugs, der als Teil des menschlichen Arbeitsvorgangs beinhaltet ist, ein vordefiniertes Werkzeugkriterium erfüllt; und/oder für die berührungsgestützte Roboterüberprüfung, bei welcher eine der wenigstens einen automatisierten Aufgabe des Roboters eine berührungsgestützte Bewertung des Werkstücks mithilfe eines Berührungssensors beinhaltet, Vergleichen von Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
Weitere Anwendungsbereiche ergeben sich aus der vorliegend bereitgestellten Beschreibung. Es versteht sich, dass die Beschreibung und konkrete Beispiele lediglich der Veranschaulichung dienen und den Umfang der vorliegenden Offenbarung nicht einschränken sollen.
Figurenliste
Damit sich die Offenbarung besser erschließt, werden an dieser Stelle verschiedene Formen davon exemplarisch beschrieben; dabei wird auf die zugehörigen Zeichnungen verwiesen, in denen:

1 einen Arbeitsbereich darstellt, in dem sich ein Roboter und eine menschliche Bedienerin befinden;
2 ein Blockschema eines Systems ist, das ein Arbeitsbereichsteuersystem gemäß der vorliegenden Offenbarung aufweist;
3 ein Blockschema des Arbeitsbereichsteuersystems ist, das eine Arbeitsbereichsteuerung gemäß der vorliegenden Offenbarung aufweist;
4 ein Blockschema eines dynamischen Arbeitsbereichmoduls der Arbeitsbereichsteuerung gemäß der vorliegenden Offenbarung ist;
5 ein Blockschema eines adaptiven Robotersteuermoduls der Arbeitsbereichsteuerung gemäß der vorliegenden Offenbarung ist;
6 ist ein Blockschema eines Aufgabenverwaltungsmoduls der Arbeitsbereichsteuerung gemäß der vorliegenden Offenbarung ist;
7 eine Form einer visuellen Inspektion eines Arbeitsbereichs zum Überprüfen der Erledigung eines menschlichen Arbeitsvorgangs gemäß der vorliegenden Offenbarung darstellt;
8 eine andere Form einer visuellen Inspektion eines Arbeitsbereichs zum Überprüfen der Erledigung eines menschlichen Arbeitsvorgangs gemäß der vorliegenden Offenbarung darstellt;
9 ein Flussdiagramm einer dynamischen Arbeitsbereichmodellierungsroutine gemäß der vorliegenden Offenbarung ist;
10 ein Flussdiagramm einer Roboterbetriebsroutine gemäß der vorliegenden Offenbarung ist;
11 ein Flussdiagramm einer adaptiven Robotersteuerroutine gemäß der vorliegenden Offenbarung ist; und
12 ein Flussdiagramm einer Aufgabenerledigungsroutine gemäß der vorliegenden Offenbarung ist.

Die vorliegend beschriebenen Zeichnungen dienen lediglich Anschauungszwecken und sind nicht dazu gedacht, den Umfang der vorliegenden Offenbarung einzuschränken.
DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung ist lediglich beispielhafter Natur und soll die vorliegende Offenbarung, Anwendung oder Verwendungsmöglichkeiten nicht einschränken. Es versteht sich, dass in allen Zeichnungen sich entsprechende Bezugszeichen ähnliche oder sich entsprechende Teile und Merkmale kennzeichnen.
Ein in einer Produktionsstätte bereitgestellter Arbeitsbereich 100, auf 1 Bezug nehmend, ist eine Umgebung für gemeinsames Arbeiten, in der ein Roboter 102 und eine menschliche Bedienerin 104 arbeiten und miteinander interagieren, um ein Werkstück 106 zu verarbeiten. Hier ist der Arbeitsbereich 100 ein Bereich ohne Gitter, der keinen Zaun oder andere Struktur in der Art einer Einhegung zum Eingrenzen der Bewegung des Roboters 102 aufweist. Der Roboter 102 ist dazu konfiguriert, eine oder mehrere automatisierte Aufgaben mit der menschlichen Bedienerin 104 durchzuführen, welche eine oder mehrere menschliche Arbeitsvorgänge durchführt.
Als ein Beispiel transportiert der Roboter 102 das Werkstück 106 zu und von einem Ablagebereich 108, der eine erste Palette 110 für unbearbeitete Werkstücke 112 und eine zweite Palette 114 für bearbeitete Werkstücke aufweist. Die automatisierten Aufgaben können beinhalten, dass sich der Roboter 102 zu dem Ablagebereich 108 bewegt, ein unbearbeitetes Werkstück 112 von der ersten Palette 110 aufnimmt, das unbearbeitete Werkstück 112 zu einer Werkbank 116 bewegt, das unbearbeitete Werkstück 112 auf die Werkbank 116 legt und das bearbeiteten Werkstück auf die zweite Palette 114 legt, sobald die menschliche Bedienerin 104 ihre Aufgaben, oder, anders ausgedrückt, den menschliche Arbeitsvorgang bzw. die menschlichen Arbeitsvorgänge erledigt hat. Der Ablagebereich 108 kann sich in dem Arbeitsbereich 100 befinden, wie in 1 dargestellt, in der Produktionsstätte aber auch außerhalb des Arbeitsbereichs 100. Sobald es auf die Werkbank 116 gelegt worden ist, kann das unbearbeitete Werkstück 112 als das Werkstück 106 bezeichnet werden. Die menschliche Bedienerin 104 führt wenigstens einen menschlichen Arbeitsvorgang an dem Werkstück 106 durch; unter anderem untersucht sie das Werkstück 106 zum Beispiel auf mögliche Defekte und betreibt ein Elektrowerkzeug 118, um ein oder mehrere Befestigungselemente 120 anzubringen. Das Elektrowerkzeug 118 und die Befestigungselemente 120 sind auf einem Tisch 121 bereitgestellt. In einer Variante kann der Roboter 102 die Position des Werkstücks 106 ändern, um die menschliche Bedienerin 104 in die Lage zu versetzen, zusätzliche Arbeitsvorgänge an verschiedenen Stellen des Werkstücks 106 durchzuführen.
Für einen gemeinsamen Mensch-Roboter-Arbeitsvorgang wie bspw. den in Bezug auf 1 beschriebenen stellt die vorliegende Offenbarung ein Arbeitsbereichsteuersystem 122 bereit, das den Roboter 102 eines Robotersystems 103 in kontinuierlicher Weise betreibt, sodass, nachdem die menschliche Bedienerin 104 den menschlichen Arbeitsvorgang erledigt hat, der Roboter 102 seine nächste Aufgabe ausführt. Insbesondere bestimmt das Arbeitsbereichsteuersystem 122, ob die menschliche Bedienerin 104 einen menschlichen Arbeitsvorgang abschließt und steuert den Roboter 102 daraufhin derart, dass er die nächste automatisierte Aufgabe durchführt. Das Arbeitsbereichsteuersystem 122 ist ferner dazu konfiguriert, den Roboter 102 auf Grundlage einer prognostizierten Bewegungsbahn eines Menschen, der sich in der Nähe des Roboters 102 bewegt, derart adaptiv zu steuern, dass der Roboter 102 in der Lage ist, sicher neben Menschen und in Zusammenarbeit mit ihnen zu arbeiten.
In 1 ist zwar ein konkreter gemeinsamer Mensch-Roboter-Arbeitsvorgang dargestellt, doch sind die Lehren der vorliegenden Offenbarung auch auf andere gemeinsame Mensch-Roboter-Arbeitsvorgänge anwendbar und sollten nicht auf das vorliegend bereitgestellte Beispiel beschränkt werden. So kann ein gemeinsamer Mensch-Roboter-Arbeitsvorgang zum Beispiel eine Geschicklichkeit erfordernde Aufgabe sein, bei der ein menschlicher Bediener Bolzen an einem Werkstück in Position bringt und der Roboter die Bolzen fixiert. In diesem Beispiel überprüft das Arbeitsbereichsteuersystem der vorliegenden Offenbarung, dass die Bolzen an der gewünschten Stelle fixiert sind, bevor veranlasst wird, dass der Roboter seine Aufgabe durchführt. In einem anderen Beispiel für einen gemeinsamen Mensch-Roboter-Arbeitsvorgang inspiziert der Roboter den durch den Menschen durchgeführten Arbeitsvorgang, um Fehler ausfindig zu machen.
Die automatisierten Aufgaben und/oder menschlichen Vorgänge, die in einem jeweiligen Arbeitsbereich durchgeführt werden, können von mehr als einem Roboter und/oder mehr als einem menschlichen Bediener ausgeführt werden. Als ein Beispiel kann ein Roboter verwendet werden, um ein Werkstück zu manipulieren, während ein anderer Roboter verwendet werden kann, um das Werkstück zu inspizieren, und zwei menschliche Bediener können den gleichen oder unterschiedliche menschliche Arbeitsvorgänge an demselben oder an verschiedenen Werkstücken durchführen.
Um den Roboter 102 und/oder die menschliche Bedienerin 104 zu überwachen und Informationen mit der menschlichen Bedienerin 104 auszutauschen, beinhaltet der Arbeitsbereich 100 mehrere Sensoren 124-1, 124-2, 124-3 (gemeinsam „Sensoren 124“), einen oder mehrere Schnittstellenvorrichtungen für Menschen wie eine Touchscreen-Anzeige 126-1, um Informationen anzuzeigen und Eingaben von der menschlichen Bedienerin 104 zu erlangen, und ein Audiosystem 126-2, das einen Lautsprecher und ein Mikrofon aufweist. Die Touchscreen-Anzeige 126-1 und das Audiosystem 126-2 können im Allgemeinen als Mensch-Maschine-Schnittstellen (MMS) 126 zum Austauschen von Informationen mit einem Menschen bezeichnet werden.
Die verschiedenen Komponenten des Arbeitsbereichs bilden ein System zum Bewältigen eines gemeinsamen Mensch-Roboter-Arbeitsvorgangs. Insbesondere stellt 2 ein Blockschema eines Systems 200 dar, welches das Arbeitsbereichsteuersystem 122, das Robotersystem 103, die Sensoren 124, die MMS 126 und das Elektrowerkzeug 118 beinhaltet. Das Arbeitsbereichsteuersystem 122 ist über (eine) drahtlose und/oder drahtgebundene Kommunikationsverbindung(en) kommunikativ an die anderen Komponenten des Systems 200 gekoppelt. In einer Form ist das Arbeitsbereichsteuersystem 122 über ein Bereichsnetzwerk, eine dedizierte Kommunikationsverbindung oder eine Kombination daraus kommunikativ gekoppelt. Dementsprechend beinhalten das System 200 und die Komponenten in dem System 200 Hardware wie Sender/Empfänger, Router, Eingangs-/Ausgangsanschlüsse und Software, die durch einen Mikroprozessor ausführbar ist, um die Kommunikationsverbindung gemäß einem Standardprotokoll wie Bluetooth, Zigbee, WI-FI und Mobilfunkprotokollen herzustellen, um nur einige zu nennen.
Die Sensoren 124 können unter anderem sein: zweidimensionale Kameras, dreidimensionale Kameras, Infrarotkameras, LIDARs (Light Detection and Ranging), Laserscanner, Radar, Beschleunigungsmesser, Sensoren für elektromagnetische Wellen wie Mikrofone und monokulare Kameras. Wie in der vorliegenden Schrift beschrieben, verwendet das Arbeitsbereichsteuersystem 122 die Daten von den Sensoren 124, um ein dynamisches Modell des Arbeitsbereichs 100 zu bilden. Das dynamische Modell wird ferner verwendet, um ein sich bewegendes Objekt (d. h. ein dynamisches Objekt) innerhalb des Arbeitsbereichs 100 zu identifizieren, die Position des sich bewegenden Objekts zu verfolgen und die Erledigung eines menschlichen Arbeitsvorgangs zu überprüfen. In einer Form können die Sensoren 124 auch Sensoren beinhalten, die an anderen Komponenten bereitgestellt sind, wie etwa dem Elektrowerkzeug 118 und dem Roboter (was den Roboter 102 und/oder andere Roboter einschließt).
Die MMS 126 stellen der menschlichen Bedienerin Informationen bereit und können durch den menschlichen Bediener bedienbar sein, um dem Arbeitsbereichsteuersystem 122 Informationen bereitzustellen. Beispielsweise zeigt die Touchscreen-Anzeige 126-1 Informationen an, wie unter anderem das dynamische Modell, den durchzuführenden menschlichen Arbeitsvorgang, Kenndaten in Bezug auf den Arbeitsbereich 100 und das Werkstück 106, an dem gearbeitet wird. Die Touchscreen-Anzeige 126-1 kann zudem Anfragen anzeigen, welche durch die menschliche Bedienerin durch Berührung der Anzeige oder durch Spracheingabe beantwortet werden sollen, die durch das Mikrofon des Audiosystems 126-2 erfasst wird. Es sind zwar konkrete MMS 126 abgebildet, doch können auch andere MMS verwendet werden, etwa Tasten, dedizierte Rechenvorrichtungen (z. B. Laptops, Tablets), Strichcodescanner und andere.
Das Elektrowerkzeug 118 ist durch die menschliche Bedienerin 104 bedienbar, um neben anderen Vorgängen beispielsweise Befestigungselemente einzubringen oder Löcher zu bohren. Das Elektrowerkzeug 118 beinhaltet im Allgemeinen eine ergänzende Leistungsquelle wie bspw. einen Elektromotor und Druckluft, um andere ergänzende Leistung als manuelle Kraft, die durch die menschliche Bedienerin ausgeübt wird, zum Durchführen eines Vorgangs bereitzustellen. In einer Form beinhaltet das Elektrowerkzeug 118 darin angeordnete Sensoren, die als Werkzeugsensor(en) 204 bezeichnet werden, um die Leistung des Elektrowerkzeugs 118 zu messen. Zu den Werkzeugsensoren 204 können unter anderem zählen: ein Drehmomentsensor, ein Leistungssensor zum Messen des Stroms und/oder der Spannung, die durch die zusätzliche Leistungsquelle angelegt werden, einen Beschleunigungsmesser zum Messen eines Schwingungsprofils während des Betriebs, einen Berührungssensor am Griff, um einen Kontakt zu erfassen, und/oder einen Kontaktsensor an einem Spannfutter des Elektrowerkzeugs, um das Vorhandensein eines Bits/Befestigungselements im Spannfutter zu erfassen. Das Elektrowerkzeug 118 ist zwar als Bohrmotor bereitgestellt, doch können auch andere Elektrowerkzeuge verwendet werden, unter anderem etwa ein Schlagschrauber, eine Nagelpistole und/oder eine Schleifmaschine, um andere Vorgänge wie Schneiden, Formen, Schmirgeln, Schleifen, Verlegen, Polieren, Lackieren und/oder Erhitzen durchzuführen. Des Weiteren ist das Elektrowerkzeug 118 eine optionale Komponente und eventuell kein Bestandteil des Arbeitsbereichs 100 und somit des Systems 200. In einer anderen Variante kann der Arbeitsbereich 100 mehr als ein Elektrowerkzeug beinhalten.
Das Robotersystem 103 beinhaltet den Roboter 102 und eine Robotersteuerung 202, die dazu konfiguriert ist, den Roboter 102 auf Grundlage von Anweisungen von den Arbeitsbereichsteuersystemen 122 zu betreiben. Die Robotersteuerung 202 ist dazu konfiguriert, computerlesbare Softwareprogramme zu speichern, die von einem oder mehreren Mikroprozessoren in der Steuerung 202 ausgeführt werden, um den Roboter 102 zu betreiben. Beispielsweise beinhaltet der Roboter 102 einen oder mehrere (nicht gezeigte) Elektroantriebe, die durch die Robotersteuerung 202 angetrieben werden, um die Bewegungen des Roboters 102 zu steuern. In der Darstellung weist der Arbeitsbereich 100 zwar ein Robotersystem 103 auf, doch kann der Arbeitsbereich 100 auch mehr als ein Robotersystem zum Durchführen gleicher und/oder verschiedener automatisierter Vorgänge beinhalten. So kann ein Robotersystem beispielsweise zum Manipulieren eines Werkstücks 106 betreibbar und ein anderes Robotersystem dazu verwendet werden, zu überprüfen, dass der menschliche Arbeitsvorgang erledigt ist. In einer anderen Variante kann ein und dasselbe Robotersystem verwendet werden, um das Werkstück zu manipulieren und den menschlichen Arbeitsvorgang zu überprüfen.
Das Arbeitsbereichsteuersystem 122 ist dazu konfiguriert, den Arbeitsvorgang des Roboters 102 zu befehlen oder zu steuern und die Erledigung des menschlichen Arbeitsvorgangs zu überprüfen. Das Arbeitsbereichsteuersystem 122, unter Bezugnahme auf 3, beinhaltet in einer Form eine Kommunikationsschnittstelle 302, einen Speicher 304 zum Speichern einer Objektklassifizierungsbibliothek 306 und eine Arbeitsbereichsteuerung 308. Das Arbeitsbereichsteuersystem 122 kann unter Verwendung einer oder mehrerer Steuerungen mit Speicherschaltungen umgesetzt werden, die an der gleichen oder an unterschiedlichen Stellen über die Produktionsstätte hinweg verteilt sind. Beispielsweise kann die Arbeitsbereichsteuerung 308 unter Verwendung von zwei oder mehr physisch getrennten Steuerungen umgesetzt werden, die kommunikativ gekoppelt sind und eine dezentrale Rechenvorrichtung sein können, welche sich innerhalb der Produktionsstätte nicht unbedingt in dem Arbeitsbereich 100 befindet, und/oder eine lokale Rechenvorrichtung, die im Arbeitsbereich 100 angeordnet ist. Die eine oder mehreren Steuerungen können (einen) Mikroprozessor(en), einen Speicher zum Speichern von Code, der durch den/die Mikroprozessor(en) ausgeführt wird, und andere geeignete Hardwarekomponenten beinhalten, um die beschriebene Funktionalität des Arbeitsbereichsteuersystems 122 bereitzustellen.
Die Kommunikationsschnittstelle 302 ist dazu konfiguriert, die Arbeitsbereichsteuerung 308 kommunikativ mit einer oder mehreren externen Vorrichtungen zu koppeln, wie unter anderem mit dem Robotersystem 103, dem Elektrowerkzeug 118, den Sensoren 124 und/oder der MMS 126. Die Kommunikationsschnittstelle 302 ist dazu konfiguriert, drahtgebundene Kommunikationsverbindungen und drahtlose Kommunikationsverbindungen zu einem lokalen Netz und/oder zu einzelnen externen Vorrichtungen zu unterstützen. Dementsprechend kann die Kommunikationsschnittstelle 302 Eingangs-/Ausgangsanschlüsse, Sender/Empfänger, Router und einen Mikroprozessor beinhalten, der dazu konfiguriert ist, Softwareprogramme auszuführen, die angeben, dass Kommunikationsverbindungen über ein oder mehrere Kommunikationsprotokolle hergestellt werden.
Die Arbeitsbereichsteuerung 308 ist derart konfiguriert, dass sie ein dynamisches Arbeitsbereichmodul 310, ein adaptives Robotersteuermodul 312 und ein Aufgabenverwaltungsmodul 314 beinhaltet. Die dynamischen Arbeitsbereichmodule 310 sind dazu konfiguriert, ein dynamisches Modell des Arbeitsbereichs 100 zu generieren und Objekte, die in dem dynamischen Modell bereitgestellt sind, auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs 100 und von Daten von den Sensoren 124 zu klassifizieren. Das adaptive Robotersteuermodul 312 ist dazu konfiguriert, den Roboter 102 adaptiv zu steuern/zu betreiben, um den Roboter 102 zum Durchführen der automatisierten Aufgaben in Zusammenarbeit mit dem menschlichen Bediener zu veranlassen. Das Aufgabenverwaltungsmodul 314 ist dazu konfiguriert, auf Grundlage von Daten von den Sensoren 124, dem Roboter 102 und/oder anderen Verfahren unabhängig von einer durch den menschlichen Bediener bereitgestellten Überprüfung zu überprüfen, ob der menschliche Bediener den menschlichen Arbeitsvorgang erledigt hat. Das heißt, das Aufgabenverwaltungsmodul 314 ist dazu konfiguriert, eine Überprüfung durchzuführen, die auf Daten und nicht ausschließlich auf einer Abfrage beruht, die an den menschlichen Bediener übertragen wird.
Das dynamische Generationsmodul 310, bezogen auf 4, beinhaltet in einer Form ein Modul 402 für das statische Modell, ein dynamisches räumliches Modul 404 und ein Objektverfolgungsmodul 406. Das Modul 402 für das statische Modell ist dazu konfiguriert, eine virtuelle Darstellung des Arbeitsbereichs 100 in seinem wie vorgesehen gestalteten Zustand bereitzustellen; diese Darstellung wird als statisches Soll-Modell bezeichnet. Das statische Soll-Modell kann zum Beispiel Grenzen des Arbeitsbereichs 100 definieren und feste Objekte wie die Werkbank 116 beinhalten. In einer Form kann das statische Soll-Modell durch das Modul 402 für das statische Modell vorbestimmt und gespeichert werden. Wenn neue Merkmale zum Arbeitsbereich 100 hinzugefügt werden, kann das statische Soll-Modell aktualisiert und gespeichert werden. In einer anderen Form ist das Modul 402 für das statische Modell dazu konfiguriert, die Daten von den Sensoren 124 während einer Einrichtungs- oder Trainingszeit aufzuzeichnen, wenn der Arbeitsbereich in einen Ausgangszustand versetzt worden ist. In einer weiteren Form könnte das statische Modell durch Zeichnen/Modellieren des Raums und von Objekten darin per Computer-Aided Design (CAD) und/oder anhand eines Modells erzeugt werden, in dem modellierte Komponenten bewegt werden können; bspw. gibt es eine modellierte Komponente, die Hinweise darauf verschafft, dass der Roboter gemäß Gelenkwinkeln konfiguriert ist, welche durch die eingebauten Codiereinrichtungen gemessen werden.
Das dynamische räumliche Modul 404 ist dazu konfiguriert, das dynamische Modell auf Grundlage von Daten von den Sensoren 124 und dem statischen Soll-Modell zu generieren. Handelt es sich zum Beispiel bei mindestens einem der Sensoren 124 um eine oder mehrere 2D/3D-Kameras, führt das dynamische räumliche Modul 404 eine räumliche Transformation der Daten von der 3D-Kamera durch. Unter Verwendung des statischen Soll-Modells führt das dynamische räumliche Modul 404 eine Zuordnungsfunktion aus, die eine räumliche Entsprechung zwischen allen Punkten in einem Bild von der/den Kamera(s) und dem statischen Soll-Modell definiert. Bekannte Techniken der räumlichen Transformation für die digitale Bildverarbeitung können implementiert werden. Beispielsweise kann ein Artefakt im Stil eines Schachbretts oder QR-Codes verwendet werden, um extrinsische Charakteristika zu kalibrieren, bei denen es sich um die Position und die Drehung der Sensoren 124 handelt. Mit den extrinsischen Charakteristika werden bekannte Algorithmen verwendet, um die aufgezeichneten Daten in der realen Welt zu positionieren (sprich, um eine Umwandlung von einem Kameraeinzelbild auf das jeweilige Einzelbild der realen Welt vorzunehmen).
Das Objektverfolgungsmodul 406 ist dazu konfiguriert, in dem dynamischen Modell bereitgestellte Objekte auf Grundlage der Objektklassifizierungsbibliothek 306 zu identifizieren und zu klassifizieren und Bewegungen sich bewegendender klassifizierter Objekte zu verfolgen. Die Objektklassifizierungsbibliothek 306 verknüpft eine Vielzahl vordefinierter Objekte mit einer oder mehreren Klassifizierungen. Die Objektklassifizierungsbibliothek 306 kann als Datenbank bereitgestellt sein, die von der Arbeitsbereichsteuerung 308 entfernt bereitgestellt ist. Die Klassifizierung kann unter anderem Folgendes beinhalten: einen Roboter, einen Menschen, ein bewegliches Objekt (z. B. ein Werkstück, Elektrowerkzeug, Befestigungselemente) oder statisches Objekt (z. B. eine Werkbank, einen Tisch, eine MMS usw.).
In einer Form ist das Objektverfolgungsmodul 406 dazu konfiguriert, bekannte Bildsegmentierungs- und Objekterkennungsprozesse auszuführen, die (sich bewegende und/oder statische) Objekte in dem dynamischen Modell identifizieren und das Objekt auf Grundlage der Objektklassifizierungsbibliothek 306 klassifizieren. In einem anderen Beispiel ist das dynamische räumliche Modul 404 dazu konfiguriert, bekannte Prozesse des Punktwolken-Clustering auszuführen, etwa eine iterative Anpassung auf Basis nächstliegender Punkte und von Varianten davon, um Objekte in einer 3D-Punktwolke des dynamischen Modells zu identifizieren und die Objekte unter Verwendung der Objektklassifizierungsbibliothek 306 zu klassifizieren. Beispielsweise bildet das Objektverfolgungsmodul 406 Cluster von Punkten auf Grundlage von Position und Geschwindigkeit, sodass Punkte, die nahe beieinander liegen und eine ähnliche Bewegungsbahn aufweisen, als einzelnes Cluster gruppiert und als Objekt identifiziert werden. Die Cluster werden dann anhand der Daten in der Objektklassifizierungsbibliothek klassifiziert. In einem anderen Beispiel könnten Objekte unter Verwendung von 2D-Kameras klassifiziert werden, und mithilfe der Transformation aus der extrinsischen Kalibrierung kann das Cluster übereinstimmender Punkte bestimmt werden.
In einer Form ist das Objektverfolgungsmodul 406 ferner dazu konfiguriert, ausgewählte Objekte aus dem dynamischen Modell zu entfernen. In 1 können die Werkbank 116, die MMS 126, die Paletten 110, 114 und/oder der Tisch 121 zu den ausgewählten Objekten zählen. Dies reduziert die Komplexität des Modells, da die ausgewählten Objekte im Allgemeinen statische Objekte sind, die für den menschlichen Arbeitsvorgang und/oder den automatisierte Arbeitsvorgang unwesentlich sind.
Das adaptive Robotersteuermodul 312 ist dazu konfiguriert, den Roboter 102 durch Übertragen von Befehlen an das Robotersystem 103 und insbesondere die Robotersteuerung 202 zu betreiben. Das adaptive Robotersteuermodul 312, auf 5 Bezug nehmend, beinhaltet in einer Form ein Roboteraufgaben-Repositorium 502, ein Bewegungsbahnvorhersagemodul 504 und ein Robotersteuermodul 506. Das Roboteraufgaben-Repositorium 502 speichert vordefinierte automatisierte Aufgaben, die durch das Robotersystem 103 durchgeführt werden sollen. Die vordefinierten automatisierten Aufgaben sind mit einem oder mehreren Befehlen verknüpft, die der Robotersteuerung 202 bereitzustellen sind, damit der Roboter 102 die automatisierte Aufgabe durchführt. Die Befehle können Betriebsparameter für den Roboter 102 beinhalten, etwa den Betriebszustand (z. B. warten, anhalten, ausschalten, bewegen usw.), die Geschwindigkeit, Bewegungsbahn, Beschleunigung, das Drehmoment, Drehrichtungen und andere. Das Roboteraufgaben-Repositorium 502 ist zwar als Teil der Arbeitsbereichsteuerung 305 bereitgestellt, doch kann das Roboteraufgaben-Repositorium 502 bei der Objektklassifizierungsbibliothek 306 oder an einer anderen Stelle gespeichert werden.
Das Bewegungsbahnvorhersagemodul 504 ist dazu konfiguriert, eine projizierte Bewegungsbahn eines klassifizierten sich bewegenden Objekts wie bspw. eines Menschen unter Verwendung eines Vorhersagemodells 508 zu bestimmen. Das Vorhersagemodell 508 kann auf verschiedene geeignete Arten unter Verwendung bekannter Modelle konfiguriert werden. Als ein Beispiel wählt ein Vorhersagemodell in einer Form einen Zeithorizont aus, in dem Sensorlatenz und Wegplanungsverzögerungen berücksichtigt werden, sodass ein geplantes Manöver des Roboters nicht unsicher wird, bevor es implementiert wird. Daraufhin wird ein Forward Reachable Set (FRS) offline unter Verwendung eines detaillierten Modells vorberechnet, was die Auswirkungen einer menschlichen Bewegungsbahn bezüglich jeweiliger Eingabeparameter in diesem Zeitraum ergibt. Hindernisse werden dann in den FRS projiziert, um Parameterwerte zu identifizieren, die als sicher angesehen werden, mit denen eine Kollision umgangen oder verhindert wird. Daraufhin wählt eine benutzerdefinierte Kostenfunktion die besten Eingabeparameter für den aktuellen Zeithorizont aus. Es ist zwar ein konkretes Beispiel bereitgestellt, doch versteht es sich, dass auch andere Vorhersagemodelle verwendet werden können.
Das Robotersteuermodul 506 ist dazu konfiguriert, unter Verwendung der projizierten Bewegungsbahn des klassifizierten sich bewegenden Objekts zu bestimmen, ob der Betriebsparameter für einen durch das Robotersystem 103 auszuführenden Befehl angepasst werden sollte. Insbesondere hat das Robotersteuermodul 506 Kenntnis über die aktuelle und zukünftige Position des Roboters 102 und den Betriebszustand des Roboters 102 auf Grundlage der durchzuführenden automatisierten Aufgaben. Unter Verwendung des dynamischen Modells und der projizierten Bewegungsbahn des klassifizierten sich bewegenden Objekts berechnet das Robotersteuermodul 506 eine aktuelle Entfernung und eine prognostizierte Entfernung zwischen dem Roboter 102 und dem klassifizierten sich bewegenden Objekt. Wenn die Entfernung unter einem ersten Entfernungssollwert liegt und sich der Roboter 202 zu diesem Zeitpunkt bewegt, veranlasst das Robotersteuermodul 506 die Robotersteuerung 202 bspw. dazu, die Geschwindigkeit des Roboters 102 zu reduzieren, um eine Kollision mit dem klassifizierten sich bewegenden Objekt zu verhindern. Wenn die Entfernung unter einem zweiten Entfernungssollwert liegt, der niedriger als der erste Entfernungssollwert ist (das heißt, sich der Roboter und das klassifizierte sich bewegende Objekt näher aneinander befinden), veranlasst das Robotersteuermodul 506 die Robotersteuerung 202 dazu, den Roboter 102 in einen Wartezustand zu versetzen, in dem der Roboter 102 die Aufgabe (das heißt Bewegung) stoppt, bis sich das klassifizierte sich bewegende Objekt in sicherer Entfernung befindet. Somit wird eine Kollision mit dem klassifizierten sich bewegenden Objekt verhindert.
In einer Variante ist das Robotersteuermodul 506 dazu konfiguriert, eine Zeit bis zum Kontakt (Time-to-Contact, T2C) zwischen dem Roboter 102 und dem klassifizierten sich bewegenden Objekt zu berechnen und vergleicht die berechnete Zeit mit einem oder mehreren vorgegebenen Sollwerten (z. B. 10 Sekunden, 5 Sekunden usw.). Wenn zum Beispiel die T2C über einem ersten Sollwert (SW1) liegt, nimmt das Robotersteuermodul 506 einen normalen Betrieb vor. Liegt die T2C unter dem SW1, aber über einem zweiten Sollwert (SW2) ist, passt das Robotersteuermodul 506 die Betriebsparameter des Roboters 102 an, wenn der Roboter eine Aufgabe durchführt. Wenn die T2C unter dem tSP2 liegt, versetzt das Robotersteuermodul 506 den Roboter in einen Wartezustand, bis sich das klassifizierte sich bewegende Objekt in einer sicheren Entfernung oder einer sicheren T2C von dem Roboter 102 befindet. Dementsprechend steuert das Robotersteuermodul 506 den Roboter 102 adaptiv auf Grundlage der Bewegungen des klassifizierten sich bewegenden Objekts, die in dem dynamischen Modell bereitgestellt sind. In dem Fall, dass sich ein nicht klassifiziertes sich bewegendes Objekt in Richtung des Roboters 102 bewegt und sich in einer gewissen Entfernung von dem Roboter 102 befindet, ist das Robotersteuermodul 506 dazu konfiguriert, den Roboter in den Wartezustand zu versetzen.
Das Robotersteuermodul 506 ist zudem dazu konfiguriert, nachfolgende Bewegungen des Roboters 102 zu steuern, nachdem das Aufgabenverwaltungsmodul 314 die Erledigung des menschlichen Arbeitsvorgangs überprüft hat. Insbesondere betreibt das Robotersteuermodul 506 den Rotober 102 auf Grundlage der automatisierten Aufgaben und der menschlichen Arbeitsvorgänge, die gemeinsam durchzuführen sind, derart, dass er eine automatisierte Aufgabe durchführt, die durchzuführen ist, nachdem der menschliche Arbeitsvorgang erledigt ist und sich der menschliche Bediener in einer festgelegten Entfernung von dem Roboter befindet.
Das Aufgabenverwaltungsmodul 314 ist dazu konfiguriert, die Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters zu überprüfen, der mit dem menschlichen Arbeitsvorgang verknüpft ist. Das Aufgabenverwaltungsmodul 314, auf 6 Bezug nehmend, beinhaltet in einer Form ein Modul 602 für die Mensch-Roboter-Zusammenarbeit, ein Repositorium 604 für menschliche Arbeitsvorgänge und ein Aufgabenerledigungsmodul 606. Das Modul 602 für die Mensch-Roboter-Zusammenarbeit ist dazu konfiguriert, den in dem Arbeitsbereich 100 durchzuführenden gemeinsamen Mensch-Roboter-Arbeitsvorgang zu überwachen. Insbesondere beinhaltet das Modul 602 für die Mensch-Roboter-Zusammenarbeit in einer Form einen Arbeitsbereichplan 608; dieser legt die automatisierten Aufgaben und die menschlichen Arbeitsvorgänge, die in dem Arbeitsbereich durchzuführen sind, wie auch die Reihenfolge dar, in welcher die Aufgaben/Arbeitsvorgänge durchzuführen sind.
Das Repositorium 604 für menschliche Arbeitsvorgänge ist dazu konfiguriert, einen oder mehrere durchzuführende menschliche Arbeitsvorgänge und einen oder mehrere Aufgabenerledigungsparameter zu definieren, die durch das Aufgabenerledigungsmodul 606 verwendet werden, um zu überprüfen, dass ein jeweiliger menschlicher Arbeitsvorgang erledigt ist. Beispielsweise definiert das Repositorium 602 für menschliche Arbeitsvorgänge im Falle jedes menschlichen Arbeitsvorgangs Kriterien für den jeweiligen menschlichen Arbeitsvorgang, wie etwa unter anderem: die Anzahl der anzubringenden Befestigungselemente; das bzw. die Werkstück(e), das/die während des menschlichen Arbeitsvorgangs hergestellt wird/werden; die Verbindbarkeitscharakteristika des/der zu verbindenden Werkstücks/Werkstücke (elektrische Verbindbarkeit, mechanische oder beides); die positionsbezogenen Bewegungen des Elektrowerkzeugs 118; den Maschinenbetrieb des Elektrowerkzeugs (z. B. ein Drehmoment des Elektrowerkzeugs 118, eine elektrische Leistung, die dem Elektrowerkzeug 118 bereitgestellt wird, einen Kontaktzustand eines Spannfutters des Elektrowerkzeugs 118 und/oder einen Kontaktzustand eines Griffs des Elektrowerkzeugs 118); einen vordefinierten Zustand des Arbeitsbereichs 100 nach dem Arbeitsvorgang mit oder ohne Werkstück; einen berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand, der von einem Roboter zu erfassen ist, und/oder ein nominales Audiosignalprofil, das ein während des menschlichen Arbeitsvorgangs generiertes Audiosignal angibt. Das Repositorium 604 für menschliche Arbeitsvorgänge ist zwar als Teil der Arbeitsbereichsteuerung 305 bereitgestellt, doch kann das Repositorium 604 für menschliche Arbeitsvorgänge mit der Objektklassifizierungsbibliothek 306 oder an einer anderen Stelle gespeichert werden.
Das Aufgabenerledigungsmodul 606 ist dazu konfiguriert, auf Grundlage des dynamischen Modells, des Status der automatisierten Aufgaben, die durch den Roboter 102 von dem adaptiven Robotersteuermodul 312 ausgehend durchgeführt werden, von Daten von der Vielzahl von Sensoren 124 oder einer Kombination daraus zu bestimmen, ob ein jeweiliger menschlicher Arbeitsvorgang von dem Arbeitsbereichplan 608 erledigt ist. In einer Form beruht der Aufgabenerledigungsparameter auf einem Werkstückverbindbarkeitscharakteristikum 610, einem audiovisuellen Charakteristikum 612 des Arbeitsbereichs, einer Werkzeugbetriebsüberprüfung 614, einer berührungsgestützten Roboterüberprüfung 616 oder einer Kombination daraus.
Das Werkstückverbindbarkeitscharakteristikum 610 bestimmt auf Grundlage einer elektrischen Verbindung, einer mechanischen Verbindung oder einer Kombination daraus zwischen zwei oder mehr Komponenten, die während des menschlichen Arbeitsvorgangs verbunden werden, ob der menschliche Arbeitsvorgang erledigt ist. Beispielsweise kann das Repositorium 604 für menschliche Arbeitsvorgänge Informationen beinhalten, die zwei oder mehr Komponenten, welche durch den menschlichen Bediener zusammengebaut werden sollen, die Art der Verbindung(en) zwischen den die Komponenten und die Position der Verbindung(en) identifizieren. Wenn der menschliche Arbeitsvorgang eine elektrische Verbindung beinhaltet, bestimmt das Aufgabenerledigungsmodul 606, ob die durch den menschlichen Bediener gebildete Verbindung elektrisch leitfähig ist, was zum Beispiel durch Prüfen des Betriebs der elektrisch gekoppelten Komponenten und/oder unter Verwendung eines Spannungs- und/oder eines Stromsensors erfolgt, um die Spannung und/oder Stromstärke durch einen durch die elektrische Verbindung gebildeten Stromkreis zu messen. Auf Grundlage der Art der mechanischen Verbindung kann das Aufgabenerledigungsmodul 606 eine mechanische Verbindung durch Folgendes überprüfen: Bestimmen, ob die passende Anzahl an Befestigungselementen angebracht worden ist und ob ausreichend Drehmoment auf die Befestigungselemente aufgebracht wird; Erfassen eines hörbaren Klicks, wenn eine erste Komponente an einer zweiten Komponente angebracht wird; Durchführen einer visuellen Inspektion der durch die Komponenten gebildeten Verbindung(en), um zu beurteilen, ob Spiel vorhanden ist und, falls ja, ob das Spiel innerhalb einer festgelegten Toleranz liegt; und/oder Durchführen eines Rütteltests, in dem der Roboter an der/den durch die Komponenten gebildeten Verbindung(en) rüttelt. Für das Überprüfen elektrischer und mechanischer Verbindungen sind zwar konkrete Beispiele bereitgestellt, doch versteht es sich, dass auch andere Prüfungen verwendet werden können und die vorliegende Offenbarung nicht auf die vorliegend bereitgestellten Beispiele beschränkt werden sollte.
Anhand des audiovisuellen Charakteristikums 612 des Arbeitsbereichs wird auf Grundlage einer visuellen Inspektion oder einer akustischen Bewertung des Arbeitsbereichs oder einer Kombination daraus bestimmt, ob der menschliche Arbeitsvorgang erledigt ist. Zu den Sensoren 124 zählen insbesondere eine Kamera, die dazu betreibbar ist, ein oder mehrere Bilder des Arbeitsbereichs 100 aufzunehmen, und ein akustischer Sensor (z. B. ein Mikrofon), der dazu betreibbar ist, akustische Wellen innerhalb des Arbeitsbereichs 100 zu erfassen.
In Bezug auf die visuelle Inspektion ist das Aufgabenerledigungsmodul 606 dazu konfiguriert, einen aktuellen Zustand des Arbeitsbereichs 100 auf Grundlage von Bildern von der Kamera mit einem vordefinierten Zustand nach dem Arbeitsvorgang zu vergleichen, um zu bestimmen, ob die zwei Zustände im Wesentlichen übereinstimmen. Der vordefinierte Zustand nach dem Arbeitsvorgang stellt einen Zustand des Arbeitsbereichs bereit, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist. Der vordefinierte Zustand des Arbeitsbereichs 100 nach dem Arbeitsvorgang beinhaltet u. a. ein physisches Erscheinungsbild des Werkstücks, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, ein Entfernen einer Baugruppenkomponente aus einem bestimmten Bereich und/oder einen Transfer einer in dem Arbeitsbereich bereitgestellten Baugruppenkomponente. In einer Form vergleicht das Aufgabenerledigungsmodul 606 für die visuelle Inspektion Bilder des Werkstücks mit einem vordefinierten Zustand des Werkstücks nach dem Arbeitsvorgang, wie bspw. einem 3D-Computermodell.
Für die akustische Bewertung analysiert das Aufgabenerledigungsmodul ein Audiosignal des Arbeitsbereichs, das die erfassten akustischen Wellen mit einem nominalen Audiosignalprofil angibt. Das nominale Audiosignalprofil gibt ein Audiosignal an, das während des menschlichen Arbeitsvorgangs unter Soll-Bedingungen (d. h. beabsichtigte Umgebungsbedingungen für den menschlichen Arbeitsvorgang) generiert wird. Wenn das Audiosignal des Arbeitsbereichs in einem vordefinierten Bereich des nominalen Audiosignalprofils liegt, bestimmt das Aufgabenerledigungsmodul 606, dass der menschliche Arbeitsvorgang erledigt ist.
Die Werkzeugbetriebsüberprüfung 614 bestimmt, ob ein durch den menschlichen Bediener 104 mit dem Elektrowerkzeug 118 durchgeführter maschineller Arbeitsvorgang vordefinierte Werkzeugkriterien erfüllt. Das heißt, der menschliche Arbeitsvorgang kann ein Betreiben des Elektrowerkzeugs 118 beinhalten, um einen maschinellen Arbeitsvorgang durchzuführen. Das Aufgabenerledigungsmodul 606 empfängt Daten, welche den maschinellen Arbeitsvorgang über das Elektrowerkzeug 118 angeben. Die Daten können unter anderem ein Drehmoment des Elektrowerkzeugs 118, eine dem Elektrowerkzeug 118 bereitgestellte elektrische Leistung, ein Kontaktzustand eines Spannfutters des Elektrowerkzeugs 118 und/oder ein Kontaktzustand eines Griffs des Elektrowerkzeugs 118 sein.
In einer Form kann das Aufgabenerledigungsmodul 606 Daten von den Sensoren 124 verwenden, um zu bestimmen, ob das Elektrowerkzeug 118 dem maschinellen Arbeitsvorgang gemäß betrieben wird. Zu den Sensoren 124 kann zum Beispiel eine Infrarotkamera zählen, die dazu betreibbar ist, ein Wärmebild des Arbeitsbereichs 100 zu erfassen. Für die Werkzeugbetriebsüberprüfung beruht eines der vordefinierten Werkzeugkriterien auf einem nominalen Wärmeprofil eines ausgewählten Abschnitts des Arbeitsbereichs 100, in dem das Elektrowerkzeug 118, bspw. ein Schweißbrenner, während des menschlichen Arbeitsvorgangs betrieben wird. Das Wärmeprofil kann verwendet werden, um zu bestimmen, ob der Schweißbrenner betrieben wurde, eine Temperatur der erzeugten Flamme und sogar eine Dauer, in der die Flamme aktiv war, zu bestimmen. Diese Informationen können mit entsprechenden Sollwerten verglichen werden, um zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist.
Die berührungsgestützte Roboterüberprüfung 616 wird von einem Roboter als automatisierte Aufgabe durchgeführt. Insbesondere ist der Roboter dazu konfiguriert, eine berührungsgestützte Bewertung des bearbeiteten Werkstücks unter Verwendung eines Berührungssensors, etwa eines Drucksensors, der an einem Endeffektor angeordnet ist, durchzuführen. Das Aufgabenerledigungsmodul 606 ist dazu konfiguriert, Daten vom Berührungsensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand zu vergleichen, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
Das Aufgabenerledigungsmodul kann einen oder mehrere Aufgabenerledigungsparameter zum Überprüfen der Erledigung des menschlichen Arbeitsvorgangs verwenden. Der menschliche Arbeitsvorgang, auf 7 und 8 Bezug nehmend, beinhaltet beispielsweise ein Anbringen einer Tür an ein Fahrzeug unter Verwendung eines Elektrowerkzeugs und mehrerer Befestigungselemente. Für diesen Arbeitsvorgang stellt das Repositorium 604 für menschliche Arbeitsvorgänge die Aufgabenerledigungsparameter als das audiovisuelle Charakteristikum 610 des Arbeitsbereichs und die Werkzeugbetriebsüberprüfung 614 bereit und beinhaltet unterstützende Daten/Kriterien wie bspw. den Zustand nach dem Arbeitsvorgang und vordefinierte Werkzeugkriterien.
Für die audiovisuellen Charakteristika 612 des Arbeitsbereichs wird eine visuelle Inspektion des Fahrzeugs und des Arbeitsbereichs durchgeführt, um die Entfernung einer Baugruppenkomponente aus einem bestimmten Bereich zu erfassen. 7A stellt ein Bild 700 eines Fahrzeugs (z. B. Werkstücks), das von den Sensoren 124 aufgenommen wurde, und einen vordefinierten Zustand 702 des Fahrzeugs nach dem Arbeitsvorgang dar. Das Aufgabenerledigungsmodul 606 vergleicht die zwei Bilder, um zu bestimmen, ob die Tür an dem Fahrzeug angebracht ist. Das Aufgabenerledigungsmodul 606 kann zudem einen vordefinierten Betriebszustand 706 des Fahrzeugs empfangen, bevor der menschliche Arbeitsvorgang durchgeführt werden soll. 8 stellt eine visuelle Inspektion eines Tischs 802 dar, auf dem sich ein Elektrowerkzeug 804 und ein Bereich 806 befinden, in dem sich die Befestigungselemente zum Anbringen der Tür an das Fahrzeug befanden. Das Aufgabenerledigungsmodul 606 inspiziert den Tisch 802, um zu bestimmen, ob die Befestigungselemente noch vorhanden sind. Für die Werkzeugbetriebsüberprüfung 614 erhebt das Aufgabenerledigungsmodul 606 Daten vom Elektrowerkzeug 804, um den Maschinenbetrieb des Elektrowerkzeugs 804 zu bestimmen, und vergleicht sie mit den vordefinierten Werkzeugkriterien. Mit der visuellen Inspektion und der Werkzeugbetriebsüberprüfung verifiziert das Aufgabenerledigungsmodul 606, ob der menschliche Arbeitsvorgang erledigt ist, und das adaptive Robotersteuermodul 312 betreibt den Roboter derart, dass er eine nachfolgende Aufgabe durchführt.
Unter Bezugnahme auf 9 ist eine beispielhafte dynamische Arbeitsbereichmodellierungsroutine 900 bereitgestellt, die durch die Arbeitsbereichsteuerung durchgeführt wird. Bei 902 erhebt die Steuerung Daten von den Sensoren, die eine oder mehrere Kameras umfangen, und dem statischen Soll-Modell des Arbeitsbereichs. Bei 904 führt die Arbeitsbereichsteuerung eine räumliche Transformation auf Grundlage des statischen Soll-Modells durch, um das dynamische Modell zu definieren. Bei 906 identifiziert und klassifiziert die Arbeitsbereichsteuerung Objekte, die in dem dynamischen Modell bereitgestellt sind, wie vorbeschrieben, und filtert bei 908 ausgewählte Objekte aus dem dynamischen Modell.
Unter Bezugnahme auf 10 ist eine beispielhafte Roboterbetriebsroutine 1000 bereitgestellt, die durch die Arbeitsbereichsteuerung durchgeführt wird. Für diese Routine wird der Roboter derart betrieben, dass er zwei spezifische automatisierte Aufgaben durchführt und mit einem menschlichen Bediener zusammenarbeitet. Die automatisierten Aufgaben dienen lediglich der Erläuterung; es versteht sich, dass auch andere Aufgaben ausgeführt werden können. Bei 1001 betreibt die Steuerung den Roboter derart, dass er eine erste automatisierte Aufgabe durchführt, die im Erhalten eines unbearbeiteten Werkstücks von Ablagebereichen und im Legen des Werkstücks auf eine Werkbank besteht. Bei 1002 bestimmt die Steuerung, ob die automatisierte Aufgabe erledigt ist. Wenn dies der Fall ist, versetzt die Steuerung den Roboter bei 1004 in einen Wartezustand, in dem sich der Roboter nicht bewegt. Bei 1006 bestimmt die Steuerung, ob der menschliche Arbeitsvorgang erledigt ist. Beispielsweise führt die Steuerung eine Aufgabenerledigungsroutine gemäß 12 durch, um zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist.
Wenn der menschliche Arbeitsvorgang erledigt ist, betreibt die Steuerung bei 1008 den Roboter derart, dass er eine zweite automatisierte Aufgabe durchführt, die im Rückführen des bearbeiteten Werkstücks zum Ablagebereich besteht. Bei 1010 bestimmt die Steuerung, ob die zweite automatisierte Aufgabe erledigt ist; falls ja, endet die Routine.
Wenn die erste automatisierte Aufgabe und/oder die zweite automatisierte Aufgabe nicht erledigt sind, bestimmt die Steuerung bei 1012 bzw. 1014, ob die Aufgabenwartezeit abgelaufen ist. Dem ähnlich bestimmt die Steuerung bei 1016, ob das Zeitlimit für den menschlichen Arbeitsvorgang überschritten wurde, wenn der menschliche Arbeitsvorgang nicht erledigt ist. Das heißt, der Roboter und der menschliche Bediener bekommen einen vorgegebenen Zeitraum, der je nach Aufgabe/Arbeitsvorgang unterschiedlich sein kann, um die Aufgabe/den Arbeitsvorgang durchzuführen, bevor eine Zeitüberschreitung erfolgt. Wenn der vorgegebene Zeitraum verstrichen ist, gibt die Steuerung bei 1018 mithilfe der MMS eine Mitteilung aus, um einen Bediener zu benachrichtigen, und betreibt den Roboter im Wartezustand.
Unter Bezugnahme auf 11 ist eine beispielhafte adaptive Robotersteuerroutine 1100 bereitgestellt, welche durch die Arbeitsbereichsteuerung ausgeführt wird. Die adaptive Robotersteuerroutine 110 wird gleichzeitig mit der Roboterbetriebsroutine 1000 durchgeführt, um eine adaptive Steuerung des Roboters vorzunehmen. Bei 1102 bestimmt die Steuerung auf Grundlage des dynamischen Modells, ob ein Mensch erkannt wird. Falls ja, misst die Steuerung bei 1104 eine Entfernung zwischen dem Menschen und dem Roboter und bestimmt bei 1106 eine projizierte Bewegungsbahn des Menschen unter Verwendung des dynamischen Modells und des Vorhersagemodells. Bei 1108 berechnet die Steuerung eine Zeit bis zum Kontakt (T2C) und bestimmt bei 1110, ob die T2C über einem ersten Sollwert (SW1) liegt. Wenn dies der Fall ist, betreibt die Steuerung den Roboter bei 1112 unter normalen Parametern. Falls nicht, bestimmt die Steuerung, 1114, ob die T2C über dem zweiten Sollwert (SW2) liegt. Falls ja, bestimmt die Steuerung bei 1116, ob der Roboter eine Aufgabe durchführt. Wenn der Roboter eine Aufgabe durchführt, passt die Steuerung bei 1118 die Roboterbetriebsparameter für die Aufgabe, die durchgeführt wird, an, um ein Eindringen in den Bereich des Menschen zu verhindern. Der erforderliche Umfang der Anpassung kann auf vordefinierten Algorithmen beruhen, die für die Aufgabe, welche durch den Roboter durchgeführt wird, spezifisch sind. Wenn die T2C unter dem SW2 liegt oder der Roboter eine Aufgabe nicht durchführt, versetzt die Steuerung den Roboter bei 1120 in einen Wartezustand.
Unter Bezugnahme auf 12 ist eine beispielhafte Aufgabenerledigungsroutine 1200 bereitgestellt, welche durch die Steuerung durchgeführt wird, um zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist. Bei 1202 erlangt die Steuerung den/die Aufgabenerledigungsparameter, der/die mit dem durchgeführten menschlichen Arbeitsvorgang verknüpft ist/sind, und führt bei 1204 die Überprüfung unter Verwendung des/der erlangten Aufgabenerledigungsparameter(s) durch. Der Aufgabenerledigungsparameter beruht auf einem Werkstückverbindbarkeitscharakteristikum, einem audiovisuellen Charakteristikum des Arbeitsbereichs, einer Werkzeugbetriebsüberprüfung, einer berührungsgestützten Roboterüberprüfung oder einer Kombination daraus. Bei 1206 bestimmt die Steuerung, ob der menschliche Arbeitsvorgang erledigt ist. Falls nicht, bestimmt die Steuerung bei 1208, ob die Zeit für den menschliche Arbeitsvorgang abgelaufen ist. Das heißt, der menschlichen Bediener bekommt einen vorgegebenen Zeitraum zum Durchführen des menschlichen Arbeitsvorgangs, bevor eine Zeitüberschreitung erfolgt. Wenn der vorgegebene Zeitraum verstrichen ist, gibt die Steuerung bei 1210 mithilfe der MMS eine Mitteilung aus, um einen Bediener zu benachrichtigen, und betreibt den Roboter im Wartezustand. Wenn die Zeit für den menschlichen Arbeitsvorgang nicht abgelaufen ist, führt die Steuerung die Überprüfung bei 1204 erneut durch. Wenn der menschliche Arbeitsvorgang erledigt ist, bestimmt die Steuerung bei 1212, dass der menschliche Arbeitsvorgang als erledigt überprüft wurde, um eine nachfolgende Roboteraufgabe durchzuführen.
Es versteht sich, dass die Routinen 900, 1000, 1100 und 1200 nur eine beispielhafte Umsetzung der Arbeitsbereichsteuerung darstellen und auch andere Steuerroutinen umgesetzt werden können.
Sofern in der vorliegenden Schrift nicht ausdrücklich etwas anderes angegeben ist, sind sämtliche Zahlenwerte, die mechanische/thermische Eigenschaften, Anteile von Zusammensetzungen, Abmessungen und/oder Toleranzen oder andere Charakteristiken angeben, derart aufzufassen, dass sie durch das Wort „etwa“ oder „ungefähr“ modifiziert werden, wenn sie den Umfang der vorliegenden Offenbarung beschreiben. Diese Modifikation ist aus verschiedenen Gründen wünschenswert; dazu zählen Material-, Fertigungs- und Zusammenbautoleranzen und die Prüffähigkeit.
Im hier verwendeten Sinne sollte der Ausdruck mindestens eines von A, B und C dahingehend ausgelegt werden, dass er ein logisches (A ODER B ODER C) bedeutet, wobei ein nicht ausschließendes logisches ODER verwendet wird, und er sollte nicht dahingehend ausgelegt werden, dass er „mindestens eines von A, mindestens eines von B und mindestens eines von C“ bedeutet.
Die Beschreibung der Offenbarung ist rein beispielhafter Natur; somit ist beabsichtigt, dass Varianten, die nicht vom Inhalt der Offenbarung abweichen, innerhalb des Schutzumfangs der Offenbarung liegen. Derartige Varianten sind nicht als Abweichung von Geist und Umfang der Offenbarung zu betrachten.
In den Figuren zeigt die mit der Pfeilspitze angegebene Richtung eines Pfeils im Allgemeinen den Fluss von Informationen (wie bspw. Daten oder Anweisungen) an, der für die Veranschaulichung von Interesse ist. Wenn zum Beispiel Element A und Element B eine Vielfalt an Informationen austauschen, zur Veranschaulichung aber Informationen relevant sind, die von Element A zu Element B übertragen werden, kann der Pfeil von Element A zu Element B zeigen. Dieser unidirektionale Pfeil impliziert nicht, dass keine anderen Informationen von Element B zu Element A übertragen werden. Ferner kann Element B im Falle von Informationen, die von Element A zu Element B gesendet werden, Anforderungen der Informationen oder Bestätigungen deren Empfangs an Element A senden.
In dieser Anmeldung können sich der Begriff „Modul“ oder „Steuerung“ auf Folgendes beziehen, Teil von Folgendem sein oder Folgendes einschließen: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder kombinierte analoge/digitale diskrete Schaltung; eine digitale, analoge oder kombinierte analoge/digitale integrierte Schaltung, eine kombinierbare logische Schaltung; ein Field Programmable Gate Array (FPGA); eine Prozessorschaltung (geteilt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (geteilt, dediziert oder Gruppe), die Code speichert, der von der Prozessorschaltung ausgeführt wird; andere geeignete Hardware-Komponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination aus einigen oder allen der vorstehenden, etwa in einem System-on-a-Chip.
Der Begriff Speicher stellt eine Untergruppe des Begriffs computerlesbares Medium dar. Der Begriff computerlesbares Medium umfasst im vorliegenden Zusammenhang keine transitorischen elektrischen oder elektromagnetischen Signale, die sich durch ein Medium (etwa über eine Trägerwelle) ausbreiten; der Begriff computerlesbares Medium kann daher als greifbar und nichttransitorisch aufgefasst werden. Nicht einschränkende Beispiele für ein nichttransitorisches, greifbares computerlesbares Medium sind nichtflüchtige Speicherschaltungen (wie bspw. eine Flash-Speicher-Schaltung, eine Schaltung eines löschbaren programmierbaren Festwertspeichers oder eine Schaltung eines Masken-Festwertspeichers), flüchtige Speicherschaltungen (wie bspw. eine Schaltung eines statischen Direktzugriffsspeichers oder eine Schaltung eines dynamischen Direktzugriffsspeichers), magnetische Speichermedien (wie bspw. ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Speichermedien (wie bspw. eine CD, eine DVD oder eine Blu-ray Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen Spezialcomputer implementiert sein, der durch Konfigurieren eines Allzweckcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen enthalten sind, erstellt wurde. Die vorbeschriebenen Funktionsblöcke, Flussdiagrammkomponenten und anderen Elemente dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
In einem Aspekt der Erfindung beinhaltet das Verfahren den mindestens einen Bildsensor, bei dem es sich um eine Infrarotkamera handelt, die dazu betreibbar ist, ein Wärmebild des Arbeitsbereichs zu erfassen, und beruht das vordefinierte Werkzeugkriterium für die Werkzeugbetriebsüberprüfung auf einem Wärmeprofil eines ausgewählten Abschnitts des Arbeitsbereichs, in dem das Elektrowerkzeug während des menschlichen Arbeitsvorgangs betrieben wird.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch ein Erheben von Daten, die Hinweise auf den durch das Elektrowerkzeug durchgeführten maschinellen Arbeitsvorgang liefern, wobei die Daten, die Hinweise auf den maschinellen Arbeitsvorgang liefern, zumindest eines von einem Drehmoment des Elektrowerkzeugs, einer elektrischen Leistung, die dem Elektrowerkzeug bereitgestellt wird, einem Kontaktzustand eines Spannfutters des Elektrowerkzeugs und einem Kontaktzustand eines Griffs des Elektrowerkzeugs beinhalten.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch ein Bestimmen einer wahrscheinlichen Bewegungsbahn eines in dem dynamischen Modell bereitgestellten dynamischen Objekts auf Grundlage eines Vorhersagemodells, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen des dynamischen Objekts in dem Arbeitsbereich bestimmt; und ein Anpassen mindestens eines Roboterparameters auf Grundlage der wahrscheinlichen Bewegungsbahn des dynamischen Objekts und einer zukünftigen Position des Roboters; und ein derartiges Betreiben des Roboters, dass er eine nachfolgende Aufgabe durchführt, nachdem der menschliche Arbeitsvorgang als erledigt überprüft worden ist.
Gemäß der vorliegenden Erfindung ist ein Verfahren bereitgestellt, aufweisend: Veranlassen eines Roboters zum Durchführen wenigstens einer automatisierten Aufgabe in einem Arbeitsbereich; Generieren eines dynamischen Modells eines Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von einer Vielzahl von Sensoren, die in der Gesamtheit des Arbeitsbereichs angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Arbeitsvorgang, der von einem Menschen an einem Werkstück durchzuführen ist, erhebt; Identifizieren des Menschen in dem dynamischen Modell; Bestimmen einer wahrscheinlichen Bewegungsbahn des Menschen, die in dem dynamischen Modell bereitgestellt ist, auf Grundlage eines Vorhersagemodells, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen eines dynamischen Objekts in dem Arbeitsbereich bestimmt; Steuern des Betriebs des Roboters auf Grundlage der wahrscheinlichen Bewegungsbahn des Menschen und einer zukünftigen Position des Roboters; und Überprüfen der Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters, der mit dem menschlichen Arbeitsvorgang verknüpft ist, und auf Grundlage zumindest eines von dem dynamischen Modell, den Daten von der Vielzahl von Sensoren und der mindestens einen automatisierten Aufgabe, die durch den Roboter durchgeführt wird.
Gemäß einer Ausführungsform beruht der Aufgabenerledigungsparameter auf mindestens einem von: einem Verbindbarkeitscharakteristikum des Werkstücks, einem visuellen Charakteristikum des Arbeitsbereichs, einer Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, und einer berührungsgestützten Roboterüberprüfung, wobei das Verfahren ferner umfasst: für das Verbindbarkeitscharakteristikum des Werkstücks, Bestimmen, ob mindestens zwei Komponenten, die während des menschlichen Arbeitsvorgangs zu verbinden sind, eine elektrische Verbindung, eine mechanische Verbindung oder eine Kombination daraus zwischen den mindestens zwei Komponenten bilden, für das visuelle Charakteristikum des Werkstücks, Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem vordefinierten Zustand nach dem Arbeitsvorgang, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Werkstücks bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, für die Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das zum Durchführen des menschlichen Arbeitsvorgangs durch den Menschen verwendet wird, Bestimmen, ob ein maschineller Arbeitsvorgang des Elektrowerkzeugs, der als Teil des menschlichen Arbeitsvorgangs beinhaltet ist, ein vordefiniertes Werkzeugkriterium erfüllt, und für die berührungsgestützte Roboterüberprüfung, bei welcher eine der wenigstens einen automatisierten Aufgabe des Roboters eine berührungsgestützte Bewertung des Werkstücks mithilfe eines Berührungssensors beinhaltet, Vergleichen von Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.

Claims

System für einen gemeinsamen Mensch-Roboter-Arbeitsvorgang, wobei das System umfasst: eine Vielzahl von Sensoren, die über die Gesamtheit eines Arbeitsbereichs hinweg angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Arbeitsvorgang, welcher von einem Menschen an einem Werkstück durchzuführen ist, erhebt; einen Roboter, der dazu betreibbar ist, wenigstens eine automatisierte Aufgabe in dem Arbeitsbereich durchzuführen; und ein Arbeitsbereichsteuersystem, beinhaltend: einen Speicher, der eine Objektklassifizierungsbibliothek speichert, die eine Vielzahl vordefinierter Objekte mit einer oder mehreren Klassifizierungen verknüpft; und eine Arbeitsbereichsteuerung, die dazu konfiguriert ist, zu funktionieren als: dynamisches Arbeitsbereichmodul, das dazu konfiguriert ist, ein dynamisches Modell des Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von der Vielzahl von Sensoren zu generieren, wobei das dynamische Arbeitsbereichmodul dazu konfiguriert ist, auf Grundlage des dynamischen Modells und der Objektklassifizierungsbibliothek ein oder mehrere Objekte zu klassifizieren, die in dem Arbeitsbereich bereitgestellt sind, und Aufgabenverwaltungsmodul, das dazu konfiguriert ist, die Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters zu überprüfen, welcher mit dem menschlichen Arbeitsvorgang verknüpft ist, wobei das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage wenigstens eines von dem dynamischen Modell, den Daten von der Vielzahl von Sensoren und der mindestens einen automatisierten Aufgabe, die von dem Roboter durchgeführt wird, zu bestimmen, ob der Aufgabenerledigungsparameter erfüllt ist.
System nach Anspruch 1, wobei die Arbeitsbereichsteuerung ferner dazu konfiguriert ist, zu funktionieren als: adaptives Robotersteuermodul, das dazu konfiguriert ist, den Roboter auf Grundlage eines Vergleichs des dynamischen Modells und des statischen Soll-Modells des Arbeitsbereichs zu betreiben, wobei das adaptive Robotersteuermodul dazu konfiguriert ist, eine wahrscheinliche Bewegungsbahn eines in dem dynamischen Modell bereitgestellten dynamischen Objekts auf Grundlage eines Vorhersagemodells zu bestimmen, wobei das Vorhersagemodell wahrscheinliche Bewegungsbahnen eines dynamischen Objekts in dem Arbeitsbereich bestimmt und mindestens einen Roboterparameter auf Grundlage der wahrscheinlichen Bewegungsbahn des dynamischen Objekts und einer zukünftigen Position des Roboters anpasst.
System nach Anspruch 2, wobei das adaptive Robotersteuermodul dazu konfiguriert ist, nachfolgende Bewegungen des Roboters zu steuern, nachdem das Aufgabenverwaltungsmodul die Erledigung des menschlichen Arbeitsvorgangs überprüft hat.
System nach Anspruch 1, wobei die Objektklassifizierungsbibliothek die Vielzahl vordefinierter Objekte mit einer der folgenden Klassifizierungen verknüpft: einem Roboter, einem Menschen, einem beweglichen Objekt oder einem festen Objekt.
System nach Anspruch 1, wobei der Roboter nicht von einem Gitter umgeben ist.
System nach Anspruch 1, ferner umfassend eine Vielzahl der Roboter, wobei ein erster Roboter dazu bedienbar ist, das Werkstück als erste automatisierte Aufgabe zu bewegen, und ein zweiter Roboter dazu bedienbar ist, das Werkstück als zweite automatisierte Aufgabe zu inspizieren, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage der zweiten automatisierten Aufgabe zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist.
System nach einem der Ansprüche 1 bis 6, wobei der Aufgabenerledigungsparameter auf mindestens einem der Folgenden beruht: einem Verbindbarkeitscharakteristikum, wobei der menschliche Arbeitsvorgang ein Verbinden von mindestens zwei Komponenten beinhaltet und das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage einer elektrischen Verbindung, einer mechanischen Verbindung oder einer Kombination daraus zwischen den mindestens zwei Komponenten zu überprüfen, dass der menschliche Arbeitsvorgang erledigt ist, einem audiovisuellen Charakteristikum des Arbeitsbereichs, wobei das Aufgabenverwaltungsmodul dazu konfiguriert ist, auf Grundlage einer visuellen Inspektion oder einer akustischen Bewertung des Arbeitsbereichs oder einer Kombination daraus zu bestimmen, ob der menschliche Arbeitsvorgang erledigt ist, einer Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, wobei der menschliche Arbeitsvorgang einen maschinellen Arbeitsvorgang beinhaltet, der mit dem Elektrowerkzeug auszuführen ist, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, zu bestimmen, ob der maschinelle Arbeitsvorgang des Elektrowerkzeugs ein vordefiniertes Werkzeugkriterium für den menschlichen Arbeitsvorgang erfüllt, und eine berührungsgestützte Roboterüberprüfung, wobei der Roboter dazu konfiguriert ist, als eine der mindestens einen automatisierten Aufgabe eine berührungsgestützte Bewertung des Werkstücks mithilfe eines Berührungssensors durchzuführen, und das Aufgabenverwaltungsmodul dazu konfiguriert ist, Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand zu vergleichen, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
System nach Anspruch 7, wobei: die Vielzahl von Sensoren eine Kamera, die dazu betreibbar ist, ein oder mehrere Bilder des Arbeitsbereichs aufzunehmen, einen akustischen Sensor, der dazu betreibbar ist, akustische Wellen innerhalb des Arbeitsbereichs zu erfassen, oder eine Kombination daraus beinhaltet, und für das audiovisuelle Charakteristikum des Arbeitsbereichs das Aufgabenverwaltungsmodul dazu konfiguriert ist, mindestens eines der Folgenden durchzuführen: Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem Arbeitszustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Arbeitsbereichs bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, und Analysieren eines Audiosignals aus dem Arbeitsbereich, das die erfassten akustischen Wellen angibt, mit einem nominalen Audiosignalprofil, welches ein Audiosignal angibt, das während des menschlichen Arbeitsvorgangs generiert wird.
System nach Anspruch 8, wobei der vordefinierte Zustand des Arbeitsbereichs nach dem Arbeitsvorgang wenigstens eines der Folgenden beinhaltet: physisches Erscheinungsbild des Werkstücks, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, Entfernen einer Baugruppenkomponente aus einem bestimmten Bereich und/oder Transfer einer in dem Arbeitsbereich bereitgestellten Baugruppenkomponente.
System nach Anspruch 7, wobei der mindestens eine Bildsensor eine Infrarotkamera ist, die dazu betreibbar ist, ein Wärmebild des Arbeitsbereichs zu erfassen, und für die Werkzeugbetriebsüberprüfung das vordefinierte Werkzeugkriterium auf einem nominalen Wärmeprofil eines ausgewählten Abschnitts des Arbeitsbereichs beruht, in dem das Elektrowerkzeug während des menschlichen Arbeitsvorgangs betrieben wird.
System nach Anspruch 7, wobei das Aufgabenverwaltungsmodul kommunikativ mit dem Elektrowerkzeug gekoppelt ist, um Daten zu erheben, die Hinweise auf den durch das Elektrowerkzeug durchgeführten maschinellen Arbeitsvorgang liefern, wobei die Daten, die Hinweise auf den maschinellen Arbeitsvorgang liefern, mindestens eines von einem Drehmoment des Elektrowerkzeugs, einer elektrische Leistung, die dem Elektrowerkzeug bereitgestellt wird, einen Kontaktzustand eines Spannfutters des Elektrowerkzeugs und einen Kontaktzustand eines Griffs des Elektrowerkzeugs beinhalten.
Verfahren, umfassend: Veranlassen eines Roboters, wenigstens eine automatisierte Aufgabe in einem Arbeitsbereich durchzuführen; Generieren eines dynamischen Modells eines Arbeitsbereichs auf Grundlage eines statischen Soll-Modells des Arbeitsbereichs und von Daten von einer Vielzahl von Sensoren, die über die Gesamtheit eines Arbeitsbereichs hinweg angeordnet sind, wobei die Vielzahl von Sensoren mindestens einen Sensor beinhaltet, der Daten in Bezug auf einen menschlichen Arbeitsvorgang, welcher von einem Menschen an einem Werkstück durchzuführen ist, erhebt; Steuern des Betriebs des Roboters auf Grundlage des dynamischen Modells und des menschlichen Arbeitsvorgangs; und Überprüfen der Erledigung des menschlichen Arbeitsvorgangs auf Grundlage eines Aufgabenerledigungsparameters, der mit dem menschlichen Arbeitsvorgang verknüpft ist, und auf Grundlage des dynamischen Modells, der Daten von der Vielzahl von Sensoren, der mindestens einen automatisierten Aufgabe, die von dem Roboter durchgeführt wird, oder einer Kombination daraus.
Verfahren nach Anspruch 12, wobei der Aufgabenerledigungsparameter zumindest auf einem von einem Werkstückverbindbarkeitscharakteristikum, einem audiovisuellen Charakteristikum des Arbeitsbereichs, einer Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, und einer berührungsgestützten Roboterüberprüfung beruht, wobei das Verfahren ferner umfasst: für das Werkstückverbindbarkeitscharakteristikum des Werkstücks, Bestimmen, ob mindestens zwei Komponenten, die während des menschlichen Arbeitsvorgangs verbunden werden sollen, eine elektrischer Verbindung, eine mechanische Verbindung oder eine Kombination daraus zwischen den mindestens zwei Komponenten bilden, für das visuelle Charakteristikum des Arbeitsbereichs, Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem vordefinierten Zustand nach dem Arbeitsvorgang, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Arbeitsbereichs bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, für das audiovisuelle Charakteristikum des Arbeitsbereichs, Überprüfen auf Grundlage einer visuellen Inspektion oder einer akustischen Bewertung des Arbeitsbereichs oder einer Kombination daraus, dass der menschliche Arbeitsvorgang erledigt ist, für die Werkzeugbetriebsüberprüfung eines Elektrowerkzeugs, das von dem Menschen zum Durchführen des menschlichen Arbeitsvorgangs verwendet wird, Bestimmen, ob ein maschineller Arbeitsvorgang des Elektrowerkzeugs, der als Teil des menschlichen Arbeitsvorgangs beinhaltet ist, ein vordefiniertes Werkzeugkriterium erfüllt, und für die berührungsgestützte Roboterüberprüfung, in der eine der mindestens einen automatisierten Aufgabe des Roboters eine berührungsgestützte Bewertung des Werkstücks mithilfe eines Berührungssensors beinhaltet, Vergleichen von Daten von dem Berührungssensor mit einem berührungsbezogenen Schwellenwert für das Werkstück im Nachzustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist.
Verfahren nach Anspruch 13, wobei das Verfahren für das audiovisuelle Charakteristikum des Arbeitsbereichs ferner beinhaltet: (1) Vergleichen eines aktuellen Zustands des Arbeitsbereichs, in dem sich das Werkstück befindet, mit einem Arbeitszustand, um zu überprüfen, ob der menschliche Arbeitsvorgang erledigt ist, wobei der vordefinierte Zustand nach dem Arbeitsvorgang einen Zustand des Arbeitsbereichs bereitstellt, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist, (2) Messen eines hörbaren Signals innerhalb des Arbeitsbereichs während des menschlichen Arbeitsvorgangs und Vergleichen eines Audiosignalprofils des Arbeitsbereichs, das Hinweise auf das gemessene hörbare Signal liefert, mit einem nominalen Audiosignalprofil, welches ein Audiosignal angibt, das während des menschlichen Arbeitsvorgangs unter Soll-Betriebsbedingungen generiert wird, oder (3) Kombination aus (1) und (2).
Verfahren nach Anspruch 14, wobei der vordefinierte Zustand des Arbeitsbereichs nach dem Arbeitsvorgang ein physisches Erscheinungsbild des Werkstücks beinhaltet, nachdem der menschliche Arbeitsvorgang durchgeführt worden ist.