-
Die vorliegende Erfindung bezieht sich auf das Gebiet der Robotik und insbesondere auf sichtgeführte Roboterarme und Verfahren zum Betreiben von sichtgeführten Roboterarmen.
-
In den letzten Jahren wurden unter anderem assistive roboterhafte oder Roboterarme eingeführt, um behinderten Personen mit Oberkörpereinschränkungen bei der Erledigung alltäglicher Aufgaben, wie etwa dem Öffnen einer Tür, dem Trinken von Wasser, dem Handhaben der Fernbedienung des Fernsehers oder dem einfachen Drücken von Aufzugsknöpfen zu helfen.
-
Solche Roboterarme sind jetzt verfügbar, werden jedoch normalerweise durch den Benutzer vollständig teleoperiert. Während solche gewöhnlichen Roboterarme einen großen Fortschritt darstellen, kann ihre Teleoperation insbesondere für Benutzer mit eingeschränkter Motorik eine Herausforderung darstellen.
-
Einige Roboterarme sind mit einem Sichtsystem versehen, das an dem Roboterarm installiert ist, um dem Benutzer beim Teleoperieren des Roboterarms zu helfen, wie etwa ihm zu helfen, Objekte zu greifen. Bei solchen gewöhnlichen sichtgeführten Roboterarmen wird die Endbewegung der Klammer zum Greifen eines zu greifenden Objekts jedoch normalerweise blind ausgeführt. Wenn es sich um eine behinderte Person mit eingeschränkter Beweglichkeit oder Motorik handelt, kann der Benutzer möglicherweise nicht immer sehen, was passiert, wenn der Roboterarm versucht, ein Objekt zu greifen oder wenn das Objekt beispielsweise durch den Roboterarm gehandhabt wird.
-
DE 10 2018 105 334 A1 offenbart eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zur Berechnung der Bildwahrscheinlichkeit eines aus einem Eingangsbild erfassten Zielobjekts. Die Bildverarbeitungsvorrichtung, die ein Eingangsbild erhält und auf Basis eines Erfassungsalgorithmus das Bild eines Zielobjekts erfasst, umfasst eine maschinelle Lerneinrichtung, die auf Basis eines Erfassungsergebnisses wenigstens eines Bilds des Zielobjekts ein maschinelles Lernen unter Verwendung mehrerer Teilbilder, die aus dem Eingangsbild ausgeschnitten wurden, vornimmt und die Bildwahrscheinlichkeit des Zielobjekts berechnet.
-
DE 11 2017 007 025 T5 offenbart eine Positionssteuerungseinrichtung, die eine Abbildungseinheit zum Aufnehmen eines Bilds, das zwei Objekte enthält und eine Steuerparametergenerierungseinheit zum Zuleiten von Informationen des aufgenommenen Bildes zu einer Eingangsschicht eines neuronalen Netzes und zum Ausgeben eines Positionssteuerungsbetrags zum Steuern der Positionsbeziehung zwischen den zwei aufgenommenen Objekten als Ausgangsschicht des neuronalen Netzes umfasst.
-
DE 10 2008 042 261 A1 offenbart ein Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine für ein derartiges Verfahren geeignete Anordnung für ein Handhabungsgerät. Dabei wird ein räumliches Navigieren des Handhabungsgerätes während eines kompletten Handhabungsprozesses durch ein Sensorsystem geführt. Durch das Sensorsystem wird die Lage des Objektes und/oder einer Objektaufnahme gegenüber einem Bezugssystem des Handhabungsgerätes erfasst. Die Objektaufnahme entspricht dabei einer objektspezifisch zugeordneten Einheit, in welches das Objekt nach einem Greifen durch das Handhabungsgerät abgelegt wird und üblicher Weise dort in seiner Lage für weitere Fertigungsprozesse gehalten wird.
-
DE 690 33 681 T2 offenbart eine neuronale Netzsimulation und eine Verwendung simulierter neuronaler Netze in computerisierten Vorrichtungen zum Kategorisieren von Objekten in einer Umgebung gemäß sensorischen Eingangsdaten und zum Sortieren der Objekte in Übereinstimmung mit derartigen Kategorien. US 2012 / 0 165 986 A1 offenbart ein Robotersystem zum Aufnehmen von Teilen aus einem Behälter, das ein Bild von einer oder mehreren Kameras verwendet, um zu bestimmen, ob der Robotergreifer ein Teil oder mehr als ein Teil ausgewählt hat. Das Robotersystem verwendetem oder mehrere Bilder von einer oder mehreren Kameras, um eine Position/Ausrichtung eines ausgewählten Teils zu bestimmen. Wenn der Roboter mehr als ein Teil aus dem Behälter entnommen hat, wird versucht, die überschüssigen aufgenommenen Teile in den Behälter zurückzugeben.
-
US 2001 / 0 056 313 A1 offenbart ein System zum Lokalisieren und Abrufen von Objekten mit einer Vielzahl von Größen, Formen, Gewichten, Positionen und Ausrichtungen. Das System umfasst einen Roboterarm, einen Steuercomputer, einen Greifer, eine Betriebssequenz, einen Satz von Objekten und einen Satz von maschinenlesbaren oder Strichetiketten, die an den Objekten angebracht sind, und einen Scanner. Das System lokalisiert ein angefordertes Objekt, berechnet seine Position und bewegt den Greifer zur Aufnahme in Position. Demnach besteht ein Bedarf an einem verbesserten sichtgeführten Roboterarm und einem Verfahren zum Betreiben von sichtgeführten Roboterarmen.
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das für eine Teleoperation geeignet ist. Gemäß einem ersten weitgefassten Aspekt wird ein Verfahren zum Betreiben eines sichtgeführten Roboterarmsystems, umfassend einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist, eine Anzeige, einen Bildsensor und eine Steuervorrichtung, wobei das Verfahren Folgendes umfasst: Empfangen eines Anfangsbildes eines Bereichs, der wenigstens ein Objekt umfasst, von dem Sensorbild und Anzeigen des Anfangsbildes auf der Anzeige; Bestimmen eines Objekts von Interesse in dem wenigstens einen Objekt und Identifizieren des Objekts von Interesse in dem Anfangsbild; Bestimmen einer möglichen Aktion in Bezug auf das Objekt von Interesse und Bereitstellen einer Identifizierung der möglichen Aktion einem Benutzer; Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer; und automatisches Bewegen des Roboterarms, um den Endeffektor des Roboterarms in einer vordefinierten Position relativ zu dem Objekt von Interesse zu positionieren.
-
In einer Ausführungsform umfasst das Bestimmen eines Objekts von Interesse das Bestimmen wenigstens zweier Objekte von Interesse und das Identifizieren des Objekts von Interesse innerhalb des Anfangsbildes umfasst das Identifizieren jedes der wenigstens zwei Objekte von Interesse innerhalb des Bildes.
-
In einer Ausführungsform umfasst das Bestimmen einer möglichen Aktion das Bestimmen einer jeweiligen möglichen Aktion für jedes der wenigstens zwei Objekte von Interesse. In einer Ausführungsform umfasst das Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer das Empfangen einer Identifizierung eines bestimmten der wenigstens zwei Objekte von Interesse und eine Bestätigung der jeweiligen Aktion, die mit dem bestimmten der wenigstens zwei Objekte von Interesse verknüpft ist. In einer Ausführungsform umfasst das Verfahren ferner das Ausführen der möglichen Aktion. In einer Ausführungsform umfasst das Verfahren ferner das Ermöglichen, dass der Benutzer die mögliche Aktion ausführt.
-
In einer Ausführungsform ist die vordefinierte Position als ein vordefinierter Abstand von dem Objekt von Interesse definiert.
-
In einer Ausführungsform umfasst das Bestimmen des Objekts von Interesse: Bestimmen einer Umgebung des Benutzers unter Verwendung des Bildes; Abrufen bestimmter Objekte, die mit der bestimmten Umgebung des Benutzers verknüpft sind; und Bestimmen des Objekts von Interesse in den bestimmten Objekten.
-
Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein System bereitzustellen, das für eine Teleoperation geeignet ist.
-
Gemäß einem zweiten weitgefassten Aspekt wird ein System zum Betreiben eines sichtgeführten Roboterarmsystems bereitgestellt, umfassend einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist, eine Anzeige, einen Bildsensor und eine Steuervorrichtung, wobei das System Folgendes umfasst: eine Verarbeitungseinheit; eine Kommunikationseinheit; einen Speicher mit darauf gespeicherten Aussagen und Anweisungen, die, wenn sie durch die Verarbeitungseinheit ausgeführt werden, die folgenden Schritte durchführen: Empfangen eines Anfangsbildes eines Bereichs, der wenigstens ein Objekt umfasst, von dem Sensorbild und Anzeigen des Anfangsbildes auf der Anzeige; Bestimmen eines Objekts von Interesse in dem wenigstens einen Objekt und Identifizieren des Objekts von Interesse in dem Anfangsbild; Bestimmen einer möglichen Aktion in Bezug auf das Objekt von Interesse und Bereitstellen einer Identifizierung der möglichen Aktion einem Benutzer; Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer; und automatisches Bewegen des Roboterarms, um den Endeffektor des Roboterarms in einer vordefinierten Position relativ zu dem Objekt von Interesse zu positionieren.
-
In einer Ausführungsform umfasst das Bestimmen eines Objekts von Interesse das Bestimmen wenigstens zweier Objekte von Interesse und das Identifizieren des Objekts von Interesse innerhalb des Anfangsbildes umfasst das Identifizieren jedes der wenigstens zwei Objekte von Interesse innerhalb des Bildes.
-
In einer Ausführungsform umfasst das Bestimmen einer möglichen Aktion das Bestimmen einer jeweiligen möglichen Aktion für jedes der wenigstens zwei Objekte von Interesse. In einer Ausführungsform umfasst das Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer das Empfangen einer Identifizierung eines bestimmten der wenigstens zwei Objekte von Interesse und eine Bestätigung der jeweiligen Aktion, die mit dem bestimmten der wenigstens zwei Objekte von Interesse verknüpft ist. In einer Ausführungsform umfasst das System ferner das Ausführen der möglichen Aktion. In einer Ausführungsform umfasst das System ferner das Ermöglichen, dass der Benutzer die mögliche Aktion ausführt.
-
In einer Ausführungsform ist die vordefinierte Position als ein vordefinierter Abstand von dem Objekt von Interesse definiert. In einer Ausführungsform umfasst das Bestimmen des Objekts von Interesse: Bestimmen einer Umgebung des Benutzers unter Verwendung des Bildes; Abrufen bestimmter Objekte, die mit der bestimmten Umgebung des Benutzers verknüpft sind; und Bestimmen des Objekts von Interesse in den bestimmten Objekten. Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein sichtgeführtes System bereitzustellen, das für eine Teleoperation geeignet ist.
-
Gemäß einem dritten weitgefassten Aspekt wird ein sichtgeführtes System für einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist, bereitgestellt, wobei das System Folgendes umfasst: einen Rahmen, der an dem Roboterarm befestigt werden kann; eine Bildsensorvorrichtung, die in dem Rahmen eingeschlossen ist; eine Benutzerschnittstelle, die wenigstens eine Anzeige umfasst; und eine Steuervorrichtung für Folgendes: Empfangen eines Anfangsbildes eines Bereichs, der wenigstens ein Objekt umfasst, von dem Bildsensor; Bestimmen eines Objekts von Interesse in dem wenigstens einen Objekt und Identifizieren des Objekts von Interesse in dem Anfangsbild; Bestimmen einer möglichen Aktion in Bezug auf das Objekt von Interesse und Bereitstellen einer Identifizierung der möglichen Aktion einem Benutzer; Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer; und automatisches Bewegen des Roboterarms, um den Endeffektor des Roboterarms in einer vordefinierten Position relativ zu dem Objekt von Interesse zu positionieren.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen von wenigstens zwei Objekten von Interesse konfiguriert und das Identifizieren des Objekts von Interesse innerhalb des Ausgangsbildes umfasst das Identifizieren jedes der wenigstens zwei Objekte von Interesse innerhalb des Bildes.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen einer jeweiligen möglichen Aktion für jedes eine der wenigstens zwei Objekte von Interesse konfiguriert. In einer Ausführungsform ist die Steuervorrichtung zum Empfangen einer Identifikation eines bestimmten der wenigstens zwei Objekte von Interesse und einer Bestätigung der jeweiligen möglichen Aktion, die mit dem bestimmten der wenigstens zwei Objekte von Interesse verknüpft ist, konfiguriert.
-
In einer Ausführungsform ist die Steuervorrichtung ferner zum Ausführen der möglichen Aktion konfiguriert.
-
In einer Ausführungsform ist die Steuervorrichtung ferner zum Ermöglichen, dass der Benutzer die mögliche Aktion durchführt, konfiguriert. In einer Ausführungsform ist die vordefinierte Position als ein vordefinierter Abstand von dem Objekt von Interesse definiert.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen einer Umgebung des Benutzers unter Verwendung des Bildes; zum Abrufen bestimmter Objekte, die mit der bestimmten Umgebung des Benutzers verknüpft sind; und zum Bestimmen des Objekts von Interesse in den bestimmten Objekten konfiguriert.
-
In einer Ausführungsform umfasst die Bildsensorvorrichtung einen ersten Bildsensor mit einem ersten Sichtfeld und einen zweiten Bildsensor mit einem zweiten Sichtfeld, wobei der erste Bildsensor derart positioniert ist und ausgerichtet ist, dass sich wenigstens ein Teil des Endeffektors des Roboterarms in dem ersten Sichtfeld des ersten Bildsensors befindet, und der zweite Bildsensors derart positioniert und ausgerichtet ist, dass sich der Endeffektor außerhalb des zweiten Sichtfelds des zweiten Bildsensors befindet; und
-
In einer Ausführungsform umfasst der erste Bildsensor einen 2D-Bildsensor.
-
In einer Ausführungsform umfasst der zweite Bildsensor einen 3D-Bildsensor.
-
Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein sichtgeführtes Roboterarmsystem bereitzustellen, das für eine Teleoperation geeignet ist. Gemäß einem weiteren weitgefassten Aspekt wird ein sichtgeführtes Roboterarmsystem bereitgestellt, Folgendes umfassend: einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist, einen Bildsensor, der an dem Roboterarm befestigt werden kann; eine Benutzerschnittstelle, die wenigstens eine Anzeige umfasst; und eine Steuervorrichtung für Folgendes: Empfangen eines Anfangsbildes eines Bereichs, der wenigstens ein Objekt umfasst, von dem Bildsensor; Bestimmen eines Objekts von Interesse in dem wenigstens einen Objekt und Identifizieren des Objekts von Interesse in dem Anfangsbild; Bestimmen einer möglichen Aktion in Bezug auf das Objekt von Interesse und Bereitstellen einer Identifizierung der möglichen Aktion einem Benutzer; Empfangen einer Bestätigung des Objekts von Interesse und der möglichen Aktion von dem Benutzer; und automatisches Bewegen des Roboterarms, um den Endeffektor des Roboterarms in einer vordefinierten Position relativ zu dem Objekt von Interesse zu positionieren.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen von wenigstens zwei Objekten von Interesse konfiguriert und das Identifizieren des Objekts von Interesse innerhalb des Ausgangsbildes umfasst das Identifizieren jedes der wenigstens zwei Objekte von Interesse innerhalb des Bildes.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen einer jeweiligen möglichen Aktion für jedes eine der wenigstens zwei Objekte von Interesse konfiguriert.
-
In einer Ausführungsform ist die Steuervorrichtung zum Empfangen einer Identifikation eines bestimmten der wenigstens zwei Objekte von Interesse und einer Bestätigung der jeweiligen möglichen Aktion, die mit dem bestimmten der wenigstens zwei Objekte von Interesse verknüpft ist, konfiguriert.
-
In einer Ausführungsform ist die Steuervorrichtung ferner zum Ausführen der möglichen Aktion konfiguriert.
-
In einer Ausführungsform ist die Steuervorrichtung ferner zum Ermöglichen, dass der Benutzer die mögliche Aktion durchführt, konfiguriert.
-
In einer Ausführungsform ist die vordefinierte Position als ein vordefinierter Abstand von dem Objekt von Interesse definiert.
-
In einer Ausführungsform ist die Steuervorrichtung zum Bestimmen einer Umgebung des Benutzers unter Verwendung des Bildes; zum Abrufen bestimmter Objekte, die mit der bestimmten Umgebung des Benutzers verknüpft sind; und zum Bestimmen des Objekts von Interesse in den bestimmten Objekten konfiguriert.
-
In einer Ausführungsform umfasst die Bildsensorvorrichtung einen ersten Bildsensor mit einem ersten Sichtfeld und einen zweiten Bildsensor mit einem zweiten Sichtfeld, wobei der erste Bildsensor derart positioniert ist und ausgerichtet ist, dass sich wenigstens ein Teil des Endeffektors des Roboterarms in dem ersten Sichtfeld des ersten Bildsensors befindet, und der zweite Bildsensors derart positioniert und ausgerichtet ist, dass sich der Endeffektor außerhalb des zweiten Sichtfelds des zweiten Bildsensors befindet; und
-
In einer Ausführungsform umfasst der erste Bildsensor einen 2D-Bildsensor.
-
In einer Ausführungsform umfasst der zweite Bildsensor einen 3D-Bildsensor.
-
Gemäß einem weiteren weitgefassten Aspekt wird ein sichtgeführtes System für einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist, bereitgestellt, wobei das System Folgendes umfasst: einen Rahmen, der an dem Roboterarm befestigt werden kann; eine Bildsensorvorrichtung, die in dem Rahmen eingeschlossen ist; wobei die Bildsensorvorrichtung einen ersten Bildsensor mit einem ersten Sichtfeld und einen zweiten Bildsensor mit einem zweiten Sichtfeld umfasst, wobei der erste Bildsensor derart positioniert ist und ausgerichtet ist, dass sich wenigstens ein Teil des Endeffektors des Roboterarms in dem ersten Sichtfeld des ersten Bildsensors befindet, und der zweite Bildsensors derart positioniert und ausgerichtet ist, dass sich der Endeffektor außerhalb des zweiten Sichtfelds des zweiten Bildsensors befindet; und eine Anzeige zum Anzeigen von Bildern darauf, die von dem ersten Bildsensor aufgenommen werden.
-
In einer Ausführungsform umfasst der erste Bildsensor einen 2D-Bildsensor.
-
In einer Ausführungsform umfasst der zweite Bildsensor einen 3D-Bildsensor.
-
Gemäß noch einem weiteren weitgefassten Aspekt wird ein sichtgeführtes Roboterarmsystem bereitgestellt, Folgendes umfassend: einen Roboterarm, der an einem distalen Ende davon mit einem Endeffektor versehen ist; und ein Sichtführungssystem, Folgendes umfassend: einen Rahmen, der an dem Roboterarm befestigt werden kann; eine Bildsensorvorrichtung, die in dem Rahmen eingeschlossen ist; wobei die Bildsensorvorrichtung einen ersten Bildsensor mit einem ersten Sichtfeld und einen zweiten Bildsensor mit einem zweiten Sichtfeld umfasst, wobei der erste Bildsensor derart positioniert ist und ausgerichtet ist, dass sich wenigstens ein Teil des Endeffektors des Roboterarms in dem ersten Sichtfeld des ersten Bildsensors befindet, und der zweite Bildsensors derart positioniert und ausgerichtet ist, dass sich der Endeffektor außerhalb des zweiten Sichtfelds des zweiten Bildsensors befindet; und eine Anzeige zum Anzeigen von Bildern darauf, die von dem ersten Bildsensor aufgenommen werden.
-
In einer Ausführungsform umfasst der erste Bildsensor einen 2D-Bildsensor.
-
In einer Ausführungsform umfasst der zweite Bildsensor einen 3D-Bildsensor.
-
Weitere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen, hierbei zeigen:
- 1 ein Blockdiagramm, das ein sichtgeführtes Roboterarmsystem gemäß einer Ausführungsform darstellt;
- 2 ein Flussdiagramm eines Verfahrens zum Betreiben eines Roboterarms gemäß einer Ausführungsform;
- 3 eine isometrische Ansicht eines Sichtführungssystems, das an einem ersten Greifer eines Roboterarms gemäß einer Ausführungsform installiert ist;
- 4 eine isometrische Ansicht eines Sichtführungssystems, das an einem zweiten Greifer eines Roboterarms gemäß einer Ausführungsform installiert ist;
- 5A eine isometrische Vorderansicht des Sichtführungssystems aus 3 gemäß einer Ausführungsform;
- 5B eine isometrische Rückansicht des Sichtführungssystems aus 3 gemäß einer Ausführungsform;
- 6 eine Querschnittsseitenansicht des Sichtführungssystems aus 3 gemäß einer Ausführungsform;
- 7 eine detaillierte Ansicht einer Sensorbildvorrichtung, die in dem Sichtführungssystem aus 3 enthalten ist, gemäß einer Ausführungsform;
- 8 eine Explosionsansicht des Sichtführungssystems aus 3 gemäß einer Ausführungsform; und
- 9 eine isometrische Ansicht eines Roboterarms, an dem das Sichtführungssystem aus 3 gemäß einer Ausführungsform befestigt ist.
-
Es wird angemerkt, dass in all den beigefügten Zeichnungen gleiche Merkmale durch gleiche Bezugszeichen gekennzeichnet sind.
-
1 zeigt ein sichtgeführtes Roboterarmsystem 10, das einen Roboter oder Roboterarm 12 und ein Sichtführungssystem 14 zum Steuern und Betreiben des Roboterarms 12 umfasst. Das Sichtführungssystem 14 umfasst eine Bildsensorvorrichtung 16, eine Steuervorrichtung 18, eine Anzeige 18 und eine Benutzerschnittstelle 22.
-
Der Roboterarm 12 ist ein motorisierter mechanischer Arm mit wenigstens zwei Gliedern oder Armkörperteilen, die durch Gelenke miteinander verbunden sind, die eine Drehbewegung und/oder eine Translationsverschiebung der Armkörperteile ermöglichen. Das distale Ende eines Roboterarms 12 wird üblicherweise von einem Endeffektor, wie etwa einem Greifer oder einem Werkzeug abgeschlossen, der/das zum Interagieren mit der Umgebung ausgelegt ist.
-
In einer Ausführungsform ist das Sichtführungssystem 14 von dem Roboterarm 12 unabhängig.
-
In einer anderen Ausführungsform ist das Sichtführungssystem 14 abnehmbar oder dauerhaft an dem Roboterarm 12 befestigt.
-
In einer weiteren Ausführungsform ist das Sichtführungssystem 14 einstückig mit dem Roboterarm 12.
-
Wie oben beschrieben, umfasst das Sichtführungssystem 14 eine Bildsensorvorrichtung 16. Die Bildsensorvorrichtung 16 umfasst wenigstens einen Bildsensor zum Abbilden eines Bereichs, der ein Objekt umfasst, mit dem der Roboterarm 12 interagiert.
-
In einer Ausführungsform ist der Bildsensor ein 2D-Bildsensor, der zum Erzeugen von 2D-Bildern oder Videos, wie etwa 2D-Bildern oder Videos eines Bereichs von Interesse, der wenigstens ein Objekt umfasst, konfiguriert ist.
-
In einer anderen Ausführungsform ist der Bildsensor ein 3D-Bildsensor, der zum Abbilden des Bereichs von Interesse konfiguriert ist.
-
In einer Ausführungsform umfasst die Bildsensorvorrichtung 16 mehr als einen Bildsensor. Beispielsweise kann die Bildsensorvorrichtung einen 2D-Bildsensor und einen 3D-Bildsensor umfassen, die beispielsweise jeweils in unterschiedliche Richtungen zeigen.
-
Die Steuervorrichtung 18 ist zum Steuern der Konfiguration des Roboterarms, d. h. zum Steuern der relativen Position und Ausrichtung der verschiedenen Armkörperteile konfiguriert, um den Endeffektor des Roboterarms 12 an einer gewünschten Position zu positionieren und/oder den Endeffektor gemäß einer gewünschten Ausrichtung auszurichten.
-
In einer Ausführungsform ist die Steuervorrichtung 18 angepasst, Befehle von der Benutzerschnittstelle 22 zu empfangen und den Roboterarm 12 gemäß den empfangenen Befehlen zu steuern. Die Benutzerschnittstelle 22 kann eine beliebige geeignete Vorrichtung sein, die es einem Benutzer ermöglicht, Befehle einzugeben, wie etwa eine mechanische Schnittstelle, eine Audioschnittstelle, eine visuelle Schnittstelle usw. Beispielsweise kann die Benutzerschnittstelle 22 eine Touchscreen-Schnittstelle, ein Joystick-Zeiger, eine Sprachbefehlsschnittstelle, eine Augenbewegungsschnittstelle, eine Elektromyographie-Schnittstelle, eine Gehirn-Computer-Schnittstelle oder dergleichen sein. Beispielsweise können die von dem Benutzer eingegebenen Befehle eine durchzuführende Aktion oder die von dem Endeffektor des Roboterarms 12 zu folgende Bewegung anzeigen, wie etwa Vorwärtsbewegen, Rückwärtsbewegen, Rechtsbewegen, Linksbewegen usw. In dieser Ausführungsform soll der Roboterarm 12 in einem Teleoperationsmodus betrieben werden.
-
In einer anderen Ausführungsform ist die Steuervorrichtung 18 zum automatischen Steuern des Roboterarms 12 konfiguriert. Beispielsweise kann die Steuervorrichtung 18 zum Bestimmen der Zielposition und/oder Ausrichtung des Endeffektors und zum Steuern des Roboterarms konfiguriert sein, um den Endeffektor in die gewünschte Position und/oder Ausrichtung zu bringen. In diesem automatisierten Modus kann ein Benutzer eine gewünschte durchzuführende Aktion eingeben, und die Steuervorrichtung 18 ist zum Steuern des Roboterarms 12 konfiguriert, um die eingegebene Aktion zu erzielen.
-
Wie nachstehend ausführlicher beschrieben, ist die Steuervorrichtung 18 ferner zum Anzeigen von Bildern oder Videos eines von der Bildsensorvorrichtung 16 aufgenommenen Bereichs von Interesse auf der Anzeige 20 konfiguriert. Der Bereich von Interesse umfasst wenigstens ein Objekt, das ein Zielobjekt beinhaltet, mit dem der Endeffektor des Roboterarms 12 interagieren soll. Die Steuervorrichtung 18 ist ferner zum automatischen Bestimmen eines Zielobjekts innerhalb des Bereichs von Interesse und zum Hervorheben oder Identifizieren des bestimmten Objekts innerhalb des auf der Anzeige angezeigten Bildes konfiguriert.
-
Es versteht sich, dass jedes geeignete Objekterfassungs-/Erkennungsverfahren zum Bestimmen des Vorhandenseins von Objekten innerhalb eines Bildes verwendet werden kann. Beispielsweise können Verfahren wie etwa Kantenerfassungsverfahren, Blob-Verfahren, Tiefenkartenverfahren, Farbkartenverfahren oder dergleichen verwendet werden.
-
In einer Ausführungsform kann das auf Tiefenlernen und/oder einem tiefen neuronalen Netzwerk basierende „Granulometrie-“ oder „Größengradierungs“-Verfahren verwendet werden. Dieser Ansatz besteht zunächst darin, die Umgebung und den Kontext des Benutzers zu verstehen und dann die wahrscheinlichsten Objekte zu erfassen, die gefunden werden können. Unter Verwendung dieses Ansatzes nimmt die Sichtsensorvorrichtung zunächst wenigstens ein Bild der nahen Umgebung des Benutzers auf und die Steuervorrichtung kann dann bestimmen, wo sich der Benutzer befindet, z. B. ob sich der Benutzer in einem Wohnzimmer, einer Küche, einem Schlafzimmer usw. befindet. Weiterhin unter Verwendung des Tiefenlernansatzes analysiert die Steuervorrichtung dann das Bild / die Bilder und erfasst und identifiziert die Objekte, die sich normalerweise in einer solchen Umgebung befinden. Wenn beispielsweise festgestellt wird, dass sich der Benutzer in einem Wohnzimmer befindet, sucht das System nach einer Fernsehfernbedienung, einem Telefon, Büchern usw. Dieser Ansatz vermeidet, dass das System nicht benötigte Berechnungen durchführt, um zu versuchen, mit der Umgebung oder dem Kontext nicht relevante Objekte zu identifizieren, wie etwa einen Rasierapparat in einem Wohnzimmer.
-
Es versteht sich, dass jedes geeignete Verfahren zum Hervorheben/Identifizieren eines Objekts innerhalb eines angezeigten Bildes verwendet werden kann. Beispielsweise kann ein Cursor erzeugt werden und auf das Zielobjekt innerhalb des angezeigten Bildes zeigen. In einer anderen Ausführungsform kann das Zielobjekt innerhalb des angezeigten Bildes eingekreist sein.
-
Die Steuervorrichtung 18 ist ferner zum Bestimmen einer möglichen auszuführenden Aktion konfiguriert, wobei die mögliche Aktion mit dem Zielobjekt in Beziehung steht. Wenn beispielsweise das bestimmte Zielobjekt ein Glas ist, kann die Steuervorrichtung 18 bestimmen, dass die in Beziehung stehende Aktion „das Glas greifen“ sein kann. Die Steuervorrichtung 18 ist ebenso zum Bereitstellen der bestimmten möglichen Aktion an den Benutzer konfiguriert. Es versteht sich, dass jedes geeignete Verfahren zum Informieren des Benutzers über die mögliche Aktion verwendet werden kann. Beispielsweise kann eine grafische Darstellung der möglichen Aktion auf der Anzeige 20 angezeigt werden. Die grafische Darstellung kann ein Symbol, ein Bild, ein Text, ein Foto, ein Video usw. sein. In einem anderen Beispiel kann das sichtgeführte Roboterarmsystem 10 mit einem Tonsystem versehen sein, das einen Lautsprecher umfasst, und ein die durchzuführende Aktion anzeigender Ton kann ausgesendet werden. Die Steuervorrichtung 18 kann einen Sprachgenerator umfassen, um dem Benutzer die bestimmte durchzuführende Aktion über den Lautsprecher bereitzustellen.
-
Der Benutzer gibt dann über die Benutzerschnittstelle 22 eine Bestätigung für das identifizierte Zielobjekt und für die bestimmte durchzuführende Aktion ein. Es versteht sich, dass der Benutzer jedes geeignete Verfahren verwenden kann, um die Bestätigung einzugeben. Beispielsweise können die Benutzerschnittstelle 22 und die Anzeige 20 in der Form eines Touchscreens einstückig sein. In diesem Fall kann das Zielobjekt in dem auf der Anzeige 20 angezeigten Bild identifiziert werden und die durchzuführende Aktion kann dem Benutzer über eine auf der Anzeige 20 angezeigte grafische Darstellung bereitgestellt werden. In diesem Fall kann der Benutzer die Zielaktion durch Berühren des Objekts der Anzeige 20 bestätigen und die durchzuführende Aktion durch das Berühren der grafischen Darstellung der auf der Anzeige 20 angezeigten Aktion bestätigen. In einem anderen Beispiel kann die Schnittstelle ein Mikrofon umfassen und die Steuervorrichtung kann zum Durchführen einer Spracherkennung konfiguriert sein. In diesem Fall kann die Bestätigung des Zielobjekts und der durchzuführenden Aktion stimmlich sein.
-
In einer Ausführungsform, in der das Verfahren „Granulometrie“ oder „Größengradierung“ zum Erfassen von Objekten verwendet wird, kann die Steuervorrichtung einen Entscheidungsablaufvorgang durchlaufen, um die mit dem Objekt durchzuführende Aktion basierend auf dem zuvor identifizierten Kontext oder der Umgebung zu bestimmen. Wenn die Steuervorrichtung beispielsweise ein Buch auf einem Tisch in einem Wohnzimmer identifiziert, können die möglichen Aktionen Folgende sein: entweder das Buch zu nehmen und es in ein Regal zu stellen oder das Buch zu nehmen und es dem Benutzer zu bringen, damit er es lesen kann. Es versteht sich, dass dieser Entscheidungsablauf verbessert wird, wenn neue Situationen auftreten.
-
Nach dem Empfang der Bestätigung des Zielobjekts und der durchzuführenden Aktion ist die Steuervorrichtung 18 zum automatischen Bewegen des Roboterarms 12 konfiguriert, um den Endeffektor des Roboterarms in der Nähe des Zielobjekts zu positionieren. Es versteht sich, dass die Steuervorrichtung die von der Bildsensorvorrichtung 16 erhaltenen Daten verwendet, um den Endeffektor in der Nähe des Zielobjekts zu positionieren, d. h. um den Endeffektor nahe genug an dem Ziel zu positionieren, um es zu berühren. In einer Ausführungsform ist der Endeffektor etwa 10 cm oder weniger von dem Zielobjekt entfernt positioniert.
-
Es versteht sich, dass jedes geeignete Verfahren zum Bestimmen des Abstands zwischen dem Endeffektor und dem Objekt verwendet werden kann.
-
Für die automatische Führung des Roboterarms und wenn sich der Endeffektor dem Zielobjekt von Interesse nähert, kann die Bildsensorvorrichtung periodisch neue Bilder aufnehmen, um zu bestätigen, dass sich der Endeffektor in die richtige Richtung bewegt, d. h. zu dem Zielobjekt hin. Wenn sich das Objekt von Interesse von seiner ursprünglichen Position entfernt hat oder wenn ein anderes Objekt vor dem Objekt von Interesse eingefügt wurde, kann die Steuervorrichtung diese Situationen identifizieren und erneut eine neue Trajektorie berechnen. In einer Ausführungsform kann ein Verfolgungsansatz von Objekten basierend auf niedrigen Berechnungskosten und einem schnellen tiefen neuronalen Netzwerks verwendet werden, um den Versatz zwischen dem Zielobjekt und der Position und der Ausrichtung der Kamera zu identifizieren, um Korrekturen vorzunehmen.
-
In einer Ausführungsform ist das Sichtführungssystem 14 konfiguriert, den Roboterarm 12 in einem vollautomatisierten Modus zu betreiben. In diesem Fall kann der Benutzer den Roboterarm 12 nicht über die Schnittstelle 22 steuern.
-
In einer anderen Ausführungsform ist das Sichtführungssystem 14 zum Betreiben des Roboterarms 12 in einem Doppelmodus konfiguriert, d. h. sowohl ein vollständig betriebener Modus als auch ein Teleoperationsmodus sind möglich. In diesem Fall kann der Benutzer den Roboterarm 12 über die Schnittstelle steuern.
-
In einer Ausführungsform ist die Steuervorrichtung 18 ferner zum automatischen Durchführen der von dem Benutzer bestätigten Aktion konfiguriert, nachdem der Endeffektor in die Nähe des Zielobjekts bewegt wurde. Wenn die bestätigte Aktion beispielsweise „das Glas greifen“ ist, kann die Steuervorrichtung 18 den Roboterarm 12 derart steuern, dass der Effektor das Glas greift, nachdem der Endeffektor in die Nähe des Glases bewegt wurde.
-
In einer anderen Ausführungsform übernimmt der Benutzer die Steuerung des Roboterarms 12, nachdem die Steuervorrichtung 18 den Endeffektor automatisch in die Nähe des Zielobjekts bewegt hat. In diesem Fall steuert der Benutzer den Roboterarm 12 über die Benutzerschnittstelle 22, um die Aktion abzuschließen. Beispielsweise kann der Benutzer, sobald der Endeffektor in der Nähe eines zu greifenden Glases positioniert wurde, die Benutzerschnittstelle 22 verwenden, um den Roboterarm 12 derart zu steuern, dass der Endeffektor das Glas greift.
-
In einer Ausführungsform kann die Bildsensorvorrichtung 16 an dem Roboterarm 12 befestigt werden. Beispielsweise kann die Bildsensorvorrichtung 16 möglicherweise neben dem Endeffektor des Roboterarms 12 befestigt werden.
-
In einer Ausführungsform umfasst die Bildsensorvorrichtung 16 einen 2D-Bildsensor und einen 3D-Bildsensor. In diesem Fall wird der 2D-Bildsensor zum Abbilden des Bereichs verwendet, der das Zielobjekt enthält, und die von dem 2D-Bildsensor aufgenommenen 2D-Bilder werden auf der Anzeige 20 angezeigt. Der 3D-Bildsensor sammelt Daten, wie etwa den Abstand zwischen dem Endeffektor und dem Zielobjekt, die von der Steuervorrichtung 18 zum automatischen Bewegen des Roboterarms verwendet werden, wie etwa zum automatischen Positionieren des Endeffektors des Roboterarms 12 in der Nähe des Zielobjekts. Es versteht sich jedoch, dass Daten sowohl von dem 2D-Bildsensor als auch von dem 3D-Bildsensor zum Steuern der Position des Endeffektors verwendet werden können.
-
In einer Ausführungsform, in der die Bildsensorvorrichtung 16 einen 2D-Bildsensor und einen 3D-Bildsensor umfasst, kann der 2D-Bildsensor derart positioniert sein, dass sich der Endeffektor oder wenigstens ein Teil des Endeffektors immer innerhalb des Sichtfelds des 2D-Bildsensors befindet, und der 3D-Bildsensor derart positioniert ist, dass sich der Endeffektor niemals in dem Sichtfeld des 3D-Bildsensors befindet. Wenn zum Beispiel der Endeffektor des Roboterarms 12 ein Greifer ist, kann der 2D-Bildsensor derart positioniert sein, dass sich wenigstens ein Teil der Finger des Greifers immer in dem Sichtfeld des 2D-Bildsensors befindet, während er sich immer außerhalb des Sichtfeldes des 3D-Bildsensors befindet.
-
Es versteht sich, dass jeder 2D-Bildsensor verwendet werden kann, der zum Erzeugen eines 2D-Bildes einer Szene, wie etwa eines Bereichs, der ein Zielobjekt umfasst, konfiguriert ist. In einer Ausführungsform ist der 2D-Bildsensor eine Kamera.
-
Es versteht sich, dass jeder geeignete 3D-Bildsensor verwendet werden kann. In einer Ausführungsform umfasst der 3D-Bildsensor zwei Infrarot(IR)kameras und einen IR-Lichtprojektor. Es versteht sich, dass der 3D-Bildsensor verschiedene Technologien verwenden könnte: Stereovision, Flugzeit, Laserstrahl usw.
-
In einer Ausführungsform umfasst die Steuervorrichtung 18 eine Verarbeitungseinheit, eine Kommunikationseinheit zum Empfangen/Übertragen von Daten und einen Speicher mit darauf gespeicherten Aussagen und Anweisungen, die von dem Prozessor auszuführen sind.
-
2 zeigt eine Ausführungsform eines Verfahrens zum Steuern eines Roboterarms, wie etwa des Roboterarms 12.
-
In Schritt 52 wird der Roboterarm 12 grob zu einem Bereich von Interesse hin positioniert, der wenigstens ein Objekt umfasst. Ein Objekt kann ein Glas, ein Türgriff, ein Rasierapparat, ein Aufzugknopf usw. sein.
-
In einer Ausführungsform wird der Roboterarm 12 mittels Teleoperation positioniert, d. h. der Benutzer steuert den Roboterarm 12, um den Endeffektor des Roboterarms 12 ungefähr in Bezug auf einen Bereich von Interesse zu positionieren. In diesem Fall umfasst Schritt 52 das Empfangen von Bewegungs-/Ausrichtungsbefehlen von der Benutzerschnittstelle 22 und das Steuern des Roboterarms 12 gemäß den empfangenen Befehlen.
-
In einer anderen Ausführungsform kann die ungefähre Positionierung des Roboterarms 12 in Bezug auf den Bereich von Interesse automatisch durch das Sichtführungssystem 14 durchgeführt werden, wenn der Roboterarm 12 in dem automatisierten Modus betrieben wird.
-
In einer Ausführungsform kann Schritt 52 beispielsweise weggelassen werden, wenn der Roboterarm 12 bereits ungefähr in Bezug auf den Bereich von Interesse positioniert ist.
-
In Schritt 54 wird ein von der Bildsensorvorrichtung 16 aufgenommenes Bild des Bereichs von Interesse auf der Anzeige 20 angezeigt. Es versteht sich, dass in Schritt 54 ein Strom von Bildern oder ein Video angezeigt werden kann.
-
In Schritt 56 wird aus dem Bild des Bereichs von Interesse ein Zielobjekt bestimmt, mit dem der Roboterarm 12 interagieren soll. In einer Ausführungsform, in der der Bereich von Interesse mehrere Objekte umfasst, können alle Objekte in Schritt 56 identifiziert werden.
-
In Schritt 56 wird das bestimmte Zielobjekt in dem angezeigten Bild identifiziert. Wie vorstehend beschrieben, kann jedes geeignete Verfahren zum Identifizieren/Hervorheben eines Objekts innerhalb eines Bildes verwendet werden. Wenn mehrere Objekte ermittelt wurden, wird jedes Objekt innerhalb des angezeigten Bildes identifiziert.
-
In Schritt 58 wird eine mögliche Aktion, die ausgeführt und dem Zielobjekt zugeordnet werden soll, bestimmt und dem Benutzer bereitgestellt. Wie vorstehend beschrieben, kann jedes geeignete Verfahren verwendet werden, um dem Benutzer die zugeordnete Aktion bereitzustellen.
-
Wenn mehr als ein Objekt aus dem Bild bestimmt worden ist, kann eine entsprechende Aktion für jedes Objekt bestimmt und dem Benutzer in Schritt 58 bereitgestellt werden. Beispielsweise kann für ein Objekt, das ein Glas ist, die zugeordnete Aktion das Greifen des Glases sein. Bei einem Objekt, das ein Türgriff ist, kann die zugeordnete Aktion das Drehen des Türgriffs sein. Für ein Objekt, das eine Taste ist, kann die zugeordnete Aktion das Drücken der Taste sein usw.
-
In Schritt 60 wird eine Bestätigung oder Identifikation des Zielobjekts sowie eine Bestätigung für die dem Zielobjekt zugeordnete Aktion empfangen.
-
In einer Ausführungsform, in der mehrere Objekte in dem angezeigten Bild identifiziert wurden, wählt der Benutzer eines der Objekte als das Zielobjekt aus und bestätigt, dass die zugeordnete Aktion durchgeführt werden soll. In diesem Fall werden die Identifikation des Zielobjekts und die Bestätigung seiner zugeordneten Aktion in Schritt 60 empfangen.
-
Wie vorstehend beschrieben, kann jedes geeignete Verfahren zum Bestätigen/Identifizieren des Zielobjekts und zum Bestätigen der zugeordneten Aktion verwendet werden. Beispielsweise kann die Bestätigung/Identifizierung durchgeführt werden, indem ein Bildschirm berührt wird, ein Wort oder ein Satz gesagt wird usw.
-
Sobald die Bestätigungen empfangen worden sind, wird der Roboterarm 12 in Schritt 62 automatisch bewegt, um den Endeffektor des Roboterarms 12 in einer vordefinierten Position oder Entfernung von dem Zielobjekt zu positionieren. Beispielsweise kann die Steuervorrichtung den Endeffektor des Roboterarms 12 automatisch in die Nähe oder nahe an das Zielobjekt bewegen, beispielsweise innerhalb von 10 cm von dem Zielobjekt. Die automatische Bewegung des Roboterarms 12 beinhaltet das Bestimmen des Abstands zwischen dem Endeffektor des Roboterarms 12 und dem Zielobjekt unter Verwendung der von der Bildsensorvorrichtung 16 gesammelten Daten.
-
In einer Ausführungsform kann der Benutzer den Vorgang unterbrechen, indem er eine Taste drückt, einen Joystick bewegt, einen Ton von sich gibt oder auf eine beliebige andere Weise, falls erforderlich.
-
In einer Ausführungsform wird von der Bildsensorvorrichtung 16 nach Schritt 62 ein Bild des Zielobjekts aufgenommen, sobald der Endeffektor in der Nähe des Zielobjekts positioniert wurde. Sobald das weitere Bild angezeigt wurde, kann der Benutzer aufgefordert werden, das Zielobjekt zu bestätigen. In diesem Fall kann die Aktion erst durchgeführt werden, nachdem der Benutzer die weitere Bestätigung empfangen hat.
-
In einer Ausführungsform kann der Benutzer definieren/spezifizieren, wie die Aktion durchgeführt werden soll, bevor die Aktion automatisch ausgeführt wird. Wenn beispielsweise ein Glas von dem Endeffektor des Roboterarms 12 gegriffen werden soll, kann der Benutzer festlegen, wie das Glas gegriffen werden soll, z. B. von oben, von unten, von der Seite usw. In diesem Fall können verschiedene Szenarien/Verfahren zum Durchführen der Aktion auf der Anzeige 20 angezeigt werden, und der Benutzer kann über die Schnittstelle 22 ein gewünschtes Szenario/Verfahren auswählen.
-
In einer Ausführungsform kann, sobald der Endeffektor des Roboterarms 12 in der Nähe des Zielobjekts positioniert wurde, die Aktion automatisch durch das Sichtführungssystem 14 durchgeführt werden. Wenn das Zielobjekt beispielsweise ein Glas ist, steuert das Sichtführungssystem 14 den Roboterarm 12, damit der Endeffektor das Glas greift.
-
In einer anderen Ausführungsform kann die Aktion, sobald der Endeffektor des Roboterarms 12 in der Nähe des Zielobjekts positioniert wurde, manuell von dem Benutzer unter Verwendung der Benutzerschnittstelle 22 durchgeführt werden. Wenn das Zielobjekt beispielsweise ein Glas ist, verwendet der Benutzer die Benutzerschnittstelle 22 zum Steuern des Roboterarms 12, um das Glas mit dem Endeffektor zu greifen.
-
In einer Ausführungsform wird der Benutzer aufgefordert, nachdem der Endeffektor des Roboterarms 12 in einem vordefinierten Abstand von dem Zielobjekt in Schritt 62 positioniert wurde, zwischen einem automatischen Modus, in dem der Roboterarm 12 die Aktion automatisch ausführt, und einem manuellen Modus, in dem die Aktion von dem Benutzer manuell durchgeführt werden kann, zu wählen.
-
In einer Ausführungsform kann der Benutzer entscheiden, ob die Aktion durch Teleoperation oder automatisch durch Sichtführung durchgeführt wird, wenn der Roboterarm 12 nach Erreichen der Position in Schritt 62 und kurz vor dem endgültigen Greifen pausiert. Die Auswahl des Betriebsmodus zum Ausführen der Aktion kann unter Verwendung eines Touchscreens, einer Maus, der Stimme des Benutzers oder eines anderen geeigneten Mittels abhängig von den physischen Einschränkungen des Benutzers durchgeführt werden.
-
In einer Ausführungsform, in der das Sichtführungssystem in einem automatisierten Modus zum Steuern des Roboterarms 12 betrieben wird, kann der bestimmten und bestätigten Aktion wenigstens eine weitere Aktion folgen. Wenn beispielsweise das Zielobjekt eine Flasche ist und die zugeordnete Aktion das Greifen der Flasche mit dem Greifer des Roboterarms 12 ist, kann das Sichtführungssystem 14 den Roboterarm 12 autonom steuern, um die Flasche nahe an die Lippen des Benutzers zu bringen, damit der Benutzer trinken kann. In einem anderen Beispiel wird der Roboterarm 12 derart gesteuert, dass er den Türgriff zieht oder drückt, um die Tür zu öffnen, nachdem der Türgriff gedreht wurde. In einem weiteren Beispiel fährt der Roboterarm 12 in eine kompakte Position zurück, nachdem ein Knopf eines Aufzugs gedrückt wurde.
-
Es versteht sich, dass die Reihenfolge für die Schritte 52 bis 62 variieren kann. Beispielsweise können Schritt 56 und/oder 58 vor der Anzeige des Bildes durchgeführt werden, die in Schritt 54 durchgeführt wird.
-
In einer Ausführungsform ist das Roboterarmsystem 10 auf einer mobilen Plattform wie etwa einem Rollstuhl, einem fahrerlosen Fahrzeug (automated guided vehicle - AGV), einem selbstfahrenden Fahrzeug (self-driving vehicle - SDV) oder dergleichen installiert, wobei das Sichtführungssystem 14 ebenso zum Steuern der mobilen Plattform konfiguriert sein kann, wenn der Roboterarm 12 in dem autonomen Modus betrieben wird. Wenn beispielsweise der Benutzer den Roboterarm 12 anweist, ein Objekt zu greifen, und das Objekt zu weit entfernt ist, als dass der Roboterarm 12 es erreichen könnte, kann das Sichtführungssystem 14 die mobile Plattform derart steuern, dass sie das Objekt automatisch in Reichweite des Roboterarms vorwärts bewegen kann.
-
Ähnlich muss in einem anderen Beispiel der Roboterarm eine Tür ziehen, um sie zu öffnen, aber die mobile Plattform könnte das Öffnen der Tür behindern. In diesem Fall kann das Sichtführungssystem die mobile Plattform veranlassen, sich automatisch rückwärts zu bewegen, um die Öffnungsbewegung der Tür freizugeben.
-
In einer Ausführungsform kann der sichtgeführte Roboterarm 10 auch speziell in einem Teleoperationsmodus verwendet werden, auf einer mobilen Plattform installiert oder nicht. In dieser Situation und in einer Ausführungsform senden sowohl der 2D- als auch der 3D-Bildsensor ein Signal an eine Benutzerschnittstelle, um den Benutzer zu führen, wie er den Roboterarm richtig teleoperiert.
-
Wenn der Benutzer eine behinderte Person ist, können die körperlichen Einschränkungen des Benutzers ihn daran hindern, den Kopf zu drehen, um den Endeffektor des Roboterarms 12 immer im Blick zu haben, um eine gewünschte Aufgabe durchzuführen. Wenn ein kontinuierliches Videosignal von der Bildsensorvorrichtung 16 aufgenommen wird, kann der Benutzer den Roboterarm 12 angemessen teleoperieren, um verschiedene Aufgaben zu erfüllen.
-
Das vorliegende Sichtführungssystem 14 kann Anwendungen bei Rettungseinsätzen, bei der Bombenentsorgung und bei der Inspektion großer Güter finden, bei denen der sichtgeführte Roboterarm 10 an einem AGV oder SDV installiert ist. Wiederum ermöglicht es ein kontinuierliches Videosignal von der Bildsensorvorrichtung 16 dem Bediener, den Roboterarm 12 und das AGV oder SDV besser zu teleoperieren, um verschiedene Aufgaben zu erfüllen.
-
In einer Ausführungsform kann es möglich sein, das Koordinatensystem zum Teleoperieren des Roboterarms 12 auszuwählen, wie nachstehend ausführlicher beschrieben wird. Beispielsweise können die Basisbezugsachsen des Roboterarms 12 für die verschiedenen Bewegungen (aufwärts, abwärts, links, rechts usw.) verwendet werden. Alternativ kann die Bezugsachse des Sichtsystems für ähnliche Bewegungen verwendet werden. In einer Ausführungsform kann die Verwendung der Bezugsachse des Sichtsystems zum Teleoperieren des Roboterarms für den entfernten Benutzer intuitivere Bewegungen bereitstellen, da beide zuvor erwähnten Bezugsachsen nicht gleich positioniert und ausgerichtet sind.
-
Während das vorstehend beschriebene Sichtführungssystem 14 und das vorstehend beschriebene Verfahren 50 zum Steuern/Betreiben eines beliebigen Roboterarms verwendet werden können, der mit einem Endeffektor versehen ist, veranschaulichen die 3 bis 9 einen beispielhaften Roboterarm 100, der mit einem Sichtführungssystem 102 und einem Greifer 104 als Endeffektor versehen ist.
-
Wie in 9 dargestellt, umfasst der Roboterarm 100 mehrere Armsegmente 110, 112 und 114, die drehbar miteinander verbunden sind. Die Armsegmente umfassen ein proximales Segment 110, das möglicherweise an einer mobilen Plattform befestigt werden kann, ein distales Armsegment 112 und fünf Armsegmente 114, die zwischen dem proximalen Armsegment 110 und dem distalen Armsegment 112 verbunden sind. Es versteht sich, dass die Anzahl der Segmente 114 nur beispielhaft ist.
-
Das Sichtführungssystem 102 ist an dem distalen Ende des distalen Armsegments 112 verbunden und der Greifer 104 (in 9 nicht gezeigt) ist mit dem Sichtführungssystem 102 derart verbunden, dass das Sichtführungssystem 102 zwischen dem distalen Armsegment 112 und dem Greifer 104 positioniert ist.
-
3 stellt das Sichtführungssystem 102 dar, das mit einem drei Finger umfassenden Greifer 104a verbunden ist, während 4 das Sichtführungssystem darstellt, das mit einem mit zwei Fingern versehenen Greifer 104b verbunden ist.
-
In einer Ausführungsform ist das Sichtführungssystem 102 drehbar an dem Armsegment 112 und/oder an dem Greifer 104 befestigt. Das Sichtführungssystem 102 kann motorisiert sein, um das Sichtführungssystem 102 relativ zu dem Armsegment 112 und/oder dem Greifer 104 zu drehen.
-
Wie in den 5A und 5B dargestellt, umfasst das Sichtführungssystem 102 einen zentralen Abschnitt 120 und einen oberen Abschnitt 122. Der Mittelabschnitt 120 umfasst einen rohrförmigen Körper 121 mit einem ersten Ende, das an dem Greifer 104 befestigt werden kann, und einem zweiten Ende, das an dem distalen Armsegment 112 befestigt werden kann. Der obere Abschnitt 120 erstreckt sich radial von dem zentralen Abschnitt 120. Wie in 5B dargestellt, ist die Rückseite des Oberteils 122 mit Kühlrippen 124 versehen, die als eine Wärmesenke zum Abführen von Wärme dienen, die von elektronischen Bauteilen erzeugt wird, die sich in dem oberen Abschnitt 122 befinden.
-
In einer Ausführungsform kann der rohrförmige Körper 121 möglicherweise drehbar an dem Greifer 104 und dem distalen Armsegment 112 befestigt werden.
-
Wie in den 6 und 7 dargestellt ist, umfasst der obere Abschnitt 122 eine Bildsensorvorrichtung. In der dargestellten Ausführungsform umfasst die Bildsensorvorrichtung einen 2D-Bildsensor 126 und einen 3D-Bildsensor 128, die zwei Kameras 130 und 132 und eine/einen IR-Lichtquelle/-Projektor 134 umfassen. Die Kameras 130 und 132 befinden sich auf einander gegenüberliegenden Seiten der IR-Lichtquelle 134 und der 2D-Bildsensor ist unter der IR-Lichtquelle 134 positioniert.
-
Der 2D- und der 3D-Bildsensoren 126 und 128 sind derart positioniert, dass sie dem Greifer 104 zugewandt sind, wenn das Sichtführungssystem 102 an dem Greifer 104 befestigt ist.
-
In einer Ausführungsform ist der 2D-Bildsensor 126 derart ausgerichtet, dass sich wenigstens ein Teil der Finger des Greifers 104 immer innerhalb des Sichtfelds des 2D-Bildsensors 126 befindet, wenn das Sichtführungssystem 102 an dem Greifer 104 befestigt ist.
-
In derselben oder einer anderen Ausführungsform ist der 3D-Bildsensor 128, d. h. die Kameras 130 und 132 und die IR-Lichtquelle 134, derart positioniert, dass sich der Greifer 104 niemals in dem Sichtfeld des 3D-Bildsensors befindet, wenn das Sichtführungssystem 102 ist an dem Greifer 104 befestigt ist.
-
Es versteht sich, dass jeder geeignete 3D-Bildsensor verwendet werden kann. Beispielsweise kann der 3D-Bildsensor 128 verschiedene Technologien verwenden, wie etwa Stereovision, Flugzeit, Laserstrahl usw., ist jedoch nicht darauf beschränkt.
-
In einer Ausführungsform ist der 2D-Bildsensor 126 ein Graustufensensor. In einer anderen Ausführungsform ist der 2D-Bildsensor 126 ein Farbsensor.
-
Wie in 6 dargestellt, sind elektronische Komponenten in den rohrförmigen Körper 121 des mittleren Abschnitts eingesetzt. Zum Beispiel kann die Steuervorrichtung wie etwa die Steuervorrichtung 18 in den rohrförmigen Körper 121 eingesetzt sein. In einem anderen Beispiel kann die Steuervorrichtung 18 in das proximale Armsegment 110 eingesetzt sein. In einer weiteren Ausführungsform kann die Steuervorrichtung 18 von dem Roboterarm 100 unabhängig sein und sich außerhalb davon befinden. In der veranschaulichten Ausführungsform sind elektronische Komponenten, wie etwa eine zusammengeschaltete Leiterplatte (PCB) 140 zum Verbinden mit dem Greifer 104, eine Sicht-PCB 142 zum Verwalten des Sichtsystems, Verbindungskabel 144 zum elektrischen Verbinden der zusammengeschalteten PCB 140 mit einer anderen PCB, die sich in dem Roboterarm befindet, und/oder dergleichen, innerhalb des röhrenförmigen Körpers 121 enthalten.
-
Die 7 und 8 stellen eine Explosionsansicht des oberen Abschnitts 121 des Sichtführungssystems 102 dar. Der obere Abschnitt umfasst einen ersten oder zentralen Rahmenkörper 150, einen zweiten oder hinteren Rahmenkörper 152 und ein Schutzglas 154. Der zentrale Rahmenkörper 150 umfasst eine Öffnung 156, die sich dahindurch erstreckt, um die Bildsensorvorrichtung darin aufzunehmen. Der hintere Rahmenkörper 152 kann an der Rückseite des mittleren Rahmenkörpers 150 befestigt sein. Eine Dichtung 158 kann zwischen dem mittleren und dem hinteren Rahmenkörper 150 und 152 eingesetzt sein. Das Schutzglas 154 ist an der Vorderseite des zentralen Rahmenkörpers 150 befestigt, um die Öffnung 156 zu verschließen. Eine weitere Dichtung (nicht gezeigt) kann zwischen dem Schutzglas 156 und dem zentralen Rahmenkörper 150 positioniert sein.
-
Wenn der zentrale Rahmenkörper 150 und der hintere Rahmenkörper 152 zusammen befestigt sind, um eine Rahmenanordnung auszubilden, ist eine Öffnung durch die Unterseite der Rahmenanordnung vorhanden. Wenn der obere Abschnitt 122 an dem mittleren Abschnitt 120 befestigt ist, ist die Öffnung in der Rahmenanordnung an einer Öffnung 160 ausgerichtet, die sich durch den röhrenförmigen Körper 121 erstreckt, um eine Kommunikation zwischen dem mittleren Abschnitt 120 und dem oberen Abschnitt 122 zu ermöglichen. Eine Dichtung 162 kann zwischen dem mittleren und dem oberen Abschnitt 120 und 122 eingesetzt sein.
-
In einer Ausführungsform stellen Dichtungen wie etwa die Dichtungen 158 und 162 sicher, dass keine Verunreinigungen in den oberen Abschnitt 122 und/oder den mittleren Abschnitt 120 gelangen können.
-
In einer Ausführungsform werden Rahmenbefestigungsschrauben 164 zum Befestigen des oberen Abschnitts 122 an dem mittleren Abschnitt 120 verwendet. In derselben oder einer anderen Ausführungsform werden Befestigungsschrauben 166 zum Befestigen des hinteren Rahmenkörpers 152 an dem mittleren Rahmenkörper 150 verwendet.
-
In einer Ausführungsform, in der das Sichtführungssystem in einer unterstützenden Anwendung verwendet werden soll, kann es vorteilhaft sein, dass keine Befestigungselemente freigelegt werden, um eine ordnungsgemäße Abdichtung des Sichtführungssystems sicherzustellen und interne Komponenten vor äußeren Verunreinigungen (mit Wasser oder Saft gefüllte Gläser als Beispiele) oder verschiedenen Wetterbedingungen (Regen, Schnee) zu schützen.
-
In einer Ausführungsform kann sich der röhrenförmige Körper 121 des Sichtführungssystems 102 frei und ohne Einschränkungen um seine Längsachse drehen, z. B. kann eine unbegrenzte Anzahl von Umdrehungen erzielt werden.
-
In einer Ausführungsform und wie vorstehend beschrieben, kann der Benutzer ein gewünschtes Koordinatensystem zum Teleoperieren des Roboterarms 100 auswählen. Die Basisbezugsachsen (oder das Koordinatensystem) des Roboterarms werden mit X0, Y0 und Z0 identifiziert, während die Bezugsachsen (oder das Koordinatensystem) des Sichtsystems mit X1, Y1 und Z1 identifiziert sind, wie in 9 dargestellt. Wenn die Bezugsachse des Roboterarms mit dem Befehl „Vorwärts fahren“ verwendet wird, bewegt sich das Ende des Roboterarmgreifers in die Richtung der X0-Achse. Wenn der Befehl „Nach links bewegen“ verwendet wird, bewegt sich das Ende des Roboterarmgreifers in die Richtung der Y0-Achse. Diese Bewegungen können nützlich sein, wenn der Benutzer die gesamte Roboterarmszene sehen kann, sie können jedoch kontra-intuitiv sein, wenn der Benutzer nur das von dem Sichtführungssystem gesendete Bild sieht. In diesem letzteren Fall kann die Verwendung der Bezugsachse des Bildverarbeitungssystems hilfreich sein. Unter Verwendung des Befehls „Vorwärts fahren“, bewegt sich in diesem späteren Fall das Ende des Roboterarmgreifers in die Richtung der X1-Achse, während die Verwendung des Befehls „Links fahren“ bewirkt, dass sich das Ende des Roboterarmgreifers in die Richtung der Y1-Achse bewegt. Wie in 9 dargestellt, sind die Achsen X1, Y1 und Z1 nicht an den Achsen X0, Y0 und Z0 ausgerichtet, was demnach zu unterschiedlichen Roboterbewegungen abhängig von der Bezugsachse führt, die zum Teleoperieren des Roboterarms verwendet wird.
-
Die vorstehend beschriebenen Ausführungsformen der Erfindung sollen nur beispielhaft sein. Der Umfang der Erfindung soll daher nur durch den Umfang der beigefügten Patentansprüche begrenzt sein.
