DE102004006596B4

DE102004006596B4 - Handeingabe von Werkstückposen

Info

Publication number: DE102004006596B4
Application number: DE102004006596A
Authority: DE
Original assignee: VISION TOOLS BILDANALYSE SYSTE; VISION TOOLS BILDANALYSE SYSTEME GmbH
Current assignee: VISION TOOLS BILDANALYSE SYSTE; VISION TOOLS BILDANALYSE SYSTEME GmbH
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2007-02-15
Anticipated expiration: 2024-02-11
Also published as: DE102004006596A1

Abstract

Verfahren zur Handeingabe von Werkstückposen eines Werkstücks (1), das mittels eines Roboters (3) gegriffen oder bearbeitet wird, wobei mit einem aus mindestens einer Kamera (2) bestehenden Sensorsystem das Werkstück (1) erfaßt wird, mit einem Bildauswertesystem (5) die Werkstückpose im Normalfall automatisch berechnet wird, auf einem Bildschirm (4) das mit dem Sensorsystem gewonnene Bild des Werkstücks dargestellt wird, und zur Steuerung die aktuelle Werkstückpose an den Roboter übermittelt wird, dadurch gekennzeichnet, daß, bei Störungen des Normalfalls mittels Handbedienung auf dem Bildschirm eine Schablone (12) so verändert wird, daß die Darstellung der Schablone (12) auf dem Bildschirm mit der Darstellung des Werkstücks (1) korrespondiert, aus dieser Veränderung am Bildschirm die aktuelle Werkstückpose berechnet wird, und an den Roboter zur Steuerung übermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zur Handeingabe der Pose von Werkstücken, die mittels Roboter gegriffen oder bearbeitet werden, nach dem Oberbegriff des Anspruchs 1.
Handeingaben sind aus den folgenden Druckschriften bekannt:
In JP 11-239989 A handelt es sich um die Kalibrierung der Grafikausgabe in einer Robotersimulation. Aufgrund der Handeingabe werden die Bewegungsparameter des Roboters aktualisiert, und zwar so, daß ein Kamerabild und die Grafikausgabe korrespondieren. Hierbei ist kein automatisches Sensorsystem im Spiel. Die Roboterparameter werden gegenüber dem ursprünglich gegebenen Robotermodell verändert. Anschauliches Beispiel: der Roboter wurde auf der Erde kalibriert und wird im Weltall betrieben. Über die Handeingabe wird eine Kalibrierung des Roboters auf die neuen Verhältnisse realisiert. Die grafische Ausgabe geschieht aufgrund eines (zu kalibrierenden) Simulationsmodells.
Bei einem chirurgischen System für Teleoprationen nach EP 0 776 739 B1 werden Manipulatoren mit End-Wirkungsgliedern, die an einer chirurgischen Behandlungs- bzw. Arbeitsstelle aneordnet sind, durch manuuell betätigte Mittel an einer Fernbedienungsstation gesteuert. Stereografische visuelle Anzeigemittel liefern dem Chirurgen ein Bild des Arbeitsraumes. Durch Anordnung des Bildes des Arbeitsraums neben den manuell betätigten Mitteln erhält der Chirurg das Gefühl, daß die End-Wirkungsglieder und die manuell betätigten Mittel integral sind. Es werden Kameras in Stereoanordnung eingesetzt, d.h. zwei Kameras betrachten gleiche Merkmale aus verschiedenen Winkeln, woraus für den Chirurgen der Eindruch räumlichen Sehens erreicht wird. Ein virtuelles Bild ist ein eingespiegeltes Kamerabild, das von einem Bildspeicher stammen kann; es handelt sich dabei nicht um eine Grafik. Der Chirurg beeinflußt manuell (indirekt) Wirkungslieder.
Bei EP 1 020 383 A1 geht es um die Generierung eines Ladeschemas beim Palettieren, indem das Ablademuster interaktiv am Bildschirm eingegeben wird.
Zum Steuern von Robotern oder sonstigen Handhabungssystemen oder Bearbeitungssystemen (im folgenden einfach Roboter genannt) werden Sensorsysteme eingesetzt, die die Position und Drehlage (kurz Pose) von Werkstücken in mehreren Freiheitsgraden bestimmen und an den Roboter weitergeben. Solche Sensorsysteme können verschiedener Art sein, z.B. Bildverarbeitungssysteme, Laser-Meßsysteme, Ultraschall-Meßsysteme.
Wenn in solchen Anlagen Störungen auftreten, sei es durch Ausfall des Sensorsystems oder eines Teils davon oder aufgrund von Problemen mit dem aktuellen Werkstück, das vorgegebenen Bedingungen nicht genügt, entstehen größere Ausfallzeiten durch die notwendigen Eingriffe (Öffnen der Schutztür, Herausnehmen des Werkstücks, Wiederstarten der Anlage..). Außerdem muß das herausgenommene Werkstück gehandhabt und ggf. verschrottet werden.
Aufgabe der Erfindung ist es, die bei solchen Störungen unumgänglichen Ausfallzeiten zu minimieren und verarbeitbare Werkstücke nicht verschrotten zu müssen.
Das Problem wird durch die Merkmale des Anspruchs 1 gelöst.
Dabei kann es sich bei dem Sensorsystem um ein Bildverarbeitungssystem handeln, das im Normalfall die Position und Drehlage des Werkstücks automatisch bestimmt, bei bestimmten Problemfällen (Beispiel: Fehlen normalerweise vorhandener Werkstückmerkmale bei Guß-Rohlingen) jedoch Rückweisungen liefern muss. Für die Handeingabe nach Anspruch 1 werden dann vorzugsweise Kamera und Bildschirm des Bildverarbeitungssystems benutzt.
Bei Störungen wird nach Anspruch 1 alleine aufgrund der Handbedienung am Bildschirm und automatisch durch geführter Rechnungen, ohne in den Prozeß selbst mechanisch eingreifen zu müssen, die aktuelle Pose des Werkstücks berechnet und an den Roboter übermittelt. Hierzu verändert die Bedienperson eine auf dem Bildschirm dargestellte Schablone derart, daß die Schablone auf dem Bildschirm mit der Darstellung des Werkstücks korrespondiert. Bei einfachen 2D-Systemen (Freiheitsgrade x, y, alpha) genügt als Veränderung eine Verschiebung und Verdrehung einer starren Schablone. Bei 3D-Systemen mit 6 Freiheitsgraden besteht die Schablone vorzugsweise aus mehreren Einzelmerkmalen (z.-B. Ecken, Löcher), die einzeln manuell am Bildschirm verschoben und ggf. verdreht werdne können. In Sonderfällen genügt bei 3D-Systemen (z.B. bei Freiheitsgraden x, y, z, alpha) eine verschiebbare, verdrehbare und größenveränderbare Schablone.
Die Erfindung wird nun anhand der nachfolgenden Zeichnungen näher erläutert:
1 zeigt eine schematische Ansicht des Roboters mit Sensorund Bildauswertesystem,
2 und 3 eine Ansicht einer einfachen 2D-Aufgabe.
1 zeigt eine solche Szene, in der ein Bildauswertesystem als Sensorsystem eingesetzt wird, mit einem Werkstück 1, einer Kamera 2, einem Roboter 3, einem Bildschirm 4, und dem Bildauswertesystem 5, das mit Kamera 2 und Bildschirm 4 verbunden ist und ein Mittel zur Übertragung von Posedaten an den Roboter besitzt.
Die Kamera kann fest montiert sein oder beweglich, z.B. am Roboter selbst.
Die 2 und 3 zeigen eine einfache 2D-Aufgabe (Freiheitsgrade x, y, alpha).
2 zeigt eine Bildschirmszene mit der 11 des Werkstückes 1, mit einer Schablone 12, bestehend aus einzelnen Merkmalen, im speziellen Kanten 13 und Ecken 14, optional mit verbindenden (punktierten) Linien 15.
3 zeigt die gleiche Werkstückaufnahme, jedoch mit der Schablone per Handeingabe zurechtgeschoben und zurechtgedreht.
Die Veränderung kann allgemein realisiert werden mit bekannten Verfahren wie Betätigen von realen Knöpfen oder Joysticks, oder in den Bildschirm eingeblendeten Bedienelementen oder durch Drag-and-Drop-Technik oder durch Anclicken signifikanter Punkte als Merkmale. (Beispiel: Löcher und Ecken). Die verbindenden Linien 15 zwischen den Merkmalen müssen nicht notwendigerweise realen Kanten entprechen und werden zur besseren Verständlichkeit für den Benutzer eingeblendet.
In besonderer Ausgestaltung handelt es sich um einen Touch Screen Monitor, auf dem die Schablone bzw. die Merkmale direkt verschoben und verdreht werden können, wie dies bei CAD-Systemen üblich ist.
Die Schablone kann verschiedenste Ausführungsformen besitzten. Prinzipiell genügen bei 2D-Systemen (Freiheitsgrade x, y, alpha) beispielsweise zwei gerade Kanten, oder zwei Punkte oder ein Punkt und eine Kante, die grafisch als Overlay in das Bild eingeblendet werden. In der Praxis wird man jedoch eine mehr bildhafte Darstellung des Werkstücks wählen, um der Bedienperson die Assoziation zu der Erscheinungsweise des Werkstücks zu erleichtern. Vorteilhaft ist es dabei, signifikante Punkte besonders herausgehoben darzustellen.
In Sonderfällen genügt es, eine Visualisierung der im Normalfall verwendeten Bildverarbeitungsmerkmale des Bildverarbeitungssystems (Beispiele: Konturen, Löcher, Testpunkte, Templates) als Schablone für die Handeingabe zu verwenden.
In besonderer Ausgestaltung wird für 3D-Systeme eine Kamera mit kurzberennweitigem Objektiv eingesetzt und eine Schablone mit mindestens drei punktuellen, im Bild weit auseinder liegenden Merkmalen. In besonderer Ausgestaltung werden für 3D-Systeme mindestens zwei Kameras eingesetzt mit mindestens einer Schablone pro Kamera. Über die Handeingabe ist es auch in diesen Fällen möglich, die Werktückpose automatisch zu berechnen. Dazu werden die bekannten Methoden verwendet, wie sie aus der automatischen 3D-Bildanalyse bekannt sind. Damit können zum Beispiel aufgrund einfacher Handeingabe schwierige, nicht automatisch voll beherrschbare Einzelfälle beim sog. Griff in die Kiste oder durcheinander und übereinander auf einem Förderband liegender Teile gehandhabt werden. Ein spezieller Fall ist dabei der Einsatz von vorzugsweise drei Kameras, die aus verschiedenen Richtungen auf das Werkstück bzw. auf die Werkstücke orientiert sind, wobei bei der Handbedienung pro Kamera je mindestens ein punktuelles Merkmal (z.B. ein Loch, für jede Kamera ein anderes Merkmal) angeclickt wird. Aus den so manuell gewonnenen Daten kann bei kalibrierten Kameras mit Verfahren, die aus der Bildauswertung bekannt sind, die 3D-Werkstückpose berechnet werden.
Notwendige Anzahl der Kameras sowie Art und Anzahl der Schablonenmerkmale ergeben sich generell aus geometrischen Überlegungen, wie aus der automatischen Bildanalyse bekannt (Schablonenmerkmale sind explizit oder implizit Bestandteil der Schablone, z.B. besitzt eine Rechteckschablone 2 Geraden, aus denen sich eine 2D-Pose ergibt, die restlichen Geraden sind redundant).
Beispiele:
Natürlich genügt beim Einsatz von mehreren Kameras ein einzelner Bildschirm, auf dem die Werkstückbilder gleichzeitig (nebeneinander) oder zeitlich hintereinander dargestellt werden.
Die vorliegende Erfindung besitzt eine besondere Bedeutung für sogenannte Assistenzsysteme, wie sie derzeit intensiv erforscht bzw. entwickelt werden; bei Ihnen befindet sich in der Nähe des Roboters immer eine Bedienperson, die bei Problemen sofort für die Handeingabe zur Verfügung steht.

Claims

Verfahren zur Handeingabe von Werkstückposen eines Werkstücks (1), das mittels eines Roboters (3) gegriffen oder bearbeitet wird, wobei mit einem aus mindestens einer Kamera (2) bestehenden Sensorsystem das Werkstück (1) erfaßt wird, mit einem Bildauswertesystem (5) die Werkstückpose im Normalfall automatisch berechnet wird, auf einem Bildschirm (4) das mit dem Sensorsystem gewonnene Bild des Werkstücks dargestellt wird, und zur Steuerung die aktuelle Werkstückpose an den Roboter übermittelt wird, dadurch gekennzeichnet, daß, bei Störungen des Normalfalls mittels Handbedienung auf dem Bildschirm eine Schablone (12) so verändert wird, daß die Darstellung der Schablone (12) auf dem Bildschirm mit der Darstellung des Werkstücks (1) korrespondiert, aus dieser Veränderung am Bildschirm die aktuelle Werkstückpose berechnet wird, und an den Roboter zur Steuerung übermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Veränderung der Schablone (12) diese am Bildschirm (4) verschoben und/oder verdreht wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für die Handeingabe einer dreidimensionalen Werkstückpose eine Kamera (2) mit kurzbrennweitigem Objektiv eingesetzt wird und daß die Schablone (12) aus mindestens drei Merkmalen (13, 14, 15) besteht, die am Bildschirm manuell verändert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für die Handeingabe einer dreidimensionalen Werkstückpose mindestens zwei Kameras eingesetzt werden und dass für jede Kamera eine Schablone verändert wird, daß jede Schablone mindestens ein Merkmal besitzt und daß insgesamt mindestens drei Merkmale (13, 14, 15) verwendet werden, die am Bildschirm manuell verändert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für die Handeingabe einer dreidimensionalen Werkstückpose mindestens drei Kameras eingesetzt werden, dass für jede Kamera eine Schablone verändert wird und dass jede Schablone mindestens ein Merkmal besitzt, das am Bildschirm manuell verändert wird.