DE4236813A1

DE4236813A1 -

Info

Publication number: DE4236813A1
Application number: DE4236813A
Authority: DE
Inventors: Yasuhiro Iida; Yasuo Nagoya Jp Hibi; Toshio Toyoake Aichi Jp Kato; Hiroshi Bloom Field Mich. Us Harada
Original assignee: NipponDenso Co Ltd
Current assignee: Denso Corp
Priority date: 1991-10-30
Filing date: 1992-10-30
Publication date: 1993-05-06
Anticipated expiration: 2012-10-31
Also published as: GB2261069B; GB2261069A; GB9222280D0; DE4236813C2; US5446835A

Description

Die Erfindung betrifft ein Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände oder Teile, nach dem Oberbegriff des Anspruches 1 bzw. 6 bzw. 8 bzw. 9. Insbeson dere betrifft die vorliegende Erfindung ein Hochgeschwindig keits-Greifsystem, mit dem übereinanderliegende, aufeinan dergestapelte oder angehäufte Gegenstände oder Teile, welche sich innerhalb eines Behälters befinden nacheinander ergrif fen werden können.

Es ist bekannt, zum nacheinander Ergreifen einer Mehrzahl von Gegenständen oder Teilen Grauskala-Daten variabler Dichte auf der Grundlage eines Videosignales zu erzeugen, wobei das Videosignal mittels einer Bildeingabekamera er zeugt wird. Nachfolgend werden die Daten differenziert, um die Kammlinie von Randbilddaten zu erhalten, um eine Grenz linie zu extrahieren, um daraus ein Liniensegmentbild zu er halten. Weiterhin wird eine Musteranpassung zwischen diesem Liniensegmentbild und einem Vergleichsmodell entsprechend der Formgebung eines Gegenstandes oder Teiles bewirkt, um das oberste Teil aus der Vielzahl von Teilen zu erkennen und zu ergreifen. Allerdings sind für gewöhnlich Teile oder Ge genstände übereinander innerhalb eines Aufnahmebehälters oder dergleichen angeordnet oder gestapelt, so daß jedes der gestapelten oder aufgehäuften Teile gegenüber der horizonta len Ebene mehr oder weniger stark geneigt oder verkippt ist. In diesem Fall bestehen Schwierigkeiten eines der Teile auf der Grundlage des Vergleichsmodelles zu erkennen und zu er greifen, da das Vergleichsmodell unter der Annahme gebildet wird, daß das oberste Teil gegenüber der Horizontalen nicht gekippt oder geneigt ist.

Demgegenüber ist es Aufgabe der vorliegenden Erfindung, ein Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände zu schaffen, welches in der Lage ist, übereinan der gestapelte oder aufgehäufte Gegenstände mit hoher Ge schwindigkeit zu erkennen und zu ergreifen.

Die Lösung dieser Aufgabe erfolgt erfindungsgemäß durch die im Anspruch 1 bzw. 6 bzw. 8 bzw. 9 angegebenen Merkmale.

Demzufolge ist gemäß eines ersten Aspektes der vorliegenden Erfindung ein Hochgeschwindigkeits-Greifsystem vorgesehen für übereinanderliegende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bil denden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grund lage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Mehrzahl von Händen eines Roboters ergriffen werden können, welches dadurch gekennzeichnet ist, daß es aufweist: Einrichtungen zum Speichern einer Mehrzahl von Vergleichsmodellen, welche vorab auf der Grundlage von Daten festgesetzt werden, welche eine Formgebung spezifizieren, wenn eine Mehrzahl von speziellen Abschnitten der Teile je weils Grundpositionen einnehmen, wobei die Mehrzahl von Ver gleichsmodellen so angeordnet ist, daß sie der Mehrzahl von speziellen Abschnitten entsprechen, um die Mehrzahl von spe ziellen Abschnitten in dem zweidimensionalen Bild zu erken nen, wobei jeder aus der Mehrzahl von speziellen Abschnitten eine einfache Form hat, um das Halten des Teiles zu ermögli chen; Einrichtungen zum Speichern von Handinformationen für die Mehrzahl von Händen, von denen jede das Halten eines je den aus der Mehrzahl von speziellen Abschnitten ermöglicht;, Erkennungsvorrichtungen für den speziellen Abschnitt zum De tektieren aus der Mehrzahl von speziellen Abschnitten einen Bereich des zweidimensionalen Bildes, der durch einen Ver gleich mit der Mehrzahl von Vergleichsmodellen erkannt wird; Einrichtungen zum Bestimmen einer Lage des speziellen Ab schnittes, detektiert durch die Detektionsvorrichtungen für den speziellen Abschnitt; und Befehlseinrichtungen zum Aus wählen und Positionieren einer Hand aus der Mehrzahl von Händen entsprechend dem speziellen Abschnitt an der bestimm ten Position, um den speziellen Abschnitt zu greifen.

Ein Hochgeschwindigkeits-Greifsystem für übereinanderlie gende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zwei dimensionalen Bild, um eine Mehrzahl von bildenden Linien segmenten, welche die Grenzlinien bilden, aus den Grenzli nien zu extrahieren, um die Teile auf der Grundlage der bil denden Liniensegmente zu erkennen, so daß die Teile von ei ner Hand eines Roboters ergriffen werden können, ist gemäß eines zweiten Aspektes der vorliegenden Erfindung dadurch gekennzeichnet, daß es aufweist: Einrichtungen zum Speichern einer Mehrzahl von Vergleichsmodellen, welche vorab auf der Grundlage von Daten festgesetzt werden, welche eine Formge bung spezifizieren, wenn eine Mehrzahl von speziellen Ab schnitten der Teile jeweils Grundpositionen einnehmen, wobei die Mehrzahl von Vergleichsmodellen so angeordnet ist, daß sie der Mehrzahl von speziellen Abschnitten entsprechen, um die Mehrzahl von speziellen Abschnitten in dem zweidimensio nalen Bild zu erkennen, wobei jeder aus der Mehrzahl von speziellen Abschnitten eine einfache Form hat, um das Halten des Teiles zu ermöglichen; Einrichtungen zum Speichern eines Vergleichsgrenzwertes, der vorab auf der Basis eines Nei gungsgrenzwinkels des speziellen Abschnittes relativ zur Grundposition gesetzt wird und der einen Bereich anzeigt, der das Halten des speziellen Abschnittes durch die Hand er laubt und der einen erlaubten Nichtübereinstimmungsbereich zwischen dem speziellen Abschnitt und dem Vergleichsmodell anzeigt; Detektionseinrichtungen für den speziellen Ab schnitt zum Detektieren als speziellen Abschnitt einen Be reich in dem zweidimensionalen Bild, der innerhalb des Nichtübereinstimmungsbereiches ist, der durch den Ver gleichsgrenzwert bestimmt ist und der anhand des Vergleichs modells erkannt wird; Einrichtungen zum Bestimmen einer Lage des detektierten speziellen Abschnittes; und Befehlseinrich tungen zum Positionieren der Hand an der bestimmten Position des detektierten speziellen Abschnittes, um den speziellen Abschnitt zu greifen.

Gemäß eines dritten Aspektes der vorliegenden Erfindung ist ein Hochgeschwindigkeits-Greifsystem vorgesehen für überein anderliegende Gegenstände oder Teile zum Erhalt von Grenzli nien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Lini ensegmenten, welche die Grenzlinien bilden, aus den Grenzli nien zu extrahieren, um die Teile auf der Grundlage der bil denden Liniensegmente zu erkennen, so daß die Teile von ei ner Hand eines Roboters ergriffen werden können, welches da durch gekennzeichnet ist, daß es aufweist: Einrichtungen zum Speichern einer Mehrzahl von Vergleichsmodellen, welche vorab auf der Grundlage von Daten festgesetzt werden, welche eine Formgebung spezifizieren, wenn ein spezieller Abschnitt des Teiles eine Grundposition einnimmt, wobei das Ver gleichsmodell so angeordnet ist, daß es dem speziellen Ab schnitt entspricht, um den speziellen Abschnitt in dem zwei dimensionalen Bild zu erkennen, wobei der spezielle Ab schnitt eine einfache Form hat, um eine visuelle Erkennung zu ermöglichen; Einrichtungen zum Speichern eines Greifab schnittes, der vorab auf der Grundlage von Daten festgesetzt wird, welche eine quantitative Relativbeziehung zu einem das Halten ermöglichenden Abschnittes des speziellen Abschnittes in Übereinstimmung mit dem Erkennen des speziellen Abschnit tes spezifizieren; Detektionseinrichtungen für den speziel len Abschnitt zum Detektieren als speziellen Abschnitt einen Bereich in dem zweidimensionalen Bild, der durch Vergleich an einem Vergleichsmodell erkannt wird; Einrichtungen zum Bestimmen einer Greifposition auf der Grundlage einer quan titativen relativen Lagebeziehung zwischen dem detektierten speziellen Abschnitt und dem zu greifenden Abschnitt ent sprechend dem speziellen Abschnitt; und Befehlseinrichtungen zum Positionieren der Hand an der bestimmten zu greifenden Position, um das Teil zu greifen.

Schließlich ist gemäß eines vierten Aspektes der vorliegen den Erfindung ein Hochgeschwindigkeits-Greifsystem vorgese hen für übereinanderliegende Gegenstände oder Teile zum Er halt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grundlage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Hand eines Roboters ergriffen werden können, welches dadurch gekennzeichnet ist, daß es aufweist: Einrichtungen zum Speichern einer Mehrzahl von Vergleichsmo dellen, welche vorab auf der Grundlage von Daten festgesetzt werden, welche eine Formgebung spezifizieren, wenn ein spe zieller Abschnitt des Teiles eine Grundposition einnimmt, wobei das Vergleichsmodell so angeordnet ist, daß es dem speziellen Abschnitt entspricht, um den speziellen Abschnitt in dem zweidimensionalen Bild zu erkennen, wobei der spe zielle Abschnitt eine einfache Form hat, um eine visuelle Erkennung zu ermöglichen; Einrichtungen zum Speichern eines Lagevergleichsmodelles, welches vorab auf der Grundlage von Daten gesetzt wird, welche eine Konfiguration spezifizieren, wenn das Teil eine bestimmte Position einnimmt, wobei das Lagevergleichsmodell dafür dient, eine Lage des speziellen Abschnittes auf der Grundlage der Erkennung des speziellen Abschnittes zu spezifizieren; Detektionseinrichtungen für den speziellen Abschnitt zum Detektieren als speziellen Ab schnitt einen Bereich in dem zweidimensionalen Bild, der durch einen Vergleich mit dem Vergleichsmodell erkannt wird; Einrichtungen zum Bestimmen einer Position des detektierten speziellen Abschnittes; Befehlseinrichtungen zum Positionie ren der Hand an der bestimmten Position, um das Teil zu er greifen; Einrichtungen zum Berechnen eines Lagekorrekturbe trages, der eine Abweichung zwischen einer Lage des Teiles anzeigt, welches durch Vergleich zwischen einer Mehrzahl von Liniensegmenten extrahiert von Grenzlinien eines zweidimen sionalen Bildes des einzelnen Teiles ausgewählt wurde und dem Lagevergleichsmodell für den Fall, daß ein einzelnes Teil durch Halten des speziellen Abschnittes durch die Hand ergriffen wird; und Befehlseinrichtungen zum Korrigieren der Lage des Teiles auf der Grundlage des berechneten Lagekor rekturbetrages.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den jeweiligen Unteransprüchen.

Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die Zeichnung.

Es zeigt

Fig. 1 die Gesamtansicht eines Hochgeschwindigkeits-Greif systems gemäß einer ersten Ausführungsform der vor liegenden Erfindung;

Fig. 2 ein Blockdiagramm zu Veranschaulichung des Aufbaus eines wesentlichen Teiles aus dem System gemäß Fig. 1;

Fig. 3 ein Flußdiagramm zur Veranschaulichung eines Pro zeßablaufes in einer zentralen Datenverarbeitungs einheit in dem System gemäß Fig. 2;

Fig. 4 Darstellungen von Lagezuständen von Gegenständen oder Teilen innerhalb eines Behälters;

Fig. 5 die wesentlichen Schritte der Greifvorgänge von übereinander gestapelten oder aufgehäuften Teilen unterschiedlichster Formgebung;

Fig. 6 die Gesamtansicht eines Hochgeschwindigkeits-Greif systems gemäß einer zweiten Ausführungsform der vor liegenden Erfindung;

Fig. 7 eine Ansicht ähnlich der von Fig. 2 für das System von Fig. 6;

Fig. 8 ein Flußdiagramm zur Veranschaulichung des Prozeßab laufes in einer zentralen Datenverarbeitungseinheit in dem System von Fig. 6;

Fig. 9A und 9B Darstellungen zur Beschreibung von Rechenver fahren für die Mitten eines Kreises und einer El lipse in der zweiten Ausführungsform;

Fig. 10 eine Darstellung zur Beschreibung von Arbeitsstel lungen welche Greifen erlauben bzw. nicht erlauben;

Fig. 11 eine graphische Darstellung zur Beschreibung der Wahrscheinlichkeit eines erfolgreichen Greifvorgan ges relativ zum Neigungswinkel eines Gegenstandes oder Teiles;

Fig. 12A und 12B Darstellungen zur Beschreibung von Zyklus zeiten bei der Erkennung eines Kreises bzw. einer Ellipse;

Fig. 13 die Gesamtansicht eines Hochgeschwindigkeits-Greif systems gemäß einer dritten Ausführungsform der vor liegenden Erfindung;

Fig. 14 eine Ansicht ähnlich der von Fig. 2 oder Fig. 7 für das System gemäß Fig. 13;

Fig. 15 bis 17 Flußdiagramme zur Darstellung des Prozeßab laufes in einer zentralen Verarbeitungseinheit im System von Fig. 13;

Fig. 18 die grundlegenden Schritte von Greifvorgängen für gestapelte oder aufeinandergehäufte Teile unter schiedlichster Formgebung;

Fig. 19A und 19B Darstellungen zur Beschreibung der Schritte und der nötigen Zeiten für den Fall des Ergreifens eines Teiles aus einer Mehrzahl von aufeinanderge häuften Teilen;

Fig. 20A bis 20C Darstellungen zur Beschreibung anderer La gekorrekturverfahren von einem Teil, welches von aufeinandergestapelten Teilen weg ergriffen wird;

Fig. 21 ein Blockdiagramm zur Darstellung des Aufbaues eines wesentlichen Teiles eines Hochgeschwindigkeits- Greifsystems gemäß einer vierten Ausführungsform der vorliegenden Erfindung;

Fig. 22 und 23 Flußdiagramme zur Veranschaulichung eines Prozeßablaufes, der in einer zentralen Verarbei tungseinheit in dem System von Fig. 21 erfolgt;

Fig. 24 eine Draufsicht auf ein Werkstück oder einen Gegen stand mit einer aufgedruckten Markierung darauf; und

Fig. 25 Darstellungen von Anordnungen von Gegenständen, wel che das Ergreifen ermöglichen bzw. nicht ermögli chen.

Unter Bezug auf die Fig. 1 und 2 erfolgt nachfolgend eine Beschreibung einer ersten Ausführungsform der vorliegenden Erfindung. Gemäß Fig. 1 umfaßt das erfindungsgemäße Hochge schwindigkeits-Greifsystem 100 im wesentlichen eine Bildein gabekamera 10, eine Objekterkennungsvorrichtung 20, einen Greifroboter 30 mit einer Hand 40, welche an ihrem Endab schnitt einen Finger aufweist, mit dem ein Gegenstand oder Werkstück W greifbar ist und Austauschhänden 41, 42 und 43. Die Austauschhände 41 bis 43 sind bei Bedarf an dem Greifro boter 30 abhängig von bestimmten Abschnitten der Werkstücke W anordenbar. Beispielsweise dient die am Greifroboter 30 von Fig. 1 angeordnete Hand 40 dazu, ein Werkstück W an ei nem bestimmten Abschnitt einfacher Formgebung, beispiels weise an einem kreisförmigen Loch in dem Werkstück W zu er greifen, die Hand 41 ist zum Halten eines Werkstückes W an deren äußerer Form, die Hand 42 ist zum Halten eines Werk stückes W dadurch, daß in eine Bohrung des Werkstückes W eingegriffen und verhakt wird und die Hand 43 ist zum Halten eines Werkstückes W durch Ansaugen an einem flachen Ab schnitt des Werkstückes W. Auf einem Arbeitstisch ist ein Behälter T angeordnet, in welchem sich eine Mehrzahl der Werkstücke W in einem übereinandergestapelten oder aufge häuften Zustand befindet.

Gemäß Fig. 2 ist die Bildeingabekamera 10 oberhalb des Be hälters T mit den Werkstücken oder Teilen W darin angeordnet und weiterhin ist eine Beleuchtungsvorrichtung L vorgesehen, mit der die Werkstücke W gleichmäßig aus einer Position oberhalb der Mitte des Behälters T beleuchtbar sind. Die Ob jekterkennungsvorrichtung 20 umfaßt eine zentrale Verarbei tungseinheit (CPU) 21 zur Durchführung von Datenverarbei tungsabläufen wie beispielsweise Vergleichen und Entscheiden und eine Bildverarbeitungseinheit 22 zur Durchführung von Datenverarbeitungsvorgängen wie beispielsweise Verarbeiten eines Videosignales von der Bildeingabekamera 10, um die Grenzlinie eines zu erkennenden Gegenstandes zu detektieren, um Liniensegmente zu extrahieren, welche die Grenzlinie bil den oder um kombinierte Rand- oder Kantenbilder zu erhalten. Weiterhin befindet sich in der Bilderkennungsvorrichtung 20 eine Speichereinheit 23, in der Daten eines Vergleichsmodel les und Daten bezüglich der Werkstücke gespeichert sind, so wie eine Beleuchtungssteuereinheit 24.

Die Bildverarbeitungseinheit 22 umfaßt einen Bildeingabeab schnitt 221 zum Einlesen eines Videosignales von der Kamera 10, um Grauskalen-Pegel zu digitalisieren zur Erzeugung von Grauskalen-Bilddaten, einen Kanten-Erkennungsabschnitt 222 zum Erhalten eines Helligkeitsgradienten von den Grauskalen- Bilddaten mittels einer Differentialberechnung, um Kanten- Bilddaten zu erzeugen, welche die Kanten eines Objektbildes anzeigen und einen Segment-Extraktionsabschnitt 223 zum Auf finden der Grenzlinie auf der Grundlage der Kanten-Bildda ten, um die bildenden Liniensegmente der Grenzlinie zu ex trahieren, um Daten zu erzeugen, welche die Lagen der bil denden Liniensegmente anzeigen. Die Speichereinheit 23 weist weiterhin ein RAM und andere Speichervorrichtungen auf mit einem Vergleichsmodell-Speicherbereich 231, der als Ver gleichsmodell-Speichereinrichtung dient, in welcher eine Mehrzahl von Vergleichsmodellen vorab auf der Grundlage von Daten abgespeichert ist, welche eine bestimmte Formgebung spezifizieren. Weiterhin weist die Speichereinheit 23 einen Handinformations-Speicherbereich 232 auf, der als Handinfor mations-Speichereinrichtung dient, in der eine Mehrzahl von Handinformationen gespeichert ist, um es zu ermöglichen, daß die Mehrzahl von bestimmten Abschnitten an den Werkstücken ergriffen werden können und einen Erkennungsergebnis- Speicherbereich 233 zur Speicherung der Vergleichsergebnisse des Liniensegmentbildes entsprechend einer Anzahl von Werk stücken innerhalb des Behälters T.

Unter Bezug auf das Flußdiagramm von Fig. 3 erfolgt nachfol gend eine Beschreibung des Prozeßablaufes in der Objekt-Er kennungsvorrichtung 20 nach der Eingabe des Videosignales einer Anzahl von Werkstücken W von der Bildeingabekamera 10 und der Extraktion der bildenden Liniensegmente. Hier wird für den Fall, daß Kammlinien eines parallelen geraden Zap fens vorliegen, der als Zustand 1 in Fig. 4 durch die Strichlierung hervorgehoben ist, dieser spezielle Bereich anhand eines Vergleichsmodells (1) überprüft, wobei das Ver gleichsmodell sich ausdrücken läßt als "Liniensegmente par allel zueinander und in gleicher Länge". In dem Fall, daß die Kammlinien eines parallelen Zapfens oder Bolzens so vor liegen, wie sie in Fig. 4 als Zustand 2 durch die Strichlie rung hervorgehoben sind, wird dieser spezielle Bereich oder Abschnitt des Werkstückes anhand eines Vergleichsmodells (2) überprüft, welches sich ausdrücken läßt als "Liniensegmente parallel zueinander aber in unterschiedlicher Länge". In dem Fall, daß ein kreisförmiges Loch vorliegt, welches in Fig. 4 als Zustand 3 durch die Strichlierung hervorgehoben ist, wird dieser spezielle Bereich anhand eines Vergleichsmodells (3) überprüft, welches sich als "Kreis" ausdrücken läßt.

Zunächst wird die Beleuchtungsvorrichtung L durch die Be leuchtungssteuereinheit 24 eingeschaltet und das von der Bildeingabekamera 10 stammende Videosignal wird in den Bild eingabeabschnitt 221 der Bildverarbeitungseinheit 22 einge geben. Der Bildeingabeabschnitt 221 tastet das Videosignal ab und setzt es in ein digitales Signal um, um ein Grauska labild zu erzeugen. Die Grauskala-Bilddaten werden dem Kan ten-Erkennungsabschnitt 222 eingegeben, dort differenziert und ein Kantenbild erzeugt. Diese Kantenbild-Daten werden dem Segment-Extraktionsabschnitt 223 eingegeben, um die Grenzlinie des Objektes durch Auffinden der Kammlinien zu extrahieren. Die Grenzlinie wird weiterhin durch eine ab geknickte Linie, einen Kreis oder dergleichen angenähert, um ein Liniensegment-Bild zu erhalten.

Gemäß Fig. 3 wird in einem Schritt 100 von der CPU 21 das Liniensegment-Bild von der Bildverarbeitungseinheit 22 ein gegeben. In einem Schritt 102 wird eine serielle Linienseg ment-Gruppe von dem eingegebenen Liniensegment-Bild extra hiert und es erfolgt eine Suche anhand des Vergleichsmodells (1) nach dem speziellen Abschnitt oder Bereich des Werk stückes W "Liniensegments parallel (Abstand ml) und gleiche Länge (l1)". Hier erfolgt beispielsweise die Suche anhand einer Mehrzahl von Vergleichsmodellen in der Reihenfolge ei ner abnehmenden Häufigkeitsrate von Zuständen innerhalb des Behälters T gemäß Fig. 4. Wenn weiterhin die Greiferfolg- Wahrscheinlichkeit von jedem Lagezustand vorab bekannt ist, kann es auch vorteilhaft sein, die Suche anhand der Ver gleichsmodelle in der Reihenfolge einer abnehmenden Greifer folgs-Wahrscheinlichkeit durchzuführen.

Nachfolgend wird ein Schritt 104 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche anhand des Ver gleichsmodells (1) gefunden worden ist. Wenn die Antwort im Schritt 104 bejahend ist, folgt ein Schritt 106, wo Informa tionen hinsichtlich der Position (Koordinatenlage mit Rich tung) des speziellen Abschnittes des Werkstückes W gesucht mit dem Vergleichsmodell (1) und der Hand (Handnummer), wel che in der Lage ist, diesen speziellen Bereich zu halten dem Greifroboter 30 zugeführt werden. Wenn die Antwort im Schritt 104 negativ ist, folgt ein Schritt 108, um eine se rielle Liniensegment-Gruppe von dem eingegebenen Linienseg ment-Bild zu extrahieren, um eine Suche auf der Grundlage des Vergleichsmodells (2) durchzuführen entsprechend dem speziellen oder bestimmten Abschnitt des Werkstückes W "Li niensegmente parallel (Distanz m2) mit unterschiedlichen Längen (l2, l3)".

Nach dem Schritt 108 wird ein Schritt 110 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche an hand des Vergleichsmodells (2) gefunden worden ist. Wenn die Antwort im Schritt 110 bejahend ist, wird ein Schritt 112 zugeführt, wo Informationen hinsichtlich der Position des speziellen Abschnittes des Werkstückes W gesucht durch das Vergleichsmodell (2) und der Hand, die in der Lage ist, die sen speziellen Abschnitt zu greifen dem Greifroboter 30 zu geführt werden. Wenn andererseits die Antwort im Schritt 110 negativ ist, folgt ein Schritt 114, um eine serielle Linien segment-Gruppe von dem eingegebenen Liniensegment-Bild zu extrahieren, um eine Suche auf der Grundlage des Vergleichs modells (3) durchzuführen, welches dem speziellen Abschnitt des Werkstückes W "Kreis (c)" entspricht.

Obgleich hier die Vergleichsmodelle (1), (2) und (3) in den oben erwähnten Schritten 102, 108 und 114 auf der Grundlage von Daten vorabbestimmt sind, welche die Konfigurationen spezifizieren, wenn die speziellen Abschnitte oder Bereiche des Werkstückes W die Grundposition einnehmen, kann der Übereinstimmungsbereich beim Vergleich vergrößert werden durch Verwendung des Grenzwinkels bei dem das Werkstück W noch gegriffen und gehalten werden kann, wenn das Werkstück W einen geneigten oder verkippten Zustand einnimmt.

Nachfolgend wird ein Schritt 116 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche anhand des Ver gleichsmodells (3) gefunden worden ist. Wenn die Antwort im Schritt 116 bejahend ist, folgt ein Schritt 118, wo Informa tionen hinsichtlich der Position des speziellen Abschnittes des Werkstückes W gesucht durch das Vergleichsmodell (3) und der Hand, die in der Lage ist, diesen speziellen Abschnitt zu greifen dem Greifroboter 30 zugeführt werden. Wenn ande rerseits die Antwort im Schritt 116 negativ ist, folgt ein Schritt 120, in dem ein Anregungsbefehl ausgegeben wird, der eine entsprechende Vorrichtung ansteuert, mit der der Behäl ter T gerüttelt oder geschüttelt wird, um die Lagezustände der Werkstücke W zum Zeitpunkt des nächsten Eingebens des Liniensegmentbildes zu ändern, um die Wahrscheinlichkeit zu erhöhen, daß die Suche durch die Vergleichsmodelle möglich bzw. erfolgreich wird.

Danach folgt ein Schritt 122, wo die Anzahl der Anregungen gezählt wird. Dieser Zählzustand wird anfangs auf 0 gesetzt und immer dann erhöht, wenn die Suche anhand der gesamten Vergleichsmodelle ohne Erfolg endet. In einem Schritt 124 wird überprüft, ob der Zählzustand C3 ist. Dies bedeutet, daß in dem Fall, in dem die Zustände oder Lagen der Werk stücke W ungeachtet von drei Rüttel- oder Schüttelvorgängen sich nicht ändern, so daß drei Suchvorgänge mit allen Ver gleichsmodellen ohne Erfolg enden, entschieden wird, daß die Werkstücke W innerhalb des Behälters T nicht mehr vorhanden sind oder die vorhandenen Lagezustände der verbleibenden Werkstücke W so schlecht sind, daß sie für eine weitere Su che nicht geeignet sind. Hierdurch wird das Programm been det.

Die Schritte 102, 108 und 114 sind hierbei als Erkennungs vorrichtungen für einen speziellen Abschnitt, die Schritte 104, 110 und 116 als Bestimmungsvorrichtungen für eine Posi tion und die Schritte 106, 112 und 118 als Befehlsvorrich tungen zu verstehen.

Durch Durchführung des oben beschriebenen Programmablaufes wird ein Teil, der anhand einer Mehrzahl von Vergleichsmo dellen erkannt worden ist, welche in Übereinstimmung mit ei ner Mehrzahl von speziellen Abschnitten dieses Teiles gebil det sind durch den Greifroboter 30 mit einer der Hände 40 bis 43 ergriffen. Somit können die Greifvorgänge, welche durch die Mehrzahl von Händen entsprechend der Mehrzahl von Abschnitten des Teiles bewirkt werden, die Greiferfolgs- Wahrscheinlichkeit extrem verbessern. Obgleich in der oben beschriebenen Ausführungsform die Hände des Greifroboters den Vergleichsmodellen zur Suche des speziellen Abschnittes des Teiles eins zu eins entsprechen ist es nicht immer not wendig, eine Mehrzahl von Händen bereitzuhalten. Wenn bei spielsweise die Teile durch die gleiche Hand ergriffen wer den können, selbst wenn die speziellen Abschnitte oder Be reiche der Teile sich voneinander unterscheiden, beispiels weise dann, wenn die speziellen Abschnitte flach ausgebildet sind und sich nur in ihrer Breite unterscheiden ist es nicht nötig, eine Mehrzahl von Händen bereitzustellen. Obgleich weiterhin in der oben beschriebenen Ausführungsform ein Kreis oder ein paralleler Abschnitt als die Mehrzahl von speziellen Abschnitten des Werkstückes oder Teiles ausge wählt worden ist, ist es genausogut möglich, ein Langloch, eine gerade Linie, einen Bogen, eine Kante oder andere Ab schnitte oder Bereiche als die jeweiligen speziellen Ab schnitte auszuwählen. Zusätzlich ist es möglich oder vor teilhaft, eine Stanzmarke, eine aufgedruckte Markierung oder dergleichen als speziellen Abschnitt auszuwählen. In diesem Fall kann ein Abschnitt der äußeren Formgebung als Halteab schnitt oder Halteposition ausgewählt werden.

Fig. 5 zeigt die grundlegenden Schritte für den Hochge schwindigkeits-Greifvorgang von übereinandergestapelten oder aufgeschütteten Teilen mit einer Anzahl von unterschiedli chen Formgebungen.

Obgleich weiterhin in der oben beschriebenen Ausführungsform der Greifvorgang auf der Annahme durchgeführt wird, daß ein Teil einige spezielle zu haltende Abschnitte hat, ist das System auch in dem Fall anwendbar, in dem unterschiedliche Arten von Teilen gemischt innerhalb des Behälters vorliegen. In diesem Fall ist es möglich, wenn der spezielle Abschnitt eines jeden Teiles eingegrenzt und erkannt worden ist, die Teile durch Hände sicher zu halten, welche für die jeweili gen speziellen Bereiche oder Abschnitte geeignet sind. Ob gleich weiterhin die zu haltenden Gegenstände bei der be schriebenen Ausführungsform übereinandergestapelte oder auf geschüttete Gegenstände sind, ist die vorliegende Erfindung auch anwendbar bei einem Teil, welches frei auf einer Ebene liegt, bei unterschiedlichen Teilen, die ineinandergeschüt tet sind und bei Teilen, welche getrennt innerhalb eines Be hälters angeordnet sind, der in einzelne Fächer oder Ab schnitte unterteilt ist.

Wie beschrieben speichert bei der vorliegenden Erfindung das Hochgeschwindigkeits-Greifsystem eine Mehrzahl von Ver gleichsmodellen, welche vorherbestimmt sind auf der Grund lage von Daten, welche die Formgebungen spezifizieren, wenn eine Mehrzahl von speziellen Abschnitten einfache Formgebung haben, um es Halteteilen zu erlauben, die speziellen Ab schnitte zu greifen und speichert weiterhin Informationen für eine Mehrzahl von Händen eines Roboters, der die Mehr zahl von speziellen Abschnitten halten kann, so daß ein Ab schnitt eines zweidimensionalen Bildes mit der Mehrzahl von Vergleichsmodellen verglichen wird und erkannt wird als ei ner aus der Mehrzahl von speziellen Abschnitten, um die Lage oder Position des erkannten oder detektierten speziellen Ab schnittes zu bestimmen und eine aus der Mehrzahl von Händen auszuwählen und bezüglich der bestimmten Position des spe ziellen Abschnittes anzuordnen, um diesen speziellen Ab schnitt zu greifen. Wenn somit wenigstens einer aus der Mehrzahl von speziellen Abschnitten des Teiles W mit den Vergleichsmodellen verglichen und erkannt wird, kann die Hand des Roboters, die zum Halten des speziellen Abschnittes geeignet ist ausgewählt werden und gegenüber dem erkannten speziellen Bereich angeordnet werden, um das Teil zu ergrei fen. Der Vergleich mit den Vergleichsmodellen entsprechend der Mehrzahl von speziellen Abschnitten des Teiles kann die Wahrscheinlichkeit verbessern, daß die speziellen Abschnitte erkannt werden. Da weiterhin Greifinformationen, wie die Po sition entsprechend dem erkannten speziellen Abschnitt des Teiles und die auszuwählende Hand dem Roboter zugeführt wer den, ist es möglich, die Greiferfolgs-Wahrscheinlichkeit des Teiles erheblich zu verbessern.

Eine zweite Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezug auf die Fig. 7 und 6 beschrieben. Fig. 6 zeigt die gesamte Anordnung der zweiten Ausführungs form eines erfindungsgemäßen Hochgeschwindigkeits-Greifsy stemes und Fig. 7 zeigt die Anordnung eines wesentlichen Ab schnittes des Systems von Fig. 6, wobei Teile entsprechend Teilen von Fig. 1 und 2 mit gleichen Bezugszeichen versehen sind und eine nochmalige Beschreibung hiervon nicht erfolgt. In den Fig. 6 und 7 umfaßt das Hochgeschwindigkeits- Greifsystem 100 im wesentlichen die Bildeingabekamera 10, die Objekterkennungsvorrichtung 20 und den Greifroboter 30. Die Objekterkennungsvorrichtung 20 umfaßt die zentrale Ver arbeitungseinheit (CPU) 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und die Beleuchtungssteuereinheit 24. Die Bildverarbeitungseinheit 22 umfaßt den Bildeingabeab schnitt 221, den Kanten-Erkennungsabschnitt 222 und den Seg ment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist aus RAMs oder dergleichen aufgebaut und beinhaltet wenig stens den einen Vergleichsmodell-Speicherbereich 231, der als Vergleichsmodell-Speichereinrichtung dient und ein Ver gleichsmodell beinhaltet, welches vorab auf der Basis von Daten festgesetzt wird, welche die Formgebung spezifizieren, wenn ein spezieller Abschnitt des Werkstückes W die Grund stellung einnimmt. Die Speichereinheit 23 umfaßt weiterhin einen Vergleichsgrenzwert-Speicherbereich 234, der als Ver gleichsgrenzwert-Speichereinrichtung dient und einen Ver gleichsgrenzwert beinhaltet, der den Nichtübereinstimmungs- Erlaubnisbereich zwischen dem speziellen Abschnitt und dem Vergleichsmodell anzeigt, sowie den Erkennungsergebnis- Speicherbereich 233, der das Vergleichsergebnis eines Lini ensegmentbildes entsprechend einer Anzahl von aufeinanderge stapelten Werkstücken W innerhalb des Behälters T speichert.

Bei dieser zweiten Ausführungsform werden das Vergleichsmo dell und der Vergleichsgrenzwert (Schwellenwert) gespei chert, wobei das Vergleichsmodell vorab auf der Grundlage von Daten festgesetzt wird, die eine Formgebung spezifizie ren, wenn ein einfach geformter spezieller Abschnitt oder Bereich des Werkstückes oder Teiles die Grundposition oder Grundlage einnimmt und der Vergleichsgrenzwert zeigt einen erlaubten Nichtübereinstimmungsbereich zwischen dem speziel len Abschnitt und dem Vergleichsmodell an. Weiterhin wird ein Abschnitt, der innerhalb des durch den Vergleichsgrenz wert bestimmten Nichtübereinstimmungsbereich liegt und der von dem zweidimensionalen Bild erkannt wird unter Vergleich mit dem Vergleichsmodell als spezieller Abschnitt detektiert und die Lage dieses detektierten speziellen Abschnittes wird bestimmt und eine Befehlsfolge wird dem Roboter 30 übermit telt, so daß die Hand an der Position angeordnet wird, an der der spezielle Abschnitt ergriffen werden kann.

Unter Bezug auf das Flußdiagramm von Fig. 8 erfolgt nun eine Beschreibung des Prozeßablaufes in der Objekterkennungsvor richtung 20 der zweiten Ausführungsform nach der Eingabe des Videosignales einer Anzahl von aufeinandergestapelten oder übereinandergeschütteten Werkstücken W von der Bildeinga bekamera 10 und der Extraktion der bildenden Liniensegmente für den Fall, für den beispielsweise ein Kreis als speziel ler Abschnitt aus den unterschiedlichen bildenden Linienseg menten ausgewählt wird und mit einem Vergleichsmodell "Kreis" verglichen wird.

Zuerst wird die Beleuchtungsvorrichtung L von der Beleuch tungssteuereinheit 24 eingeschaltet und das Videosignal von der Bildeingabekamera 10 wird dem Bildeingabeabschnitt 221 in der Bildverarbeitungseinheit 22 eingegeben. Der Bildein gabeabschnitt 221 tastet das Videosignal ab und setzt es in ein digitales Signal um, um ein Grauskalenbild zu erzeugen. Die Grauskalen-Bilddaten werden dem Kanten-Erkennungsab schnitt 222 eingegeben um dort differenziert zu werden, um ein Kantenbild zu erzeugen. Diese Kantenbilddaten werden dem Segment-Extraktionsabschnitt 223 eingegeben, um die Grenzli nie des Objektes oder Gegenstandes durch Suchen der Kammli nien zu extrahieren. Die Grenzlinie wird weiterhin durch eine geknickte Linie, einen Kreis oder dergleichen angenä hert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 200 gibt die CPU 21 das Liniensegmentbild von der Bildverarbeitungseinheit 22 ein. In einem Schritt 202 wird eine serielle Liniensegmentgruppe des eingegebenen Liniensegmentbildes in einem Speicherbereich A der CPU 21 gespeichert. Dann wird ein Schritt 204 durchgeführt, wo überprüft wird, ob der Speicherbereich A leer ist, d. h., ob die serielle Liniensegment-Gruppe, welche das Vergleichsob jekt ist, innerhalb des Speicherbereiches A verbleibt. Bei dem ersten Ablaufzyklus ist der Speicherbereich A in dem Fall nicht leer, in dem die serielle Liniensegment-Gruppe erfolgreich von dem eingegebenen Liniensegment-Bild extra hiert wurde und das Programm geht zu einem Schritt 206. In dem Schritt 206 werden n Sätze von zwei Segmenten aus der seriellen Liniensegment-Gruppe innerhalb des Speicherberei ches A ausgewählt, um die Schnitte Gi (i=1, 2,. . ., n) der vertikalen halbierenden Schnittlinien hiervon zu berechnen. Die Fig. 9A und 9B zeigen Rechenverfahren für die Mittel punkte eines Kreises und einer Ellipse. Wie in Fig. 9A dar gestellt, sind, wenn die serielle Liniensegment-Gruppe nahe an einem Kreis ist, die Koordinaten der Schnittpunkte der vertikalen halbierenden Schnittlinien der n Sätze von zwei Liniensegmenten (l1 und l2, l3 und l4, l5 und l6, . . .) im wesentlichen zusammenfallend und gleich G0. Wenn anderer seits die serielle Liniensegment-Gruppe eine Ellipse bildet, wie in Fig. 9B dargestellt, fallen die Koordinaten der Schnittpunkte der vertikalen halbierenden Schnittlinien der n Sätze von zwei Liniensegmenten (l1 und l2, l3 und l4, l5 und l6, . . .) nicht zusammen und bilden G1, G2, G3,. . ., Gn.

Gemäß Fig. 8 wird dann ein Schritt 208 durchgeführt, wo überprüft wird, ob alle maximalen Distanzwerte zwischen be liebigen zwei Schnittpunkten Gi (i = 1, 2,. . ., n) aus dem Schritt 206 in einem bestimmten Toleranzbereich (zulässigen Bereich) δ1 liegen, der ein erster Vergleichsgrenzwert für das Vergleichsmodell ist. Genauer gesagt, die serielle Lini ensegment-Gruppe wird im wesentlichen daraufhin überprüft, ob sie einen Kreis bildet. Im Falle von Fig. 9B ist der oben erwähnte Toleranzbereich δ1 der innere Bereich (gestrichelte Bereich) eines Kreises, der durch eine gestrichelte Linie angedeutet ist und stellt die Vergleichsgrenzwerte dar, wel che den Vergleich relativ zu dem Vergleichsmodell in dem Fall erlauben, daß ein kreisförmiges Loch innerhalb eines bestimmten Bereiches des Werkstückes W zur Horizontalen ge neigt ist und eine Ellipse bildet. Wenn im Schritt 208 alle Schnittpunkte Gi (i = 1, 2,. . ., n) innerhalb der Toleranz δ1 liegen, folgt ein Schritt 210, wo der Durchschnittswert (G1, G2,. . ., Gn)/n der Schnittpunkte Gi (i = 1, 2,. . ., n) berech net wird, um die Mittenkoordinate Gm zu erhalten.

Danach wird ein Schritt 212 durchgeführt, wo der Mittelwert der Distanzen zwischen der Mittenkoordinate Gm aus dem Schritt 210 und den entsprechenden Liniensegmenten ausge wählt im Schritt 206 berechnet wird, um einen Radius r_m zu erhalten. Es folgt ein Schritt 214, wo überprüft wird, ob die Abweichung |r_m-r_o| relativ zu dem Radius r_o des Krei ses des Vergleichsmodelles gespeichert in dem Vergleichsmo dell-Speicherbereich 231 der Speichereinheit 23 innerhalb einer bestimmten Toleranz δ2 liegt.

Fig. 10 zeigt die Lagen von Werkstücken W wo eine Entschei dung gemacht wird, ob das Greifen möglich ist oder nicht. Genauer, wenn der Werkstückneigungswinkel R2 ist, wie in (b) von Fig. 10 dargestellt, kann des Werkstück W durch die Hand 40 des Roboters 30 nicht ergriffen werden. Wenn andererseits der Werkstückneigungswinkel kleiner als R1 ist, wie in (a) von Fig. 10 dargestellt ist, kann das Werkstück W ergriffen werden. Dieser Werkstückneigungswinkel R1 wird als Grenzwert für den speziellen Abschnitt des Werkstückes W gesetzt. Ein zweiter Vergleichsgrenzwert des Vergleichsmodelles basierend auf dem Neigungsgrenzwert R1 innerhalb dem das Halten bzw. Greifen des speziellen Abschnittes, d. h. des kreisförmigen Loches im Werkstück W möglich ist, ist die Toleranz δ2. Wird ein Sicherheitsfaktor mit berücksichtigt wird der Grenzwert R1 auf einen Winkel festgesetzt, der etwas kleiner ist als der Werkstückneigungswinkel R, bei dem die Greiferfolgs- Wahrscheinlichkeit 100% beträgt. Wie in Fig. 11 dargestellt, kann die Greiferfolgs-Wahrscheinlichkeit des speziellen Ab schnittes des Werkstückes bezüglich des Werkstückneigungs winkels R experimentell ermittelt werden. Wie aus Fig. 11 hervorgeht, wächst die Anzahl der erkannten Werkstücke W, wenn der Werkstückneigungswinkel R auf ungefähr 50° an wächst. Wenn andererseits der Werkstückneigungswinkel R 35° übersteigt, nimmt die Greiferfolgs-Wahrscheinlichkeit all mählich von 100% ab. Dies bedeutet, daß gegenüber einem her kömmlichen Werkstück-Greifbereich, der ein kleiner Bereich mit dem Werkstückneigungswinkel R von unterhalb 10° ist, so daß der bestimmte Bereich im wesentlichen als Kreis erkannt wird, es bei der vorliegenden Erfindung möglich ist, den Ob jektgreifbereich auf ungefähr 35° zu erhöhen, wo eine El lipse noch als Kreis erkannt wird.

Zurück zu Fig. 8. Wenn im Schritt 214 die Bedingung |r_m-r_o| <δ2 erfüllt ist, folgt ein Schritt 216, um die im Schritt 210 erhaltene Zentralkoordinate Gm dem Greifroboter 30 zu übertragen, da entschieden wurde, daß ein Vergleichserfolg vorliegt, wonach das Programm beendet wird. Wenn anderer seits die Entscheidung im Schritt 208 oder 214 "nein" ist, folgt ein Schritt 218, um die Liniensegmentdaten aus dem Speicherbereich A zu löschen, wonach zum Schritt 204 zurück gekehrt wird, um einen ähnlichen Prozeß durchzuführen. Wenn weiterhin im Schritt 204 entschieden wird, daß die serielle Liniensegment-Gruppe weg ist, so daß der Speicherbereich A leer wird, wird das Programm beendet. In diesem Programm wirken die Schritte 206 und 208 als Detektionsvorrichtungen für den speziellen Bereich, die Schritte 210 bis 214 wirken als Lagebestimmungsvorrichtungen und der Schritt 216 wirkt als Befehlsvorrichtung.

Durch Ablaufenlassen des oben beschriebenen Programmes wird ein Werkstück W von der Hand 40 des Roboters 30 auf der Grundlage der Zentralkoordinate Gm ergriffen, welche anfangs übereinstimmend mit dem speziellen Bereich oder Abschnitt des Werkstückes erkannt wurde. Hierbei ist es ebenfalls vor teilhaft, daß - als unterschiedliche Greifmethode - die Mit tenkoordinate Gm des speziellen Bereiches unter Heranziehung der kleinsten Neigungslage, die geeignet ist für den Greif vorgang aus einer Mehrzahl von speziellen Bereichen aus dem gesamten zweidimensionalen, von der Kamera 10 eingegebenen Bild berechnet und dem Roboter übertragen wird. Selbst wenn eine lange Zeit nötig ist zur Erkennung des speziellen Be reiches ist es in diesem Fall möglich, die Greiferfolgs- Wahrscheinlichkeit weiter zu verbessern.

Die Fig. 12A und 12B zeigen die Bestätigungsergebnisse der Zykluszeiten bei der Erkennung eines Kreises bzw. einer El lipse. Fig. 12A zeigt die nötige Zeit in Sekunden pro jeder Kreiserkennung und Fig. 12B zeigt die nötige Zeit in Sekun den für die Ellipsenerkennung. Da das Hochgeschwindigkeits- Greifsystem gemäß dieser Ausführungsform die Ellipsenerken nung durchführt, die es erlaubt, eine Ellipse als Kreis zu erkennen, kann die für den Greifvorgang nötige Zeit auf 2,2 bis 3,8 Sekunden (3 Sekunden im Durchschnitt) reduziert wer den gegenüber einer herkömmlichen Kreiserkennung, welche 2,7 bis 9 Sekunden (4,8 Sekunden im Durchschnitt) benötigt. Wie weiterhin aus den zeichnerischen Darstellungen hervorgeht, ist es möglich, Variationen der nötigen Zeit erheblich zu verringern.

Obgleich in der obigen Ausführungsform Teile mit Löchern, deren Formgebung kreisförmig sind ergriffen werden, ist es gleichermaßen möglich, unterschiedliche Teile zu ergreifen, beispielsweise Teile mit parallelen Abschnitten und Teile mit Bolzen oder Zapfen durch einen ähnlichen Ablauf, wo ein fach geformte Abschnitte eingegrenzt und als spezielle Ab schnitte oder Bereiche erkannt werden. Obgleich das zu er greifende Teil in der beschriebenen Ausführungsform mit an deren Teilen im Stapel oder als Schüttgut beschrieben wur den, ist diese Ausführungsform gleichermaßen geeignet, ein Teil zu greifen, welches frei auf einer Ebene liegt, oder unterschiedliche gemischte Teile oder Teile zu greifen, wel che voneinander getrennt in einem Behälter mit Trennwänden angeordnet sind.

Unter Bezug auf die Fig. 13 und 14 erfolgt nachfolgend eine Beschreibung eines Hochgeschwindigkeits-Greifsystems gemäß einer dritten Ausführungsform der vorliegenden Erfin dung. Fig. 13 zeigt den gesamten Aufbau und Fig. 14 zeigt den Aufbau eines wesentlichen Teiles des Systems, wobei Teile, welche Teilen in den Fig. 6 und 7 entsprechen, mit den gleichen Bezugszeichen versehen sind und eine nochmalige Beschreibung nicht erfolgt. In Fig. 13 und 14 ist zusätzlich zu der Bildeingabekamera 10 zur Aufnahme eines Bildes von aufeinandergestapelten Werkstücken W innerhalb des Behälters T von der Oberseite des Werkstückstapels her eine weitere Bildeingabekamera 11 vorgesehen, welche ein Bild eines ein zelnen Werkstückes W aufnimmt, das von der Hand 40 des Robo ters 30 ergriffen worden ist, wobei die Unterseite des er griffenen Werkstückes W betrachtet wird. Wenn hierbei die Bildeingabekamera 10 zusätzlich so ausgelegt werden kann, daß sie ein Bild des Werkstückes W aufnimmt, wenn dieses von der Hand 40 des Roboters 30 (Taktzeit) ergriffen worden ist, ist es möglich auch nur eine Bildeingabekamera zu verwenden. Die Beleuchtungsvorrichtung L ist so angeordnet, daß sie die Werkstücke W gleichmäßig beleuchtet, wobei die Beleuchtung so ist, daß auch das einzelne Werkstück W gleichmäßig be leuchtet wird, wenn dieses von der Bildeingabekamera L abge tastet wird.

Die Objekterkennungsvorrichtung 20 weist die CPU 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und Be leuchtungssteuereinheit 24 auf. Die Bildverarbeitungseinheit 22 umfaßt den Bildeingabeabschnitt 221, den Kanten-Erken nungsabschnitt 222 und den Segment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist mit RAMs oder dergleichen aufge baut und umfaßt wenigstens den Vergleichsmodell-Speicherbe reich 231, der als Vergleichsmodell-Speichereinrichtung wirkt, um ein Vergleichsmodell zu speichern, welches vorab auf der Basis von Daten festgesetzt worden ist, welche die Formgebung spezifizieren, wenn ein spezieller Bereich oder Abschnitt eines Werkstückes W die Grundlage einnimmt. Die Speichereinheit 23 umfaßt weiterhin einen Lagevergleichsmo dell-Speicherbereich 235, der als Lagevergleichsmodell-Spei chereinrichtung dient, um ein Lagevergleichsmodell zu spei chern, welches vorab auf der Grundlage von Daten festgesetzt worden ist, welche die Formgebung spezifizieren, wenn das Werkstück W eine bestimmte Lage einnimmt. Weiterhin vorgese hen ist der Erkennungsergebnis-Speicherbereich 233, der das Vergleichsergebnis eines Liniensegment-Bildes entsprechend einer Anzahl von aufeinandergestapelten Werkstücken W inner halb des Behälters T speichert. Unter Bezug auf die Flußdia gramme der Fig. 15 und 17, welche den Verarbeitungsablauf der Objekterkennungsvorrichtungen 20 zeigen und des Flußdia grammes von Fig. 16, welches einen Prozeßablauf einer Steuereinheit auf seiten des Roboters 30 zeigt, wird nach folgend die Arbeitsweise dieses Systems beschrieben. Die Be schreibung erfolgt hierbei anhand des Falles, daß ein Kreis als spezieller Abschnitt oder Bereich aus verschiedenen bil denden Liniensegmenten ausgewählt wird und mit einem Ver gleichsmodell "Kreis" verglichen wird nach dem Eingeben des Videosignales einer Anzahl von aufeinanderliegenden Werk stücken W von der Bildeingabekamera 10 und der Extraktion von bildenden Liniensegmenten und weiterhin unter der An nahme des Falles, daß ein Videosignal eines einzelnen Werk stückes W, welches von der Hand 40 des Roboters 30 gehalten wird von der Bildeingabekamera 11 eingegeben wird, um bil dende Liniensegmente zu extrahieren, um die Lage des Werk stückes W zu korrigieren.

Zunächst wird in die Objekterkennungsvorrichtung 20 in Ant wort auf das Einschalten der Beleuchtungsvorrichtung L über die Beleuchtungssteuereinheit 24 ein Videosignal von aufein anderliegenden Werkstücken W innerhalb des Behälters T, er halten von der Bildeingabekamera 10, dem Bildeingabeab schnitt 221 eingegeben, dort abgetastet und in ein digitales Signal umgesetzt, um ein Grauskalenbild zu erzeugen. Die Grauskalendaten werden in den Kanten-Erkennungsabschnitt 222 eingegeben, und dort differenziert, um ein Kantenbild zu er zeugen. Dieses Kantenbild wird dem Segment-Extraktionsab schnitt 223 eingegeben, um die Kammlinie zu suchen, um die Grenzlinie des Objektes zu extrahieren. Weiterhin wird die Grenzlinie durch eine gekrümmte Linie, einen Kreis oder der gleichen angenähert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 300 im Ablauf gemäß Fig. 15 gibt die CPU 21 das in der Bildverarbeitungseinheit 22 erhaltene Linienseg mentbild ein. Dann wird ein Schritt 302 durchgeführt, um eine serielle Liniensegment-Gruppe von dem eingegebenen Li niensegmentbild zu extrahieren, so daß die extrahierte seri elle Liniensegment-Gruppe durch das Vergleichsmodell "Kreis" entsprechend dem speziellen Abschnitt des Werkstückes W ge sucht werden kann. Hierbei wird das Vergleichsmodell "Kreis" vorab auf der Basis von Daten gesetzt, welche die Formgebung spezifizieren, wenn das Werkstück W die Grundlage oder Grundstellung einnimmt, wobei der Vergleichsübereinstim mungsbereich durch den erlaubten Grenzwinkel oder derglei chen vergrößert wird, der es erlaubt, daß das Werkstück W von der Hand 40 des Roboters 30 gehalten wird, so daß die Suche auch dann durchgeführt wird, wenn das Werkstück W ge genüber der Horizontalen verkippt ist. Nachfolgend wird ein Schritt 304 durchgeführt, wo der Übereinstimmungsgrad zwi schen dem Vergleichsmodell "Kreis" verwendet für die Suche im Schritt 302 und dem speziellen Abschnitt oder Bereich des Werkstückes W, nach dem gesucht wird berechnet wird. Für den Fall, daß die Suche mit dem Vergleichsmodell "Kreis" durch geführt wird, ist, da ein Kreis als Ellipse erkannt wird, wenn das Werkstück W verkippt ist, dieser Übereinstimmungs grad durch das Verhältnis von Hauptachse und Nebenachse der Ellipse ausgedrückt.

Danach wird ein Schritt 306 durchgeführt, wo überprüft wird, ob ein spezieller Abschnitt eines Werkstückes W vorliegt, dessen Übereinstimmungsgrad gößer ist als ein Wert a. Dieser Wert a ist als der oben erwähnte noch erlaubte Grenzwert oder dergleichen bestimmt. Wenn eine Anzahl spezieller Be reiche von Werkstücken W erkannt wird, von denen jeder die oben erwähnte Beziehung erfüllt, wird derjenige spezielle Abschnitt ausgewählt, der den größten Übereinstimmungsgrad hat. Wenn die Antwort im Schritt 306 bejahend ist, folgt ein Schritt 308, um die Lageinformation dem Greifroboter 30 zu zuführen. Wenn andererseits die Antwort im Schritt 306 verneinend ist, wird ein Schritt 310 durchgeführt, um an eine Erregervorrichtung einen entsprechenden Befehl auszuge ben, um die Lagezustände der gestapelten Werkstücke W zur Zeit des nächsten Eingebens des Liniensegmentbildes zu än dern, um die Erkennungswahrscheinlichkeit spezieller Berei che von Werkstücken W zu erhöhen, welche mittels der Ver gleichsmodelle gesucht werden.

Nachdem die Lageinformation des oben erwähnten Werkstückes W von der Steuereinheit des Roboters 30 empfangen wird, wird gemäß Schritt 400 in Fig. 16 die Hand 40 des Roboters 30 auf der Grundlage dieser Lageinformation, welche dem speziellen Bereich oder Abschnitt des Werkstückes W zugehörig ist aus gerichtet. Dann wird ein Schritt 402 durchgeführt, um die Höhe der Hand 40 bezüglich des speziellen Abschnittes des Werkstückes W mittels eines Distanzsensors zu messen, der nahe der Hand 40 angeordnet ist. Dieser Distanzsensor ist in Fig. 13 mit dem Bezugszeichen 41 versehen. Es folgt ein Schritt 404, um den speziellen Abschnitt des Werkstückes W durch die Hand 40 des Roboters 30 zu halten, um das Werk stück W anzuheben. Es folgt ein Schritt 406, wo entschieden wird, ob das Werkstück W tatsächlich gehalten ist. Diese Entscheidung kann dadurch getroffen werden, daß der Bewe gungsbetrag eines Spitzenbereiches der Hand 40 mittels eines Grenzschalters, einer magnetischen Skala oder dergleichen detektiert wird. Wenn das Werkstück W gehalten wird, was im Schritt 406 detektiert wird, folgt ein Schritt 408, um das Werkstück W, welches von der Hand 40 des Roboters 30 gehal ten wird hoch in eine Bildaufnahmeposition oberhalb der Ka mera 11 zu bewegen, wonach der Programmablauf beendet wird.

Wenn von der Objekterkennungsvorrichtung 20 ein Signal emp fangen wird, welches die Tatsache anzeigt, daß das Werkstück W in die Bildaufnahmeposition der Kamera 11 hochbewegt wird, schaltet die Beleuchtungssteuereinheit 24 die Beleuchtungs vorrichtung L ein und ein Videosignal entsprechend dem ein zelnen Werkstück W von der Bildeingabekamera 11 wird dem Bildeingabeabschnitt 221 zugeführt. Im Bildeingabeabschnitt 221 wird das Videosignal abgetastet und in ein digitales Si gnal umgesetzt, um ein Grauskalenbild zu erzeugen. Die Grauskalenbilddaten werden dem Kanten-Erkennungsabschnitt 222 eingegeben und dort differenziert, um ein Kantenbild zu erzeugen. Die Kantenbilddaten werden dem Segment-Extrakti onsabschnitt 223 eingegeben, um nach der Kammlinie zu su chen, um die Grenzlinie des Objektes zu extrahieren. Weiter hin wird dann diese Grenzlinie durch eine gekrümmte Linie, einen Kreis oder dergleichen angenähert, um ein Linienseg mentbild zu erhalten.

In einem Schritt 500 in Fig. 17 gibt die CPU 21 das von der Bildverarbeitungseinheit 22 erhaltene Liniensegmentbild ein. Dann wird ein Schritt 502 durchgeführt, um einen Vergleich zwischen dem eingegebenen Liniensegmentbild und einem Lage- Vergleichsmodell durchzuführen, um die Lage des Werkstückes W zu erkennen. Hierbei wird das Werkstück W von der Hand 40 des Roboters 30 gehalten, so daß ein kreisförmiges Loch, d. h. der spezielle Abschnitt oder Bereich des Werkstückes W gehalten wird, um eine Lage aufgrund des einen Freiheitsgra des einzunehmen. Demzufolge wird im Schritt 502 zur Lageer kennung des Werkstückes W das Lagevergleichsmodell gedreht, um mit dem Liniensegmentbild des Werkstückes W übereinzu stimmen.

Nachfolgend wird ein Schritt 504 durchgeführt, um einen La gekorrekturbetrag zu berechnen, der eine Abweichung in der Drehrichtung und im Winkel des Schrittes 502 ist, gefolgt von einem Schritt 506, um den im Schritt 504 im berechneten Lagekorrekturbetrag dem Roboter 30 zuzuführen, wonach das Programm beendet wird.

Hierbei wirken die Schritte 302 und 304 als Erkennungsvor richtungen für den speziellen Abschnitt, der Schritt 306 wirkt als Lagebestimmungsvorrichtung, der Schritt 308 wirkt als Greifbefehlsvorrichtung, die Schritte 502 und 504 wirken als Berechnungsvorrichtungen für den Korrekturbetrag und der Schritt 506 wirkt als Lagekorrektur-Befehlsvorrichtung.

Fig. 18 zeigt die grundlegenden Schritte von Greifvorgängen für übereinandergestapelte oder aufeinandergeschüttete Teile unterschiedlichster Formgebung. Obgleich in der oben be schriebenen Ausführungsform Teile ergriffen werden, welche kreisförmige Löcher oder Bohrungen aufweisen, ist es genau sogut möglich, andere Teile zu ergreifen, beispielsweise Teile mit parallelen Abschnitten und Teile mit Bolzen oder Zapfen, wobei ähnliche Abläufe durchgeführt werden, d. h. einfach geformte Abschnitte eingegrenzt und als spezielle Abschnitte erkannt werden. Obgleich weiterhin das zu ergrei fende und zu haltende Objekt bei der beschriebenen Ausfüh rungsform von einem Stapel aufeinanderliegender Teile abge hoben wurde, ist es genausogut möglich, ein einzelnes Teil zu greifen, welches frei auf einer Ebene liegt, oder unter schiedliche untereinandergemischte Teile zu ergreifen oder Teile zu ergreifen, welche separat in einem Behälter in von einander getrennten Abteilungen oder Kammern angeordnet sind.

Die Fig. 19A und 19B zeigen die Schritte und die notwen digen Zeiten zum Erkennen und Ergreifen eines Teiles aus ei ner Mehrzahl von aufeinanderliegenden oder aufeinandergesta pelten Teilen. Fig. 19A zeigt den Fall der Verwendung eines Vergleichsmodells gemäß einer bekannten Technik und Fig. 19B zeigt den Fall der Verwendung des Vergleichsmodells und des Lagevergleichsmodells gemäß der vorliegenden Erfindung. In den Vergleichsschritten wird, wenn das Vergleichsmodell "Kreis" entsprechend einem speziellen Abschnitt eines Teiles mit einfacher Formgebung ist, die Wahrscheinlichkeit der Er kennung des speziellen Bereiches hoch, so daß die nötige Zeit für den Vergleich extrem kurz wird. Weiterhin wird bei der herkömmlichen Technik nach dem Vergleichsschritt die Hand des Greifroboters unmittelbar ausgerichtet, so daß das Teil von der Hand ergriffen wird. Bei der vorliegenden Er findung wird, nachdem das Teil von der Hand des Greifrobo ters ergriffen worden ist die Lagekorrektur nötig auf der Grundlage des Lagevergleichsmodells. Die bei der vorliegen den Erfindung notwendigen Schritte erhöhen sich hierdurch, wobei jedoch der Lagevergleich für ein ergriffenes Teil in extrem kurzer Zeit durchgeführt werden kann, wodurch die Zeit für das Ergreifen und die Lagekorrektur nicht so lange dauert wie bei einer herkömmlichen Technik. Bei der vorlie genden Erfindung ist es somit möglich, die Greiferfolgs- Wahrscheinlichkeit für ein Teil, welches aus einer Vielzahl von Teilen ergriffen wird extrem zu erhöhen und weiterhin ist es möglich, die hierzu nötige Zeit im Vergleich mit her kömmlichen Techniken beachtlich zu verkürzen.

Die Fig. 20A bis 20C zeigen andere Verfahren zum Ergrei fen eines Teiles aus einem Stapel oder Haufen von Teilen, um die Lagekorrektur durchzuführen. Fig. 20A zeigt einen Kor rekturvorgang mittels einer Führung, wobei ein Teil, dessen spezieller Abschnitt ergriffen wird auf einer bestimmten Führung angeordnet wird, um seine Ausrichtung festzulegen. Fig. 20B zeigt einen Korrekturvorgang unter Verwendung des Massenschwerpunktes, wobei die Richtung eines Teiles, dessen spezieller Bereich (hier: kreisförmige Bohrung) ergriffen wird durch das Eigengewicht bestimmt wird. Fig. 20C zeigt eine Neigungskorrektur mittels einer parallelen Hand, wo die Ausrichtung eines Teiles von der Hand bestimmt wird, welche sich in Parallelrichtung bewegt, wenn der spezielle Bereich ergriffen wird. Bei den erwähnten Verfahren wird der spe zielle Abschnitt oder Bereich des Werkstückes W mittels der Bildeingabekamera 10 eingegrenzt und erkannt und in dem Zu stand, wo dieser spezielle Bereich ergriffen wird (Bohrung im Falle von Fig. 20B und rechteckförmige Ausnehmung im Falle von Fig. 20C) wird die Lageerkennung von der Bildein gabekamera 11 durchgeführt und die Lagekorrektur wird durch geführt.

Hierbei kann der Fall vorliegen, daß die Lagekorrektur me chanisch anstelle der Bildverarbeitung mit der Kamera 11 nach dem Greifvorgang durchgeführt werden kann. Genauer, wenn die Formgebung des Werkstückes W Lagekorrekturen gemäß den Fig. 20A bis 20C erlaubt, ist es nicht immer nötig, den Prozeßschritt durchzuführen, mit dem die Bildverarbei tung mit der Kamera 11 durchgeführt wird, um die Lagekorrek tur nach dem Ergreifen des speziellen Bereiches durchzufüh ren. In diesem Fall wird die Bildverarbeitung über die Ka mera 11 nur zur Bestätigung verwendet, ob die mechanisch und somit selbständig erfolgende Lagekorrektur korrekt erfolgt ist. Auch hierzu wird das Lagevergleichsmodell verwendet.

Bei der beschriebenen Ausführungsform wird somit ein Bereich eines zweidimensionalen Bildes von aufeinandergestapelten oder aufeinanderliegenden Teilen, der durch einen Vergleich mit einem Vergleichsmodell als spezieller Bereich detektiert wird herangezogen, um die Lage des detektierten speziellen Bereiches zu bestimmen, um den Roboter mit einem Greifbefehl zu versorgen, wodurch die Hand des Roboters an der Stelle des speziellen Abschnittes angeordnet wird, um diesen spe ziellen Abschnitt zu ergreifen. Weiterhin wird das zweidi mensionale Bild des ergriffenen einzelnen Teiles oder Werk stückes mit einem Lagevergleichsmodell verglichen, um den Lagekorrekturbetrag zu berechnen, der die Abweichung zwi schen der Lage oder Ausrichtung des ergriffenen Teiles und des Lagevergleichsmodelles ist, so daß die Lage des Teiles auf der Grundlage des berechneten Lagekorrekturbetrages kor rigiert wird.

Durch Durchführung des Vergleiches an dem Vergleichsmodell entsprechend dem speziellen Abschnitt des Teiles mit einfa cher Formgebung wird die Zeit, die für den Vergleich nötig ist extrem kurz und die Erkennungswahrscheinlichkeit für den speziellen Teil wird extrem hoch. Da weiterhin der spezielle Bereich sofort durch die Hand des Roboters ergriffen wird, ist es möglich, die Greiferfolgs-Wahrscheinlichkeit beacht lich zu erhöhen. Da zusätzlich das Teil ergriffen wird und die Lage des ergriffenen Teiles in einem bestimmten Zustand korrigiert wird, sind bei der Hochgeschwindigkeits-Greifvor richtung für gestapelte Teile gemäß dieser Ausführungsform der vorliegenden Erfindung - obgleich die Verarbeitungszeit zum Ergreifen eines Teiles die Summe der Zeit zum Greifen des speziellen Bereiches oder Abschnittes des Teiles und der Zeit zum Einnehmen einer bestimmten Position nach dem Er greifen ist - die jeweiligen Zeiten kurz, so daß im Ver gleich zu einer herkömmlichen Technik die gesamte Verarbei tungszeit erheblich verkürzt werden kann.

Unter Bezug auf Fig. 21 erfolgt nachfolgend eine Beschrei bung eines Hochgeschwindigkeits-Greifsystems gemäß einer vierten Ausführungsform der vorliegenden Erfindung. Der Ge samtaufbau dieser Ausführungsform entspricht im wesentlichen demjenigen der zweiten Ausführungsform von Fig. 6. Fig. 21 zeigt die Anordnung eines wesentlichen Abschnittes der vier ten Ausführungsform, wobei Teile entsprechend Teilen aus den Fig. 2 oder 7 oder 14 mit den gleichen Bezugszeichen ver sehen sind und eine nochmalige Beschreibung hiervon nicht erfolgt.

Gemäß Fig. 21 umfaßt die Erkennungsvorrichtung 20 die CPU 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und Beleuchtungssteuereinheit 24. Die Bildverarbeitungsein heit 22 beinhaltet den Bildeingabeabschnitt 221, den Kanten- Erkennungsabschnitt 222 und den Segment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist aus RAMs oder dergleichen aufgebaut und beinhaltet den wenigstens einen Vergleichsmo dell-Speicherbereich 231, der als Vergleichsmodell-Speicher einrichtung dient, um ein Vergleichsmodell zu speichern, welches vorab auf der Basis von Daten festgesetzt wird, wel che die Formgebung spezifizieren, wenn ein spezieller Be reich oder Abschnitt des Werkstückes W die Grund- oder Aus gangsstellung einnimmt. Die Speichereinheit 23 beinhaltet weiterhin einen Greifabschnitt-Speicherbereich 236, der als Speichervorrichtung für einen Greifabschnitt dient, um einen Greifabschnitt zu speichern, der ganz klar eine quantitative relative Lagebeziehung zu einem speziellen Abschnitt hat. Weiterhin ist der Erkennungsergebnis-Speicherbereich 233 vorgesehen, der das Vergleichsergebnis eines Liniensegment bildes entsprechend einer Anzahl von aufeinandergestapelten Teilen W innerhalb des Behälters T speichert.

Nachfolgend wird die Arbeitsweise dieses Systems unter Bezug auf die Flußdiagramme der Fig. 22 und 23 unter der An nahme beschrieben, daß ein Markierungsabschnitt, beispiels weise eine aufgedruckte Markierung auf dem Werkstück W als spezieller Abschnitt mit einfacher Formgebung verwendet wird, um eine visuelle Erkennung aus unterschiedlichen bil denden Liniensegmenten, welche selektiv mit einem Ver gleichsmodell "Markierung" verglichen werden zu ermöglichen, nachdem ein Videosignal einer Anzahl von aufeinanderliegen den Werkstücken W von der Bildeingabekamera 10 erfolgt ist und die Extraktion der bildenden Liniensegmente hiervon durchgeführt wurde. Gemäß Fig. 24 ist auf einem plattenför migen Werkstück W eine Markierung vorgesehen bestehend aus einem Kreis und einer vertikalen Linie, deren eines Ende sich bis zur Außenseite des Kreises hin erstreckt. Dies be deutet, daß das Vergleichsmodell "Markierung" so angeordnet ist, daß die Ausrichtung des Werkstückes W bestätigt werden kann, es also möglich ist zu bestätigen, ob das Werkstück W nach oben, unten, rechts oder links verschoben ist. Es nicht vorteilhaft, als Markierung einen Kreis alleine zu verwen den, da hierdurch die Bestätigung der Werkstückausrichtung nicht möglich ist.

In Antwort auf das Einschalten der Beleuchtungsquelle L mit der Beleuchtungssteuereinheit 24 wird ein von der Kamera 10 erhaltenes Videosignal dem Bildeingabeabschnitt 221 eingege ben, um das Videosignal dort abzutasten und in ein digitales Signal umzusetzen, um ein Grauskalenbild zu erzeugen. Die Grauskalendaten werden dem Kanten-Erkennungsabschnitt 222 eingegeben und dort differenziert, um ein Kantenbild zu er zeugen. Die Kantenbilddaten werden dem Segment-Extraktions abschnitt 223 eingegeben, um die Kammlinie zu suchen, um die Grenzlinie des Objektes zu extrahieren. Die Grenzlinie wird dann durch eine gekrümmte Linie, einen Kreis oder derglei chen angenähert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 600 von Fig. 22 gibt die CPU 21 das von der Bildverarbeitungseinheit 22 erhaltene Liniensegmentbild ein. Dann wird ein Schritt 602 durchgeführt, um einen Suchprozeß auf der Grundlage des Vergleichsmodells "Markierung" ent sprechend dem Markierungsbereich M auf dem Werkstück W durchzuführen. Beim Ablauf des Schrittes 602 wird in einem Unterprogramm gemäß Fig. 23 in einem Schritt 700 eine seri elle Liniensegment-Gruppe des eingegebenen Liniensegmentbil des in einem Speicherbeireich A der CPU 21 gespeichert. Dann wird ein Schritt 702 durchgeführt, wo überprüft wird, ob der Speicherbereich A leer ist, d. h., ob die serielle Linien segment-Gruppe, d. h. das Vergleichsobjekt innerhalb des Speicherbereiches A verbleibt. Beim ersten Ablaufzyklus geht der Ablauf zu einem Schritt 704 weiter, da der Speicherbe reich A in dem Fall nicht leer ist, in dem die serielle Li niensegment-Gruppe sukzessive extrahiert wird. Im Schritt 704 werden n Sätze von zwei Liniensegmenten aus der seriel len Liniensegment-Gruppe innerhalb des Speicherbereiches A ausgewählt, um die Schnittpunkte Gi (i = 1, 2,. . ., n) der vertikalen Mittenschnittlinien hiervon zu berechnen. Wie in Fig. 9A dargestellt, sind, wenn die serielle Liniensegment- Gruppe einem Kreis sehr ähnlich ist, die Koordinaten der Schnittpunkte der vertikalen Mittenschnittlinien der n Sätze von zwei Liniensegmenten (l1 und l2, l3 und l4, l5 und l6, . . .) im wesentlichen zusammenfallend bei G0. Wenn anderer seits die serielle Liniensegment-Gruppe eine Ellipse bildet, sind die Koordinaten der Schnittpunkte der vertikalen Mit tenschnittlinien der n Sätze von zwei Liniensegmenten (l1 und l2, l3 und l4, l5 und l6, . . .) nicht miteinander zusam menfallend und liegen bei G1, G2, G3,. . ., Gn.

Gemäß Fig. 23 wird dann ein Schritt 706 durchgeführt, um zu überprüfen, ob alle maximalen Distanzwerte zwischen zwei be liebigen Punkten der Schnitte Gi (i = 1, 2,. . ., n) aus dem Schritt 704 in einem bestimmten Toleranzbereich δ1 für das Vergleichsmodell liegen. Dies bedeutet, daß die serielle Li niensegment-Gruppe daraufhin überprüft wird, ob sie im we sentlichen einen Kreis bildet. Im Falle von Fig. 9B ist die oben erwähnte Toleranz δ1 der schraffierte Bereich des Krei ses, der durch die gestrichelte Linie dargestellt ist und ist ein Anzeigekriterium des Vergleichsgrenzwertes, der den Vergleich relativ zum Vergleichsmodell in dem Fall erlaubt, daß ein kreisförmiges Loch, welches der spezielle Abschnitt des Werkstückes W ist, relativ zur Horizontalen verkippt ist und sich als Ellipse darstellt. Wenn im Schritt 706 alle Schnittpunkte Gi (i = 1, 2,. . ., n) innerhalb der Toleranz δ1 liegen, folgt ein Schritt 708, um den Durchschnitt (G1, G2,. . ., Gn)/n der Schnittpunkte Gi (i = 1, 2,. . ., n) zu be rechnen, um die Mittenkoordinate Gm zu erhalten.

Danach wird ein Schritt 710 durchgeführt, um den Mittel- oder Durchschnittswert der Distanzen zwischen der Mittenko ordinate Gm aus dem Schritt 708 und den jeweiligen Linien segmenten ausgewählt im Schritt 704 zu berechnen, um einen Radius r_m zu erhalten. Es folgt ein Schritt 712 zum Überprü fen, ob die Abweichung |r_m-r_o| relativ zu dem Radius r_o des Kreises des Vergleichsmodells "Markierung" aus dem Ver gleichsmodell-Speicherbereich 231 der Speichereinheit 23 in einer vorherbestimmten Toleranz δ2 liegt.

Fig. 25 zeigt die Ausrichtungen von Werkstücken, wobei eine Entscheidung gemacht wird, ob der Greifvorgang zweckmäßig ist oder nicht. Genauer, wenn der Werkstückneigungswinkel R2 beträgt, wie in (b) von Fig. 25 dargestellt, kann das Werk stück W durch die Hand 40 des Greifroboters 30 nicht ergrif fen werden. Wenn andererseits der Werkstückneigungswinkel unterhalb von R1 liegt, wie in (a) von Fig. 25 dargestellt, kann das Werkstück W ergriffen werden. Dieser Werkstücknei gungswinkel R1 wird als Grenzwinkel für den speziellen Ab schnitt des Werkstückes W festgesetzt. Ein Vergleichsgrenz wert für das Vergleichsmodell basierend auf dem Neigungs grenzwinkel R1 bei dem es noch möglich ist, einen parallelen Endoberflächenabschnitt zu halten, d. h. den zu ergreifenden Abschnitt des Werkstückes W ist die Toleranz δ2. Wird ein Sicherheitsfaktor berücksichtigt, wird der Grenzwinkel R1 auf einen Winkelwert festgesetzt, der etwas kleiner ist als der Werkstückneigungswinkel R, so daß die Greiferfolgs-Wahr scheinlichkeit 100% beträgt. Die Greiferfolgs-Wahrschein lichkeit des zu ergreifenden Abschnittes des Werkstückes W bezüglich des Werkstückneigungswinkels R läßt sich experi mentell ermitteln.

Wenn die Entscheidung im Schritt 706 und im Schritt 712 nein ist, geht der Ablauf zu einem Schritt 714, um die Linienseg mentdaten aus dem Speicherbereich A zu löschen, wonach zum Schritt 702 zurückgekehrt wird, um den gleichen Prozeßablauf erneut zu beginnen.

Wenn im Schritt 702 die serielle Liniensegment-Gruppe weg ist, so daß der Speicherbereich A leer wird, geht der Ablauf zu einem Schritt 604 (Fig. 22). Im Schritt 604 wird über prüft, ob ein Markierungsabschnitt M vorliegt, der der spe zielle Abschnitt des Werkstückes W ist. Wenn der Markie rungsabschnitt M, der die Bedingung |r_m-r_o|<δ2 erfüllt, im Schritt 712 erhalten ist, geht der Ablauf zu einem Schritt 606. Hier wird in dem Fall, daß eine Anzahl von Mar kierungsabschnitten M, welche die oben erwähnte Beziehung erfüllen, erkannt werden, der Markierungsabschnitt M ausge wählt, der den kleinsten Wert |r_m-r_o| hat.

Der Schritt 606 ist zum Berechnen der relativen Lagekoordi naten des zu ergreifenden Abschnittes auf der Grundlage der Mittenkoordinate Gm eines Kreises oder einer Ellipse des er kannten Markierungsabschnittes M. Wie in Fig. 24 darge stellt, entspricht der zu ergreifende Abschnitt den Lagen P1 und P2 der parallelen Endoberflächen, welche durch Distanzen L1 und L2 von der Mittenkoordinate Gm des Markierungsab schnittes M entfernt sind, wenn das Werkstück W eine hori zontale Lage einnimmt. Die dem Greifroboter 30 zu übertra gende Lageinformation ist die Greifrichtung für die Hand 40, welche die Richtung der vertikalen Linie in dem Kreis oder der Ellipse, erzeugt durch Erkennung des Markierungsab schnittes M und die Greif-Mittenkoordinate ist. Die Mitten koordinate in der Bildebene wird in die Mittenkoordinate im echten Raum umgewandelt und dem Greifroboter 30 übertragen.

Wie beschrieben ist die Distanz von der Mittenkoordinate Gm des Markierungsabschnittes M (wobei die Markierung einen Kreis und eine vertikale Linie umfaßt, dessen eines Ende sich zur Außenseite des Kreises erstreckt) zu der einen Re lativlage P1 des von der Hand 40 des Roboters 30 zu ergrei fenden Abschnittes L1 und die Distanz zu der anderen Rela tivlage P2 ist L2 und diese quantitative relative Lagebezie hung ist in dem Greifabschnitt-Speicherbereich 236 der Spei chereinheit 23 gespeichert. Somit ist die Greifmittenposi tion die Position, welche um den Betrag |(L1-L2)/2|×COSR von der Mittenkoordinate Gm des Markierungsabschnittes M in der Richtung entfernt ist, in der die vertikale Linie von dem Kreis oder der Ellipse des Markierungsabschnittes M vor ragt. Der oben erwähnte Werkstückneigungswinkel R wird er halten auf der Basis der Länge der Nebenachse der Ellipse oder des Kreises des Markierungsabschnittes M. Genauer, wenn die Hauptachse und die Nebenachsen des Markierungsabschnit tes M zueinander gleiche Länge haben (Kreis) ist R gleich 0°. Wenn andererseits die Hauptachse und die Nebenachsen sich in ihrer Länge voneinander unterscheiden (Ellipse) wird R mit der nachfolgenden Gleichung ermittelt:
R = COS^-1{(Länge der Nebenachse)/(Länge der Hauptachse)}.

Danach wird ein Schritt 608 durchgeführt, um die Lageinfor mation des zu greifenden Abschnittes des Werkstückes W zu übertragen.

Wenn andererseits im Schritt 604 das Nichtvorhandensein des Markierungsabschnittes M entschieden wird, wird ein Schritt 610 durchgeführt, um ein Erregersignal auszugeben, um den Behälter T mittels einer entsprechenden Vorrichtung zu rüt teln oder zu schütteln, um die Lagen der Werkstücke W zum Zeitpunkt des nächsten Eingebens eines Bildes zu ändern, um die auf dem Vergleichsmodell basierende Suchwahrscheinlich keit zu verbessern. Dann wird ein Schritt 612 durchgeführt, um die Anzahl der Rüttel- oder Schüttelvorgänge zu zählen. Dieser Zählwert wird zum Programmbeginn auf 0 gesetzt und inkrementiert wann immer ein Suchvorgang anhand des Ver gleichsmodells mit einem Fehlversuch endet. In einem nach folgenden Schritt 614 wird überprüft, ob der Zählbetrag C3 ist. Dies bedeutet, daß, wenn der Lagezustand der Werk stücke W ungeachtet von drei Rüttelvorgängen unverändert ist, so daß drei Suchvorgänge mit dem Vergleichsmodell mit einem Fehler enden eine Entscheidung gemacht wird, daß Werk stücke W innerhalb des Behälters T nicht mehr vorhanden sind oder die vorliegenden Lagen der Werkstücke W so schlecht sind, daß sie nicht mehr geeignet sind eine weitere Suche durchzuführen, so daß das Programm beendet wird.

Die Schritte 602 und 604 wirken hierbei als Erkennungsvor richtungen für einen speziellen Abschnitt, der Schritt 606 dient als Vorrichtung zur Lagebestimmung und der Schritt 608 dient als Befehlsvorrichtung.

Auf der Grundlage des oben beschriebenen Programmablaufs kann der zu ergreifende Abschnitt entsprechend dem Markie rungsbereich M des Werkstückes W von der parallel bewegli chen Hand 40 des Greifroboters 30 ergriffen werden. Somit wird bei dem Hochgeschwindigkeits-Greifsystem gemäß dieser Ausführungsform, da der Vergleichsvorgang an einem speziel len Abschnitt des Werkstückes W, der visuelle Erkennung er laubt, durchgeführt wird, die Zeit für den Vergleich extrem kurz. Da weiterhin das Greifen an einem zu ergreifenden Ab schnitt, der leicht zu halten ist und klar die quantitative relative Lagebeziehung zu dem speziellen Abschnitt hat, er folgt, wird die Greiferfolgs-Wahrscheinlichkeit hoch. Da weiterhin der spezielle Abschnitt von dem zu greifenden Ab schnitt unterschiedlich ist, ist es möglich, das Werkstück W auch dann zu ergreifen, wenn der spezielle Abschnitt klein ist und es schwierig wäre, ihn mit der Hand 40 des Roboters 30 zu greifen.

Obgleich weiterhin die zu greifenden Objekte oder Gegen stände bei der beschriebenen vierten Ausführungsform aufein anderliegende oder aufeinandergestapelte Teile sind, ist diese vierte Ausführungsform gleichermaßen gut anwendbar bei einem einzelnen Teil, welches individuell auf einer Ebene liegt, bei unterschiedlich geformten ineinandergeschütteten Teilen und bei Teilen, die separat in einem Behälter liegen, der in einzelne Fächer unterteilt ist.

Claims

1. Hochgeschwindigkeits-Greifsystem für übereinanderlie gende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grund lage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Mehrzahl von Händen eines Roboters ergriffen werden können, dadurch gekennzeichnet, daß das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver gleichsmodellen, welche vorab auf der Grundlage von Da ten festgesetzt werden, welche eine Formgebung spezifi zieren, wenn eine Mehrzahl von speziellen Abschnitten der Teile jeweils Grundpositionen einnehmen, wobei die Mehrzahl von Vergleichsmodellen so angeordnet ist, daß sie der Mehrzahl von speziellen Abschnitten entspre chen, um die Mehrzahl von speziellen Abschnitten in dem zweidimensionalen Bild zu erkennen, wobei jeder aus der Mehrzahl von speziellen Abschnitten eine einfache Form hat, um das Halten des Teiles zu ermöglichen;
Einrichtungen zum Speichern von Handinformationen für die Mehrzahl von Händen, von denen jede das Halten ei nes jeden aus der Mehrzahl von speziellen Abschnitten ermöglicht;
Erkennungsvorrichtungen für den speziellen Abschnitt zum Detektieren aus der Mehrzahl von speziellen Ab schnitten einen Bereich des zweidimensionalen Bildes, der durch einen Vergleich mit der Mehrzahl von Ver gleichsmodellen erkannt wird;
Einrichtungen zum Bestimmen einer Lage des speziellen Abschnittes, detektiert durch die Detektionsvorrichtun gen für den speziellen Abschnitt; und
Befehlseinrichtungen zum Auswählen und Positionieren einer Hand aus der Mehrzahl von Händen entsprechend dem speziellen Abschnitt an der bestimmten Position, um den speziellen Abschnitt zu greifen.

2. Greifsystem nach Anspruch 1, gekennzeichnet durch Ein richtungen zum Ändern des Lagezustandes der aufeinan derliegenden Teile, wenn der spezielle Abschnitt in dem zweidimensionalen Bild durch den Vergleich mit der Mehrzahl von Vergleichsmodellen durch die Detektions einrichtungen für den speziellen Abschnitt nicht er kannt wird.

3. Greifsystem nach Anspruch 1 oder 2, dadurch gekenn zeichnet, daß eines aus der Mehrzahl von Vergleichsmo dellen auf der Grundlage von Daten festgesetzt ist, welche eine Kreisform spezifizieren, wenn der spezielle Abschnitt die Grundposition einnimmt.

4. Greifsystem nach Anspruch 1 oder 2, dadurch gekenn zeichnet, daß eines aus der Mehrzahl von Vergleichsmo dellen auf der Grundlage von Daten festgesetzt ist, welche eine Formgebung spezifizieren mit Liniensegmen ten parallel zueinander und mit gleicher Länge, wenn der spezielle Abschnitt die Grundposition einnimmt.

5. Greifsystem nach Anspruch 1 oder 2, dadurch gekenn zeichnet, daß eines aus der Mehrzahl von Vergleichsmo dellen auf der Grundlage von Daten festgesetzt ist, welche eine Formgebung spezifizieren mit Liniensegmen ten parallel zueinander und mit unterschiedlicher Länge zueinander, wenn der spezielle Abschnitt die Grundposi tion einnimmt.

6. Hochgeschwindigkeits-Greifsystem für übereinanderlie gende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grund lage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Hand eines Roboters ergriffen wer den können, dadurch gekennzeichnet, daß das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver gleichsmodellen, welche vorab auf der Grundlage von Da ten festgesetzt werden, welche eine Formgebung spezifi zieren, wenn eine Mehrzahl von speziellen Abschnitten der Teile jeweils Grundpositionen einnehmen, wobei die Mehrzahl von Vergleichsmodellen so angeordnet ist, daß sie der Mehrzahl von speziellen Abschnitten entspre chen, um die Mehrzahl von speziellen Abschnitten in dem zweidimensionalen Bild zu erkennen, wobei jeder aus der Mehrzahl von speziellen Abschnitten eine einfache Form hat, um das Halten des Teiles zu ermöglichen;
Einrichtungen zum Speichern eines Vergleichsgrenz wertes, der vorab auf der Basis eines Neigungsgrenzwin kels des speziellen Abschnittes relativ zur Grundposi tion gesetzt wird und der einen Bereich anzeigt, der das Halten des speziellen Abschnittes durch die Hand erlaubt und der einen erlaubten Nichtübereinstimmungs bereich zwischen dem speziellen Abschnitt und dem Ver gleichsmodell anzeigt;
Detektionseinrichtungen für den speziellen Abschnitt zum Detektieren als speziellen Abschnitt einen Bereich in dem zweidimensionalen Bild, der innerhalb des Nicht übereinstimmungsbereiches ist, der durch den Ver gleichsgrenzwert bestimmt ist und der anhand des Ver gleichsmodells erkannt wird;
Einrichtungen zum Bestimmen einer Lage des detektierten speziellen Abschnittes; und
Befehlseinrichtungen zum Positionieren der Hand an der bestimmten Position des detektierten speziellen Ab schnittes, um den speziellen Abschnitt zu greifen.

7. Greifsystem nach Anspruch 6, dadurch gekennzeichnet, daß eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten gesetzt ist, welche eine Kreis form spezifizieren, wenn der spezielle Abschnitt die Grundposition einnimmt, wobei der Vergleichsgrenzwert, der in den Vergleichsgrenzwert-Speichereinrichtungen gespeichert ist, ein Wert ist, der auf der Grundlage einer Differenz zwischen einem Radius der Kreisform, wenn der spezielle Abschnitt die Grundposition einnimmt und einem Radius einer im wesentlichen kreisförmigen Formgebung erhalten wird, wenn der spezielle Abschnitt eine geneigte Lage einnimmt.

8. Hochgeschwindigkeits-Greifsystem für übereinanderlie gende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grund lage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Hand eines Roboters ergriffen wer den können, dadurch gekennzeichnet, daß das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver gleichsmodellen, welche vorab auf der Grundlage von Da ten festgesetzt werden, welche eine Formgebung spezifi zieren, wenn ein spezieller Abschnitt des Teiles eine Grundposition einnimmt, wobei das Vergleichsmodell so angeordnet ist, daß es dem speziellen Abschnitt ent spricht, um den speziellen Abschnitt in dem zweidimen sionalen Bild zu erkennen, wobei der spezielle Ab schnitt eine einfache Form hat, um eine visuelle Erken nung zu ermöglichen;
Einrichtungen zum Speichern eines Greifabschnittes, der vorab auf der Grundlage von Daten festgesetzt wird, welche eine quantitative Relativbeziehung zu einem das Halten ermöglichenden Abschnittes des speziellen Ab schnittes in Übereinstimmung mit dem Erkennen des spe ziellen Abschnittes spezifizieren;
Detektionseinrichtungen für den speziellen Abschnitt zum Detektieren als speziellen Abschnitt einen Bereich in dem zweidimensionalen Bild, der durch Vergleich an einem Vergleichsmodell erkannt wird;
Einrichtungen zum Bestimmen einer Greifposition auf der Grundlage einer quantitativen relativen Lagebeziehung zwischen dem detektierten speziellen Abschnitt und dem zu greifenden Abschnitt entsprechend dem speziellen Ab schnitt; und
Befehlseinrichtungen zum Positionieren der Hand an der bestimmten zu greifenden Position, um das Teil zu grei fen.

9. Hochgeschwindigkeits-Greifsystem für übereinanderlie gende Gegenstände oder Teile zum Erhalt von Grenzlinien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von bildenden Liniensegmenten, welche die Grenzlinien bilden, aus den Grenzlinien zu extrahieren, um die Teile auf der Grund lage der bildenden Liniensegmente zu erkennen, so daß die Teile von einer Hand eines Roboters ergriffen wer den können, dadurch gekennzeichnet, daß das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver gleichsmodellen, welche vorab auf der Grundlage von Da ten festgesetzt werden, welche eine Formgebung spezifi zieren, wenn ein spezieller Abschnitt des Teiles eine Grundposition einnimmt, wobei das Vergleichsmodell so angeordnet ist, daß es dem speziellen Abschnitt ent spricht, um den speziellen Abschnitt in dem zweidimen sionalen Bild zu erkennen, wobei der spezielle Ab schnitt eine einfache Form hat, um eine visuelle Erken nung zu ermöglichen;
Einrichtungen zum Speichern eines Lagevergleichsmodel les, welches vorab auf der Grundlage von Daten gesetzt wird, welche eine Konfiguration spezifizieren, wenn das Teil eine bestimmte Position einnimmt, wobei das Lage vergleichsmodell dafür dient, eine Lage des speziellen Abschnittes auf der Grundlage der Erkennung des spe ziellen Abschnittes zu spezifizieren;
Detektionseinrichtungen für den speziellen Abschnitt zum Detektieren als speziellen Abschnitt einen Bereich in dem zweidimensionalen Bild, der durch einen Ver gleich mit dem Vergleichsmodell erkannt wird,
Einrichtungen zum Bestimmen einer Position des detek tierten speziellen Abschnittes;,
Befehlseinrichtungen zum Positionieren der Hand an der bestimmten Position, um das Teil zu ergreifen;
Einrichtungen zum Berechnen eines Lagekorrekturbetra ges, der eine Abweichung zwischen einer Lage des Teiles anzeigt, welches durch Vergleich zwischen einer Mehr zahl von Liniensegmenten extrahiert von Grenzlinien ei nes zweidimensionalen Bildes des einzelnen Teiles aus gewählt wurde und dem Lagevergleichsmodell für den Fall, daß ein einzelnes Teil durch Halten des speziel len Abschnittes durch die Hand ergriffen wird; und Befehlseinrichtungen zum Korrigieren der Lage des Tei les auf der Grundlage des berechneten Lagekorrekturbe trages.

10. Greifsystem nach Anspruch 9, dadurch gekennzeichnet, daß eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgesetzt ist, welche eine kreisförmige Formgebung spezifizieren, wenn der spe zielle Abschnitt die Grundposition einnimmt, wobei in A twort auf einen Korrekturbefehl von den Befehlsein richtungen für die Lagekorrektur eine Lagekorrektur durch Bewegung des Massenschwerpunktes des Gewichtes des Teiles durchgeführt wird, wenn das Teil ergriffen wird.

11. Greifsystem nach Anspruch 9, dadurch gekennzeichnet, daß eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgesetzt wird, welche eine Formgebung spezifizieren mit Liniensegmenten parallel zueinander und mit gleicher Länge zueinander, wenn der spezielle Abschnitt die Grundposition einnimmt, wobei in Antwort auf einen Korrekturbefehl von den Befehls einrichtungen für die Lagekorrektur eine Lagekorrektur durch Bewegungen der Hand durchgeführt wird, wenn das Teil ergriffen wird.