DE2513655C3 - Einrichtung für die Steuerung von automatischen Handhabungssystemen mittels Fernsehkamera - Google Patents

Description

Die Erfindung betrifft eine Einrichtung gemäß dem Oberbegriff des Anspruchs 1.

Für die sich heute im praktischen Einsatz befindenden Handhabungsgeräte fehlen eigene Erkennungseinrichtungen. Dies bedingt, daß in einer Vielzahl von Fällen die Hilfe des Menschen benötigt wird, um Werkstücke in ihrer Lage zu erkennen (Klassifikation), in ihrer Lage auszurichten, ihre Lage zu finden und dem Handhabungssystem geordnet anzubieten. Die technische Lösung dieser Aufgaben beseitigt das häufig einzige Automatisierungshindernis bei der Montage und Fertigung mit Handhabungsgeräten und befreit den Menschen von monotonen Arbeiten.

Es ist in der Großserienfertigung üblich, die

genannten Aufgaben mit rein mechanischen Qrdnungseinriehtungen (z, B, Förderer) zu lösen. Die benutzten werkstflckspezifischen Ordnungselemente müssen bei einem Werkstückwechsel unter hohem Entwicklungs-5 oder Justieraufwand ausgestauscht werden. Dies ist bei der Klein- und Mittelserie unwirtschaftlich. Weiterhin gibt es Werkstücke, die nicht mechanisch zu ordnen sind, so daß für diese Arbeiten der Einsatz des Menschen unumgänglich ist

ίο In der Patentanmeldung P 24 26 1993 wird ein Verfahren beschrieben, bei dem die vereinzelten Werkstücke auf einem Förderband liegend gegen einen Anschlag geführt werden. Hierdurch ist nur eine begrenzte Anzahl von diskreten Lageklassen der Werkstücke möglich. Die Klassifikation und Positionsbestimmung erfolgt mit Hilfe eines inkohärentoptischen !Correlators als Sensorsystem. Der Aufbau dieses Korrelators bedingt mechanisch bewegte Teile wie Schwingspiegel oder rotierende Scheibe. Die Umstel lung auf andere Werkstücke erfolgt durch ein Auswechseln der rotierenden Scheibe, auf der die einzelnen Lageklassen fotografisch gespeichert sind. In die für die elektronische Programmierung des Handhabungssystems ohnehin notwendige Lernphase (teach-in) läßt sich dieses fotografische Verfahren im Gegensatz zu elektronischen Möglichkeiten nicht integrieren.

Neben der mechanischen Ordnungseinrichtungen und den optischen' Korrelatoren gibt es die Klasse der »Intelligenten Roboter«, die mit Fernsehsystemen arbeiten. Die bisherigen Entwicklungen auf diesem Gebiet sind nicht für eine Anwendung bei industriellen Handhabungssystemen ausgelegt Hier steht vor allem der Einsatz in einer gefährlichen Umwelt (Meeres- und Weltraumforschung, Katastropheneinsatz bei radioakti ver Verseuchung u.a.) im Vordergrund. Sämtliche »Intelligenten Roboter« werden wegen der komplexen Aufgabenstellung von aufwendigen und teueren Rechnersystemen gesteuert. Das gleiche gilt auch für die heute bekannten, mit Fernsehkameras gesteuerten Haiidhabungssysteme (z. B. OS 24 09 478). Diese Systeme sind zwar für den Einsatz an industriellen Handhabungssystemen konzipiert, benötigen aber ebenfalls speicherintensive Digitalrechner zur Durchführung des Erkennungsvorgan- ges. Als typisches Beispiel sei eine programmierbare

Montagemaschine genannt (Heginbothan, W. B.

et al, The Nottingham Sirch Assembly Robot, Paper R 9 1 st Conference on Industrial Robot Technology, 1973).

Hier wird beim Erkennungsvorgang die gesamte

Außenstruktur des Werkstückes verarbeitet. Hierzu ist ein großer Rechenaufwand und demgemäß ein aufwendiger Rechner notwendig.

Der Erfindung liegt die Aufgabe zugrunde, mit einfachen Mitteln die Lageart, Orientierung und

5^r> Position eines Objektes, z. B. eines Werkstückes oder Werkzeuges zu bestimmen, den Erkennungsvorgang zu vereinfachen und den apparativen Aufwand zu vermindern. Diese Aufgabe wird erfindungsgemäß durch eine Einrichtung gemäß dem kennzeichnenden Teil des Anspruches 1 gelöst. Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.

Als Beispiel für solche signifikanten Merkmale sind zu nennen: Winkel von Kanten, Abmessungen der

^h> Außenkontur, Abmessungen besonderer Aussparungen, Differenzen von Aussparungen bzw. Innenkonturen und Außenkonturen, Flächen und das Vorhandensein oder nicht Vorhandensein von werkstückerfassenden Fern-

sehzeilen. Es kann sich dabei sowohl um Werkstücke handeln, die mjf einem Förderband liegend gegen einen Anschlag geführt werden, so daß entsprechend der Anmeldung P 24 261993 diskrete Lageklassen gebildet werden, die durch das Verfahren klassefiziert und in ihrer Position vermessen werden, so daß der Greifer des Handhabungssystems entsprechend einem zugeordneten Greifprogramm gesteuert werden kann. Das Verfahren ist jedoch nicht nur auf Werkstücke beschränkt, die auf einem Förderband liegend gegen to einen Anschlag gefahren werden. Es können in gleicher Weise Relativpostionen von Werkstücken oder Werkzeugen ermittelt werden, wobei gleichzeitig in der vorher geschilderten Weise eine Werkstückerkennung durchgeführt werden kann. Aufgaben dieser Art treten vor allem bei automatischen Fügevorgängen auf, an die sich dann ein weiterer Bearbeitungsschritt, z.B. das Zusammenschweißen der Teile, anschließt Hierbei ist es möglich, mit zwei Fernsehkameras dreidimensionale Lagekoordinaten zu vermessen.

Zur Durchführung des Verfahrens werden die zu erkennenden Objekte entweder im Durchücht — oder im Auflicht betrachtet

Ein wesentlicher Vorteil der Einrichtung Sensorsystem) ist es, daß für das Erfassen der vorher genannten Merkmale nur Zählvorgänge benötigt werden, wobei wegen der Beschränkung auf wenige Merkmale auch nur wenige Zählergebnisse anfallen. Zählergebnisse sind mit Hilfe der Digitalelektronik leicht zu realisieren, die geringe Anzahl der zu verarbeitenden Zählergebnisse bedeutet eine Datenreduktion und damit eine Abnahme des benötigten Speicherplatzes.

Bei der Durchführung des Erkennungsvorganges (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Obereinstimmung entschieden.

Bei der Durchführung der Positionsbestimmung beinhaltet die Zeitdifferenz zwischen dem Zeilenanfang oder einem beliebigen anderen Anfangszeitpunkt und dem Eintreffen eines oder mehrerer Fernsehzeilen auf das Werkstück oder Werkzeug bei bekannter Zeilenabtastgeschwindigkeit die Information der Werkstückoder Werkzeuglage.

Ein zusätzlicher mit der Erfindung erzielbarer Vorteil ist die Unempfindlichkeit des Sensorsystems gegenüber Störeinflüssen der Fernsehkamera. Durch den Verzicht auf die für den vorliegenden Anwendungsfall unnötige Detailerkennung und die Anzahl signifikanter Merkmale mit relativ großen geometrischen Abmessungen sind Linearitäts- und Zeilenfehler der Fernsehkamera sowie die begrenzte Auflösung bedeutungslos.

Ein weiteres wesentliches Kennzeichen des Sensorsystems ist die leichte Programmierbarkeit. Gleichzeitig mit der gewünschten Flexibilität von Handhabungssystemen für den Einsatz bei verschiedenen Werkstücken und Handhabungsvorgängen müssen auch die mustererkennenden Sensorsysteme programmierbar sein. Bei der Vielzahl der möglichen Werkstücke und Handhabungsvorgänge ist bei einer universellen Verwendbar- to keit des Sensorsystems eine leichte Anpassung an die jeweilige Aufgabenstellung anstrebenswert. Die Programmierung des Sensorsystems ist dadurch möglich, daß bei einer Kombination aus fest vorgegebenen Zählschaltungen, Speichern und logischen Baugruppen i,^r> alle unveränderlichen Funktionen fest verdrahtet sind. Die Zeilenauswahl, die Wahl der durch einen Zählvorgang je nach ausgewalzten Merkmal zu erfassenden Meßgröße und die logische Entscheidungsstufe wird in bekannter Weise zum Beispiel über Kreuzschienenverteiler mit Diodensteckern programmiert. Hierzu ist ein Teil der für den Meß- und Erkennungsvorgang notwendigen Auswerteschaltung für alle Objekte gleich und dementsprechend fest verdrahtet Ein Teil der Schaltung ist jedoch durch variable Steckverbindungen flexibel gestaltet, so daß eine objektabhängige Programmierung mittels Steckverbindungen möglich ist

In gleicher Weise ist die Programmierung über Microprocessoren oder Ablaufsteuerungen (Mikrocontroller) möglich, bei denen die Programminstruktionen in leicht austauschbaren Festwertspeichern festgelegt sind.

Die Eingabe der für die Klassifikation benötigten Sollwerte kann auf zweierlei Weise erfolgen. Es ist zum einen möglich, die Sollwerte aus den jeweiligen Werkstückdaten zu bestimmen und fest in die Speicher einzugeben. Es ist ebenso möglich, die Sollwerte durch einen direkten Bildschirm-Bediener-Dialog einzugeben. Dieser Vorgang entspricht dem der eigentlichen Programmierung (teach-in) der Handhpbungssysteme. Hierbei werden der Fernsehkamera je nach Handhabungsaufgabe nacheinander die verschiedenen Objekte oder Objektlagen angeboten. Mit Hilfe eines Monitorbildes, bsi dem eine verschiebbar angeordnete Zeile z. B. durch eine Dunkeltastung dieser Zeile gekennzeichnet ist, bringt der Bediener die gekennzeichnete Zeile an die gewünschte signifikante Stelle des Objektes. Auf Knopfdruck werden die sich als Zählergabnisse in dieser Zeile ergebenden Abschnitte der Schwarz-Weiß-Strekken eines z. B. im Durchücht erscheinenden Objektes in die Sollwertspeicher eingegeben. Dies wird für jede mögliche Lageklasse wiederholt

Die Ablaufsteuerung des Erkennungsvorganges und die logischen Entscheidungen übernimmt ein Microprocessor, der in vielen Fällen eine reine Ablaufsteuerung (Mikrocontroller) sein kann. Hierbei wird in bekannter Weise die gesamte Programminformaticn in einem Festwertspeicher gespeichert Je nach Aufgabe wird dieser Speicher mit den Programminformationen ausgetauscht Durch die Datenreduktion ist der Speicherplatz für Befehle und Daten gering.

Ein Ausführungsbeispiel für eine Werkstückklassifizierung und ein Ausführungsbeispiel für eine Relativpositionierung von Werkstücken ist in der Zeichnung dargestellt und im folgenden näher beschrieben. Es zeigt

F i g. 1 die an einem Beispiel durchgeführte Datenreduktion durch die Beschränkung auf einige wenige Fernsehzeilen an signifikanten Werkstückstellen bei der Aufgabe der Werkstückklassifikation und Positionsbestimmung.

F i g. 2 ein Beispiel für die Anwendung des Verfahrens bei de·· Relativpositionierung von Werkstücken.

F i g. 3 die Draufsicht der Anordnung zur Relativpositionierung von Werkstücken.

F i g. 4 ein Blockschaltbild des Sensorsystems.

Zur Durchführung des Verfahrens zur Werkstückklassifikation und Positionsbestimmung wird das in F i g. 1 beispielsweise als Winkel ausgeführte Werkstück in bekannter Weise gegen einen Anschlag 1 geführt. Hierdurch ergeben sich die dargestellten sechs stabilen Anlauflagen L)-L₆. Bei der Erfassung dieses Bildes mit Hilfe einer senkrecht zur Bildebene stehenden Fernsehkamera ist eine Bildauflösung von 625 Zeilen pro Bildausschnitt möglich. Von diesen 625 möglichen Zeilen sind entsprechend F i g. I die vier nicht äquidistanten Zeilen Zi-Zt herausgegriffen. Wie im

folgenden gezeigt wird, genügen diese vier Zeilen zu einer vollständigen Beschreibung der möglichen Lage klassen L\ — Li. Dies bedeutet eine wesentliche Aufwands- und Datenreduktion und führt demgemäß zu einer Vereinfachung des Sensorsystems.

Man erkennt aus F i g. 1, daß nur die Zeilen Z\ und Z₂ die Werkstücklagen L\ und L₂ erfassen. Im Videosignal der Fernsehkamera bewirkt das Vorhandensein eines Gegenstandes bei der betreffenden Abtastzeile eine deutliche Pegeländerung. Das Vorhandensein einer solchen Pegeländemng in einer Zeile wird gespeichert.

Die Entscheidung welche der beiden möglichen Lagen L\ oder Li vorliegt, wird bei der zweiten Fernsehzeile Zi getroffen. Bei gemeinsamen Loslaufen aller Fernsehzeilen von einer Anfangsmarke 2 (Fig. 1) trifft bezogen auf diesen Anfangspunkt bei der Lage L\ die Zeile Zi früher auf das Werkstück als die Zeile Z\. Bei der Lage Li ist dies umgekehrt. Durch Erfassung der

Werkstück mittels vom Videosignal getriggerten Zählern kann auf die Lage L\ oder L₁ entschieden werden. In gleicher Weise ist es möglich, aus den unterschiedlichen Steigungswinkeln der Werkstückkanten die restlichen Lageklassen Li— U zu bestimmen. Für den Erkennungsvorgang wurden dabei im vorliegenden Beispiel von den früher genannten Merkmalen nur die Winkel von Werkstückkanten und das Vorhandensein oder Nichtvorhandensein von werkstückerfassenden Fernsehzeilen ausgenutzt.

In gleicher Weise ist es möglich, durch das Verwenden anderer Merkmale den Erkennungsvorgang durchzuführen. So kann die Lage Li und L·, von der Lage U und Li dadurch unterschieden werden, daß durch den Zählvorgang die unterschiedlichen Breiten der Außenkonturen oder das Vorhandensein einer Aussparung des Werkstückes bei der Lage Lj und U in Zeile Zi ermittelt werden.

Für den Erkennungsvorgang (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Übereinstimmung entschieden.

Die Positionsvermessung des Werkstückes erfolgt aus der Zeitdauer (Zählvorgang), die beispielsweise die Zeile Zi. die alle Werkstücklagen L^-U erfaßt, vom Anfangspunkt 2 bis zum Werkstück benötigt.

Nun sind Werkstücklage und Werkstückposition bekannt, so daß mit diesen Daten der Greifer des Handhabungssystems entsprechend der für jede Lageklasse vorprogrammierten Greifbewegung gesteuert werden kann.

Die für jedes Werkstück vorzunehmende Programmierung des Steuersystems kann zum einen bei einer vorher festgelegten Zeilenauswahl aus den geometrischen Abmessungen erfolgen. Im vorliegenden Beispiel sind das beispielsweise die Wegdifferenzen der einzelnen Zeilen oder die Breite der Außenkonturen. Desgleichen ist es möglich, mittels eines Monitorbildes in einem Bildschirm-Bediener-Dialog für jede Werkstücklage mittels einer durch Dunkeltastung gekennzeichneten und verschieblichen Monitorzeile die signifikanten Stellen des Werkstückes abzutasten und direkt die vom Videosignal getriggerten Schwarz-Weiß-Bereiche der jeweiligen Zeile als Sollwerte zu speichern.

Als weiteres Beispiel für die Anwendbarkeit des Verfahrens bei nicht vorliegenden diskreten Lagekiassen ist in Fig. 2 die Relativpositionierung von Werkstücken näher ausgeführt.

Das Werkstück 3 wird beispielsweise über ein Förderband 4 auf eine Haltevorrichtung 5, beispielsweise eine magnetische oder mit Vakuum arbeitende Vorrichtung, aufgesetzt Die Aufsetzlage des Werkstükkes kann beliebig sein. Im oder auf dem Werkstück befindet sich ein signifikantes Merkmal. Im Beispiel ist dies eine rechteckige Werkstückaussparung 6. Wird das Werkstück im Durchlicht betrachtet, so erscheint diese Aussparung als heller Fleck auf dem dunklen Werk-

ίο stück. Es muß sich hierbei keineswegs um Aussparungen handeln, die an dieser Stelle lichtdurchlässig ist. Ir gleicher Weise kann es auch eine lichtundurchlässige Vertiefung oder eine Erhöhung sein. Im Werkstück befindet sich eine in der Seitenansicht nicht sichtbare

π öffnung 7. In diese öffnung soll ein ganz bestimmte; Werkstück 8 von einer Zubringeeinrichtung 9 eingefügi werden. Diese Aufgabe wird dadurch gelöst, daß da« Werkstück 3 von einer Zeile Z\ einer FernsehkamerE sb^eisstst wird. Dies« F**rnsehzei!e !st so r»r»cjijr»nj*»rt daß sie die signifikante Aussparung 6 erfaßt. Durch Drehen der Halterung 5 durch das Handhabungssysterr bis zur maximalen von der Fernsehzeile erfaßten unc bekannten Abmessung der Innenkontur 6 ist die Lagt bis auf eine Parallelverschiebung senkrecht zur Zeichen

2't ebene erfaßt.

Handelt es sich beispielsweise bei dem signifikanter Merkmal um eine lichtundurchlässige Aussparung odei eine Erhebung, so nutzt man als Sollwert für die Drehung des Werkstückes das Intensitätsmaximum de;

in Videosignals beim Glanzwinkel aus.

In F i g. 3 ist zur Verdeutlichung die Draufsicht dei Anordnung mit dem Werkstück 3 und der Fernsehka mera 10 dargestellt. Die Kamera 10 erfaßt ir beschriebener Weise die sich gegen eine von dei

r. Rückseite durch eine Lampe 11 beleuchtete Maltschei be 12 hell vom Werkstück 3 abhebende Aussparung 6.

Tritt nach der Ausrichtung des Werkstückes durch die beschriebene Drehung noch ein Freiheitsgrad durri eine mögliche Parallelverschiebung in y-Richtung auf.se

■»'■ läßt sich diese mit einer senkrecht zur erster Fernsehkamera 10 angeordneten zweiten Kamera 1; durch eine einzige Zeile erfassen, die die Außenkontu ren des Werkstückes abtastet.

Wegen der starren und bekannten Relativpositior

-i zwischen der Marke 6 und der Werkstücköffnung 1 (F i g. 2) ist es nun möglich, die Zubringeeinrichtung 9 se zu steuern, daß das Werkstück 8 in die öffnung eingefügt werden kann. Hierbei ist es möglich, durcl eine zweite Zeile Zi der ersten Fernsehkamera 10 da:

'■'' zugebrachte Werkstück in gleicher Weise zu klassifizie ren und in der Lage auszurichten. So ^;st e: beispielsweise auch möglich, je nach der Art de Werkstückes 8 verschiedene Manipulationen vorzuneh men, beispielsweise in verschiedene Öffnungen de

''·"> Werkstückes3 einzusetzen.

Die Lage in x-Richtung ergibt sich in beschriebene Weise aus dem Zeitabstand der Fernsehzeilen Z\ und Z von der Anfangsmarke 14 (F i g. 2\

In F i g. 4 ist ein Blockschaltbild des Sensorsystem

^rl] dargestellt. Das von einer Fernsehkamera 15 erfaßti Bild wird in einer Impulstrennstufe 16 in das Videosigna und die Zeilenimpulse zerlegt Das Videosignal dient zu Ansteuerung einer Triggerstufe 17 für Schwarzweiß Obergänge des Bildes und zur Ansteuerung eine

'·' Triggerstufe 18 für Weißschwarz-Übergänge de abgetasteten Bildes. Diese Stufen steuern über ein Start-Stop-Schaltung 19 die Zählimpulse, die von einer HF-Oszillator 20 in einen Zähler 21 eingegeben werdei

Die Zählergebnisse werden für jede Zeile bei der angegebenen Stellung des Schalters 22 in den Istwertspeicher 23 eingegeben. Die gewünschte Fernsehzeilen werden nach der Impulstrennstufe 16 über einen Zeilenzähler 24 und einen Zeilendekodierer 23, der zur Auswahl der gewünschten Zeilen dient, in einem Zeilenspeicher 26 gespeichert Über eine Koinzidenzschaltung 27 werden dem aus der Steuereinheit 28, dem programmierbarem Festwertspeicher 29 und der Ein-Ausgabelogik (Entscheidungsstufe) 30 bestehenden Microprocessor Steuerbefehle zugeführt. Dieser Microprocessor steuert seinerseits nach Maßgabe des flexiblen und programmierbaren Festwertspeichers 29

den Meßvorgang und trifft in der Ein-Ausgabelogik durch Vergleich der Inhalte des Istwert- und Sollwertspeichers die Entscheidung auf die Lageklasse. Die Position des Werkstückes ist für eine bestimmte Zeile im Istwertspeicher 23 festgehalten, woraus in einer Schaltung 33 beispielsweise die Position des Schwerpunktes ermittelt werden kann. Zur Programmierung des Sensorsystems wird das Bild der Fernsehkamera 15 auf dem Monitor 31 beobachtet, die gewünschte Zeile mit dem Zeilenzähler 24 eingestellt, und die Sollwerte der Werkstückabmessungen nach Umschalten des Schalters 22 in den Sollwertspeicher 32 eingegeben.

Hierzu 4 Blatt Zeichnungen

Claims (7)

Patentansprüche:

1. Einrichtung zur Bestimmung der Lageart, Orientierung und Position eines Objektes, z, B, eines Werkstückes oder Werkzeuges, dessen Auflugemöglichketten bekannt sind, für die Steuerung von automatischen Handhabungssystemen mittels Abtastung des Objektes mit Hilfe einer Fernsehkamera, dadurch gekennzeichnet, daß in einer Programmierphase aus der Objektgeometrie durch Abtastung des Objektes mit einigen, wenigen — elektronisch über Wahlschalter, Zeilenzähler (24) und Zeilendekodierer (25) — ausgewählten und auf die signifikanten Stellen des Objektes eingestellten Zeilen der Fernsehkamera (15) Streckenabschnitte ermittelt und in einem Speicher (23) gespeichert werden und in der Meßphase von dem zu bestimmenden Objekt von den gleichen Zeilen Streckenabschnitte ermittelt werden und diese mit den in der Programmierphase ermittelten Streckenabschnitten in der Auswerteschaltung (28—30) korreliert werden und dadurch die Lageart, Orientierung und Position des Objektes ermittelt wird.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Streckenabschnitte als Zählimpulse in einem Zähler (21) erfaßt werden, wobei die Zahl der Zählimpulse die Abstände des Objektes von einer Bezugsmarke, Winkel von Objektkanten oder Abmessungen von Außen- oder Innenkonturen des Objektes sein können.

3. Einrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß der Ablauf der Programmier- und Meßphase von der Auswes-.eschaltung (28—30) gesteuert wird, die mittels, austauschbarer Festwertspeicher programmiert ist

4. Einrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die Programmier- und Meßphase sowie die elektronische Korrelation von einem Mikroprozessor gesteuert und durchgeführt wird.

5. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Durchlicht erfaßt werden.

6. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Auflicht erfaßt werden.

7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Objektlage aus dem Auftreten der Maximalintensität des Videosignals beim Glanzwinkel bestimmt wird.