DE19506328C2

DE19506328C2 - Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum

Info

Publication number: DE19506328C2
Application number: DE19506328A
Authority: DE
Inventors: Katsuhiro Sasada; Tomoharu Nakahara; Hidekazu Araki
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-12-20
Filing date: 1995-02-23
Publication date: 1997-06-12
Anticipated expiration: 2015-02-24
Also published as: DE19506328A1

Description

Die Erfindung betrifft ein Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum, bei dem ein räumliches Abstandsbild verwendet wird, das durch Aufnehmen des Objekts im dreidimensionalen Raum er halten wird sowie ein ebensolches Verfahren, das für ein Objekt mit einer Kreisform bestimmt ist.

In IEEE Computer, Nov. 1982, Seiten 21-34 beschreibt Yoshiaki Shirai Bildverarbeitungsverfahren zur Wiederge winnung der dreidimensionalen Information aus zweidimensio nalen Höhenbildern.

In dem Artikel "3 D Szenenanalyse zur Werkstückerkennung auf der Basis von geometrischen Oberflächenmerkmalen aus räum lichen Abstandsbildern" von W. Langer, der in dem im Sprin ger-Verlag (Informatik-Fachberichte 254, "Mustererkennung 1990") erschienen Verhandlungsbericht zum 12. DAGM-Symposium vom September 1990 in Oberkochen-Aalen auf den Seiten 556ff. veröffentlicht ist, wird eine dreidimensionale Szenenanalyse zur Lageerkennung von sich berührenden und überlappenden Werkstücken in räumlichen Abstandsbildern vorgestellt. Die Erkennung beruht dabei auf den lokalen geometrischen Ober flächeneigenschaften des gesuchten Werkstücks.

In IEEE PAMI Vol. 13, Nr. 10, 1991, Seiten 971-991 ist ein Verfahren beschrieben, das dazu dient, mithilfe von algebra ischen Invarianten gekrümmte ebene Objekte wiederzuerkennen. Dabei werden zur Beschreibung dreidimensionaler Objekte euklidische Invarianten verwendet, die von der Position des Objekts und einer Aufnahmekamera unabhängig sind.

Als Verfahren zur Erkennung eines dreidimensionalen Objekts wurde herkömmlicherweise ein Verfahren vorgeschlagen, bei dem die Positionserfassung dadurch erfolgte, daß ein Cluster in einem Parameterraum extrahiert wurde, das die Lage eines erhaltenen Objekts angibt, basierend auf Übereinstimmungen zwischen allen Randabschnitten in einem Bild und allen scharfen Kanten oder Gratlinien eines Objektmodells, wie in der japanischen Offenlegungsschrift Nr. 2-230478 offenbart; ein Verfahren, bei dem ein zu prüfendes Objekt als ein Objekt modell mit einer Mehrzahl von starren Körpern und mit den Körpern verbundenen Gelenken mit Drehfreiheitsgraden be trachtet wird, wobei Lageanwärter für jeden starren Körper auf der Basis von Entsprechungen zwischen Merkmalen (wie etwa bestimmten Abschnitten oder bestimmten Punkten) in einem Bild und dem Objektmodell aufgefunden werden und eine Darstellung des Objektbildes anhand einer Schätzung ausgehend von den jeweiligen Lageanwärtern erhalten und mit dem Bild verglichen wird, um dadurch eine geeignete Lage zu bestim men, wie in der japanischen Offenlegungsschrift Nr. 4-54409 offenbart; usw.

Bei dem vorhergehenden Verfahren ist es erforderlich, Über einstimmungen zwischen allen Randabschnitten in dem Bild und allen scharfen Kantenlinien des Objektmodells herzustellen. So wird die Anzahl von Randabschnitten in einem Bild und die Anzahl von scharfen Kantenlinien in einem Objektmodell groß, wenn das Objekt eine komplizierte Form annimmt, was den Nach teil mit sich bringt, daß viel Zeit erforderlich ist, um die Übereinstimmungen zu bewirken, und daß die Erfassung ungenau wird. Selbst bei dem letzteren Verfahren wird die Anzahl von starren Körpern und Verbindungen dann, wenn ein Objekt eine flexible Struktur besitzt, groß, was im Ergebnis dazu führt, daß die endgültige Erfassung der dreidimensionalen Lage eines Objekts viel Zeit in Anspruch nimmt.

Zur Erkennung eines Objekts mit einer Form wie etwa einer zy lindrischen Form wird indessen ein Verfahren zur Durchfüh rung einer Hochgeschwindigkeitserfassung eines Objekts vorge schlagen, wie in der japanischen Offenlegungsschrift Nr. 6- 29695 gezeigt. Bei diesem Verfahren wird ein zu prüfendes Objekt schräg durch zwei Bildaufnahmemittel photographiert, um zwei Bilder zu erhalten, wobei von den beiden Bildern Kur venränder extrahiert werden, einige der Kurvenränder dann, wenn sie innerhalb eines vorbestimmten Entfernungsbereichs liegen, als Ränder in einer identischen elliptischen Linie betrachtet werden, die Mitte eines richtigen Kreises so be trachtet wird, als sei sie als die Mitte der Ellipse in den Bildern photographiert worden, die Mitten der oberen und unteren Ellipsen berechnet und die von den beiden Bildern einander zugeordnet werden, die Mitten der den oberen und unteren Ellipsen entsprechenden richtigen Kreise auf der Basis der Triangulation berechnet werden, und die Orientie rung oder Richtung eines Linienabschnitts, der die beiden berechneten Mitten verbindet, berechnet wird, um eine Mit tellinie für den Zylinder aufzufinden, um dadurch die Posi tion und Lage des zylindrischen Körpers zu bestimmen.

Dieses Verfahren ist jedoch mit einem Problem behaftet, das darin besteht, daß dann, wenn ein ringförmiges Objekt oder mehrere zylindrische Objekte erkannt werden sollen, Kombina tionen von Kurvenrändern, die nicht in einem identischen Kreis liegen, irrtümlicherweise als in dem identischen Kreis liegend betrachtet werden und einige Ränder der unteren zy lindrischen Fläche außerhalb des Schirmes nicht gesehen wer den, was dazu führt, daß die Richtung der Mittellinie des zylindrischen Objekts, d. h. seine Lage, nicht gemessen werden kann. Wird die Mitte eines Kreises zu einem Bild projiziert, so wird die Mitte gegenüber der Kreismitte in dem Bild ver setzt projiziert, solange die den Kreis enthaltende Ebene nicht senkrecht zu der optischen Achse der Bildaufnahmemit tel ist. Da überdies nahezu die Hälfte der Ränder des unte ren Kreises versteckt sind und damit nicht gesehen werden, besteht die Tendenz, daß die Mittengenauigkeit des auf der Basis von solchen Rändern berechneten Kreises gering ist. Dementsprechend sind die auf diese Weise erhaltenen Posi tions- und Lagewerte wenig genau und wenig zuverlässig.

Demnach ist die Aufgabe der Erfindung, ein Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimen sionalen Raum zur Durchführung einer Hochgeschwindigkeits erfassung bei hoher Genauigkeit zu schaffen.

Die Aufgabe der Erfindung wird durch ein Verfahren zur Er kennung der Position und Lage eines Objekts im dreidimensio nalen Raum erfüllt, bei dem ein räumliches Abstandsbild ver wendet wird, das durch Aufnehmen des Objektes im dreidimen sionalen Raum erhalten wird, wobei das Verfahren dadurch gekennzeichnet ist, daß ein Flächenbild des Objekts vom gleichen Aufnahmepunkt aus erhalten wird wie das räumliche Abstandsbild, ein Teilbild des erhaltenen Flächenbildes spe zifiziert wird, ein Teilbild des räumliches Abstandsbildes an einer Position in dem räumlichen Abstandsbild extrahiert wird, die der Position des spezifizierten Teilbildes in dem Flächenbild entspricht, und das Teilbild des räumlichen Ab standsbildes für die Erkennung verarbeitet wird.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Erkennung der Position und Lage eines Objekts mit einer Kreisform im dreidimensionalen Raum geschaffen, bei dem ein räumliches Abstandsbild verwendet wird, das durch Aufnehmen des Objekts im dreidimensionalen Raum erhalten wird, dadurch gekennzeichnet, daß ein Stereo-Randeffektbild und ein Dich tegradientenbild des Objekts über ein Graustufenbild erhal ten werden, indem das Objekt von mehreren Richtungen aus aufgenommen wird, das Stereo-Randeffektbild so verarbeitet wird, daß über ein Bezugsrandeffektbild und andere übrige Randeffektbilder ein Parallaxenbild als räumliches Abstands bild erhalten wird, das Bezugsrandeffektbild verarbeitet wird, um daraus die Komponenten mit gekrümmten Rändern und darüber hinaus aus den Komponenten mit gekrümmten Rändern eine Kreis-Komponente zu extrahieren, und die Position und Lage der extrahierten Kreis-Komponente unter Verwendung ei ner dreidimensionalen Information erkannt wird, die von dem Parallaxenbild unter Bezug auf die entsprechenden Randef fektpunkte der extrahierten Kreiskomponente erhalten wurde.

Erfindungsgemäß wird bei der Objekterfassungsoperation das zweidimensionale Bild dazu verwendet, zuvor die Objektanwesen heitszone zu beschränken, die der Erfassung in dem Abstands bild unterliegt, und die Objekterfassungsoperation wird über dem Abstandsteilbild der beschränkten Zone durchgeführt. Mit der Erfindung kann somit eine Erfassungsoperation durchge führt werden, die im Vergleich zum Stand der Technik sehr schnell ist, bei dem die Erfassungsoperation über alle Zonen des Abstandsbildes erfolgt. In diesem Fall kann die Spezifi zierung des Teilbildes des zweidimensionalen Bildes auf der Basis des Formmusters der Oberfläche des Objekts, des stati stischen Strukturbildmerkmals, der Farb- oder Helligkeits klassifikation oder des zweidimensionalen geometrischen Merkmals erfolgen, das von dem dreidimensionalen geometri schen Merkmal des Objekts abgeleitet wurde.

Die Erfindung wird im folgenden anhand von Ausführungsbei spielen unter Bezugnahme auf die Zeichnung näher erläutert; in dieser zeigen:

Fig. 1 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform eines erfindungsgemäßen Systems;

Fig. 2 ein Blockdiagramm des Systems der Ausführungsform der Fig. 1;

Fig. 3 eine perspektivische Ansicht eines Beispiels von Objekten, die der Erfassung bei der Ausführungsform der Fig. 1 unterliegen;

Fig. 4a ein Diagramm zur Erläuterung eines zweidimensionalen Bildes der beispielhaften Objekte bei der Ausführungsform der Fig. 1;

Fig. 4b ein Diagramm zur Erläuterung eines Abstandsbildes der beispielhaften Objekte bei der Ausführungsform der Fig. 1;

Fig. 5 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer spezifischeren Abwandlung der Ausführungsform der Fig. 1,

Fig. 6 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 5;

Fig. 7 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischen Abwandlung der Ausführungsform der Fig. 1;

Fig. 8 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 7;

Fig. 9 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischeren Abwandlung der Ausführungsform der Fig. 1;

Fig. 10 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 9;

Fig. 11 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischeren Abwandlung der Ausführungsform der Fig. 1;

Fig. 12 eine Vorderansicht eines Beispiels einer Objekterfas sung bei der Abwandlung der Fig. 11;

Fig. 13a ein Diagramm zur Erläuterung eines zweidimensio nalen Bildes bei der Abwandlung der Fig. 11;

Fig. 13b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Abwandlung der Fig. 11;

Fig. 14 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 11;

Fig. 15 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung;

Fig. 16 ein Diagramm zur Erläuterung einer Wirkungsweise der Ausführungsform der Fig. 15;

Fig. 17 ein Diagramm zur Erläuterung einer weiteren Wir kungsweise der Ausführungsform der Fig. 15;

Fig. 18 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung;

Fig. 19 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung;

Fig. 20a ein Diagramm zur Erläuterung eines zweidimensiona len Bildes bei der Ausführungsform der Fig. 19;

Fig. 20b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Ausführungsform der Fig. 19;

Fig. 21a ein Diagramm zur Erläuterung des Abstandsbildes nach dem Anwenden einer Vorverarbeitungsoperation bei der Ausführungsform der Fig. 19;

Fig. 21b ein Diagramm zur Erläuterung des zweidimensionalen Bildes nach einer Anwendung einer Vorverarbeitungsoperation bei der Ausführungsform der Fig. 19;

Fig. 22 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform, auf die das Prüfungsverfahren gemäß der Erfindung angewendet wird;

Fig. 23 eine perspektivische Ansicht eines zu prüfenden Objekts bei der Ausführungsform der Fig. 23;

Fig. 24a ein Diagramm zur Erläuterung eines zweidimensio nalen Bildes bei der Ausführungsform der Fig. 22;

Fig. 24b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Ausführungsform der Fig. 22;

Fig. 25 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung zum Auffinden einer Position und Lage eines Objekts;

Fig. 26 eine perspektivische Ansicht eines Beispiels des Objekts in Fig. 25;

Fig. 27 ein Diagramm zur Erläuterung einer Ebene, auf die die Oberseite des Objekts bei der Ausführungsform der Fig. 25 gelegt wird;

Fig. 28a ein Diagramm, das einen gedrehten Zustand der Ebene bei der Ausführungsform der Fig. 25 zeigt;

Fig. 28b ein Diagramm zur Erläuterung eines Schablonenbil des;

Fig. 29 ein Blockdiagramm eines Systems, bei dem die Er findung angewendet wird und ein zu erfassendes Objekt eine zylindrische Form besitzt;

Fig. 30 perspektivische Ansichten eines Beispiels des Erfassungsobjekts bei dem System der Fig. 29;

Fig. 31a ein Diagramm zur Erläuterung eines Randbildes in einem Stereobezugsbild bei dem System der Fig. 30;

Fig. 31b ein Diagramm zur Erläuterung eines Disparitätsbil des bei dem System der Fig. 30;

Fig. 32a ein Diagramm zur Erläuterung eines Beispiels eines Randbildes bei dem System der Fig. 30;

Fig. 32b ein Diagramm zur Erläuterung von Kurvenrändern bei dem System der Fig. 30;

Fig. 32c ein Diagramm zur Erläuterung eines bei dem System der Fig. 30 extrahierten kreisförmigen Randes;

Fig. 33 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung der Erfindung;

Fig. 34 eine perspektivische Ansicht einer weiteren Aus führungsform der Erfindung;

Fig. 35 perspektivische Ansichten eines Objekts bei der Ausführungsform der Fig. 34;

Fig. 36a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 35;

Fig. 36b ein Diagramm zur Erläuterung eines bei der Aus führungsform der Fig. 35 extrahierten kreisförmigen Randes;

Fig. 37 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Abwandlung der Erfindung;

Fig. 38 eine perspektivische Ansicht eines Bilderfassungs zustands einer weiteren Ausführungsform der Erfindung;

Fig. 39 perspektivische Ansichten eines Objekts bei der Ausführungsform der Fig. 38;

Fig. 40a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 38;

Fig. 40b ein Diagramm zur Erläuterung eines extrahierten kreisförmigen Randes bei der Ausführungsform der Fig. 38;

Fig. 41 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Abwandlung der Erfindung;

Fig. 42 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung;

Fig. 43a ein Diagramm zur Erläuterung der Art und Weise, wie Randpunkte bei der Ausführungsform der Fig. 42 aufgesucht werden;

Fig. 43b ein Diagramm zur Erläuterung extrahierter Ränder bei der Ausführungsform der Fig. 42;

Fig. 44 ein Diagramm zur Erläuterung der Art und Weise, wie ein gekrümmter Rand bei der Ausführungsform der Fig. 42 zu extrahieren ist;

Fig. 45a ein Diagramm zur Erläuterung extrahierter gekrümmter Ränder bei der Ausführungsform der Fig. 42;

Fig. 45b ein Diagramm zur Erläuterung extrahierter gekrümm ter Ränder bei der Ausführungsform der Fig. 42;

Fig. 46 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 47a ein Diagramm zur Erläuterung extrahierter gekrümm ter Ränder bei der Ausführungsform der Fig. 46;

Fig. 47b ein Diagramm zur Erläuterung eines binären Bildes von Rändern mit Disparitäten, die bei der Ausführungsform der Fig. 46 berechnet wurden;

Fig. 47c ein Diagramm zur Erläuterung extrahierter kreis förmiger Ränder bei der Ausführungsform der Fig. 46;

Fig. 48 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 49 eine perspektivische Ansicht eines Objekts bei der Ausführungsform der Fig. 48;

Fig. 50a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 48;

Fig. 50b ein Diagramm zur Erläuterung extrahierter gekrümm ter Ränder bei der Ausführungsform der Fig. 48;

Fig. 50c ein Diagramm zur Erläuterung extrahierter gekrümm ter Ränder bei der Ausführungsform der Fig. 48;

Fig. 51 ein Diagramm zur Erläuterung der Art und Weise, wie gekrümmte Ränder bei der Ausführungsform der Fig. 48 auszu wählen sind;

Fig. 52 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung;

Fig. 53 perspektivische Ansichten eines Objekts bei der Aus führungsform der Fig. 52;

Fig. 54a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 52;

Fig. 54b ein Diagramm zur Erläuterung extrahierter kreis förmiger Ränder bei der Ausführungsform der Fig. 52;

Fig. 55 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 56 ein Flußdiagramm zur Erläuterung der Extraktions operation der Ausführungsform der Fig. 55;

Fig. 57 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 58 eine perspektivische Ansicht von Objekten bei der Ausführungsform der Fig. 57;

Fig. 59a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 57;

Fig. 59b ein Diagramm zur Erläuterung eines extrahierten kreisförmigen Randes bei der Ausführungsform der Fig. 57;

Fig. 60 ein Diagramm zur Erläuterung der Art und Weise, wie ein kreisförmiger Rand bei der Ausführungsform der Fig. 57 zu extrahieren ist;

Fig. 61 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 62 ein Diagramm zur Darstellung einer Ebene eines Objekts, betrachtet von seiner Unterseite, bei der Ausfüh rungsform der Fig. 61;

Fig. 63 ein Diagramm zur Erläuterung eines gedrehten Zustands der Ebene bei der Ausführungsform der Fig. 61;

Fig. 64 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin dung;

Fig. 65 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform;

Fig. 66 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform;

Fig. 67 ein Diagramm zur Erläuterung einer Form der Wir kungsweise der Ausführungsform der Fig. 66;

Fig. 68 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform der Erfindung, die bei einem Montage überwachungssystem angewendet werden kann;

Fig. 69 eine perspektivische Ansicht von Objekten bei der Ausführungsform der Fig. 68;

Fig. 70a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 68;

Fig. 70b ein Diagramm zur Erläuterung extrahierter kreisför miger Ränder bei der Ausführungsform der Fig. 68; und

Fig. 71 ein Diagramm zur Erläuterung eines beispielsweise bei den Ausführungsformen der Fig. 29 bis 31 verwendeten Sobel-Operators.

Die Erfindung wird nun anhand von Ausführungsbeispielen nä her erläutert. Nach einem ersten und einem zweiten Merkmal der Erfindung werden ein Abstandsbild und ein zweidimensio nales Bild verwendet, das von dem gleichen Beobachtungspunkt aus wie das Abstandsbild photographiert wurde. Obwohl ver schiedene Wege der Erzeugung des Abstandsbildes möglich sind, erfolgt eine Erläuterung in Verbindung mit einem Fall, bei dem das Abstandsbild ausgehend von einem stereoskopischen Bild, d. h. einem zweidimensionalen Bild erzeugt wurde. In Fig. 2 geben die Bezugszeichen 10a und 10b Fernsehkameras zur Aufnahme von Stereobildern an. Ein Bild, das von einer 10a der Fernsehkameras 10a und 10b photographiert wurde, die mit einem Speicher 4 für zweidimensionale Bilder verbunden ist, wird als Stereobezugsbild verwendet. Bilder, die von den Fernsehkameras 10a und 10b photographiert wurden, werden einander in einem Stereobildprozessor 2 zugeordnet, und Ab stände, die auf der Basis des betreffenden Ergebnisses be rechnet wurden, werden auf dem Stereobezugsbild abgebildet, um ein Abstandsbild in einem dreidimensionalen Bildgenerator 3 zu erzeugen. Das von einer Fernsehkamera 10a erfaßte zwei dimensionale Bild wird in dem zweidimensionalen Bildspeicher 4 gespeichert. Eine Objektanwesenheitszonen-Extraktionsein richtung 5 extrahiert, basierend auf dem zweidimensionalen Bild und dem Abstandsbild, eine Objektanwesenheitszone, in der das Objekt vorliegt, und ein Detektor 6 für eine dreidimensio nale Position/Lage erfaßt eine dreidimensionale Position oder Lage des Objekts auf der Basis der Objektanwesenheitszone und des Abstandsbildes in deren Nähe.

Fig. 3 zeigt ein Beispiel von zu erfassenden Objekten. Fig. 4a ist ein zweidimensionales Bild I2 der beispielhaften Objekte, und Fig. 4b ist ein Abstandsbild I3 davon. Unterschiedlich schraffierte Bereiche in dem Abstandsbild I3 bedeuten unter schiedliche Höhen der Objekte. Diese Darstellung ist auch auf die später beschriebenen Fälle anwendbar.

Es wird zunächst erläutert, wie eine Objektanwesenheitszone zu extrahieren ist, wobei ein Formmuster verwendet wird, das auf eine Oberfläche eines einer Erfassung unterliegenden Objekts vorliegt, das ausgehend von dem Abstandsbild nicht erfaßt werden kann. Die Extraktion einer Objektanwesenheitszo ne durch die Objektanwesenheitszonen-Extraktionseinrichtung 5 erfolgt im Fall der Fig. 5 durch Mittel eines Musterver gleichs. Liegt z. B. ein Buchstabe "B" auf einer Oberfläche eines der Erfassung unterliegenden Objekts vor, so wird der Buchstabe "B" als ein Erfassungsmuster verwendet, wobei ein Mustervergleich zwischen dem zweidimensionalen Bild I2 und dem Erfassungsmuster erfolgt, um einen Teil zu extrahieren, der einem Vergleichsergebnis entspricht, das gleich oder größer als ein Schwellenwert ist, und als Objektanwesenheits zone Al eine Zone zu verwenden, die den extrahierten Teil enthält und einen Kreis mit einem Mittelpunkt bedeckt, der dem Schwerpunkt GI des extrahierten Teils entspricht, wie in Fig. 6 gezeigt. Eine Objekterfassungsoperation wird über ein Teilbild des Abstandsbildes I3 ausgeführt, das der Objektanwe senheitszone A1 entspricht. Diese Objekterfassungsoperation kann nicht nur durch die beiden bereits im Zusammenhang mit dem Stand der Technik erläuterten Verfahren, sondern auch durch ein anderes, später erläutertes Verfahren durchgeführt werden.

Zum Einstellen der Objektanwesenheitszone A2, wie in den Fig. 7 und 8 gezeigt, können Ränder von dem zweidimensionalen Bild I2 extrahiert werden, wobei ein Teil, der einer Randin tensität gleich oder größer als ein Schwellenwert ent spricht, extrahiert werden kann, eine Objektanwesenheitszone A2 mit einer einem Schwerpunkt G2 des extrahierten Teils entsprechenden Mitte eingestellt werden kann und eine Objekt erfassungsoperation über ein Teilbild des Abstandsbildes I3 entsprechend der Objektanwesenheitszone A2 durchgeführt werden kann. Bei dieser Objekterfassungsoperation wird der Umstand ausgenutzt, daß Unterschiede bei den statistischen Bildmerk malen der Objektstruktur als unterschiedliche Dichten in dem zweidimensionalen Bild I2 in Erscheinung treten.

Ist nur eines einer Mehrzahl von rechteckigen Parallelepipe den, das in deren Mitte angeordnet ist, von roter Farbe, und sind die anderen rechteckigen Parallelepipede blau, so kann, wie in Fig. 9 gezeigt, eine Farbextraktion (bei dem darge stellten Beispiel eine Rot-Extraktion) ausgehend von dem zweidimensionalen Bild I2 ausgeführt werden, um einen Teil zu extrahieren, der eine Rot-Komponente gleich oder größer als ein Schwellenwert besitzt. Wie in Fig. 10 gezeigt kann eine Objektanwesenheitszone A3 mit einer einem Schwerpunkt G3 des extrahierten Teils entsprechenden Schwerpunkt G3 einge stellt werden, und eine Objekterfassungsoperation kann über ein Teilbild des Abstandsbildes I3 entsprechend der Objektan wesenheitszone A3 durchgeführt werden. Es ergibt sich von selbst, daß ein entsprechender Teil auf der Basis seiner Helligkeit anstelle der Farbe extrahiert werden kann. In diesem Fall ist festzustellen, daß eine Objektanwesenheitszone auf der Basis eines extrahierten Teils eines zweidimensiona len Bildes eingestellt wird, das eine Objektkomponente be sitzt, die gleich oder größer als ihr Schwellenwert ist, und ein der eingestellten Zone entsprechendes Bild wird als Teilbild des zweidimensionalen Bildes verwendet.

Überdies kann die Anwesenheitszone eines der Erfassung un terliegenden Objekts zuvor durch die Verwendung zweidimensio naler geometrischer Merkmale, die von den dreidimensionalen geometrischen Merkmalen abgeleitet wurden, begrenzt werden. Fig. 11 zeigt einen Fall, bei dem ein zweidimensionales geo metrisches Merkmal verwendet wird, gemäß dem zwei gerade Linien in Form eines Buchstabens T verbunden werden. Genauer wird als erstes ein in Fig. 12 gezeigtes Objekt 120 photogra phiert, um ein zweidimensionales Bild I2, wie in Fig. 13a gezeigt, und damit ein Abstandsbild I3, wie in Fig. 13b ge zeigt, zu erhalten. In diesem Fall erscheint ein zweidimen sionales geometrisches Merkmal als eine solche T-förmige Verbindung zweier gerader Linien, wie durch ein Bezugszei chen 130 gezeigt. Als nächstes werden Ränder von dem zweidi mensionalen Bild I2 extrahiert und einer Hough-Transforma tion unterworfen, um gerade Linien zu erfassen, wobei ein Schnittpunkt der erfaßten Linien extrahiert wird, und wobei das Vorliegen oder Fehlen einer T-förmigen Verbindung fest gestellt wird, wodurch ein Schnittpunkt G4 in der T-förmigen Verbindung extrahiert wird, wie in Fig. 14 gezeigt. Überdies wird eine Zone von vorbestimmtem Ausmaß und mit einer dem Schnittpunkt G4 der T-förmigen Verbindung entsprechenden Mitte auf das Abstandsbild I3 angewendet, um eine dreidimen sionale Position oder Lage des Objekts ausgehend von einem Abstandsteilbild zu bestimmen.

Wie in den Fig. 15 und 16 gezeigt, werden eine Trägheits hauptachse EA1 und ein Schwerpunkt G5 ausgehend von dem zweidimensionalen Bild I2 erfaßt, und das Abstandsbild I3 wird auf eine Ebene projiziert, die durch die Trägheits hauptachse EA1 verläuft und senkrecht zu dem zweidimensiona len Bild I2 ist. Werden eine Trägheitshauptachse EA2 und ein Schwerpunkt G6 ausgehend von dem in Fig. 17 gezeigten Pro jektionsbild erfaßt, so kann die Lage der Trägheitshauptach se ausgehend von den beiden Trägheitshauptachsen EA1 und EA2 erfaßt werden, und die Position der Trägheitshauptachse kann ausgehend von den Schwerpunkten G5 und G6 erfaßt werden.

Wie in Fig. 18 gezeigt werden ferner nach dem oben genannten Erfassen der Lage und der Position der Trägheitshauptachse eine Trägheitshauptachse und ein Schwerpunkt für das Objektmo dell aufgefunden und mit der Lage und Position der erfaßten Trägheitshauptachse in Übereinstimmung gebracht, wobei das Objektmodell auf der Trägheitshauptachse gedreht wird, um eine gewisse Übereinstimmung oder Angleichung zwischen dem Objekt modell und dem Objekt aufzufinden, und eine dreidimensionale Position und Lage des Objekts kann auf der Basis der Position und Lage des Objektmodells erfaßt werden, wenn der Grad an Übereinstimmung ein Maximum erreicht. Da die Position und Lage der Trägheitshauptachse, die repräsentativ sind für die Position und Lage des Objekts in dem dreidimensionalen Raum, als feste Bezugsgrößen verwendet werden, d. h. da fünf oder sechs Freiheitsgrade des Objekts in dem dreidimensionalen Raum eingeschränkt sind, kann in diesem Fall die Position und Lage des Objekts in dem dreidimensionalen Raum bei hoher Ge schwindigkeit genau erfaßt werden.

Wie anhand eines in Fig. 20a gezeigten zweidimensionalen Bildes I2 und eines in Fig. 20b gezeigten Abstandsbildes I3 zu sehen ist, ist dann, wenn eine Mehrzahl solcher, in Fig. 12 gezeigter Objekte gestapelt wird, eine vorhergesagte Höhe einer Anwesenheitsposition eines zu erfassenden Objekts als eine Vorverarbeitung festgesetzt, wobei eine Zone, die höher als die vorausgesagte Höhe ist, ausgehend von dem Abstandsbild I3 (siehe Fig. 21a) extrahiert wird und eine Zone, die die gleiche Position wie in dem Bild besitzt, ausgehend von dem zweidimensionalen Bild I2 (siehe Fig. 21b) extrahiert wird, wie in Fig. 19 gezeigt. Danach bezieht sich die durch die vorausgesagte Höhe eingeschränkte Zone auf ein zweidimensio nales Bild I2′, und das Abstandsbild I3′ wird einer solchen Verarbeitung unterzogen, wie sie oben erwähnt wurde (bei dem dargestellten Beispiel, welche die gleiche wie die in Fig. 11 gezeigte Verarbeitung ist), um eine dreidimensionale Po sition und Lage des Objekts zu bestimmen.

Ein solches dreidimensionales Objekterkennungsverfahren kann auf Objektüberprüfungssituationen angewendet werden. Z. B. zeigt Fig. 23 einen Fall, bei dem ein rechteckiger Pfosten 8 in ein rechteckiges Loch 70 eines Sockels 2 eingesetzt wird, und es soll geprüft werden, ob der rechteckige Pfosten 8 senkrecht (θ = 90°) zum Sockel 2 in das rechteckige Loch eingesetzt wurde oder nicht. Fig. 22 zeigt ein Flußdiagramm zur Erläuterung der Wirkungsweise, wenn der zuvor genannte Mustervergleich angewendet wird. D.h., ein solches, in Fig. 24a gezeigtes zweidimensionales Bild I2 und ein solches, wie in Fig. 24b gezeigtes Abstandsbild I3 werden ausgehend von Stereobildern zweier Fernsehkameras erhalten. Genauer wird ein Kreis 80 (der durch eine Öffnung oder ein Schraubenloch ersetzt werden kann) auf der Oberseite des rechteckigen Pfo stens 8 als Erfassungsmuster verwendet, wobei eine Objektanwe senheitszone in einer Weise eingeschränkt ist, die der der vorhergehenden Ausführungsform gleichartig ist, wobei dann eine Position und Lage des rechteckigen Pfostens 8 in dem dreidimensionalen Raum erfaßt werden. Auf der Basis des Er fassungsergebnisses wird eine Neigung θ des rechteckigen Pfostens ermittelt, um zu entscheiden, ob der Einsetzungszu stand gut ist oder nicht.

Die Fig. 25 bis 28 zeigen ein Beispiel eines Erfassungs verfahrens, bei dem eine Position und Lage eines Objekts auf der Basis eines Abstandteilbildes erfaßt werden, das durch Verwendung des zuvor genannten Musters extrahiert wurde. Liegt insbesondere ein solches Objekt 8 vor, wie es in der Fig. 26 gezeigt ist, so wird ein der Oberseite des Objekts 8 entsprechendes Teilbild von einem Abstandsbild extrahiert, das durch Photographieren des Objekts 8 auf der Basis der Struktur erhalten wurde, und eine von dem Teilbild erhaltene dreidimensionale Information wird auf eine Ebene angewendet, um eine Ebene Pa aufzufinden, die die Oberseite des Objekts 8 in dem dreidimensionalen Raum, wie in Fig. 27 gezeigt, ent hält. Die Ebene Pa erhält man beispielsweise durch Berechnen von Koeffizienten a, b und c in der folgenden Gleichung durch die Methode der kleinsten Quadrate:

ax + by + cz + 1 = 0

Als nächstes werden, wie in Fig. 27 gezeigt, dreidimensiona le Positionen von Punkten auf der Oberseite des Objekts auf einem Ursprung Po eines Kamerabild-Koordinatensystems so gedreht, daß eine Normale Paz der Ebene Pa mit einer Z-Achse des Bildkoordinatensystems zusammenfällt, wie in Fig. 28a gezeigt, und die Positionen werden dann auf eine Ebene (in diesem Fall eine X-Y-Ebene Pxy des obigen Bild-Koordinaten systems) eines Bezugskoordinatensystems unter Verwendung von x- und y-Koordinatenwerten der Punkte auf der Oberseite des Objekts nach der Drehung projiziert. Ein auf diese Weise er haltenes Projektionsbild und ein zuvor aufgezeichnetes Scha blonenbild M (wie in Fig. 28b gezeigt) werden einem Muster vergleich unterworfen, um eine Position und Lage des Objekts des Projektionsbildes aufzufinden, wobei die aufgefundene Objektposition einer inversen Transformation unterworfen wird, um eine Position und Lage der Oberseite des Objekts vor der obigen Drehung aufzufinden. Um die Position und Lage des Objekts in dem zweidimensionalen Bild aufzufinden, wurde bei dem dargestellten Beispiel der Mustervergleich mit dem Scha blonenbild durchgeführt, es ist jedoch festzustellen, daß ein anderes Verfahren wie etwa eine verallgemeinerte Hough- Transformation verwendet werden kann.

Bei der vorhergehenden Ausführungsform wurde das zweidimen sionale Bild ausgehend von dem gleichen Betrachtungspunkt wie bei dem Abstandsbild erhalten, das durch ein Aufnehmen des Objekts in dem dreidimensionalen Raum erhalten wurde, wo bei die der Erfassungsoperation für die Position und Lage des Objekts zu unterwerfende Zone extrahiert und beschränkt wurde und die Trägheitshauptachse und der Schwerpunkt des Objekts auf der Basis eines zweidimensionalen Bildes extra hiert wurden. Besitzt das Objekt jedoch eine solche Form wie etwa die eines Kreiszylinders, so wird ein Zylinderteil da durch extrahiert, daß ein Randbild verwendet wird, und eine Position, Lage und Radius des Kreises werden gemessen, um eine Erkennung des Objekts mit höherer Geschwindigkeit durch führen zu können.

In diesem Fall enthält ein System, wie in Fig. 29 gezeigt, zwei Kameras 11 und 12 zum Photographieren eines Objekts 18, das von einem Illuminator 19 beleuchtet wird, A/D-Wandler 13 und 14 zum Umwandeln analoger Bildsignale von den beiden Kameras 11 und 12 in digitale Bildsignale, Bildspeicher 15 und 16 zum Speichern der digitalen Bildsignale, und einen Prozessor 17, der mit den Bildspeichern 15 und 16 verbunden ist. Mit diesem System wird eine parallele Stereoumwandlung durch die Stereobildverarbeitung eines Randbildes durchge führt, d. h. die beiden Kameras 11 und 12 werden hinsicht lich ihrer Orientierung und Brennweite aufeinander abge stimmt, wobei die Bildsignale so in Bilder umgewandelt wer den, daß die entsprechenden Pixel der beiden Bilder bezüg lich des Y-Koordinatenwertes zusammenfallen, um dadurch eine wirksame entsprechende Punktprüfung zu verwirklichen, wobei eine einer Abweichung zwischen den X-Koordinatenwerten der beiden berechneten Bilder entsprechende Disparität von der Kamera 11 photographiert und auf ein extrahiertes Randbild (Stereobezugsbild) abgebildet wird, um ein Disparitätsbild zu erzeugen. Ist ein Abstandsbild erforderlich, so ist zu sätzlich eine Umwandlung von der Disparität zum Abstand vor gesehen. Z. B. in dem Fall, daß kreiszylindrische Objekte 18a, 18b und 18c mit unterschiedlichen Höhen wie in Fig. 30 ge zeigt angeordnet sind, werden dann, wenn die Objekte von ihrer Oberseite her durch die beiden Kameras photographiert wer den, ein solches Randbild IE für das Stereobezugsbild, wie in Fig. 31a gezeigt, und ein solches Disparitätsbild ID, wie in Fig. 31b gezeigt, erhalten. In Fig. 31b gibt eine dickere Linie ein höheres Objekt an.

Die in den Bildspeichern 15 und 16 durch die Bilderfassung gespeicherten Bilder werden der parallelen Stereowandlung unterzogen, um ein Randbild und ein Gradientenrichtungsbild auf der Basis des umgewandelten Bildes zu erhalten. Um Rän der von den Bildern zu extrahieren, wird ein Sobel-Operator, wie in Fig. 71 gezeigt, verwendet. Auf die Anwendung dieses Operators hin wird die Mitte des Operators zu einem Objektpi xel bewegt, wobei die Intensitätswerte der Pixel nahe dem Objektpixel mit den Werten des Operators multipliziert werden, wodurch Gradientengrößen Gx und Gy in den X- und Y-Richtun gen, eine Gradientenintensität |G| und eine Gradientenrich tung θ bezüglich aller Pixel berechnet werden. Gibt I(x, y) die Intensität eines Pixels bei einem Koordinatenpunkt [x, y] an, so werden die Gradientengrößen Gx und Gy in den X- und Y-Richtungen durch die folgenden Gleichungen ausge drückt:

Gx(x,y) = {I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)}
-{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)}
Gy(x,y) = {I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)}
-{I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)}

Unter Verwendung von Gx und Gy werden die Gradientenintensi tät |G| und die Gradientenrichtung θ bei jeder Pixelposition wie folgt aufgefunden: Bilder von Pixeln mit solchen Werten werden als Gradientenintensitätsbild bzw. Gradientenrich tungsbild bezeichnet.

|G| = (Gx²+Gy²)^1/2
θ = tan^-1(Gy/Gx)

Nachdem ein Schwellenwert für den Wert der Gradienteninten sität |G| bereitgestellt wurde und die Gradientenintensitä ten für Pixel mit unter dem Schwellenwert liegenden Gradien tenintensitäten auf θ gesetzt wurden, werden Punkte mit den höchsten Gradientenintensitäten im Nahbereich, d. h. die Gradientenintensitäten in Form einer Gratlinie, als Rand punkte extrahiert, wobei ein solches Randbild IE erhalten wird, wie es in Fig. 32a gezeigt ist. Ferner werden nur ge krümmte Komponenten 321 und 322 von dem Randbild des Stereo bezugsbildes, wie in Fig. 32b gezeigt, extrahiert, und eine kreisförmige Komponente 322 wird von den extrahierten ge krümmten Komponenten extrahiert, wie in Fig. 32c gezeigt.

Auf die vorhergehende Weise wird eine Disparität auf der Basis der Stereorandbilder durch die Stereobildverarbeitung berechnet, wobei die berechnete Disparität auf das Randbild des Stereobezugsbildes abgebildet wird, um ein Disparitäts bild zu erzeugen, wobei dreidimensionale Positionen an Punk ten auf dem kreisförmigen Rand ausgehend von den entspre chenden Teilen des kreisförmigen Disparitätsbildes berechnet werden, das auf die zuvor genannte Weise extrahiert wurde, und wobei eine mittlere Position und Lage eines Kreises auf der Oberseite des kreiszylindrischen Objekts 18 auf der Basis der berechneten dreidimensionalen Positionsinformation ge messen werden, um eine Position und Lage des Objekts 18 zu erkennen.

Die Extraktion nur der gekrümmten Komponenten ausgehend von dem Randbild des Stereobezugsbildes kann beispielsweise durch Extrahieren gerader Linien über eine Hough-Transfor mation und dadurch erfolgen, daß Ränder, die innerhalb einer vorbestimmten Entfernung von den extrahierten geraden Linien vorliegen, gelöscht werden. Eine Erläuterung erfolgt in be zug auf den Fall, daß drei Typen solcher Objekte 18a, 18b und 18c, wie in Fig. 35 gezeigt, entlang einer Fördereinrichtung 92 transportiert werden und das Objekt 18 eines von drei Typen von solchen Objekten ist, und darauf bezogen, wie das Objekt aus den drei Typen von Objekten auszuwählen ist. Wie in Fig. 37 gezeigt wird ein Randbild durch eine parallele Stereoumwand lung und die Erzeugung eines Gradientengrößenbildes und ei nes Gradientenrichtungsbildes erzeugt. In diesem Fall erfaßt eine Kamera 11 zum Photographieren eines als Stereobezugs bild zu verwendenden Bildes das Bild des Objekts 18 annähernd rechts von seiner Oberseite, wobei ein solches Randbild wie in Fig. 36a gezeigt erhalten wird. Wird das Randbild einer Hough-Transformation unterworfen, um davon gerade Linien zu extrahieren, und werden Ränder, die innerhalb einer vorbe stimmten Entfernung von den extrahierten geraden Linien 126 und 127 liegen, gelöscht, so können die aus der Förderein richtung 92 resultierenden Ränder 122 bis 125 gelöscht wer den. Damit kann nur ein kreisförmiger Rand 121 auf der Ober seite des Objekts extrahiert werden. Werden überdies dreidi mensionale Positionen an Punkten auf dem kreisförmigen Rand ausgehend von der Disparität des extrahierten Kreises be rechnet, und werden eine mittlere Position und ein Radius des Kreises der Oberseite des Objekts 18 ausgehend von der berechneten dreidimensionalen Positionsinformation gemessen, so kann das Objekt 18 als einer der drei Typen von in Fig. 35 gezeigten Objekten auf der Basis der gemessenen mittleren Po sition (Höhe) und des Radius spezifiziert werden.

Besitzen die kreiszylindrischen Objekte 18, 18a, 18b und 18c indessen geradlinige Komponenten in den Rändern ihrer Ober seite, wie in den Fig. 38 und 39 gezeigt, so betrifft ein alleiniges Löschen von Rändern, die innerhalb einer vorbe stimmten Entfernung von extrahierten geraden Linien vorlie gen, auch teilweise gekrümmte Teile. Um einen solchen Nach teil zu vermeiden, ist, wie in den Fig. 40 und 41 ge zeigt, vorgesehen, solche Ränder zu löschen, die innerhalb einer vorbestimmten Entfernung von den extrahierten geraden Linien 177, 178, 179, 17a, 17b und 17c liegen und Winkelwer te innerhalb eines vorbestimmten Wertes ausgehend von 90° bezüglich des Winkels zwischen ihrer Gradientenrichtung und dem Richtungsvektor der geraden Linie besitzen. Dies ermög licht ein Löschen von Rändern gerader Linien, während ein teilweises Löschen eines kreisförmigen Randes 171, wie in Fig. 40b gezeigt, vermieden wird.

Das Löschen geradliniger Komponenten von dem Randbild, wäh rend Kurvenkomponenten beibehalten werden, kann durch ein solches Verfahren, wie es in den Fig. 42 bis 45 gezeigt ist, erfolgen. D.h. es werden Randpunkte ausgehend von ei nem Randbild eines Stereobezugsbildes zum Speichern aufge funden, wobei einen aufgefundenen Objektrandpunkt 201 umgebene Punkte im Uhrzeigersinn von seiner rechten Seite aus aufge sucht werden, um das Vorliegen eines weiteren Randpunkts, wie in Fig. 43a gezeigt, aufzufinden, und wobei eine Spei cheroperation für einen Randpunkt fortgesetzt wird, dessen Gradientenrichtung von der Gradientenrichtung des zuvor ge speicherten Randpunkts 201 um einen vorbestimmten Wert oder weniger als der nächste Objektrandpunkt abweicht, bei Vorlie gen des Randpunkts, bis kein Randpunkt an den Punkten um den Objektrandpunkt 201 mehr aufgefunden wird, und wobei dann, wenn die Anzahl solcher gespeicherter Randpunkte einen vor bestimmten Wert überschreitet, solche Randpunkte in Rand gruppen 431 bis 435, wie in Fig. 34b gezeigt, zusammenge stellt werden. Für jede Randgruppe, wie in Fig. 44 gezeigt, wird ein Winkel 224, der zwischen einem einen Randstartpunkt 221 und einen Mittelpunkt 222 verbindenden Abschnitt und einem den Randstartpunkt 221 und einen Endpunkt 223 verbin denden Abschnitt gebildet ist, überprüft, so daß dann, wenn nur ein Rand verbleibt, bei dem der Winkel einen vorbestimm ten Wert überschreitet, nur gebogene Ränder 431, 434 und 435, wie in Fig. 45a gezeigt, extrahiert werden können und solche kreisförmigen Ränder 434, 435, wie sie in Fig. 45b gezeigt sind, ausgehend von den Rändern der Fig. 45a extra hiert werden können.

Die Extraktion kreisförmiger Ränder ausgehend von gekrümmten Rändern kann auf die folgende Weise geschehen. Als erstes wird bei einem in Fig. 46 gezeigten Verfahren der Umstand ausgenutzt, daß das Objekt 18 auf seiner unteren Seite im we sentlichen keine entsprechenden Teile in seinen linken und rechten Bildern aufweist und sein Disparitätserfassungsver hältnis sehr klein wird. Werden die berechneten Disparitäten der gekrümmten Ränder 261, 262 und 263 ausgehend von einem Randbild mit nur gekrümmten Rändern, wie in Fig. 47a ge zeigt, geprüft, so werden die gekrümmten Ränder 262 und 263 in ihrer Disparität wie gezeigt nahezu durch ein binäres Bild von Randpunkten mit den in Fig. 47b berechneten Dispa ritäten berechnet. Da der gekrümmte Rand 261 keine entspre chenden Teile in den linken und rechten Bildern aufweist und seine Disparität noch nicht berechnet ist, wird, wenn ge krümmte Ränder, deren bereits berechnete Disparitätsverhält nisse kleiner als ein vorbestimmter Wert sind, gelöscht wer den, der gekrümmte Rand 261 gelöscht, was dazu führt, daß nur die gekrümmten Ränder 262 und 263 auf der Oberseite des Objekts zurückbleiben können, wie in Fig. 47c gezeigt, von denen die Ränder 262 und 263 extrahiert werden können, um einen Kreis zu bilden.

Ist das Objekt 18 ringförmig, wie in Fig. 49 gezeigt, kann, da die Oberseite des Objekts zwei kreisförmige Ränder besitzt, nur einer (der kreisförmige Rand in Fig. 49) der kreisförmi gen Ränder extrahiert werden. Genauer ist ein Randbild IE für das Objekt 18 so, wie in Fig. 50a gezeigt, und dann, wenn geradlinige Komponenten von dem Randbild gelöscht werden, wird ein solches Randbild IE2 erhalten, wie es in Fig. 50b gezeigt ist. Ist das Objekt 18 auf dem Hintergrund hell zu sehen und ist eine Gradientenrichtung 335 eines Randes 331 für den Außenring in das Innere des Kreises gerichtet, wäh rend eine Gradientenrichtung 336 eines Randes 332 für den Außenring bezüglich des Kreises nach außen gerichtet ist, wie in Fig. 51 gezeigt, so können Koeffizienten a und b und eine Konstante r durch die Methode der kleinsten Quadrate in Übereinstimmung mit der folgenden Anwendungsgleichung eines richtigen Kreises aufgefunden werden:

x² + y² + ax + by + r = 0

Wird die Anwendungsgleichung eines richtigen Kreises auf den einzelnen Rand 332 auf der Oberseite zur Berechnung eines Mittelpunkts (-a/2-b/2) 334 des Kreises angewendet, so wird jeder Punkt 339 der Punkte auf dem Rand eines richtigen Kreises ausgewählt, wobei eine Richtung auf den berechteten Mittelpunkt 334 des Kreises zu ausgehend von dem ausgewähl ten Punkt 399 aufgefunden wird, und es wird ein solcher Rand der Oberseite extrahiert, daß eine Abweichung zwischen der Richtung 338 und der Gradientenrichtung 336 des ausgewählten Punktes gleich einem vorbestimmten Wert (90°) oder kleiner ist. Selbst bezüglich anderer Ränder 331, 33a, 33b, 33c, 33d, 33e und 33f der Oberseite als dem Rand 332 kann dann, wenn die zuvor genannte Operation ausgeführt wird, um eine Abweichung zwischen der Gradientenrichtung eines Punktes eines jeden Randes und der Richtung ausgehend von dem Punkt auf den Mittelpunkt des richtigen Kreises zu berechnen, und wenn Ränder der Oberseite extrahiert werden, die solche Ab weichungen von einem vorbestimmten Wert (90°) oder weniger aufweisen, ein solches Randbild (IE3) eines Stereobildes, bei dem die inneren kreisförmigen Ränder 332, 33a, 33c und 33e, wie in Fig. 50 gezeigt, entfernt wurden, erhalten wer den. In diesem Zusammenhang werden, wenn der vorbestimmte Wert für die Abweichung höher als 90° gewählt wird, die äu ßeren kreisförmigen Ränder 331, 33b, 33d und 33f gelöscht, während die inneren kreisförmigen Ränder 332, 33a, 33c und 33e übrigbleiben.

Bei einer in Fig. 52 gezeigten Ausführungsform wird dann, wenn solche kreiszylindrischen Objekte 18 wie in Fig. 53 ge zeigt, gestapelt werden und damit deren Randbild so ist, wie dies in Fig. 54a dargestellt ist, das den höchsten Pegel aufweisende Objekt der gestapelten Objekte erfaßt, um seine Po sition und Lage zu messen. Unter einer Mehrzahl gekrümmter, in dem Randbild vorliegender Ränder wird ein Rand ausge wählt, der aufgrund seiner Stelle höchsten Pegels maximale Disparität aufweist, und der ausgewählte Rand wird als Be zugsrand 381 festgesetzt, wie dies in Fig. 54a gezeigt ist, und es wird geprüft, ob der Bezugsrand 381 einen Teil eines Kreises bildet oder nicht. Kann der Bezugsrand nicht als Teil des Kreises betrachtet werden, so wird der Rand mit einer Disparität weiter in der Nähe des Randes 381 als Be zugsrand ausgewählt, und es wird geprüft, ob der Rand einen Teil des Kreises bildet oder nicht. Die obige Operation wird wiederholt, bis der Bezugsrand aufgefunden wird, der einen Teil des Kreises bilden kann. Danach werden die weiteren Ränder entsprechend der zunehmenden Größe des Abstands von dem Bezugsrand 381 mit Bezugszeichen 382, 383 . . . bezeich net, und in der obigen Zahlenfolge wird geprüft, ob die an deren Ränder einen Teil des gleichen Kreises bilden oder nicht. Und bestimmte Ränder, für die entschieden wurde, daß sie einen Teil des gleichen Kreises wie der Bezugsrand bil den, sind in der gleichen Gruppe wie der Bezugsrand enthal ten. Einer solchen Verarbeitung werden auch die anderen Rän der unterworfen, die Abstände eines vorbestimmten Wertes oder weniger von dem Bezugsrand aufweisen, so daß die Ränder 381, 383, 384 und 386 mit dem gleichen Kreis wie in Fig. 54 b gezeigt auf der Basis zusammengesetzt werden, auf der eine Position und Lage des Objekts 18 mit dem höchsten Pegel erfaßt werden kann.

Bei einer Ausführungsform gemäß Fig. 55 wird ein Rand, der aufgrund der Stelle höchsten Pegels des Objekts die größte Disparität aufweist, von dem Randbild der Fig. 54a ausge wählt, wobei der ausgewählte Rand als Bezugsrand 381 gewählt wird, und wobei die anderen Ränder entsprechend zunehmender Größe des Abstands von dem Bezugsrand 381 durch Bezugszei chen 382, 383 . . . bezeichnet werden. Danach werden Koeffizi enten a, b, h, g und f durch die Methode der kleinsten Qua drate in Übereinstimmung mit der folgenden Gleichung (anzu wenden auf eine Ellipse) aufgefunden:

ax² + by² + 2hxy + 2gx + 2fy = 1

Eine Ellipse wird auf den Bezugsrand 381 angewendet, um da von den Mittenkoordinatenpunkt (xo, yo) zu berechnen. Wie in Fig. 56 zu sehen ist, schneidet eine durch einen Punkt 417 des Bezugsrandes und einen Mittelpunkt 412 einer Ellipse 412 verlaufende gerade Linie 413 die Ellipse an zwei Schnitt punkten 414 und 415, und dann, wenn ein Abstand 416 eines 414 der beiden Schnittpunkte, der näher am Randpunkt 417 liegt, von diesem bei irgendwelchen Punkten des Bezugsrandes einen vorbestimmten Wert überschreitet, wird der Bezugsrand nicht als Kreiskomponente betrachtet, und es wird willkür lich ein nächster Bezugsrand ausgewählt. Überschreitet der Abstand den vorbestimmten Wert dagegen nicht, so wird der Bezugsrand als Kreiskomponente betrachtet, wobei der Bezugs rand 381 mit dem Rand 382 in dessen Nähe kombiniert wird, und wobei die Koeffizienten a, b, h, g und f in der folgen den Gleichung durch die Methode der kleinsten Quadrate auf gefunden werden, wodurch die Ellipse auf den Bezugsrand an gewendet wird, um davon den Mittenkoordinatenpunkt (xo, yo) zu berechnen. Und es werden Abstände zwischen den Punkten des Bezugsrandes 381 und des Randes 382 in seiner Nähe und der aufgefundenen Ellipse aufgefunden. Sind die aufgefunde nen Abstände geringer als ein vorbestimmter Wert, so wird entschieden, daß der Bezugsrand 381 und der Rand 382 in des sen Nähe Teile des gleichen Kreises bilden. Ist lediglich ein einziger der Abstände geringer als der vorbestimmte Wert, so wird entschieden, daß die Ränder keinen Teil des gleichen Kreises bilden, und der Bezugsrand 381 wird mit dem nächsten Rand 383 in seiner Nähe kombiniert, um die zuvor genannte Operation durchzuführen. Wird eine Reihe von Opera tionen wiederholt, bevor zu kombinierende Ränder Null wer den, so können dem gleichen Kreis angehörende Ränder in ei nem kombiniert werden. In dieser Vereinigung läßt sich der Mittenkoordinatenpunkt (xo, yo) der obigen Ellipse wie folgt ausdrücken:

xo = (hf/bg)/(ab-h²)
yo = (hg/af)/(ab-h²)

Eine in Fig. 57 gezeigte Ausführungsform ist auch dazu be stimmt, das den höchsten Pegel aufweisende Objekt einer Mehr zahl von gestapelten, kreiszylindrischen Objekten 18, wie in Fig. 58 gezeigt, zu erfassen. Fig. 59a zeigt ein Randbild IE solcher Objekte der Fig. 58. Gemäß Fig. 59a entspricht ein Bezugsrand 441 dem den höchsten Pegel aufweisenden Rand mit der maximalen Disparität. In diesem Fall gemäß dem Verfahren der obigen Ausführungsform kann dann, wenn der als Teil des gleichen Kreises wie der Bezugsrand 441 zu erfassende Rand 442 aufgrund des geneigten Objekts oder dergleichen nicht er faßt werden kann, fälschlicherweise entschieden werden, daß der Rand 443 mit dem Bezugsrand 441 zu kombinieren ist. Bei dem dargestellten Beispiel wird zur Vermeidung eines solchen Fehlers dann, wenn gemäß dem Verfahren der obigen Ausfüh rungsform entschieden wurde, daß der Bezugsrand 441 und der Rand 443 Teil des gleichen Kreises bilden, die abschließende Entscheidung über den gleichen Kreis erst dann getroffen, wenn eine Abweichung innerhalb eines vorbestimmten Bereichs zwischen der Richtung einer Normalen einer Ebene 453, her gestellt unter Verwendung einer dreidimensionalen Informa tion, die auf der Basis der Disparität zweier beliebiger Punkte des Bezugsrandes 441 und eines beliebigen Punktes des weiteren Randes 443 aufgefunden wurde, und der Richtung ei ner Normalen einer Ebene 454 liegt, die unter Verwendung einer dreidimensionalen Information erzeugt wurde, die auf der Basis der Disparität zweier beliebiger Punkte des Randes 443 und eines beliebigen Punktes des Bezugsrandes 441 mit Ausnahme der ausgewählten zwei Punkte aufgefunden wurde, wie in Fig. 60 gezeigt. Durch die obige Operation kann der kreisförmige Rand 441 der Oberseite des den höchsten Pegel aufweisenden Objekts extrahiert werden, wie in Fig. 59b ge zeigt.

Es wird nun die Operation nach der Extraktion der kreisför migen Ränder der Oberseite des kreiszylindrischen Objekts er läutert. Bei einer Ausführungsform gemäß den Fig. 61 bis 63, wie im Fall der Fig. 25, werden dreidimensionale Posi tionen von Punkten auf der Basis der Disparität der extra hierten Kreisränder berechnet, und Koeffizienten a, b und c werden durch die Methode der kleinsten Quadrate in Überein stimmung mit der folgenden Gleichung (auf eine Ebene anzu wenden) berechnet:

ax + by + cz + 1 = 0

Dann wird eine die Oberseite des Objekts 18 enthaltende Ebene Pa aufgefunden, wie in Fig. 62 gezeigt, und dreidimensionale Positionen von Punkten auf der Oberseite des Objekts werden auf dem Ursprung po eines Kamera-Koordinatensystems gedreht, so daß eine Normale Paz der Ebene Pa mit der Z-Achse des Kamera-Koordinatensystems zusammenfällt, wie in Fig. 63 ge zeigt, und Koeffizienten a, b und eine Konstante r werden durch die Methode der kleinsten Quadrate in Übereinstimmung mit der folgenden Gleichung (auf den richtigen Kreis anzu wenden) aufgefunden, um eine Mittenposition 491 und einen Radius 492 des richtigen Kreises nach der Drehung zu berech nen:
Fig. x² + y² + ax + by + r = 0

Bei dem dargestellten Beispiel wird das Kamera-Koordinaten system als Bezugskoordinatensystem verwendet. Eine Mitten position 486 des richtigen Kreises der Oberseite des Objekts 18 wird durch eine (zur vor der Drehung) inverse Transfor mation der Mittenposition 491 des berechneten richtigen Kreises berechnet, um eine Position, Lage und ein Radius des Objekts 18 zu erhalten. Bei der Berechnung des richtigen Krei ses nach der Drehung des Koordinatensystems werden Koeffizi enten a, b, h, g und f in der obigen Ellipsen-Anwendungs gleichung durch die Methode der kleinsten Quadrate aufgefun den, und es erfolgt eine Umwandlung in eine Standardellipse, um eine Position und Lage des Ellipsenzylinders sowie dessen Haupt- und Nebenachse zu erhalten.

Bei einer Ausführungsform gemäß Fig. 64 werden dreidimensio nale Positionen von Punkten auf der Oberseite des Objekts auf dem Ursprung po des obigen Bildkoordinatensystems, wie oben erwähnt, gedreht, so daß die Normale Paz der Ebene a mit der Z-Achse des Koordinatensystems zusammenfällt, wonach solche Randpunkte entfernt werden, so daß ein Abstand 493 (Abwei chung von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa von den Randpunkten des Kreises nach der Drehung in dem dreidimensionalen Raum einen vorbestimmten Wert überschrei tet. Unter Verwendung der x- und y-Koordinatenwerte von Randpunkten der Oberseite des Objekts 18 nach der Drehung mit Ausnahme der obigen Randpunkte werden Koeffizienten a und b und eine Konstante r durch die Methode der kleinsten Quadra te in Übereinstimmung mit der Anwendungsgleichung des rich tigen Kreises aufgefunden, um eine Mittenposition 491 und ein Radius 492 des richtigen Kreises nach der Drehung zu berechnen. Hierbei wird das Kamera-Koordinatensystem als Bezugskoordinatensystem verwendet. Und es wird eine Mitten position 486 des richtigen Kreises der Oberseite des Objekts 18 durch eine (zu der vor der Drehung) inverse Transforma tion der Mittenposition 491 des berechneten richtigen Krei ses berechnet, um eine Position, Lage und einen Radius des Objekts nach der Koordinatensystemdrehung zu erhalten. Bei der Berechnung des richtigen Kreises nach der Koordinatensystem drehung werden ferner Koeffizienten a, b, h, g und f durch die Methode der kleinsten Quadrate in Übereinstimmung mit der vorhergehenden Anwendungsgleichung einer Ellipse aufge funden, und eine Position und Lage des elliptischen Zylin ders sowie eine Haupt- und eine Nebenachse davon werden durch eine Umwandlung in eine Standardellipse erhalten.

Bei einer Ausführungsform gemäß Fig. 65 werden dreidimensio nale Positionen von Punkten auf der Oberseite des Objekts auf dem Ursprung po des obigen Bildkoordinatensystems, wie oben erwähnt so gedreht, daß die Normale Paz der Ebene Pa mit der Z-Achse des Koordinatensystems zusammenfällt, wonach solche Randpunkte entfernt werden, damit ein Abstand (Abweichung von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa von den Randpunkten des Kreises nach der Drehung in dem dreidi mensionalen Raum einen vorbestimmten Wert überschreitet, wobei wiederum eine Ebene Pa in dem dreidimensionalen Raum, der den Rand der Oberseite des kreiszylindrischen Objekts 18 enthält, durch die Methode der kleinsten Quadrate aufgefun den wird, und dreidimensionale Positionen von Punkten der Oberseite des Objekts werden auf dem Ursprung po des Kamera- Koordinatensystems gedreht, so daß die Normale Paz der auf gefundenen Ebene Pa mit der Z-Achse des Koordinatensystems zusammenfällt. Danach werden unter Verwendung der x- und y- Koordinatenwerte von Randpunkten der Oberseite des Objekts 18 nach der Drehung mit Ausnahme der obigen Randpunkte Koeffi zienten a und b und eine Konstante r durch die Methode der kleinsten Quadrate in Übereinstimmung mit der Anwendungs gleichung des richtigen Kreises aufgefunden, um eine Mitten position 491 und einen Radius 491 des richtigen Kreises nach der Drehung zu berechnen. Und es wird eine Mittenposition 486 des richtigen Kreises der Oberseite des Objekts 18 durch eine (zu der vor der Drehung) inverse Transformation der Mittenposition 491 des berechneten richtigen Kreises berech net, um eine Position, Lage und einen Radius des Objekts 18 nach der Koordinatensystemdrehung zu erhalten. Selbst in diesem Fall werden bei der Berechnung des richtigen Kreises nach der Koordinatensystemdrehung weitere Koeffizienten a, b, h, g und f durch die Methode der kleinsten Quadrate in Übereinstimmung mit der zuvor genannten Anwendungsgleichung einer Ellipse aufgefunden, und eine Position und Lage des elliptischen Zylinders sowie eine Haupt- und Nebenachse da von werden durch Umwandlung in eine Standardellipse erhal ten.

Bei einer Ausführungsform gemäß Fig. 66 werden dreidimensio nale Positionen von Punkten auf der Basis der Disparität der extrahierten Kreisränder berechnet, wie oben erwähnt, und es werden Koeffizienten a, b und c durch die Methode der klein sten Quadrate in Übereinstimmung mit der zuvor erwähnten Anwendungsgleichung einer Ebene berechnet, um eine Ebene Pa aufzufinden, die die Oberseite des Objekts 18 enthält. Ferner wird, wie in Fig. 67 gezeigt, eine den richtigen Kreis der Oberseite eines Objekts 18 enthaltende Kugel 531 in einem dreidimensionalen Raum durch die Methode der kleinsten Qua drate aufgefunden. Wird eine Kugel verwendet, so wird nicht allein die Kugel bestimmt, da der richtige Kreis der Ober seite auf der gleichen Ebene vorliegt. Der Mittelpunkt der Kugel ist jedoch in dem Maß beschränkt, daß er auf einer geraden Linie vorliegt, die senkrecht zu der obigen Ebene Pa ist und durch den Mittelpunkt des richtigen Kreises ver läuft, der auf der Ebene vorliegt. Da überdies die aufgefun dene Kugel irgendeine beliebige Kugel sein kann, solange ihr Radius größer als der richtige Kreis der Oberseite ist und die Kugel den richtigen Kreis der Oberseite enthält, kann die Kugel bestimmt werden, wenn ein beliebiger Wert irgend einer Mittenkoordinatenachse der Kugel festgelegt ist. Bei der vorliegenden Ausführungsform wurde der Z-Koordinatenwert des Mittelpunkts der Kugel auf einen Z-Koordinatenwert c_o festgelegt, der um mehr als den Radius des richtigen Kreises von den Z-Koordinatenwerten der Objektanwesenheitszone ab weicht. In anderen Worten wurde eine Gleichung für die Kugel wie folgt dargestellt, um Koeffizienten a und b und eine Konstante R durch die Methode der kleinsten Quadrate aufzu finden:

x² + y² + z² + ax + by - 2c_oz + R = 0

Ein Mittelpunkt 533 des richtigen Kreises der Oberseite des kreiszylindrischen Objekts 18 wird dadurch aufgefunden, daß ein Schnittpunkt zwischen der Ebene Pa und einer geraden Linie berechnet wird, die durch einen Mittelpunkt 532 der Kugel verläuft und den gleichen Richtungsvektor wie ein normaler Vektor 537 der Ebene Pa aufweist. Ein Radius 534 wird dadurch aufgefunden, daß ein Quadrat eines Abstands 536 zwischen dem Mittelpunkt der Kugel und dem Mittelpunkt des richtigen Kreises von einem Quadrat eines Radius 535 der Kugel subtrahiert wird, um eine Subtraktion zu erhalten, und dann durch Auffinden einer Quadratwurzel der Subtraktion. Entsprechend können selbst in diesem Fall eine Position, Lage und ein Radius des Objekts 18 aufgefunden werden.

Eine Ausführungsform gemäß den Fig. 68 bis 70 zeigt ein Beispiel, bei der die Erfindung auf eine automatische Mon tagearbeit angewendet wird. Genauer und wie in Fig. 69 ge zeigt, werden dann, wenn ein Teil 541 mit zwei Löchern und ein Teil 542 mit zwei Vorsprüngen mit Hilfe eines Roboters zusammengebaut werden sollen, die Löcher und Vorsprünge er faßt, um Positionen und Lagen davon zu erfassen, das heißt um Positionen und Lagen der Teile 541 und 542 zu erfassen.

Insbesondere werden ein Randbild IE (siehe Fig. 70a) eines Stereobezugsbildes, ein Gradientenrichtungsbild und ein Dis paritätsbild erzeugt, und gekrümmte Ränder werden von dem Randbild extrahiert, das heißt es werden vier solche kreis förmigen Ränder 701 bis 704, wie sie in Fig. 70b gezeigt sind, extrahiert. Werden die Richtung eines den Mittelpunkt und Mittelpunkte entsprechender vier Kreise 543 bis 546 in einem dreidimensionalen Raum verbindenden Abschnitts sowie die Richtung einer Normalen einer Ebene, die durch die bei den Kreise definiert ist, ausgehend von den vier Kreisrän dern berechnet, so werden die Position und Lage des Teils 542 mit den beiden Vorsprüngen bestimmt. Wird eine entspre chende Operation für die verbleibenden zwei Kreise durchge führt, so werden die Position und Lage des Teils mit den beiden Löchern bestimmt.

Gemäß der zuvor erläuterten Erfindung wird ein zweidimensio nales Bild ausgehend von dem gleichen Beobachtungspunkt wie ein Abstandsbild erhalten, das durch Fotografieren eines Objekts in einem dreidimensionalen Raum erhalten wird, wobei ein Teilbild in dem zweidimensionalen Bild spezifiziert wird, wobei das spezifizierte zweidimensionale Teilbild auf das Abstandsbild angewendet wird, um ein Teilbild von dem Abstandsbild zu extrahieren, und wobei eine Objekterfassungs operation über das Abstandsteilbild ausgeführt wird. Das heißt, bei der Objekterfassungsoperation wird eine Anwesen heitszone des der Erfassung unterliegenden Objekts in dem Ab standsbild zuvor durch Verwendung des zweidimensionalen Bil des beschränkt, und die Objekterfassungsoperation wird über ein Abstandsteilbild der beschränkten Zone durchgeführt. Im Ergebnis ist festzustellen, daß mit der Erfindung im Ver gleich zum Stand der Technik mit der Ausführung einer Erfas sungsoperation über sämtliche Zonen des Abstandsbildes eine relativ schnelle Erfassungsoperation durchgeführt werden kann.

Claims

1. Verfahren zur Erkennung der Position und Lage eines Ob jekts im dreidimensionalen Raum, bei dem ein räumliches Ab standsbild verwendet wird, das durch Aufnehmen des Objektes im dreidimensionalen Raum erhalten wird, dadurch gekenn zeichnet, daß

- ein Flächenbild (I2) des Objekts vom gleichen Aufnahme punkt aus erhalten wird wie das räumliche Abstandsbild (I3),
- ein Teilbild des erhaltenen Flächenbildes (I2) spezifi ziert wird,
- ein Teilbild des räumliches Abstandsbildes an einer Posi tion in dem räumlichen Abstandsbild extrahiert wird, die der Position des spezifizierten Teilbildes in dem Flächenbild entspricht, und
- das Teilbild des räumlichen Abstandsbildes für die Erken nung verarbeitet wird.

2. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi fizierens des Teilbildes für das Flächenbild auf der Basis eines Formmusters ausgeführt wird.

3. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi fizierens des Teilbildes für das Flächenbild auf der Basis statistischer Bildstrukturmerkmale ausgeführt wird.

4. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi fizierens des Teilbildes für das Flächenbild auf einer Farb- oder Helligkeitsbasis ausgeführt wird.

5. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi fizierens des Teilbildes für das Flächenbild auf der Basis eines zweidimensionalen geometrischen Merkmals ausgeführt wird, das von dem dreidimensionalen geometrischen Merkmal des Objekts abgeleitet wird.

6. Verfahren nach Anspruch 1, bei dem als Vorverarbeitungs schritt eine spezifizierte Zone, die eine spezifizierte Höhe angibt, von dem räumlichen Abstandsbild extrahiert wird und das Teilbild von einem Flächenbild für die spezifizierte Zone spezifiziert wird.

7. Verfahren nach Anspruch 1, bei dem bei der Objekterfas sungsoperation eine von einem räumlichen Abstandsteilbild erhaltene dreidimensionale Information auf eine Ebene ange wendet wird, die dreidimensionale Information auf einem Ur sprung eines Kamera-Koordinatensystems gedreht wird, um da für zu sorgen, daß eine Normale der Ebene mit einer Z-Achse des Kamera-Koordinatensystems zusammenfällt, die dreidimen sionale Information nach der Drehung auf eine X-Y-Ebene des Koordinatensystems projiziert wird und ein Projektionsbild mit einem zuvor aufgezeichneten Modell kollationiert wird, um eine temporäre Position und Lage des Objekts aufzufinden, und die temporäre Position und Lage einer inversen Transfor mation unterworfen werden, um eine Position und Lage des Objekts vor der Drehung zu berechnen.

8. Verfahren zur Erkennung der Position und Lage eines Ob jekts mit einer Kreisform im dreidimensionalen Raum, bei dem ein räumliches Abstandsbild verwendet wird, das durch Auf nehmen des Objekts im dreidimensionalen Raum erhalten wird, dadurch gekennzeichnet, daß

- ein Stereo-Randeffektbild und ein Dichtegradientenbild des Objekts (18) über ein Graustufenbild erhalten werden, indem das Objekt (18) von mehreren Richtungen (11, 12) aus aufge nommen wird,
- das Stereo-Randeffektbild so verarbeitet wird, daß über ein Bezugsrandeffektbild (IE) und andere übrige Randeffekt bilder ein Parallaxenbild (ID) als räumliches Abstandsbild erhalten wird,
- das Bezugsrandeffektbild (IE) verarbeitet wird, um daraus die Komponenten (321) mit gekrümmten Rändern und darüber hinaus aus den Komponenten mit gekrümmten Rändern eine Kreis-Komponente (322) zu extrahieren, und
- die Position und Lage der extrahierten Kreis-Komponente (322) unter Verwendung einer dreidimensionalen Information erkannt wird, die von dem Parallaxenbild (ID) unter Bezug auf die entsprechenden Randeffektpunkte der extrahierten Kreiskomponente erhalten wurde.

9. Verfahren nach Anspruch 8, bei dem gerade Linien von dem Bezugsrandeffektbild extrahiert werden und Ränder in der Nähe der extrahierten geraden Linien gelöscht werden, um nur die gekrümmten Ränder zu extrahieren.

10. Verfahren nach Anspruch 8, bei dem gerade Linien von dem Bezugsrandeffektbild extrahiert werden und Ränder, die nahe bei den extrahierten geraden Linien angeordnet sind und Win kel von annähernd 90° zwischen ihrer Gradientenrichtung und dem Richtungsvektor gerader Linien besitzen, gelöscht wer den, um nur die gekrümmten Ränder zu extrahieren.

11. Verfahren nach Anspruch 8, bei dem bei der Extraktion nur gekrümmter Ränder von dem Bezugsrandeffektbild ein Rand punkt in dem Bezugsrandeffektbild als Objektrandpunkt fest gesetzt wird, Punkte, die den Objektrandpunkt umgeben, auf gesucht werden, um einen nächsten Randpunkt aufzufinden, die Operation einer Registrierung desjenigen aufgesuchten Rand punkts als nächster Objektrandpunkt, der eine Abweichung von einem vorbestimmten Wert oder weniger zwischen einer Gra dientenrichtung des aufgesuchten Randpunkts und eine Gradi entenrichtung des Objektrandpunkts aufweist, fortgesetzt wird, bis kein nächster Objektrandpunkt um den Objektrand punkt aufgefunden werden kann, Kurven- oder geradlinige Rän der gruppiert werden und nur die gekrümmten Ränder von einer Verteilung von Randpunkten in einer identischen Gruppe ex trahiert werden.

12. Verfahren nach Anspruch 8, bei dem bei der Extraktion eines Kreises von gekrümmten Rändern von den extrahierten Kurvenrändern Ränder mit einer vorbestimmten Anzahl oder einem vorbestimmten prozentualen Anteil von Randpunkten mit berechneten Disparitäten extrahiert werden, um einen Kreis zu extrahieren.

13. Verfahren nach Anspruch 8, bei dem ein Kreis auf extra hierte Kurvenränder durch die Methode der kleinsten Quadrate angewendet wird, um einen Mittelpunkt des Kreises zu berech nen, von den Kurvenrändern Ränder mit in einem vorbestimmten Bereich liegenden Werten einer Abweichung zwischen einer Richtung von einem Randpunkt des Kurvenrandes zu dem Mittel punkt des Kreises und einer Gradientenrichtung des Rand punkts extrahiert werden und der Kreis von den extrahierten Kurvenrändern extrahiert wird.

14. Verfahren nach Anspruch 8, bei dem bei der Kombination extrahierter Kurvenränder zur Bildung eines Kreises die Kur venränder entsprechend zunehmender Größe eines Abstands zwi schen den Kurvenrändern kombiniert werden, um den Kreis in einem Bild zu erzeugen, und von den Kurvenrändern Ränder mit dazwischen vorgesehenen Abständen von einem vorbestimmten Wert oder größer nicht zur Erzeugung des Kreises verwendet werden.

15. Verfahren nach Anspruch 14, bei dem dann, wenn der Kreis durch die Methode der kleinsten Quadrate von den zweidimen sionalen Daten der kombinierten Kurvenränder aufgefunden wurde und nur dann, wenn entsprechende Punkte der kombinier ten Kurvenränder einen Abstand von dem aufgefundenen Kreis innerhalb eines vorbestimmten Abstandsbereichs aufweisen, entschieden wird, daß die kombinierten Kurvenränder auf dem gleichen Kreis liegen und den Kreis bilden.

16. Verfahren nach Anspruch 8, bei dem die beiden Kurvenrän der, für die entschieden wurde, daß sie einen Kreis bilden können, nur dann so beurteilt werden, daß sie in dem glei chen Kreis liegen und den Kreis bilden, wenn eine Abweichung zwischen einer Normalen einer Ebene, die unter Verwendung einer dreidimensionalen Information definiert wurde, die auf der Basis von Disparitäten zwischen zwei Punkten des ersten Kurvenrandes und einem Punkt des zweiten Randes aufgefunden wurde, und einer Normalen einer Ebene, die unter Verwendung einer dreidimensionalen Information definiert wurde, die auf der Basis von Disparitäten zwischen zwei Punkten des zweiten Kurvenrandes und einem Punkt des ersten Kurvenrandes mit Ausnahme der ausgewählten zwei Punkte aufgefunden wurde, innerhalb eines vorbestimmten Wertbereichs liegt.

17. Verfahren nach Anspruch 8, bei dem eine Ebene, auf die Kreisränder angewendet werden, unter Verwendung einer drei dimensionalen Information von Punkten auf den extrahierten Kreisrändern aufgefunden wird, die dreidimensionale Informa tion auf einem Ursprung eines Kamera-Koordinatensystems ge dreht wird, um zu bewirken, daß eine Normale der aufgefun denen Ebene mit einer Z-Achse des Kamera-Koordinatensystems zusammenfällt, ein Mittelpunkt und ein Radius des Kreises durch die Methode der kleinsten Quadrate unter Verwendung von X- und Y-Koordinatenwerten der Kreisränder nach der Dre hung berechnet werden und die berechneten Koordinatenwerte einer inversen Transformation unterworfen werden, um eine Position und Lage des Objekts vor der Drehung zu bestimmen.

18. Verfahren nach Anspruch 17, bei dem eine Ebene, auf die Kreisränder angewendet werden, aufgefunden wird, Kreisrand punkte, die Punkten entsprechen, die durch einen vorbestimm ten Abstand oder mehr in einem dreidimensionalen Raum beab standet sind, von der aufgefundenen Ebene entfernt werden und ein Mittelpunkt und ein Radius des Kreises berechnet werden.

19. Verfahren nach Anspruch 18, bei dem eine Ebene, auf die Kreisränder angewendet werden, aufgefunden wird, Kreisrand punkte, die Punkten entsprechen, die durch einen vorbestimm ten Abstand oder mehr in einem dreidimensionalen Raum beab standet sind, von der aufgefundenen Ebene entfernt werden und wiederum eine Ebene aufgefunden wird, auf die Kreisrän der angewendet werden, die durch verbleibende Kreisrandpunk te bestimmt sind, und die aufgefundene Ebene gedreht wird.

20. Verfahren nach Anspruch 8, bei dem extrahierte Kreisrän der auf eine Ebene und eine Kugel in einem dreidimensionalen Raum angewendet werden, um eine Mittenposition und einen Radius eines richtigen Kreises von einem Querschnitt der Kugel zu berechnen, der durch eine Schnittebene zwischen der Ebene und der Kugel definiert ist.

21. Verfahren nach Anspruch 8, bei dem eine Position und Lage des Objekts auf der Basis einer Größe des erfaßten K- reises und einer Positionsbeziehung davon in einem dreidi mensionalen Raum erfaßt und erkannt werden.