DE19506328C2 - Method for recognizing the position and location of an object in three-dimensional space - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum, bei dem ein räumliches Abstandsbild verwendet wird, das durch Aufnehmen des Objekts im dreidimensionalen Raum er­ halten wird sowie ein ebensolches Verfahren, das für ein Objekt mit einer Kreisform bestimmt ist.The invention relates to a method for detecting the Position and location of an object in three-dimensional space, where a spatial distance image is used, the by recording the object in three-dimensional space will hold as well as a similar procedure that for a Object is determined with a circular shape.

In IEEE Computer, Nov. 1982, Seiten 21-34 beschreibt Yoshiaki Shirai Bildverarbeitungsverfahren zur Wiederge­ winnung der dreidimensionalen Information aus zweidimensio­ nalen Höhenbildern.In IEEE Computer, Nov. 1982, pages 21-34 Yoshiaki Shirai Image Processing Technique for Recovery Extraction of three-dimensional information from two dimensions nalen height images.

In dem Artikel "3 D Szenenanalyse zur Werkstückerkennung auf der Basis von geometrischen Oberflächenmerkmalen aus räum­ lichen Abstandsbildern" von W. Langer, der in dem im Sprin­ ger-Verlag (Informatik-Fachberichte 254, "Mustererkennung 1990") erschienen Verhandlungsbericht zum 12. DAGM-Symposium vom September 1990 in Oberkochen-Aalen auf den Seiten 556ff. veröffentlicht ist, wird eine dreidimensionale Szenenanalyse zur Lageerkennung von sich berührenden und überlappenden Werkstücken in räumlichen Abstandsbildern vorgestellt. Die Erkennung beruht dabei auf den lokalen geometrischen Ober­ flächeneigenschaften des gesuchten Werkstücks.In the article "3 D scene analysis for workpiece detection the basis of geometric surface features from spatial lichen distance pictures "by W. Langer, who in the Sprin ger-Verlag (IT reports 254, "Pattern recognition 1990 ") published negotiation report for the 12th DAGM symposium from September 1990 in Oberkochen-Aalen on pages 556ff. is published, a three-dimensional scene analysis for position detection of touching and overlapping Workpieces presented in spatial distance images. The  Recognition is based on the local geometric upper surface properties of the workpiece sought.

In IEEE PAMI Vol. 13, Nr. 10, 1991, Seiten 971-991 ist ein Verfahren beschrieben, das dazu dient, mithilfe von algebra­ ischen Invarianten gekrümmte ebene Objekte wiederzuerkennen. Dabei werden zur Beschreibung dreidimensionaler Objekte euklidische Invarianten verwendet, die von der Position des Objekts und einer Aufnahmekamera unabhängig sind.In IEEE PAMI Vol. 13, No. 10, 1991, pages 971-991 is a Described method that is used using algebra to recognize curved invariants of flat objects. This is used to describe three-dimensional objects Euclidean invariants used by the position of the Object and a recording camera are independent.

Als Verfahren zur Erkennung eines dreidimensionalen Objekts wurde herkömmlicherweise ein Verfahren vorgeschlagen, bei dem die Positionserfassung dadurch erfolgte, daß ein Cluster in einem Parameterraum extrahiert wurde, das die Lage eines erhaltenen Objekts angibt, basierend auf Übereinstimmungen zwischen allen Randabschnitten in einem Bild und allen scharfen Kanten oder Gratlinien eines Objektmodells, wie in der japanischen Offenlegungsschrift Nr. 2-230478 offenbart; ein Verfahren, bei dem ein zu prüfendes Objekt als ein Objekt­ modell mit einer Mehrzahl von starren Körpern und mit den Körpern verbundenen Gelenken mit Drehfreiheitsgraden be­ trachtet wird, wobei Lageanwärter für jeden starren Körper auf der Basis von Entsprechungen zwischen Merkmalen (wie etwa bestimmten Abschnitten oder bestimmten Punkten) in einem Bild und dem Objektmodell aufgefunden werden und eine Darstellung des Objektbildes anhand einer Schätzung ausgehend von den jeweiligen Lageanwärtern erhalten und mit dem Bild verglichen wird, um dadurch eine geeignete Lage zu bestim­ men, wie in der japanischen Offenlegungsschrift Nr. 4-54409 offenbart; usw.As a method for recognizing a three-dimensional object a method has conventionally been proposed in which the position was recorded by a cluster was extracted in a parameter space, which the location of a indicates the received object based on matches between all edge sections in an image and all sharp edges or ridge lines of an object model, as in Japanese Patent Laid-Open No. 2-230478; a method in which an object under test is considered an object model with a plurality of rigid bodies and with the Bodies connected joints with degrees of freedom of rotation is sought, being a candidate for any rigid body based on correspondences between features (such as such as certain sections or certain points) in  an image and the object model can be found and one Representation of the object image based on an estimate received by the respective candidates and with the picture is compared, thereby determining a suitable location as in Japanese Patent Laid-Open No. 4-54409 disclosed; etc.

Bei dem vorhergehenden Verfahren ist es erforderlich, Über­ einstimmungen zwischen allen Randabschnitten in dem Bild und allen scharfen Kantenlinien des Objektmodells herzustellen. So wird die Anzahl von Randabschnitten in einem Bild und die Anzahl von scharfen Kantenlinien in einem Objektmodell groß, wenn das Objekt eine komplizierte Form annimmt, was den Nach­ teil mit sich bringt, daß viel Zeit erforderlich ist, um die Übereinstimmungen zu bewirken, und daß die Erfassung ungenau wird. Selbst bei dem letzteren Verfahren wird die Anzahl von starren Körpern und Verbindungen dann, wenn ein Objekt eine flexible Struktur besitzt, groß, was im Ergebnis dazu führt, daß die endgültige Erfassung der dreidimensionalen Lage eines Objekts viel Zeit in Anspruch nimmt.The previous procedure requires Over attitudes between all marginal sections in the picture and to produce all sharp edge lines of the object model. So is the number of edge sections in an image and the Large number of sharp edge lines in an object model, when the object takes on a complicated shape, which means the after brings with it that a lot of time is required to complete the To cause correspondences and that the capture is inaccurate becomes. Even in the latter method, the number of rigid bodies and connections when an object is a has a flexible structure, large, which results in that the final capture of the three-dimensional location of an object takes a lot of time.

Zur Erkennung eines Objekts mit einer Form wie etwa einer zy­ lindrischen Form wird indessen ein Verfahren zur Durchfüh­ rung einer Hochgeschwindigkeitserfassung eines Objekts vorge­ schlagen, wie in der japanischen Offenlegungsschrift Nr. 6- 29695 gezeigt. Bei diesem Verfahren wird ein zu prüfendes Objekt schräg durch zwei Bildaufnahmemittel photographiert, um zwei Bilder zu erhalten, wobei von den beiden Bildern Kur­ venränder extrahiert werden, einige der Kurvenränder dann, wenn sie innerhalb eines vorbestimmten Entfernungsbereichs liegen, als Ränder in einer identischen elliptischen Linie betrachtet werden, die Mitte eines richtigen Kreises so be­ trachtet wird, als sei sie als die Mitte der Ellipse in den Bildern photographiert worden, die Mitten der oberen und unteren Ellipsen berechnet und die von den beiden Bildern einander zugeordnet werden, die Mitten der den oberen und unteren Ellipsen entsprechenden richtigen Kreise auf der Basis der Triangulation berechnet werden, und die Orientie­ rung oder Richtung eines Linienabschnitts, der die beiden berechneten Mitten verbindet, berechnet wird, um eine Mit­ tellinie für den Zylinder aufzufinden, um dadurch die Posi­ tion und Lage des zylindrischen Körpers zu bestimmen.To recognize an object with a shape such as a zy Lindric form, however, becomes a procedure for implementation High-speed detection of an object beat as in Japanese Patent Laid-Open No. 6- 29695 shown. In this procedure, one to be checked Object photographed at an angle by two imaging devices to receive two pictures, of the two pictures Kur edges are extracted, some of the curve edges then, if they are within a predetermined distance range lie as edges in an identical elliptical line be considered the center of a correct circle so be is sought as if it were the center of the ellipse in the Pictures have been photographed, the middle of the upper and lower ellipses and calculated from the two images are assigned to each other, the middle of the upper and corresponding right circles on the lower ellipses Basis of triangulation are calculated, and the orientie  tion or direction of a line segment that the two calculated mids connects, is calculated to a mit Find line for the cylinder, thereby the posi tion and position of the cylindrical body to determine.

Dieses Verfahren ist jedoch mit einem Problem behaftet, das darin besteht, daß dann, wenn ein ringförmiges Objekt oder mehrere zylindrische Objekte erkannt werden sollen, Kombina­ tionen von Kurvenrändern, die nicht in einem identischen Kreis liegen, irrtümlicherweise als in dem identischen Kreis liegend betrachtet werden und einige Ränder der unteren zy­ lindrischen Fläche außerhalb des Schirmes nicht gesehen wer­ den, was dazu führt, daß die Richtung der Mittellinie des zylindrischen Objekts, d. h. seine Lage, nicht gemessen werden kann. Wird die Mitte eines Kreises zu einem Bild projiziert, so wird die Mitte gegenüber der Kreismitte in dem Bild ver­ setzt projiziert, solange die den Kreis enthaltende Ebene nicht senkrecht zu der optischen Achse der Bildaufnahmemit­ tel ist. Da überdies nahezu die Hälfte der Ränder des unte­ ren Kreises versteckt sind und damit nicht gesehen werden, besteht die Tendenz, daß die Mittengenauigkeit des auf der Basis von solchen Rändern berechneten Kreises gering ist. Dementsprechend sind die auf diese Weise erhaltenen Posi­ tions- und Lagewerte wenig genau und wenig zuverlässig.However, this method has a problem that is that if a ring-shaped object or several cylindrical objects to be recognized, Kombina tions of curve edges that are not in an identical Circle, erroneously than in the identical circle be considered lying and some edges of the lower zy lindrische area outside the screen not seen who what causes the direction of the center line of the cylindrical object, d. H. its location, cannot be measured can. If the center of a circle is projected into an image, so the center is ver compared to the center of the circle in the picture projects as long as the plane containing the circle not perpendicular to the optical axis of the image acquisition with tel is. Since almost half of the edges of the bottom their circle are hidden and are therefore not seen, there is a tendency that the center accuracy of the on the Based on such margins calculated circle is small. Accordingly, the posi obtained in this way tion and position values not very accurate and not very reliable.

Demnach ist die Aufgabe der Erfindung, ein Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimen­ sionalen Raum zur Durchführung einer Hochgeschwindigkeits­ erfassung bei hoher Genauigkeit zu schaffen.Accordingly, the object of the invention is a method for Detection of the position and location of an object in three dimensions sional space for performing a high speed to create detection with high accuracy.

Die Aufgabe der Erfindung wird durch ein Verfahren zur Er­ kennung der Position und Lage eines Objekts im dreidimensio­ nalen Raum erfüllt, bei dem ein räumliches Abstandsbild ver­ wendet wird, das durch Aufnehmen des Objektes im dreidimen­ sionalen Raum erhalten wird, wobei das Verfahren dadurch gekennzeichnet ist, daß ein Flächenbild des Objekts vom gleichen Aufnahmepunkt aus erhalten wird wie das räumliche Abstandsbild, ein Teilbild des erhaltenen Flächenbildes spe­ zifiziert wird, ein Teilbild des räumliches Abstandsbildes an einer Position in dem räumlichen Abstandsbild extrahiert wird, die der Position des spezifizierten Teilbildes in dem Flächenbild entspricht, und das Teilbild des räumlichen Ab­ standsbildes für die Erkennung verarbeitet wird.The object of the invention is achieved by a method for He Knowing the position and location of an object in three dimensions nalen space, where a spatial distance image ver is applied by taking up the object in three dimensions sional space is obtained, the method thereby is characterized in that a surface image of the object from is obtained from the same recording point as the spatial one Distance image, a partial image of the area image obtained is a partial image of the spatial distance image extracted at a position in the spatial distance image which corresponds to the position of the specified field in the Area image corresponds, and the partial image of the spatial Ab still image is processed for recognition.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Erkennung der Position und Lage eines Objekts mit einer Kreisform im dreidimensionalen Raum geschaffen, bei dem ein räumliches Abstandsbild verwendet wird, das durch Aufnehmen des Objekts im dreidimensionalen Raum erhalten wird, dadurch gekennzeichnet, daß ein Stereo-Randeffektbild und ein Dich­ tegradientenbild des Objekts über ein Graustufenbild erhal­ ten werden, indem das Objekt von mehreren Richtungen aus aufgenommen wird, das Stereo-Randeffektbild so verarbeitet wird, daß über ein Bezugsrandeffektbild und andere übrige Randeffektbilder ein Parallaxenbild als räumliches Abstands­ bild erhalten wird, das Bezugsrandeffektbild verarbeitet wird, um daraus die Komponenten mit gekrümmten Rändern und darüber hinaus aus den Komponenten mit gekrümmten Rändern eine Kreis-Komponente zu extrahieren, und die Position und Lage der extrahierten Kreis-Komponente unter Verwendung ei­ ner dreidimensionalen Information erkannt wird, die von dem Parallaxenbild unter Bezug auf die entsprechenden Randef­ fektpunkte der extrahierten Kreiskomponente erhalten wurde. According to a further aspect of the invention, a method to detect the position and location of an object with a Circular shape created in three-dimensional space in which a spatial distance image is used by shooting of the object in three-dimensional space is thereby obtained characterized that a stereo edge effect image and you Get the gradient image of the object via a grayscale image by moving the object from multiple directions is recorded, the stereo edge effect image is processed in this way will that over a reference edge effect image and others others Edge effect images are a parallax image as a spatial distance image is obtained, the reference edge effect image is processed is used to make the components with curved edges and moreover from the components with curved edges extract a circle component, and position and Location of extracted circle component using egg ner three-dimensional information is recognized by the Parallax image with reference to the corresponding Randef fect points of the extracted circular component was obtained.  

Erfindungsgemäß wird bei der Objekterfassungsoperation das zweidimensionale Bild dazu verwendet, zuvor die Objektanwesen­ heitszone zu beschränken, die der Erfassung in dem Abstands­ bild unterliegt, und die Objekterfassungsoperation wird über dem Abstandsteilbild der beschränkten Zone durchgeführt. Mit der Erfindung kann somit eine Erfassungsoperation durchge­ führt werden, die im Vergleich zum Stand der Technik sehr schnell ist, bei dem die Erfassungsoperation über alle Zonen des Abstandsbildes erfolgt. In diesem Fall kann die Spezifi­ zierung des Teilbildes des zweidimensionalen Bildes auf der Basis des Formmusters der Oberfläche des Objekts, des stati­ stischen Strukturbildmerkmals, der Farb- oder Helligkeits­ klassifikation oder des zweidimensionalen geometrischen Merkmals erfolgen, das von dem dreidimensionalen geometri­ schen Merkmal des Objekts abgeleitet wurde.According to the invention in the object detection operation two-dimensional image previously used to present the object to limit the detection zone in the distance  image is subject, and the object capture operation is over the distance drawing of the restricted zone. With the invention can thus perform a detection operation leads, which are very compared to the prior art is fast, with the acquisition operation across all zones of the distance image is done. In this case the spec adornment of the partial image of the two-dimensional image on the Basis of the shape pattern of the surface of the object, the stati structural structural feature, the color or brightness classification or two-dimensional geometric Characteristic take place that of the three-dimensional geometri characteristic of the object was derived.

Die Erfindung wird im folgenden anhand von Ausführungsbei­ spielen unter Bezugnahme auf die Zeichnung näher erläutert; in dieser zeigen:The invention is described below with reference to exemplary embodiments play explained with reference to the drawing; in this show:

Fig. 1 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform eines erfindungsgemäßen Systems; Fig. 1 is a flow chart for explaining the operation of an embodiment of a system according to the invention;

Fig. 2 ein Blockdiagramm des Systems der Ausführungsform der Fig. 1; Fig. 2 is a block diagram of the system of the embodiment of Fig. 1;

Fig. 3 eine perspektivische Ansicht eines Beispiels von Objekten, die der Erfassung bei der Ausführungsform der Fig. 1 unterliegen; 3 is a perspective view of an example of objects that are subject to detection in the embodiment of Fig. 1.

Fig. 4a ein Diagramm zur Erläuterung eines zweidimensionalen Bildes der beispielhaften Objekte bei der Ausführungsform der Fig. 1; 4a shows a diagram for explaining a two-dimensional image of the exemplary objects in the embodiment of Fig. 1.

Fig. 4b ein Diagramm zur Erläuterung eines Abstandsbildes der beispielhaften Objekte bei der Ausführungsform der Fig. 1; Figure 4b is a diagram for explaining a distance image of the exemplary objects in the embodiment of Fig. 1.

Fig. 5 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer spezifischeren Abwandlung der Ausführungsform der Fig. 1, Fig. 5 is a flowchart for explaining the operation of a specific modification of the embodiment of Fig. 1,

Fig. 6 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 5; Fig. 6 is a diagram for explaining the operation of the modification of Fig. 5;

Fig. 7 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischen Abwandlung der Ausführungsform der Fig. 1; Fig. 7 is a flowchart for explaining the operation of another specific modification of the embodiment of Fig. 1;

Fig. 8 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 7; Fig. 8 is a diagram for explaining the operation of the modification of Fig. 7;

Fig. 9 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischeren Abwandlung der Ausführungsform der Fig. 1; Fig. 9 is a flow chart for explaining the operation of another more specific modification of the embodiment of Fig. 1;

Fig. 10 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 9; Fig. 10 is a diagram for explaining the operation of the modification of Fig. 9;

Fig. 11 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren spezifischeren Abwandlung der Ausführungsform der Fig. 1; FIG. 11 is a flow chart for explaining the operation of another more specific modification of the embodiment of FIG. 1;

Fig. 12 eine Vorderansicht eines Beispiels einer Objekterfas­ sung bei der Abwandlung der Fig. 11; Fig. 12 is a front view of an example of an object detection in the modification of Fig. 11;

Fig. 13a ein Diagramm zur Erläuterung eines zweidimensio­ nalen Bildes bei der Abwandlung der Fig. 11; Fig. 13a is a diagram for explaining a two-dimensional image in the modification of Fig. 11;

Fig. 13b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Abwandlung der Fig. 11; FIG. 13b is a diagram for explaining a distance image in the modification of FIG. 11;

Fig. 14 ein Diagramm zur Erläuterung der Wirkungsweise der Abwandlung der Fig. 11; Fig. 14 is a diagram for explaining the operation of the modification of Fig. 11;

Fig. 15 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung; FIG. 15 is a flow chart for explaining the operation of another embodiment of the invention;

Fig. 16 ein Diagramm zur Erläuterung einer Wirkungsweise der Ausführungsform der Fig. 15; FIG. 16 is a diagram for explaining an operation of the embodiment of FIG. 15;

Fig. 17 ein Diagramm zur Erläuterung einer weiteren Wir­ kungsweise der Ausführungsform der Fig. 15; Fig. 17 is a diagram for explaining another We approximately the embodiment of Fig. 15;

Fig. 18 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung; FIG. 18 is a flow chart for explaining the operation of another embodiment of the invention;

Fig. 19 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung; FIG. 19 is a flow chart for explaining the operation of another embodiment of the invention;

Fig. 20a ein Diagramm zur Erläuterung eines zweidimensiona­ len Bildes bei der Ausführungsform der Fig. 19; FIG. 20a is a diagram for explaining a zweidimensiona len image in the embodiment of Fig. 19;

Fig. 20b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Ausführungsform der Fig. 19; Figure 20b is a diagram for explaining a distance image in the embodiment of FIG. 19.;

Fig. 21a ein Diagramm zur Erläuterung des Abstandsbildes nach dem Anwenden einer Vorverarbeitungsoperation bei der Ausführungsform der Fig. 19; Fig. 21a is a diagram for explaining the distance image after applying a preprocessing operation in the embodiment of Fig. 19;

Fig. 21b ein Diagramm zur Erläuterung des zweidimensionalen Bildes nach einer Anwendung einer Vorverarbeitungsoperation bei der Ausführungsform der Fig. 19; Fig. 21b is a diagram for explaining the two-dimensional image after applying a preprocessing operation in the embodiment of Fig. 19;

Fig. 22 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform, auf die das Prüfungsverfahren gemäß der Erfindung angewendet wird; FIG. 22 is a flowchart for explaining the operation of an embodiment to which the examination method of the invention is applied in accordance with;

Fig. 23 eine perspektivische Ansicht eines zu prüfenden Objekts bei der Ausführungsform der Fig. 23; Fig. 23 is a perspective view of an object to be inspected in the embodiment of Fig. 23;

Fig. 24a ein Diagramm zur Erläuterung eines zweidimensio­ nalen Bildes bei der Ausführungsform der Fig. 22; Fig. 24a is a diagram for explaining a two-dimensional image in the embodiment of Fig. 22;

Fig. 24b ein Diagramm zur Erläuterung eines Abstandsbildes bei der Ausführungsform der Fig. 22; Fig. 24b is a diagram for explaining a distance image in the embodiment of Fig. 22;

Fig. 25 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung zum Auffinden einer Position und Lage eines Objekts; FIG. 25 is a flow chart for explaining the operation of a further embodiment of the invention for finding a position and orientation of an object;

Fig. 26 eine perspektivische Ansicht eines Beispiels des Objekts in Fig. 25; Fig. 26 is a perspective view of an example of the object in Fig. 25;

Fig. 27 ein Diagramm zur Erläuterung einer Ebene, auf die die Oberseite des Objekts bei der Ausführungsform der Fig. 25 gelegt wird; FIG. 27 is a diagram for explaining a plane on which the top of the object is placed in the embodiment of FIG. 25;

Fig. 28a ein Diagramm, das einen gedrehten Zustand der Ebene bei der Ausführungsform der Fig. 25 zeigt; Fig. 28a is a diagram showing a rotated state of the plane in the embodiment of Fig. 25;

Fig. 28b ein Diagramm zur Erläuterung eines Schablonenbil­ des; Fig. 28b is a diagram for explaining a stencil image;

Fig. 29 ein Blockdiagramm eines Systems, bei dem die Er­ findung angewendet wird und ein zu erfassendes Objekt eine zylindrische Form besitzt; FIG. 29 is a block diagram in which the invention It is applied and an object to be detected has a cylindrical shape of a system;

Fig. 30 perspektivische Ansichten eines Beispiels des Erfassungsobjekts bei dem System der Fig. 29; FIG. 30 is perspective views of an example of the detection object in the system of Fig. 29;

Fig. 31a ein Diagramm zur Erläuterung eines Randbildes in einem Stereobezugsbild bei dem System der Fig. 30; Figure 31a is a diagram for explaining an edge image in a stereo reference image in the system of Fig. 30.;

Fig. 31b ein Diagramm zur Erläuterung eines Disparitätsbil­ des bei dem System der Fig. 30; FIG. 31b is a diagram for explaining a disparity picture in the system of FIG. 30;

Fig. 32a ein Diagramm zur Erläuterung eines Beispiels eines Randbildes bei dem System der Fig. 30; Figure 32a is a diagram for explaining an example of an edge image in the system of Fig. 30.;

Fig. 32b ein Diagramm zur Erläuterung von Kurvenrändern bei dem System der Fig. 30; Figure 32b is a graph for explaining curve edges in the system of Fig. 30.;

Fig. 32c ein Diagramm zur Erläuterung eines bei dem System der Fig. 30 extrahierten kreisförmigen Randes; Figure 32c is a diagram for explaining a circular rim 30 extracted in the system of FIG..;

Fig. 33 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung der Erfindung; FIG. 33 is a flowchart for explaining the operation of a modification of the invention;

Fig. 34 eine perspektivische Ansicht einer weiteren Aus­ führungsform der Erfindung; FIG. 34 is a perspective view of a further imple mentation of the invention;

Fig. 35 perspektivische Ansichten eines Objekts bei der Ausführungsform der Fig. 34; FIG. 35 is perspective views of an object in the embodiment of Fig. 34;

Fig. 36a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 35; Figure 36a is a diagram for explaining an edge image in the embodiment of Fig. 35.;

Fig. 36b ein Diagramm zur Erläuterung eines bei der Aus­ führungsform der Fig. 35 extrahierten kreisförmigen Randes; Fig. 36b is a diagram for explaining a circular edge extracted in the embodiment of Fig. 35;

Fig. 37 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Abwandlung der Erfindung; FIG. 37 is a flow chart for explaining the operation of a further modification of the invention;

Fig. 38 eine perspektivische Ansicht eines Bilderfassungs­ zustands einer weiteren Ausführungsform der Erfindung; Figure 38 is a perspective view of an image capturing state of a further embodiment of the invention.

Fig. 39 perspektivische Ansichten eines Objekts bei der Ausführungsform der Fig. 38; FIG. 39 is perspective views of an object in the embodiment of Fig. 38;

Fig. 40a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 38; Figure 40a is a diagram for explaining an edge image in the embodiment of FIG. 38.;

Fig. 40b ein Diagramm zur Erläuterung eines extrahierten kreisförmigen Randes bei der Ausführungsform der Fig. 38; Figure 40b is a diagram illustrating an extracted circular rim in the embodiment of FIG. 38.;

Fig. 41 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Abwandlung der Erfindung; FIG. 41 is a flow chart for explaining the operation of a further modification of the invention;

Fig. 42 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung; Fig. 42 is a flowchart for explaining the operation of another embodiment of the invention;

Fig. 43a ein Diagramm zur Erläuterung der Art und Weise, wie Randpunkte bei der Ausführungsform der Fig. 42 aufgesucht werden; FIG. 43a are visited a diagram for explaining the manner how the edge points in the embodiment of Fig. 42;

Fig. 43b ein Diagramm zur Erläuterung extrahierter Ränder bei der Ausführungsform der Fig. 42; Fig. 43b is a diagram for explaining extracted edges in the embodiment of Fig. 42;

Fig. 44 ein Diagramm zur Erläuterung der Art und Weise, wie ein gekrümmter Rand bei der Ausführungsform der Fig. 42 zu extrahieren ist; Fig. 44 is a diagram for explaining how to extract a curved edge in the embodiment of Fig. 42;

Fig. 45a ein Diagramm zur Erläuterung extrahierter gekrümmter Ränder bei der Ausführungsform der Fig. 42; FIG. 45a is a diagram for explaining curved edges extracted in the embodiment of Fig. 42;

Fig. 45b ein Diagramm zur Erläuterung extrahierter gekrümm­ ter Ränder bei der Ausführungsform der Fig. 42; Figure 45b is a diagram illustrating extracted gekrümm ter edges in the embodiment of FIG. 42.;

Fig. 46 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; Fig. 46 is a flow chart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 47a ein Diagramm zur Erläuterung extrahierter gekrümm­ ter Ränder bei der Ausführungsform der Fig. 46; Figure 47a is a diagram illustrating extracted gekrümm ter edges in the embodiment of FIG. 46.;

Fig. 47b ein Diagramm zur Erläuterung eines binären Bildes von Rändern mit Disparitäten, die bei der Ausführungsform der Fig. 46 berechnet wurden; Fig. 47b is a diagram for explaining a binary image of edges with disparities calculated in the embodiment of Fig. 46;

Fig. 47c ein Diagramm zur Erläuterung extrahierter kreis­ förmiger Ränder bei der Ausführungsform der Fig. 46; Fig. 47c is a diagram for explaining extracted circular edges in the embodiment of Fig. 46;

Fig. 48 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; FIG. 48 is a flowchart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 49 eine perspektivische Ansicht eines Objekts bei der Ausführungsform der Fig. 48; FIG. 49 is a perspective view of an object in the embodiment of Fig. 48;

Fig. 50a ein Diagramm zur Erläuterung eines Randbildes bei der Ausführungsform der Fig. 48; FIG. 50a is a diagram for explaining an edge image in the embodiment of Fig. 48;

Fig. 50b ein Diagramm zur Erläuterung extrahierter gekrümm­ ter Ränder bei der Ausführungsform der Fig. 48; Figure 50b is a diagram illustrating extracted gekrümm ter edges in the embodiment of Fig. 48.;

Fig. 50c ein Diagramm zur Erläuterung extrahierter gekrümm­ ter Ränder bei der Ausführungsform der Fig. 48; Fig. 50c is a diagram for explaining extracted curved edges in the embodiment of Fig. 48;

Fig. 51 ein Diagramm zur Erläuterung der Art und Weise, wie gekrümmte Ränder bei der Ausführungsform der Fig. 48 auszu­ wählen sind; Fig. 51 is a diagram for explaining how to choose curved edges in the embodiment of Fig. 48;

Fig. 52 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform der Erfindung; FIG. 52 is a flowchart for explaining the operation of another embodiment of the invention;

Fig. 53 perspektivische Ansichten eines Objekts bei der Aus­ führungsform der Fig. 52; FIG. 53 is perspective views of an object in the form of guidance from FIG. 52;

Fig. 54a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 52; Fig. 54a is a diagram for explaining edge images in the embodiment of Fig. 52;

Fig. 54b ein Diagramm zur Erläuterung extrahierter kreis­ förmiger Ränder bei der Ausführungsform der Fig. 52; Fig. 54b is a diagram for explaining extracted circular edges in the embodiment of Fig. 52;

Fig. 55 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; FIG. 55 is a flow chart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 56 ein Flußdiagramm zur Erläuterung der Extraktions­ operation der Ausführungsform der Fig. 55; Fig. 56 is a flow chart for explaining the extraction operation of the embodiment of Fig. 55;

Fig. 57 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; FIG. 57 is a flow chart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 58 eine perspektivische Ansicht von Objekten bei der Ausführungsform der Fig. 57; FIG. 58 is a perspective view of objects in the embodiment of Fig. 57;

Fig. 59a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 57; Fig. 59a is a diagram for explaining edge images in the embodiment of Fig. 57;

Fig. 59b ein Diagramm zur Erläuterung eines extrahierten kreisförmigen Randes bei der Ausführungsform der Fig. 57; Figure 59b is a diagram illustrating an extracted circular rim in the embodiment of FIG. 57.;

Fig. 60 ein Diagramm zur Erläuterung der Art und Weise, wie ein kreisförmiger Rand bei der Ausführungsform der Fig. 57 zu extrahieren ist; Fig. 60 is a diagram for explaining how to extract a circular edge in the embodiment of Fig. 57;

Fig. 61 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; FIG. 61 is a flowchart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 62 ein Diagramm zur Darstellung einer Ebene eines Objekts, betrachtet von seiner Unterseite, bei der Ausfüh­ rungsform der Fig. 61; Fig. 62 is a diagram showing a plane of an object viewed from the bottom thereof in the embodiment of Fig. 61;

Fig. 63 ein Diagramm zur Erläuterung eines gedrehten Zustands der Ebene bei der Ausführungsform der Fig. 61; FIG. 63 is a diagram illustrating a rotated state of the level in the embodiment of Fig. 61;

Fig. 64 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform der Erfin­ dung; FIG. 64 is a flow chart for explaining the operation of extension of a modification of another embodiment of OF INVENTION;

Fig. 65 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer weiteren Ausführungsform; FIG. 65 is a flowchart for explaining the operation of a further embodiment;

Fig. 66 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Abwandlung einer weiteren Ausführungsform; FIG. 66 is a flow chart for explaining the operation of a modification of another embodiment;

Fig. 67 ein Diagramm zur Erläuterung einer Form der Wir­ kungsweise der Ausführungsform der Fig. 66; Fig. 67 is a diagram for explaining a form of the effect of the embodiment of Fig. 66;

Fig. 68 ein Flußdiagramm zur Erläuterung der Wirkungsweise einer Ausführungsform der Erfindung, die bei einem Montage­ überwachungssystem angewendet werden kann; FIG. 68 is a flow chart for explaining the operation of an embodiment of the invention, which can be applied to an assembly monitoring system;

Fig. 69 eine perspektivische Ansicht von Objekten bei der Ausführungsform der Fig. 68; FIG. 69 is a perspective view of objects in the embodiment of Fig. 68;

Fig. 70a ein Diagramm zur Erläuterung von Randbildern bei der Ausführungsform der Fig. 68; Fig. 70a is a diagram for explaining edge images in the embodiment of Fig. 68;

Fig. 70b ein Diagramm zur Erläuterung extrahierter kreisför­ miger Ränder bei der Ausführungsform der Fig. 68; und Figure 70b is a diagram illustrating extracted kreisför miger edges in the embodiment of Fig. 68.; and

Fig. 71 ein Diagramm zur Erläuterung eines beispielsweise bei den Ausführungsformen der Fig. 29 bis 31 verwendeten Sobel-Operators. Fig. 71 is a diagram for explaining an example in the embodiments of FIGS. 29 to 31 used Sobel operator.

Die Erfindung wird nun anhand von Ausführungsbeispielen nä­ her erläutert. Nach einem ersten und einem zweiten Merkmal der Erfindung werden ein Abstandsbild und ein zweidimensio­ nales Bild verwendet, das von dem gleichen Beobachtungspunkt aus wie das Abstandsbild photographiert wurde. Obwohl ver­ schiedene Wege der Erzeugung des Abstandsbildes möglich sind, erfolgt eine Erläuterung in Verbindung mit einem Fall, bei dem das Abstandsbild ausgehend von einem stereoskopischen Bild, d. h. einem zweidimensionalen Bild erzeugt wurde. In Fig. 2 geben die Bezugszeichen 10a und 10b Fernsehkameras zur Aufnahme von Stereobildern an. Ein Bild, das von einer 10a der Fernsehkameras 10a und 10b photographiert wurde, die mit einem Speicher 4 für zweidimensionale Bilder verbunden ist, wird als Stereobezugsbild verwendet. Bilder, die von den Fernsehkameras 10a und 10b photographiert wurden, werden einander in einem Stereobildprozessor 2 zugeordnet, und Ab­ stände, die auf der Basis des betreffenden Ergebnisses be­ rechnet wurden, werden auf dem Stereobezugsbild abgebildet, um ein Abstandsbild in einem dreidimensionalen Bildgenerator 3 zu erzeugen. Das von einer Fernsehkamera 10a erfaßte zwei­ dimensionale Bild wird in dem zweidimensionalen Bildspeicher 4 gespeichert. Eine Objektanwesenheitszonen-Extraktionsein­ richtung 5 extrahiert, basierend auf dem zweidimensionalen Bild und dem Abstandsbild, eine Objektanwesenheitszone, in der das Objekt vorliegt, und ein Detektor 6 für eine dreidimensio­ nale Position/Lage erfaßt eine dreidimensionale Position oder Lage des Objekts auf der Basis der Objektanwesenheitszone und des Abstandsbildes in deren Nähe.The invention will now be explained with reference to exemplary embodiments. According to a first and a second feature of the invention, a distance image and a two-dimensional image are used, which was photographed from the same observation point as the distance image. Although various ways of generating the distance image are possible, an explanation is given in connection with a case in which the distance image was generated from a stereoscopic image, ie a two-dimensional image. In Fig. 2, the reference numerals 10 a and 10 b indicate television cameras for recording stereo images. An image that was photographed by a 10 a of the television cameras 10 a and 10 b, which is connected to a memory 4 for two-dimensional images, is used as a stereo reference image. Images that have been photographed by the television cameras 10 a and 10 b are assigned to each other in a stereo image processor 2 , and from that calculated on the basis of the result in question are imaged on the stereo reference image to a distance image in a three-dimensional image generator 3 to generate. The two-dimensional image captured by a television camera 10 a is stored in the two-dimensional image memory 4 . An object presence zone extractor 5 extracts, based on the two-dimensional image and the distance image, an object presence zone in which the object is present, and a three-dimensional position / position detector 6 detects a three-dimensional position of the object based on the object presence zone and the distance image in their vicinity.

Fig. 3 zeigt ein Beispiel von zu erfassenden Objekten. Fig. 4a ist ein zweidimensionales Bild I2 der beispielhaften Objekte, und Fig. 4b ist ein Abstandsbild I3 davon. Unterschiedlich schraffierte Bereiche in dem Abstandsbild I3 bedeuten unter­ schiedliche Höhen der Objekte. Diese Darstellung ist auch auf die später beschriebenen Fälle anwendbar. Fig. 3 shows an example of objects to be detected. FIG. 4a is a two-dimensional image I2 of the exemplary objects, and FIG. 4b is a distance image I3 thereof. Different hatched areas in the distance image I3 mean different heights of the objects. This representation is also applicable to the cases described later.

Es wird zunächst erläutert, wie eine Objektanwesenheitszone zu extrahieren ist, wobei ein Formmuster verwendet wird, das auf eine Oberfläche eines einer Erfassung unterliegenden Objekts vorliegt, das ausgehend von dem Abstandsbild nicht erfaßt werden kann. Die Extraktion einer Objektanwesenheitszo­ ne durch die Objektanwesenheitszonen-Extraktionseinrichtung 5 erfolgt im Fall der Fig. 5 durch Mittel eines Musterver­ gleichs. Liegt z. B. ein Buchstabe "B" auf einer Oberfläche eines der Erfassung unterliegenden Objekts vor, so wird der Buchstabe "B" als ein Erfassungsmuster verwendet, wobei ein Mustervergleich zwischen dem zweidimensionalen Bild I2 und dem Erfassungsmuster erfolgt, um einen Teil zu extrahieren, der einem Vergleichsergebnis entspricht, das gleich oder größer als ein Schwellenwert ist, und als Objektanwesenheits­ zone Al eine Zone zu verwenden, die den extrahierten Teil enthält und einen Kreis mit einem Mittelpunkt bedeckt, der dem Schwerpunkt GI des extrahierten Teils entspricht, wie in Fig. 6 gezeigt. Eine Objekterfassungsoperation wird über ein Teilbild des Abstandsbildes I3 ausgeführt, das der Objektanwe­ senheitszone A1 entspricht. Diese Objekterfassungsoperation kann nicht nur durch die beiden bereits im Zusammenhang mit dem Stand der Technik erläuterten Verfahren, sondern auch durch ein anderes, später erläutertes Verfahren durchgeführt werden. It is first explained how an object presence zone is to be extracted, using a shape pattern that is present on a surface of an object subject to detection, which cannot be detected based on the distance image. The extraction of an object presence zone by the object presence zone extraction device 5 takes place in the case of FIG. 5 by means of a pattern comparison. Is z. For example, if there is a letter "B" on a surface of an object under detection, the letter "B" is used as a detection pattern, and a pattern comparison is made between the two-dimensional image I2 and the detection pattern to extract a part which is a 6, using a zone containing the extracted part and covering a circle with a center corresponding to the center of gravity GI of the extracted part, as shown in FIG. 6 . An object detection operation is performed on a field of the distance image I3 that corresponds to the object presence zone A1. This object detection operation can be carried out not only by the two methods already explained in connection with the prior art, but also by another method which will be explained later.

Zum Einstellen der Objektanwesenheitszone A2, wie in den Fig. 7 und 8 gezeigt, können Ränder von dem zweidimensionalen Bild I2 extrahiert werden, wobei ein Teil, der einer Randin­ tensität gleich oder größer als ein Schwellenwert ent­ spricht, extrahiert werden kann, eine Objektanwesenheitszone A2 mit einer einem Schwerpunkt G2 des extrahierten Teils entsprechenden Mitte eingestellt werden kann und eine Objekt­ erfassungsoperation über ein Teilbild des Abstandsbildes I3 entsprechend der Objektanwesenheitszone A2 durchgeführt werden kann. Bei dieser Objekterfassungsoperation wird der Umstand ausgenutzt, daß Unterschiede bei den statistischen Bildmerk­ malen der Objektstruktur als unterschiedliche Dichten in dem zweidimensionalen Bild I2 in Erscheinung treten.To set the object presence zone A2, as shown in FIGS. 7 and 8, edges can be extracted from the two-dimensional image I2, and a part corresponding to an edge intensity equal to or greater than a threshold value can be extracted, an object presence zone A2 can be set with a center corresponding to a center of gravity G2 of the extracted part and an object detection operation can be carried out via a partial image of the distance image I3 corresponding to the object presence zone A2. This object detection operation takes advantage of the fact that differences in the statistical image characteristics of the object structure appear as different densities in the two-dimensional image I2.

Ist nur eines einer Mehrzahl von rechteckigen Parallelepipe­ den, das in deren Mitte angeordnet ist, von roter Farbe, und sind die anderen rechteckigen Parallelepipede blau, so kann, wie in Fig. 9 gezeigt, eine Farbextraktion (bei dem darge­ stellten Beispiel eine Rot-Extraktion) ausgehend von dem zweidimensionalen Bild I2 ausgeführt werden, um einen Teil zu extrahieren, der eine Rot-Komponente gleich oder größer als ein Schwellenwert besitzt. Wie in Fig. 10 gezeigt kann eine Objektanwesenheitszone A3 mit einer einem Schwerpunkt G3 des extrahierten Teils entsprechenden Schwerpunkt G3 einge­ stellt werden, und eine Objekterfassungsoperation kann über ein Teilbild des Abstandsbildes I3 entsprechend der Objektan­ wesenheitszone A3 durchgeführt werden. Es ergibt sich von selbst, daß ein entsprechender Teil auf der Basis seiner Helligkeit anstelle der Farbe extrahiert werden kann. In diesem Fall ist festzustellen, daß eine Objektanwesenheitszone auf der Basis eines extrahierten Teils eines zweidimensiona­ len Bildes eingestellt wird, das eine Objektkomponente be­ sitzt, die gleich oder größer als ihr Schwellenwert ist, und ein der eingestellten Zone entsprechendes Bild wird als Teilbild des zweidimensionalen Bildes verwendet.If only one of a plurality of rectangular parallelepipes, which is arranged in the middle thereof, is of red color and the other rectangular parallelepipes are blue, then, as shown in FIG. 9, a color extraction (in the example shown a red Extraction) based on the two-dimensional image I2 to extract a part that has a red component equal to or greater than a threshold. As shown in FIG. 10, an object presence zone A3 can be set with a center of gravity G3 corresponding to a focus G3 of the extracted part, and an object detection operation can be performed via a sub-image of the distance image I3 corresponding to the object presence zone A3. It is obvious that a corresponding part can be extracted on the basis of its brightness instead of the color. In this case, it should be noted that an object presence zone is set based on an extracted part of a two-dimensional image having an object component equal to or larger than its threshold value, and an image corresponding to the set zone becomes the partial image of the two-dimensional image used.

Überdies kann die Anwesenheitszone eines der Erfassung un­ terliegenden Objekts zuvor durch die Verwendung zweidimensio­ naler geometrischer Merkmale, die von den dreidimensionalen geometrischen Merkmalen abgeleitet wurden, begrenzt werden. Fig. 11 zeigt einen Fall, bei dem ein zweidimensionales geo­ metrisches Merkmal verwendet wird, gemäß dem zwei gerade Linien in Form eines Buchstabens T verbunden werden. Genauer wird als erstes ein in Fig. 12 gezeigtes Objekt 120 photogra­ phiert, um ein zweidimensionales Bild I2, wie in Fig. 13a gezeigt, und damit ein Abstandsbild I3, wie in Fig. 13b ge­ zeigt, zu erhalten. In diesem Fall erscheint ein zweidimen­ sionales geometrisches Merkmal als eine solche T-förmige Verbindung zweier gerader Linien, wie durch ein Bezugszei­ chen 130 gezeigt. Als nächstes werden Ränder von dem zweidi­ mensionalen Bild I2 extrahiert und einer Hough-Transforma­ tion unterworfen, um gerade Linien zu erfassen, wobei ein Schnittpunkt der erfaßten Linien extrahiert wird, und wobei das Vorliegen oder Fehlen einer T-förmigen Verbindung fest­ gestellt wird, wodurch ein Schnittpunkt G4 in der T-förmigen Verbindung extrahiert wird, wie in Fig. 14 gezeigt. Überdies wird eine Zone von vorbestimmtem Ausmaß und mit einer dem Schnittpunkt G4 der T-förmigen Verbindung entsprechenden Mitte auf das Abstandsbild I3 angewendet, um eine dreidimen­ sionale Position oder Lage des Objekts ausgehend von einem Abstandsteilbild zu bestimmen.In addition, the presence zone of an object subject to detection can be previously limited by using two-dimensional geometric features derived from the three-dimensional geometric features. Fig. 11 shows a case in which a two-dimensional geo metric feature is used, according to which two straight lines in the form of a letter T are connected. More specifically, an object 120 shown in FIG. 12 is first photographed to obtain a two-dimensional image I2 as shown in FIG. 13a, and thus a distance image I3 as shown in FIG. 13b. In this case, a two-dimensional geometric feature appears as such a T-shaped connection of two straight lines, as shown by reference numeral 130 . Next, edges are extracted from the two-dimensional image I2 and subjected to a Hough transformation to detect straight lines, extracting an intersection of the detected lines, and determining the presence or absence of a T-shaped connection, thereby an intersection point G4 is extracted in the T-shaped joint as shown in FIG. 14. In addition, a zone of a predetermined size and with a center corresponding to the intersection G4 of the T-shaped connection is applied to the distance image I3 in order to determine a three-dimensional position of the object based on a distance partial image.

Wie in den Fig. 15 und 16 gezeigt, werden eine Trägheits­ hauptachse EA1 und ein Schwerpunkt G5 ausgehend von dem zweidimensionalen Bild I2 erfaßt, und das Abstandsbild I3 wird auf eine Ebene projiziert, die durch die Trägheits­ hauptachse EA1 verläuft und senkrecht zu dem zweidimensiona­ len Bild I2 ist. Werden eine Trägheitshauptachse EA2 und ein Schwerpunkt G6 ausgehend von dem in Fig. 17 gezeigten Pro­ jektionsbild erfaßt, so kann die Lage der Trägheitshauptach­ se ausgehend von den beiden Trägheitshauptachsen EA1 und EA2 erfaßt werden, und die Position der Trägheitshauptachse kann ausgehend von den Schwerpunkten G5 und G6 erfaßt werden.As shown in FIGS. 15 and 16, an inertial are major axis EA1 and an emphasis starting detected by the two-dimensional image I2 G5, and the distance image I3 is projected onto a plane, the major axis by the inertial extends EA1 and zweidimensiona len perpendicular to the Image I2 is. If a main axis of inertia EA2 and a center of gravity G6 are detected on the basis of the projection image shown in FIG. 17, the position of the main axes of inertia can be determined on the basis of the two main axes of inertia EA1 and EA2, and the position of the main axis of inertia on the basis of centers of gravity G5 and G6 can be detected.

Wie in Fig. 18 gezeigt werden ferner nach dem oben genannten Erfassen der Lage und der Position der Trägheitshauptachse eine Trägheitshauptachse und ein Schwerpunkt für das Objektmo­ dell aufgefunden und mit der Lage und Position der erfaßten Trägheitshauptachse in Übereinstimmung gebracht, wobei das Objektmodell auf der Trägheitshauptachse gedreht wird, um eine gewisse Übereinstimmung oder Angleichung zwischen dem Objekt­ modell und dem Objekt aufzufinden, und eine dreidimensionale Position und Lage des Objekts kann auf der Basis der Position und Lage des Objektmodells erfaßt werden, wenn der Grad an Übereinstimmung ein Maximum erreicht. Da die Position und Lage der Trägheitshauptachse, die repräsentativ sind für die Position und Lage des Objekts in dem dreidimensionalen Raum, als feste Bezugsgrößen verwendet werden, d. h. da fünf oder sechs Freiheitsgrade des Objekts in dem dreidimensionalen Raum eingeschränkt sind, kann in diesem Fall die Position und Lage des Objekts in dem dreidimensionalen Raum bei hoher Ge­ schwindigkeit genau erfaßt werden.Further, as shown in FIG. 18, after the above-mentioned detection of the position and the position of the main inertia axis, a main inertia axis and a center of gravity for the object model are found and brought into line with the position and position of the detected main inertia axis, the object model being rotated on the main inertia axis to find some correspondence or alignment between the object model and the object, and a three-dimensional position and location of the object can be detected based on the position and location of the object model when the degree of correspondence reaches a maximum. In this case, since the position and position of the principal axis of inertia, which are representative of the position and position of the object in the three-dimensional space, are used as fixed reference values, ie since five or six degrees of freedom of the object in the three-dimensional space are restricted, the position can and position of the object in the three-dimensional space at high speed Ge can be detected precisely.

Wie anhand eines in Fig. 20a gezeigten zweidimensionalen Bildes I2 und eines in Fig. 20b gezeigten Abstandsbildes I3 zu sehen ist, ist dann, wenn eine Mehrzahl solcher, in Fig. 12 gezeigter Objekte gestapelt wird, eine vorhergesagte Höhe einer Anwesenheitsposition eines zu erfassenden Objekts als eine Vorverarbeitung festgesetzt, wobei eine Zone, die höher als die vorausgesagte Höhe ist, ausgehend von dem Abstandsbild I3 (siehe Fig. 21a) extrahiert wird und eine Zone, die die gleiche Position wie in dem Bild besitzt, ausgehend von dem zweidimensionalen Bild I2 (siehe Fig. 21b) extrahiert wird, wie in Fig. 19 gezeigt. Danach bezieht sich die durch die vorausgesagte Höhe eingeschränkte Zone auf ein zweidimensio­ nales Bild I2′, und das Abstandsbild I3′ wird einer solchen Verarbeitung unterzogen, wie sie oben erwähnt wurde (bei dem dargestellten Beispiel, welche die gleiche wie die in Fig. 11 gezeigte Verarbeitung ist), um eine dreidimensionale Po­ sition und Lage des Objekts zu bestimmen.As can be seen from a two-dimensional image I2 shown in FIG. 20a and a distance image I3 shown in FIG. 20b, when a plurality of such objects shown in FIG. 12 are stacked, a predicted height of a presence position of an object to be detected is as a preprocessing, wherein a zone higher than the predicted height is extracted from the distance image I3 (see Fig. 21a) and a zone which has the same position as in the image from the two-dimensional image I2 (see Fig. 21b) is extracted as shown in Fig. 19. Thereafter, the zone restricted by the predicted height refers to a two-dimensional image I2 ', and the distance image I3' is subjected to such processing as mentioned above (in the illustrated example, which is the same as that shown in Fig. 11) Processing is) to determine a three-dimensional position and location of the object.

Ein solches dreidimensionales Objekterkennungsverfahren kann auf Objektüberprüfungssituationen angewendet werden. Z. B. zeigt Fig. 23 einen Fall, bei dem ein rechteckiger Pfosten 8 in ein rechteckiges Loch 70 eines Sockels 2 eingesetzt wird, und es soll geprüft werden, ob der rechteckige Pfosten 8 senkrecht (θ = 90°) zum Sockel 2 in das rechteckige Loch eingesetzt wurde oder nicht. Fig. 22 zeigt ein Flußdiagramm zur Erläuterung der Wirkungsweise, wenn der zuvor genannte Mustervergleich angewendet wird. D.h., ein solches, in Fig. 24a gezeigtes zweidimensionales Bild I2 und ein solches, wie in Fig. 24b gezeigtes Abstandsbild I3 werden ausgehend von Stereobildern zweier Fernsehkameras erhalten. Genauer wird ein Kreis 80 (der durch eine Öffnung oder ein Schraubenloch ersetzt werden kann) auf der Oberseite des rechteckigen Pfo­ stens 8 als Erfassungsmuster verwendet, wobei eine Objektanwe­ senheitszone in einer Weise eingeschränkt ist, die der der vorhergehenden Ausführungsform gleichartig ist, wobei dann eine Position und Lage des rechteckigen Pfostens 8 in dem dreidimensionalen Raum erfaßt werden. Auf der Basis des Er­ fassungsergebnisses wird eine Neigung θ des rechteckigen Pfostens ermittelt, um zu entscheiden, ob der Einsetzungszu­ stand gut ist oder nicht.Such a three-dimensional object detection method can be applied to object inspection situations. For example, Fig. 23 shows a case where a rectangular post 8 is inserted into a rectangular hole 70 of a base 2 , and it is to be checked whether the rectangular post 8 is perpendicular (θ = 90 °) to the base 2 in the rectangular hole was used or not. Fig. 22 shows a flow chart for explaining the operation when the aforementioned pattern comparison is applied. That is, such a two-dimensional image I2 shown in FIG. 24a and such a distance image I3 as shown in FIG. 24b are obtained on the basis of stereo images of two television cameras. More specifically, a circle 80 (which can be replaced with an opening or a screw hole) on the top of the rectangular post 8 is used as the detection pattern, with an object presence zone restricted in a manner similar to that of the previous embodiment, then one The position and location of the rectangular post 8 in the three-dimensional space can be detected. On the basis of the detection result, an inclination θ of the rectangular post is determined to decide whether or not the insertion condition is good.

Die Fig. 25 bis 28 zeigen ein Beispiel eines Erfassungs­ verfahrens, bei dem eine Position und Lage eines Objekts auf der Basis eines Abstandteilbildes erfaßt werden, das durch Verwendung des zuvor genannten Musters extrahiert wurde. Liegt insbesondere ein solches Objekt 8 vor, wie es in der Fig. 26 gezeigt ist, so wird ein der Oberseite des Objekts 8 entsprechendes Teilbild von einem Abstandsbild extrahiert, das durch Photographieren des Objekts 8 auf der Basis der Struktur erhalten wurde, und eine von dem Teilbild erhaltene dreidimensionale Information wird auf eine Ebene angewendet, um eine Ebene Pa aufzufinden, die die Oberseite des Objekts 8 in dem dreidimensionalen Raum, wie in Fig. 27 gezeigt, ent­ hält. Die Ebene Pa erhält man beispielsweise durch Berechnen von Koeffizienten a, b und c in der folgenden Gleichung durch die Methode der kleinsten Quadrate: Figs. 25 to 28 show an example of a detection method in which a position and orientation of an object are detected on the basis of a distance portion of the image which has been extracted by using the aforementioned pattern. In particular, if there is such an object 8 as shown in FIG. 26, a partial image corresponding to the top of the object 8 is extracted from a distance image obtained by photographing the object 8 based on the structure, and one of Three-dimensional information obtained from the sub-image is applied to a plane to find a plane Pa that contains the top of the object 8 in the three-dimensional space as shown in FIG. 27. The plane Pa is obtained, for example, by calculating coefficients a, b and c in the following equation using the least squares method:

ax + by + cz + 1 = 0ax + by + cz + 1 = 0

Als nächstes werden, wie in Fig. 27 gezeigt, dreidimensiona­ le Positionen von Punkten auf der Oberseite des Objekts auf einem Ursprung Po eines Kamerabild-Koordinatensystems so gedreht, daß eine Normale Paz der Ebene Pa mit einer Z-Achse des Bildkoordinatensystems zusammenfällt, wie in Fig. 28a gezeigt, und die Positionen werden dann auf eine Ebene (in diesem Fall eine X-Y-Ebene Pxy des obigen Bild-Koordinaten­ systems) eines Bezugskoordinatensystems unter Verwendung von x- und y-Koordinatenwerten der Punkte auf der Oberseite des Objekts nach der Drehung projiziert. Ein auf diese Weise er­ haltenes Projektionsbild und ein zuvor aufgezeichnetes Scha­ blonenbild M (wie in Fig. 28b gezeigt) werden einem Muster­ vergleich unterworfen, um eine Position und Lage des Objekts des Projektionsbildes aufzufinden, wobei die aufgefundene Objektposition einer inversen Transformation unterworfen wird, um eine Position und Lage der Oberseite des Objekts vor der obigen Drehung aufzufinden. Um die Position und Lage des Objekts in dem zweidimensionalen Bild aufzufinden, wurde bei dem dargestellten Beispiel der Mustervergleich mit dem Scha­ blonenbild durchgeführt, es ist jedoch festzustellen, daß ein anderes Verfahren wie etwa eine verallgemeinerte Hough- Transformation verwendet werden kann.Next, as shown in FIG. 27, three-dimensional positions of points on the top of the object on an origin Po of a camera image coordinate system are rotated so that a normal Paz of the plane Pa coincides with a Z axis of the image coordinate system, as in FIG shown Fig. 28a, and the positions are then on a plane (in this case, an XY plane Pxy of the image coordinate system) of a reference coordinate system using the x and y coordinate values of points on the top of the object after the rotation projected. A projection image obtained in this way and a previously recorded template image M (as shown in FIG. 28b) are subjected to a pattern comparison in order to find a position and position of the object of the projection image, the object position found being subjected to an inverse transformation by find a position and location of the top of the object before the above rotation. In order to find the position and position of the object in the two-dimensional image, the pattern comparison with the template image was carried out in the example shown, but it should be noted that another method such as a generalized Hough transformation can be used.

Bei der vorhergehenden Ausführungsform wurde das zweidimen­ sionale Bild ausgehend von dem gleichen Betrachtungspunkt wie bei dem Abstandsbild erhalten, das durch ein Aufnehmen des Objekts in dem dreidimensionalen Raum erhalten wurde, wo­ bei die der Erfassungsoperation für die Position und Lage des Objekts zu unterwerfende Zone extrahiert und beschränkt wurde und die Trägheitshauptachse und der Schwerpunkt des Objekts auf der Basis eines zweidimensionalen Bildes extra­ hiert wurden. Besitzt das Objekt jedoch eine solche Form wie etwa die eines Kreiszylinders, so wird ein Zylinderteil da­ durch extrahiert, daß ein Randbild verwendet wird, und eine Position, Lage und Radius des Kreises werden gemessen, um eine Erkennung des Objekts mit höherer Geschwindigkeit durch­ führen zu können. In the previous embodiment, this was two-dim sional picture starting from the same point of view as with the distance image obtained by taking one of the object in the three-dimensional space where in the position and location acquisition operation zone of the object to be subjected is extracted and limited and the main axis of inertia and the center of gravity of the Object based on a two-dimensional image extra were hated. However, the object has such a shape as like that of a circular cylinder, a cylinder part becomes there extracted by using a border image and a The position, location and radius of the circle are measured to detection of the object at a higher speed to be able to lead.  

In diesem Fall enthält ein System, wie in Fig. 29 gezeigt, zwei Kameras 11 und 12 zum Photographieren eines Objekts 18, das von einem Illuminator 19 beleuchtet wird, A/D-Wandler 13 und 14 zum Umwandeln analoger Bildsignale von den beiden Kameras 11 und 12 in digitale Bildsignale, Bildspeicher 15 und 16 zum Speichern der digitalen Bildsignale, und einen Prozessor 17, der mit den Bildspeichern 15 und 16 verbunden ist. Mit diesem System wird eine parallele Stereoumwandlung durch die Stereobildverarbeitung eines Randbildes durchge­ führt, d. h. die beiden Kameras 11 und 12 werden hinsicht­ lich ihrer Orientierung und Brennweite aufeinander abge­ stimmt, wobei die Bildsignale so in Bilder umgewandelt wer­ den, daß die entsprechenden Pixel der beiden Bilder bezüg­ lich des Y-Koordinatenwertes zusammenfallen, um dadurch eine wirksame entsprechende Punktprüfung zu verwirklichen, wobei eine einer Abweichung zwischen den X-Koordinatenwerten der beiden berechneten Bilder entsprechende Disparität von der Kamera 11 photographiert und auf ein extrahiertes Randbild (Stereobezugsbild) abgebildet wird, um ein Disparitätsbild zu erzeugen. Ist ein Abstandsbild erforderlich, so ist zu­ sätzlich eine Umwandlung von der Disparität zum Abstand vor­ gesehen. Z. B. in dem Fall, daß kreiszylindrische Objekte 18a, 18b und 18c mit unterschiedlichen Höhen wie in Fig. 30 ge­ zeigt angeordnet sind, werden dann, wenn die Objekte von ihrer Oberseite her durch die beiden Kameras photographiert wer­ den, ein solches Randbild IE für das Stereobezugsbild, wie in Fig. 31a gezeigt, und ein solches Disparitätsbild ID, wie in Fig. 31b gezeigt, erhalten. In Fig. 31b gibt eine dickere Linie ein höheres Objekt an.In this case, as shown in FIG. 29, a system includes two cameras 11 and 12 for photographing an object 18 illuminated by an illuminator 19 , A / D converters 13 and 14 for converting analog image signals from the two cameras 11 and 12 into digital image signals, image memories 15 and 16 for storing the digital image signals, and a processor 17 connected to the image memories 15 and 16 . With this system, a parallel stereo conversion is carried out by the stereo image processing of an edge image, ie the two cameras 11 and 12 are matched to one another with regard to their orientation and focal length, the image signals being converted into images so that the corresponding pixels of the two images coincide with the Y coordinate value, thereby realizing an effective corresponding point check, wherein a disparity corresponding to a deviation between the X coordinate values of the two calculated images is photographed by the camera 11 and imaged on an extracted edge image (stereo reference image) by one Generate disparity image. If a distance image is required, a conversion from disparity to distance is also provided. For example, in the case that circular cylindrical objects 18 a, 18 b and 18 c are arranged with different heights as shown in Fig. 30 ge, if the objects are photographed from the top by the two cameras, such an edge image IE for the stereo reference image as shown in Fig. 31a and such a disparity image ID as shown in Fig. 31b. In Fig. 31b, a thick line indicates a higher object.

Die in den Bildspeichern 15 und 16 durch die Bilderfassung gespeicherten Bilder werden der parallelen Stereowandlung unterzogen, um ein Randbild und ein Gradientenrichtungsbild auf der Basis des umgewandelten Bildes zu erhalten. Um Rän­ der von den Bildern zu extrahieren, wird ein Sobel-Operator, wie in Fig. 71 gezeigt, verwendet. Auf die Anwendung dieses Operators hin wird die Mitte des Operators zu einem Objektpi­ xel bewegt, wobei die Intensitätswerte der Pixel nahe dem Objektpixel mit den Werten des Operators multipliziert werden, wodurch Gradientengrößen Gx und Gy in den X- und Y-Richtun­ gen, eine Gradientenintensität |G| und eine Gradientenrich­ tung θ bezüglich aller Pixel berechnet werden. Gibt I(x, y) die Intensität eines Pixels bei einem Koordinatenpunkt [x, y] an, so werden die Gradientengrößen Gx und Gy in den X- und Y-Richtungen durch die folgenden Gleichungen ausge­ drückt:The images stored in the image memories 15 and 16 by the image acquisition are subjected to the parallel stereo conversion to obtain an edge image and a gradient direction image based on the converted image. To extract margins from the images, a Sobel operator as shown in Fig. 71 is used. Upon application of this operator, the center of the operator is moved to an object pixel, the intensity values of the pixels near the object pixel being multiplied by the values of the operator, causing gradient sizes Gx and Gy in the X and Y directions, a gradient intensity | G | and a gradient direction θ can be calculated with respect to all pixels. If I (x, y) indicates the intensity of a pixel at a coordinate point [x, y], the gradient quantities Gx and Gy in the X and Y directions are expressed by the following equations:

Gx(x,y) = {I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)}
-{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)}
Gy(x,y) = {I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)}
-{I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)}Gx (x, y) = {I (x + 1, y-1) + 2I (x + 1, y) + I (x + 1, y + 1)}
- {I (x-1, y-1) + 2I (x-1, y) + I (x-1, y + 1)}
Gy (x, y) = {I (x-1, y-1) + 2I (x, y-1) + I (x + 1, y-1)}
- {I (x-1, y + 1) + 2I (x, y + 1) + I (x + 1, y + 1)}

Unter Verwendung von Gx und Gy werden die Gradientenintensi­ tät |G| und die Gradientenrichtung θ bei jeder Pixelposition wie folgt aufgefunden: Bilder von Pixeln mit solchen Werten werden als Gradientenintensitätsbild bzw. Gradientenrich­ tungsbild bezeichnet.Using Gx and Gy, the gradient intensities activity | G | and the gradient direction θ at each pixel position found as follows: images of pixels with such values are used as gradient intensity image or gradient rich designated image.

|G| = (Gx²+Gy²)^1/2
θ = tan^-1(Gy/Gx)| G | = (Gx² + Gy²) ^1/2
θ = tan ^-1 (Gy / Gx)

Nachdem ein Schwellenwert für den Wert der Gradienteninten­ sität |G| bereitgestellt wurde und die Gradientenintensitä­ ten für Pixel mit unter dem Schwellenwert liegenden Gradien­ tenintensitäten auf θ gesetzt wurden, werden Punkte mit den höchsten Gradientenintensitäten im Nahbereich, d. h. die Gradientenintensitäten in Form einer Gratlinie, als Rand­ punkte extrahiert, wobei ein solches Randbild IE erhalten wird, wie es in Fig. 32a gezeigt ist. Ferner werden nur ge­ krümmte Komponenten 321 und 322 von dem Randbild des Stereo­ bezugsbildes, wie in Fig. 32b gezeigt, extrahiert, und eine kreisförmige Komponente 322 wird von den extrahierten ge­ krümmten Komponenten extrahiert, wie in Fig. 32c gezeigt.After a threshold value for the value of the gradient intensity | G | has been provided and the gradient intensities for pixels with gradient intensities below the threshold value have been set to θ, points with the highest gradient intensities in the close range, ie the gradient intensities in the form of a ridge line, are extracted as edge points, such an edge image IE being obtained, as shown in Fig. 32a. Further, only curved components 321 and 322 are extracted from the edge image of the stereo reference image as shown in Fig. 32b, and a circular component 322 is extracted from the extracted curved components as shown in Fig. 32c.

Auf die vorhergehende Weise wird eine Disparität auf der Basis der Stereorandbilder durch die Stereobildverarbeitung berechnet, wobei die berechnete Disparität auf das Randbild des Stereobezugsbildes abgebildet wird, um ein Disparitäts­ bild zu erzeugen, wobei dreidimensionale Positionen an Punk­ ten auf dem kreisförmigen Rand ausgehend von den entspre­ chenden Teilen des kreisförmigen Disparitätsbildes berechnet werden, das auf die zuvor genannte Weise extrahiert wurde, und wobei eine mittlere Position und Lage eines Kreises auf der Oberseite des kreiszylindrischen Objekts 18 auf der Basis der berechneten dreidimensionalen Positionsinformation ge­ messen werden, um eine Position und Lage des Objekts 18 zu erkennen.In the foregoing, a disparity is calculated based on the stereo edge images by the stereo image processing, the calculated disparity is mapped to the edge image of the stereo reference image to produce a disparity image, with three-dimensional positions at points on the circular edge based on the corresponding parts of the circular disparity image extracted in the aforementioned manner, and wherein an average position and location of a circle on the top of the circular cylindrical object 18 is measured based on the calculated three-dimensional position information to determine a position and location of the Object 18 to recognize.

Die Extraktion nur der gekrümmten Komponenten ausgehend von dem Randbild des Stereobezugsbildes kann beispielsweise durch Extrahieren gerader Linien über eine Hough-Transfor­ mation und dadurch erfolgen, daß Ränder, die innerhalb einer vorbestimmten Entfernung von den extrahierten geraden Linien vorliegen, gelöscht werden. Eine Erläuterung erfolgt in be­ zug auf den Fall, daß drei Typen solcher Objekte 18a, 18b und 18c, wie in Fig. 35 gezeigt, entlang einer Fördereinrichtung 92 transportiert werden und das Objekt 18 eines von drei Typen von solchen Objekten ist, und darauf bezogen, wie das Objekt aus den drei Typen von Objekten auszuwählen ist. Wie in Fig. 37 gezeigt wird ein Randbild durch eine parallele Stereoumwand­ lung und die Erzeugung eines Gradientengrößenbildes und ei­ nes Gradientenrichtungsbildes erzeugt. In diesem Fall erfaßt eine Kamera 11 zum Photographieren eines als Stereobezugs­ bild zu verwendenden Bildes das Bild des Objekts 18 annähernd rechts von seiner Oberseite, wobei ein solches Randbild wie in Fig. 36a gezeigt erhalten wird. Wird das Randbild einer Hough-Transformation unterworfen, um davon gerade Linien zu extrahieren, und werden Ränder, die innerhalb einer vorbe­ stimmten Entfernung von den extrahierten geraden Linien 126 und 127 liegen, gelöscht, so können die aus der Förderein­ richtung 92 resultierenden Ränder 122 bis 125 gelöscht wer­ den. Damit kann nur ein kreisförmiger Rand 121 auf der Ober­ seite des Objekts extrahiert werden. Werden überdies dreidi­ mensionale Positionen an Punkten auf dem kreisförmigen Rand ausgehend von der Disparität des extrahierten Kreises be­ rechnet, und werden eine mittlere Position und ein Radius des Kreises der Oberseite des Objekts 18 ausgehend von der berechneten dreidimensionalen Positionsinformation gemessen, so kann das Objekt 18 als einer der drei Typen von in Fig. 35 gezeigten Objekten auf der Basis der gemessenen mittleren Po­ sition (Höhe) und des Radius spezifiziert werden.The extraction of only the curved components starting from the edge image of the stereo reference image can be carried out, for example, by extracting straight lines using a Hough transformation and by deleting edges that are within a predetermined distance from the extracted straight lines. An explanation is given with respect to the case that three types of such objects 18 a, 18 b and 18 c, as shown in FIG. 35, are transported along a conveyor 92 and the object 18 is one of three types of such objects, and how to select the object from the three types of objects. As shown in Fig. 37, an edge image is generated by a parallel stereo conversion and the generation of a gradient size image and a gradient direction image. In this case, a camera 11 for photographing an image to be used as a stereo reference image captures the image of the object 18 approximately to the right of its top, and such an edge image is obtained as shown in Fig. 36a. If the edge image is subjected to a Hough transformation in order to extract straight lines therefrom, and edges which lie within a predetermined distance from the extracted straight lines 126 and 127 are deleted, the edges 122 to resulting from the conveyor 92 can 125 who deleted. This means that only a circular edge 121 can be extracted on the upper side of the object. In addition, if three-dimensional positions at points on the circular edge are calculated based on the disparity of the extracted circle, and if an average position and a radius of the circle of the top of the object 18 are measured based on the calculated three-dimensional position information, the object 18 can be used as one of the three types of objects shown in FIG. 35 can be specified based on the measured mean position (height) and the radius.

Besitzen die kreiszylindrischen Objekte 18, 18a, 18b und 18c indessen geradlinige Komponenten in den Rändern ihrer Ober­ seite, wie in den Fig. 38 und 39 gezeigt, so betrifft ein alleiniges Löschen von Rändern, die innerhalb einer vorbe­ stimmten Entfernung von extrahierten geraden Linien vorlie­ gen, auch teilweise gekrümmte Teile. Um einen solchen Nach­ teil zu vermeiden, ist, wie in den Fig. 40 und 41 ge­ zeigt, vorgesehen, solche Ränder zu löschen, die innerhalb einer vorbestimmten Entfernung von den extrahierten geraden Linien 177, 178, 179, 17a, 17b und 17c liegen und Winkelwer­ te innerhalb eines vorbestimmten Wertes ausgehend von 90° bezüglich des Winkels zwischen ihrer Gradientenrichtung und dem Richtungsvektor der geraden Linie besitzen. Dies ermög­ licht ein Löschen von Rändern gerader Linien, während ein teilweises Löschen eines kreisförmigen Randes 171, wie in Fig. 40b gezeigt, vermieden wird.If the circular cylindrical objects 18 , 18 a, 18 b and 18 c have rectilinear components in the edges of their upper side, as shown in FIGS. 38 and 39, then only deleting edges that extracted within a predetermined distance applies straight lines are present, also partially curved parts. In order to avoid such a part, as shown in Figs. 40 and 41, it is provided to erase those edges which are within a predetermined distance from the extracted straight lines 177, 178, 179, 17a, 17b and 17c and have angular values within a predetermined value starting from 90 ° with respect to the angle between their gradient direction and the direction vector of the straight line. This enables erasing straight line edges while avoiding partially erasing a circular edge 171 as shown in Fig. 40b.

Das Löschen geradliniger Komponenten von dem Randbild, wäh­ rend Kurvenkomponenten beibehalten werden, kann durch ein solches Verfahren, wie es in den Fig. 42 bis 45 gezeigt ist, erfolgen. D.h. es werden Randpunkte ausgehend von ei­ nem Randbild eines Stereobezugsbildes zum Speichern aufge­ funden, wobei einen aufgefundenen Objektrandpunkt 201 umgebene Punkte im Uhrzeigersinn von seiner rechten Seite aus aufge­ sucht werden, um das Vorliegen eines weiteren Randpunkts, wie in Fig. 43a gezeigt, aufzufinden, und wobei eine Spei­ cheroperation für einen Randpunkt fortgesetzt wird, dessen Gradientenrichtung von der Gradientenrichtung des zuvor ge­ speicherten Randpunkts 201 um einen vorbestimmten Wert oder weniger als der nächste Objektrandpunkt abweicht, bei Vorlie­ gen des Randpunkts, bis kein Randpunkt an den Punkten um den Objektrandpunkt 201 mehr aufgefunden wird, und wobei dann, wenn die Anzahl solcher gespeicherter Randpunkte einen vor­ bestimmten Wert überschreitet, solche Randpunkte in Rand­ gruppen 431 bis 435, wie in Fig. 34b gezeigt, zusammenge­ stellt werden. Für jede Randgruppe, wie in Fig. 44 gezeigt, wird ein Winkel 224, der zwischen einem einen Randstartpunkt 221 und einen Mittelpunkt 222 verbindenden Abschnitt und einem den Randstartpunkt 221 und einen Endpunkt 223 verbin­ denden Abschnitt gebildet ist, überprüft, so daß dann, wenn nur ein Rand verbleibt, bei dem der Winkel einen vorbestimm­ ten Wert überschreitet, nur gebogene Ränder 431, 434 und 435, wie in Fig. 45a gezeigt, extrahiert werden können und solche kreisförmigen Ränder 434, 435, wie sie in Fig. 45b gezeigt sind, ausgehend von den Rändern der Fig. 45a extra­ hiert werden können.Deletion of straight line components from the edge image while keeping curve components can be done by such a method as shown in Figs. 42 to 45. Ie, edge points of a stereo reference image, starting from egg nem edge image set for storing to be found, wherein a retrieved object boundary point examined 201 surrounded points in the direction of its right side up, shown by the presence of another edge point as shown in Fig. 43a, to find, and wherein a storage operation is continued for an edge point whose gradient direction deviates from the gradient direction of the previously stored edge point 201 by a predetermined value or less than the next object edge point, in the presence of the edge point, until no edge point at the points around the object edge point 201 more is found, and when the number of such stored edge points exceeds a predetermined value, such edge points in edge groups 431 to 435 , as shown in Fig. 34b, are put together. For each edge group, as shown in Fig. 44, an angle 224 formed between a portion connecting an edge start point 221 and a center point 222 and a portion connecting the edge start point 221 and an end point 223 is checked so that if only one edge remains where the angle exceeds a predetermined value, only curved edges 431 , 434 and 435 as shown in Fig. 45a can be extracted, and such circular edges 434 , 435 as shown in Fig. 45b , starting from the edges of FIG. 45a.

Die Extraktion kreisförmiger Ränder ausgehend von gekrümmten Rändern kann auf die folgende Weise geschehen. Als erstes wird bei einem in Fig. 46 gezeigten Verfahren der Umstand ausgenutzt, daß das Objekt 18 auf seiner unteren Seite im we­ sentlichen keine entsprechenden Teile in seinen linken und rechten Bildern aufweist und sein Disparitätserfassungsver­ hältnis sehr klein wird. Werden die berechneten Disparitäten der gekrümmten Ränder 261, 262 und 263 ausgehend von einem Randbild mit nur gekrümmten Rändern, wie in Fig. 47a ge­ zeigt, geprüft, so werden die gekrümmten Ränder 262 und 263 in ihrer Disparität wie gezeigt nahezu durch ein binäres Bild von Randpunkten mit den in Fig. 47b berechneten Dispa­ ritäten berechnet. Da der gekrümmte Rand 261 keine entspre­ chenden Teile in den linken und rechten Bildern aufweist und seine Disparität noch nicht berechnet ist, wird, wenn ge­ krümmte Ränder, deren bereits berechnete Disparitätsverhält­ nisse kleiner als ein vorbestimmter Wert sind, gelöscht wer­ den, der gekrümmte Rand 261 gelöscht, was dazu führt, daß nur die gekrümmten Ränder 262 und 263 auf der Oberseite des Objekts zurückbleiben können, wie in Fig. 47c gezeigt, von denen die Ränder 262 und 263 extrahiert werden können, um einen Kreis zu bilden.The extraction of circular edges from curved edges can be done in the following way. First, in a method shown in Fig. 46, the fact that the object 18 on its lower side has substantially no corresponding parts in its left and right images and its disparity detection ratio becomes very small is exploited. If the calculated disparities of the curved edges 261 , 262 and 263 are checked starting from an edge image with only curved edges, as shown in FIG. 47a, the curved edges 262 and 263 are almost as disparity as shown by a binary image from Edge points are calculated with the disparities calculated in FIG. 47b. Since the curved edge 261 has no corresponding parts in the left and right images and its disparity has not yet been calculated, if curved edges whose already calculated disparity ratios are smaller than a predetermined value, the curved edge is erased 261 erased, resulting in only curved edges 262 and 263 being able to remain on the top of the object, as shown in Fig. 47c, from which edges 262 and 263 can be extracted to form a circle.

Ist das Objekt 18 ringförmig, wie in Fig. 49 gezeigt, kann, da die Oberseite des Objekts zwei kreisförmige Ränder besitzt, nur einer (der kreisförmige Rand in Fig. 49) der kreisförmi­ gen Ränder extrahiert werden. Genauer ist ein Randbild IE für das Objekt 18 so, wie in Fig. 50a gezeigt, und dann, wenn geradlinige Komponenten von dem Randbild gelöscht werden, wird ein solches Randbild IE2 erhalten, wie es in Fig. 50b gezeigt ist. Ist das Objekt 18 auf dem Hintergrund hell zu sehen und ist eine Gradientenrichtung 335 eines Randes 331 für den Außenring in das Innere des Kreises gerichtet, wäh­ rend eine Gradientenrichtung 336 eines Randes 332 für den Außenring bezüglich des Kreises nach außen gerichtet ist, wie in Fig. 51 gezeigt, so können Koeffizienten a und b und eine Konstante r durch die Methode der kleinsten Quadrate in Übereinstimmung mit der folgenden Anwendungsgleichung eines richtigen Kreises aufgefunden werden:If the object 18 is annular as shown in Fig. 49, since the top of the object has two circular edges, only one (the circular edge in Fig. 49) of the circular edges can be extracted. More specifically, an edge image IE for object 18 is as shown in Fig. 50a, and when rectilinear components are deleted from the edge image, such an edge image IE2 is obtained as shown in Fig. 50b. If the object 18 can be seen brightly on the background and a gradient direction 335 of an edge 331 for the outer ring is directed into the interior of the circle, while a gradient direction 336 of an edge 332 for the outer ring is directed outwards with respect to the circle, as shown in FIG . 51 shown, so can coefficients a and b and a constant R by the least squares method in accordance with the following equation application of a true circle are found:

x² + y² + ax + by + r = 0x² + y² + ax + by + r = 0

Wird die Anwendungsgleichung eines richtigen Kreises auf den einzelnen Rand 332 auf der Oberseite zur Berechnung eines Mittelpunkts (-a/2-b/2) 334 des Kreises angewendet, so wird jeder Punkt 339 der Punkte auf dem Rand eines richtigen Kreises ausgewählt, wobei eine Richtung auf den berechteten Mittelpunkt 334 des Kreises zu ausgehend von dem ausgewähl­ ten Punkt 399 aufgefunden wird, und es wird ein solcher Rand der Oberseite extrahiert, daß eine Abweichung zwischen der Richtung 338 und der Gradientenrichtung 336 des ausgewählten Punktes gleich einem vorbestimmten Wert (90°) oder kleiner ist. Selbst bezüglich anderer Ränder 331, 33a, 33b, 33c, 33d, 33e und 33f der Oberseite als dem Rand 332 kann dann, wenn die zuvor genannte Operation ausgeführt wird, um eine Abweichung zwischen der Gradientenrichtung eines Punktes eines jeden Randes und der Richtung ausgehend von dem Punkt auf den Mittelpunkt des richtigen Kreises zu berechnen, und wenn Ränder der Oberseite extrahiert werden, die solche Ab­ weichungen von einem vorbestimmten Wert (90°) oder weniger aufweisen, ein solches Randbild (IE3) eines Stereobildes, bei dem die inneren kreisförmigen Ränder 332, 33a, 33c und 33e, wie in Fig. 50 gezeigt, entfernt wurden, erhalten wer­ den. In diesem Zusammenhang werden, wenn der vorbestimmte Wert für die Abweichung höher als 90° gewählt wird, die äu­ ßeren kreisförmigen Ränder 331, 33b, 33d und 33f gelöscht, während die inneren kreisförmigen Ränder 332, 33a, 33c und 33e übrigbleiben.If the application equation of a correct circle is applied to the individual edge 332 on the upper side for calculating a center point (-a / 2-b / 2) 334 of the circle, then each point 339 of the points on the edge of a correct circle is selected, where a Direction to the authorized center 334 of the circle is found starting from the selected point 399 , and such an edge of the upper side is extracted that a deviation between the direction 338 and the gradient direction 336 of the selected point is equal to a predetermined value (90 ° ) or less. Even with respect to edges 331 , 33 a, 33 b, 33 c, 33 d, 33 e, and 33 f of the top surface other than the edge 332 , when the aforementioned operation is performed, there may be a deviation between the gradient direction of a point of each To calculate the edge and the direction from the point to the center of the correct circle, and if edges of the top are extracted that have such deviations of a predetermined value (90 °) or less, such a border image (IE3) of a stereo image, in which the inner circular edges 332 , 33 a, 33 c and 33 e, as shown in Fig. 50, have been removed, who obtained. In this connection, if the predetermined value for the deviation is selected higher than 90 °, the outer circular edges 331 , 33 b, 33 d and 33 f are deleted, while the inner circular edges 332 , 33 a, 33 c and 33 e remain.

Bei einer in Fig. 52 gezeigten Ausführungsform wird dann, wenn solche kreiszylindrischen Objekte 18 wie in Fig. 53 ge­ zeigt, gestapelt werden und damit deren Randbild so ist, wie dies in Fig. 54a dargestellt ist, das den höchsten Pegel aufweisende Objekt der gestapelten Objekte erfaßt, um seine Po­ sition und Lage zu messen. Unter einer Mehrzahl gekrümmter, in dem Randbild vorliegender Ränder wird ein Rand ausge­ wählt, der aufgrund seiner Stelle höchsten Pegels maximale Disparität aufweist, und der ausgewählte Rand wird als Be­ zugsrand 381 festgesetzt, wie dies in Fig. 54a gezeigt ist, und es wird geprüft, ob der Bezugsrand 381 einen Teil eines Kreises bildet oder nicht. Kann der Bezugsrand nicht als Teil des Kreises betrachtet werden, so wird der Rand mit einer Disparität weiter in der Nähe des Randes 381 als Be­ zugsrand ausgewählt, und es wird geprüft, ob der Rand einen Teil des Kreises bildet oder nicht. Die obige Operation wird wiederholt, bis der Bezugsrand aufgefunden wird, der einen Teil des Kreises bilden kann. Danach werden die weiteren Ränder entsprechend der zunehmenden Größe des Abstands von dem Bezugsrand 381 mit Bezugszeichen 382, 383 . . . bezeich­ net, und in der obigen Zahlenfolge wird geprüft, ob die an­ deren Ränder einen Teil des gleichen Kreises bilden oder nicht. Und bestimmte Ränder, für die entschieden wurde, daß sie einen Teil des gleichen Kreises wie der Bezugsrand bil­ den, sind in der gleichen Gruppe wie der Bezugsrand enthal­ ten. Einer solchen Verarbeitung werden auch die anderen Rän­ der unterworfen, die Abstände eines vorbestimmten Wertes oder weniger von dem Bezugsrand aufweisen, so daß die Ränder 381, 383, 384 und 386 mit dem gleichen Kreis wie in Fig. 54 b gezeigt auf der Basis zusammengesetzt werden, auf der eine Position und Lage des Objekts 18 mit dem höchsten Pegel erfaßt werden kann.In an embodiment shown in FIG. 52, when such circular cylindrical objects 18 as shown in FIG. 53 are stacked and thus their edge image is as shown in FIG. 54a, the object with the highest level is the stacked one Detected objects to measure its position and location. From a plurality of curved edges present in the edge image, an edge is selected which has maximum disparity due to its highest level location, and the selected edge is set as the reference edge 381 as shown in Fig. 54a, and it is checked whether or not the reference edge 381 forms part of a circle. If the reference edge cannot be considered part of the circle, the edge with a disparity near the edge 381 is selected as the reference edge, and it is checked whether the edge forms part of the circle or not. The above operation is repeated until the reference edge that can form part of the circle is found. The further edges then become corresponding to the increasing size of the distance from the reference edge 381 with reference numerals 382 , 383 . . . denotes net, and in the sequence of numbers above it is checked whether or not they form part of the same circle at their edges. And certain edges which have been decided to form part of the same circle as the reference edge are included in the same group as the reference edge. The other edges, the distances of a predetermined value or, are also subjected to such processing have less of the reference edge so that the edges 381 , 383 , 384 and 386 are assembled with the same circle as shown in Fig. 54b on the basis on which a position and location of the object 18 with the highest level can be detected .

Bei einer Ausführungsform gemäß Fig. 55 wird ein Rand, der aufgrund der Stelle höchsten Pegels des Objekts die größte Disparität aufweist, von dem Randbild der Fig. 54a ausge­ wählt, wobei der ausgewählte Rand als Bezugsrand 381 gewählt wird, und wobei die anderen Ränder entsprechend zunehmender Größe des Abstands von dem Bezugsrand 381 durch Bezugszei­ chen 382, 383 . . . bezeichnet werden. Danach werden Koeffizi­ enten a, b, h, g und f durch die Methode der kleinsten Qua­ drate in Übereinstimmung mit der folgenden Gleichung (anzu­ wenden auf eine Ellipse) aufgefunden:In an embodiment according to FIG. 55, an edge which has the greatest disparity due to the location of the highest level of the object is selected from the edge image of FIG. 54a, the selected edge being selected as the reference edge 381 , and the other edges correspondingly increasing size of the distance from the reference edge 381 by reference characters 382 , 383 . . . be designated. Then coefficients a, b, h, g and f are found by the least square method in accordance with the following equation (to be applied to an ellipse):

ax² + by² + 2hxy + 2gx + 2fy = 1ax² + by² + 2hxy + 2gx + 2fy = 1

Eine Ellipse wird auf den Bezugsrand 381 angewendet, um da­ von den Mittenkoordinatenpunkt (xo, yo) zu berechnen. Wie in Fig. 56 zu sehen ist, schneidet eine durch einen Punkt 417 des Bezugsrandes und einen Mittelpunkt 412 einer Ellipse 412 verlaufende gerade Linie 413 die Ellipse an zwei Schnitt­ punkten 414 und 415, und dann, wenn ein Abstand 416 eines 414 der beiden Schnittpunkte, der näher am Randpunkt 417 liegt, von diesem bei irgendwelchen Punkten des Bezugsrandes einen vorbestimmten Wert überschreitet, wird der Bezugsrand nicht als Kreiskomponente betrachtet, und es wird willkür­ lich ein nächster Bezugsrand ausgewählt. Überschreitet der Abstand den vorbestimmten Wert dagegen nicht, so wird der Bezugsrand als Kreiskomponente betrachtet, wobei der Bezugs­ rand 381 mit dem Rand 382 in dessen Nähe kombiniert wird, und wobei die Koeffizienten a, b, h, g und f in der folgen­ den Gleichung durch die Methode der kleinsten Quadrate auf­ gefunden werden, wodurch die Ellipse auf den Bezugsrand an­ gewendet wird, um davon den Mittenkoordinatenpunkt (xo, yo) zu berechnen. Und es werden Abstände zwischen den Punkten des Bezugsrandes 381 und des Randes 382 in seiner Nähe und der aufgefundenen Ellipse aufgefunden. Sind die aufgefunde­ nen Abstände geringer als ein vorbestimmter Wert, so wird entschieden, daß der Bezugsrand 381 und der Rand 382 in des­ sen Nähe Teile des gleichen Kreises bilden. Ist lediglich ein einziger der Abstände geringer als der vorbestimmte Wert, so wird entschieden, daß die Ränder keinen Teil des gleichen Kreises bilden, und der Bezugsrand 381 wird mit dem nächsten Rand 383 in seiner Nähe kombiniert, um die zuvor genannte Operation durchzuführen. Wird eine Reihe von Opera­ tionen wiederholt, bevor zu kombinierende Ränder Null wer­ den, so können dem gleichen Kreis angehörende Ränder in ei­ nem kombiniert werden. In dieser Vereinigung läßt sich der Mittenkoordinatenpunkt (xo, yo) der obigen Ellipse wie folgt ausdrücken:An ellipse is applied to the reference edge 381 to calculate the center coordinate point (xo, yo) therefrom. As seen in Fig. 56, a straight line 413 passing through a point 417 of the reference edge and a center point 412 of an ellipse 412 intersects the ellipse at two intersection points 414 and 415 , and then when a distance 416 of a 414 of the two intersection points closer to the edge point 417 , from which it exceeds a predetermined value at any points of the reference edge, the reference edge is not considered a circular component, and a next reference edge is arbitrarily selected. On the other hand, if the distance does not exceed the predetermined value, the reference edge is considered a circular component, the reference edge 381 being combined with the edge 382 in the vicinity thereof, and the coefficients a, b, h, g and f in the following equation can be found using the least squares method, whereby the ellipse is applied to the reference edge to calculate the center coordinate point (xo, yo). And distances are found between the points of the reference edge 381 and the edge 382 in its vicinity and the ellipse found. If the distances found are less than a predetermined value, it is decided that the reference edge 381 and the edge 382 form parts of the same circle in the vicinity thereof. If only one of the distances is less than the predetermined value, it is decided that the edges do not form part of the same circle, and the reference edge 381 is combined with the next edge 383 in its vicinity to perform the aforementioned operation. If a series of operations is repeated before edges to be combined become zero, edges belonging to the same circle can be combined in one. In this union, the center coordinate point (xo, yo) of the above ellipse can be expressed as follows:

xo = (hf/bg)/(ab-h²)
yo = (hg/af)/(ab-h²)xo = (hf / bg) / (ab-h²)
yo = (hg / af) / (ab-h²)

Eine in Fig. 57 gezeigte Ausführungsform ist auch dazu be­ stimmt, das den höchsten Pegel aufweisende Objekt einer Mehr­ zahl von gestapelten, kreiszylindrischen Objekten 18, wie in Fig. 58 gezeigt, zu erfassen. Fig. 59a zeigt ein Randbild IE solcher Objekte der Fig. 58. Gemäß Fig. 59a entspricht ein Bezugsrand 441 dem den höchsten Pegel aufweisenden Rand mit der maximalen Disparität. In diesem Fall gemäß dem Verfahren der obigen Ausführungsform kann dann, wenn der als Teil des gleichen Kreises wie der Bezugsrand 441 zu erfassende Rand 442 aufgrund des geneigten Objekts oder dergleichen nicht er­ faßt werden kann, fälschlicherweise entschieden werden, daß der Rand 443 mit dem Bezugsrand 441 zu kombinieren ist. Bei dem dargestellten Beispiel wird zur Vermeidung eines solchen Fehlers dann, wenn gemäß dem Verfahren der obigen Ausfüh­ rungsform entschieden wurde, daß der Bezugsrand 441 und der Rand 443 Teil des gleichen Kreises bilden, die abschließende Entscheidung über den gleichen Kreis erst dann getroffen, wenn eine Abweichung innerhalb eines vorbestimmten Bereichs zwischen der Richtung einer Normalen einer Ebene 453, her­ gestellt unter Verwendung einer dreidimensionalen Informa­ tion, die auf der Basis der Disparität zweier beliebiger Punkte des Bezugsrandes 441 und eines beliebigen Punktes des weiteren Randes 443 aufgefunden wurde, und der Richtung ei­ ner Normalen einer Ebene 454 liegt, die unter Verwendung einer dreidimensionalen Information erzeugt wurde, die auf der Basis der Disparität zweier beliebiger Punkte des Randes 443 und eines beliebigen Punktes des Bezugsrandes 441 mit Ausnahme der ausgewählten zwei Punkte aufgefunden wurde, wie in Fig. 60 gezeigt. Durch die obige Operation kann der kreisförmige Rand 441 der Oberseite des den höchsten Pegel aufweisenden Objekts extrahiert werden, wie in Fig. 59b ge­ zeigt.An embodiment shown in FIG. 57 is also intended to detect the highest level object of a plurality of stacked circular cylindrical objects 18 as shown in FIG. 58. FIG. 59a shows an edge image IE of such objects from FIG. 58. According to FIG. 59a, a reference edge 441 corresponds to the edge with the highest level with the maximum disparity. In this case, according to the method of the above embodiment, if the edge 442 to be detected as part of the same circle as the reference edge 441 cannot be detected due to the inclined object or the like, it may be erroneously decided that the edge 443 with the reference edge 441 is to be combined. In the example shown, in order to avoid such an error, if it has been decided according to the method of the above embodiment that the reference edge 441 and the edge 443 form part of the same circle, the final decision about the same circle is only made when one Deviation within a predetermined range between the direction of a normal of a plane 453 produced using a three-dimensional information found on the basis of the disparity of any two points of the reference edge 441 and any point of the further edge 443 and the direction ei is a normal to a plane 454 generated using three-dimensional information found based on the disparity of any two points of edge 443 and any point of reference edge 441 other than the selected two points, as shown in FIG. 60 . By the above operation, the circular edge 441 of the top of the highest level object can be extracted, as shown in Fig. 59b.

Es wird nun die Operation nach der Extraktion der kreisför­ migen Ränder der Oberseite des kreiszylindrischen Objekts er­ läutert. Bei einer Ausführungsform gemäß den Fig. 61 bis 63, wie im Fall der Fig. 25, werden dreidimensionale Posi­ tionen von Punkten auf der Basis der Disparität der extra­ hierten Kreisränder berechnet, und Koeffizienten a, b und c werden durch die Methode der kleinsten Quadrate in Überein­ stimmung mit der folgenden Gleichung (auf eine Ebene anzu­ wenden) berechnet:The operation after the extraction of the circular edges of the top of the circular cylindrical object will now be explained. In an embodiment of FIGS. 61 to 63, as in the case of FIG. 25, three-dimensional positions of points are calculated based on the disparity of the extra circular edges, and coefficients a, b and c are calculated by the least squares method calculated in accordance with the following equation (to be applied to a level):

ax + by + cz + 1 = 0ax + by + cz + 1 = 0

Dann wird eine die Oberseite des Objekts 18 enthaltende Ebene Pa aufgefunden, wie in Fig. 62 gezeigt, und dreidimensionale Positionen von Punkten auf der Oberseite des Objekts werden auf dem Ursprung po eines Kamera-Koordinatensystems gedreht, so daß eine Normale Paz der Ebene Pa mit der Z-Achse des Kamera-Koordinatensystems zusammenfällt, wie in Fig. 63 ge­ zeigt, und Koeffizienten a, b und eine Konstante r werden durch die Methode der kleinsten Quadrate in Übereinstimmung mit der folgenden Gleichung (auf den richtigen Kreis anzu­ wenden) aufgefunden, um eine Mittenposition 491 und einen Radius 492 des richtigen Kreises nach der Drehung zu berech­ nen:
Fig. x² + y² + ax + by + r = 0Then, a plane Pa containing the top of the object 18 is found as shown in Fig. 62, and three-dimensional positions of points on the top of the object are rotated on the origin po of a camera coordinate system so that a normal Paz of the plane Pa is included 63 coincides with the Z axis of the camera coordinate system, as shown in Fig. 63, and coefficients a, b and a constant r are found by the least squares method in accordance with the following equation (to be applied to the correct circle), To calculate a center position 491 and a radius 492 of the correct circle after the rotation:
Fig. X² + y² + ax + by + r = 0

Bei dem dargestellten Beispiel wird das Kamera-Koordinaten­ system als Bezugskoordinatensystem verwendet. Eine Mitten­ position 486 des richtigen Kreises der Oberseite des Objekts 18 wird durch eine (zur vor der Drehung) inverse Transfor­ mation der Mittenposition 491 des berechneten richtigen Kreises berechnet, um eine Position, Lage und ein Radius des Objekts 18 zu erhalten. Bei der Berechnung des richtigen Krei­ ses nach der Drehung des Koordinatensystems werden Koeffizi­ enten a, b, h, g und f in der obigen Ellipsen-Anwendungs­ gleichung durch die Methode der kleinsten Quadrate aufgefun­ den, und es erfolgt eine Umwandlung in eine Standardellipse, um eine Position und Lage des Ellipsenzylinders sowie dessen Haupt- und Nebenachse zu erhalten.In the example shown, the camera coordinate system is used as the reference coordinate system. A center position 486 of the correct circle on the top of the object 18 is calculated by inversely transforming (prior to rotation) the center position 491 of the calculated correct circle to obtain a position, position and radius of the object 18 . When calculating the correct circle after the rotation of the coordinate system, coefficients a, b, h, g and f are found in the above ellipse application equation by the least squares method, and a conversion to a standard ellipse is carried out to get a position and location of the ellipse cylinder and its major and minor axes.

Bei einer Ausführungsform gemäß Fig. 64 werden dreidimensio­ nale Positionen von Punkten auf der Oberseite des Objekts auf dem Ursprung po des obigen Bildkoordinatensystems, wie oben erwähnt, gedreht, so daß die Normale Paz der Ebene a mit der Z-Achse des Koordinatensystems zusammenfällt, wonach solche Randpunkte entfernt werden, so daß ein Abstand 493 (Abwei­ chung von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa von den Randpunkten des Kreises nach der Drehung in dem dreidimensionalen Raum einen vorbestimmten Wert überschrei­ tet. Unter Verwendung der x- und y-Koordinatenwerte von Randpunkten der Oberseite des Objekts 18 nach der Drehung mit Ausnahme der obigen Randpunkte werden Koeffizienten a und b und eine Konstante r durch die Methode der kleinsten Quadra­ te in Übereinstimmung mit der Anwendungsgleichung des rich­ tigen Kreises aufgefunden, um eine Mittenposition 491 und ein Radius 492 des richtigen Kreises nach der Drehung zu berechnen. Hierbei wird das Kamera-Koordinatensystem als Bezugskoordinatensystem verwendet. Und es wird eine Mitten­ position 486 des richtigen Kreises der Oberseite des Objekts 18 durch eine (zu der vor der Drehung) inverse Transforma­ tion der Mittenposition 491 des berechneten richtigen Krei­ ses berechnet, um eine Position, Lage und einen Radius des Objekts nach der Koordinatensystemdrehung zu erhalten. Bei der Berechnung des richtigen Kreises nach der Koordinatensystem­ drehung werden ferner Koeffizienten a, b, h, g und f durch die Methode der kleinsten Quadrate in Übereinstimmung mit der vorhergehenden Anwendungsgleichung einer Ellipse aufge­ funden, und eine Position und Lage des elliptischen Zylin­ ders sowie eine Haupt- und eine Nebenachse davon werden durch eine Umwandlung in eine Standardellipse erhalten.In an embodiment according to FIG. 64, three-dimensional positions of points on the top of the object are rotated on the origin po of the above image coordinate system, as mentioned above, so that the normal Paz of plane a coincides with the Z axis of the coordinate system, after which such edge points are removed so that a distance 493 (deviation from the Z coordinate value) of the found plane Pa from the edge points of the circle after rotation in the three-dimensional space exceeds a predetermined value. Using the x and y coordinate values of edge points of the top of the object 18 after the rotation other than the above edge points, coefficients a and b and a constant r are found by the least square method in accordance with the correct circle application equation to calculate a center position 491 and a radius 492 of the correct circle after rotation. Here, the camera coordinate system is used as the reference coordinate system. And a center position 486 of the correct circle of the top of the object 18 is calculated by an inverse (to that before rotation) transformation of the center position 491 of the calculated correct circle by a position, position and a radius of the object after the coordinate system rotation to obtain. When calculating the correct circle according to the rotation of the coordinate system, coefficients a, b, h, g and f are also found by the least squares method in accordance with the previous application equation of an ellipse, and a position and location of the elliptical cylinder and one The major and minor axes thereof are obtained by converting them into a standard ellipse.

Bei einer Ausführungsform gemäß Fig. 65 werden dreidimensio­ nale Positionen von Punkten auf der Oberseite des Objekts auf dem Ursprung po des obigen Bildkoordinatensystems, wie oben erwähnt so gedreht, daß die Normale Paz der Ebene Pa mit der Z-Achse des Koordinatensystems zusammenfällt, wonach solche Randpunkte entfernt werden, damit ein Abstand (Abweichung von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa von den Randpunkten des Kreises nach der Drehung in dem dreidi­ mensionalen Raum einen vorbestimmten Wert überschreitet, wobei wiederum eine Ebene Pa in dem dreidimensionalen Raum, der den Rand der Oberseite des kreiszylindrischen Objekts 18 enthält, durch die Methode der kleinsten Quadrate aufgefun­ den wird, und dreidimensionale Positionen von Punkten der Oberseite des Objekts werden auf dem Ursprung po des Kamera- Koordinatensystems gedreht, so daß die Normale Paz der auf­ gefundenen Ebene Pa mit der Z-Achse des Koordinatensystems zusammenfällt. Danach werden unter Verwendung der x- und y- Koordinatenwerte von Randpunkten der Oberseite des Objekts 18 nach der Drehung mit Ausnahme der obigen Randpunkte Koeffi­ zienten a und b und eine Konstante r durch die Methode der kleinsten Quadrate in Übereinstimmung mit der Anwendungs­ gleichung des richtigen Kreises aufgefunden, um eine Mitten­ position 491 und einen Radius 491 des richtigen Kreises nach der Drehung zu berechnen. Und es wird eine Mittenposition 486 des richtigen Kreises der Oberseite des Objekts 18 durch eine (zu der vor der Drehung) inverse Transformation der Mittenposition 491 des berechneten richtigen Kreises berech­ net, um eine Position, Lage und einen Radius des Objekts 18 nach der Koordinatensystemdrehung zu erhalten. Selbst in diesem Fall werden bei der Berechnung des richtigen Kreises nach der Koordinatensystemdrehung weitere Koeffizienten a, b, h, g und f durch die Methode der kleinsten Quadrate in Übereinstimmung mit der zuvor genannten Anwendungsgleichung einer Ellipse aufgefunden, und eine Position und Lage des elliptischen Zylinders sowie eine Haupt- und Nebenachse da­ von werden durch Umwandlung in eine Standardellipse erhal­ ten.In an embodiment according to FIG. 65, three-dimensional positions of points on the top of the object on the origin po of the above image coordinate system, as mentioned above, are rotated such that the normal Paz of the plane Pa coincides with the Z axis of the coordinate system, after which such Edge points are removed so that a distance (deviation from the Z coordinate value) of the found plane Pa from the edge points of the circle after the rotation in the three-dimensional space exceeds a predetermined value, again a plane Pa in the three-dimensional space, the edge contains the top of the circular cylindrical object 18 by the least squares method, and three-dimensional positions of points of the top of the object are rotated on the origin po of the camera coordinate system so that the normal Paz of the found plane Pa with the Z axis of the coordinate system coincides. Thereafter, using the x and y coordinate values of edge points of the top of the object 18 after the rotation other than the above edge points, coefficients a and b and a constant r by the least squares method in accordance with the application equation of the correct circle found to calculate a center position 491 and a radius 491 of the correct circle after rotation. And a center position 486 of the correct circle of the top of the object 18 is computed by an inverse (to that prior to rotation) transformation of the center position 491 of the computed correct circle to a position, location, and radius of the object 18 after the coordinate system rotation receive. Even in this case, when calculating the correct circle after the coordinate system rotation, further coefficients a, b, h, g and f are found by the least squares method in accordance with the ellipse application equation mentioned above, and a position and position of the elliptical cylinder as well as a major and minor axis are obtained by converting them into a standard ellipse.

Bei einer Ausführungsform gemäß Fig. 66 werden dreidimensio­ nale Positionen von Punkten auf der Basis der Disparität der extrahierten Kreisränder berechnet, wie oben erwähnt, und es werden Koeffizienten a, b und c durch die Methode der klein­ sten Quadrate in Übereinstimmung mit der zuvor erwähnten Anwendungsgleichung einer Ebene berechnet, um eine Ebene Pa aufzufinden, die die Oberseite des Objekts 18 enthält. Ferner wird, wie in Fig. 67 gezeigt, eine den richtigen Kreis der Oberseite eines Objekts 18 enthaltende Kugel 531 in einem dreidimensionalen Raum durch die Methode der kleinsten Qua­ drate aufgefunden. Wird eine Kugel verwendet, so wird nicht allein die Kugel bestimmt, da der richtige Kreis der Ober­ seite auf der gleichen Ebene vorliegt. Der Mittelpunkt der Kugel ist jedoch in dem Maß beschränkt, daß er auf einer geraden Linie vorliegt, die senkrecht zu der obigen Ebene Pa ist und durch den Mittelpunkt des richtigen Kreises ver­ läuft, der auf der Ebene vorliegt. Da überdies die aufgefun­ dene Kugel irgendeine beliebige Kugel sein kann, solange ihr Radius größer als der richtige Kreis der Oberseite ist und die Kugel den richtigen Kreis der Oberseite enthält, kann die Kugel bestimmt werden, wenn ein beliebiger Wert irgend­ einer Mittenkoordinatenachse der Kugel festgelegt ist. Bei der vorliegenden Ausführungsform wurde der Z-Koordinatenwert des Mittelpunkts der Kugel auf einen Z-Koordinatenwert c_o festgelegt, der um mehr als den Radius des richtigen Kreises von den Z-Koordinatenwerten der Objektanwesenheitszone ab­ weicht. In anderen Worten wurde eine Gleichung für die Kugel wie folgt dargestellt, um Koeffizienten a und b und eine Konstante R durch die Methode der kleinsten Quadrate aufzu­ finden:In one embodiment of FIG. 66, three-dimensional positions of points are calculated based on the disparity of the extracted circular edges as mentioned above, and coefficients a, b and c are calculated by the least squares method in accordance with the aforementioned application equation of a plane to find a plane Pa that contains the top of the object 18 . Furthermore, as shown in FIG. 67, a sphere 531 containing the correct circle of the top of an object 18 is found in a three-dimensional space by the least square method. If a sphere is used, the sphere is not determined alone, since the correct circle on the upper side is on the same level. However, the center of the sphere is limited to the extent that it is on a straight line that is perpendicular to the above plane Pa and passes through the center of the correct circle that is on the plane. Moreover, since the sphere found can be any sphere as long as its radius is larger than the correct top circle and the sphere contains the correct top circle, the sphere can be determined if any value of any center coordinate axis of the sphere is set . In the present embodiment, the Z coordinate value of the center of the sphere was set to a Z coordinate value c _o which deviates from the Z coordinate values of the object presence zone by more than the radius of the correct circle. In other words, an equation for the sphere was presented as follows to find coefficients a and b and a constant R by the least squares method:

x² + y² + z² + ax + by - 2c_oz + R = 0x² + y² + z² + ax + by - 2c _o z + R = 0

Ein Mittelpunkt 533 des richtigen Kreises der Oberseite des kreiszylindrischen Objekts 18 wird dadurch aufgefunden, daß ein Schnittpunkt zwischen der Ebene Pa und einer geraden Linie berechnet wird, die durch einen Mittelpunkt 532 der Kugel verläuft und den gleichen Richtungsvektor wie ein normaler Vektor 537 der Ebene Pa aufweist. Ein Radius 534 wird dadurch aufgefunden, daß ein Quadrat eines Abstands 536 zwischen dem Mittelpunkt der Kugel und dem Mittelpunkt des richtigen Kreises von einem Quadrat eines Radius 535 der Kugel subtrahiert wird, um eine Subtraktion zu erhalten, und dann durch Auffinden einer Quadratwurzel der Subtraktion. Entsprechend können selbst in diesem Fall eine Position, Lage und ein Radius des Objekts 18 aufgefunden werden.A center 533 of the correct circle on the top of the circular cylindrical object 18 is found by calculating an intersection between the plane Pa and a straight line passing through a center 532 of the sphere and the same direction vector as a normal vector 537 of the plane Pa having. A radius 534 is found by subtracting a square of a distance 536 between the center of the sphere and the center of the correct circle from a square of a radius 535 of the sphere to obtain a subtraction, and then finding a square root of the subtraction. Correspondingly, even in this case, a position, position and radius of the object 18 can be found.

Eine Ausführungsform gemäß den Fig. 68 bis 70 zeigt ein Beispiel, bei der die Erfindung auf eine automatische Mon­ tagearbeit angewendet wird. Genauer und wie in Fig. 69 ge­ zeigt, werden dann, wenn ein Teil 541 mit zwei Löchern und ein Teil 542 mit zwei Vorsprüngen mit Hilfe eines Roboters zusammengebaut werden sollen, die Löcher und Vorsprünge er­ faßt, um Positionen und Lagen davon zu erfassen, das heißt um Positionen und Lagen der Teile 541 und 542 zu erfassen.An embodiment according to FIGS. 68 to 70 shows an example in which the invention is applied to an automatic day labor. Shows in more detail and as shown in Fig. 69 ge, then when a portion with two holes and a portion to be 542 assembled with two projections with the aid of a robot 541, the holes and projections he construed to detect positions and attitudes thereof, that is, to detect positions and locations of parts 541 and 542 .

Insbesondere werden ein Randbild IE (siehe Fig. 70a) eines Stereobezugsbildes, ein Gradientenrichtungsbild und ein Dis­ paritätsbild erzeugt, und gekrümmte Ränder werden von dem Randbild extrahiert, das heißt es werden vier solche kreis­ förmigen Ränder 701 bis 704, wie sie in Fig. 70b gezeigt sind, extrahiert. Werden die Richtung eines den Mittelpunkt und Mittelpunkte entsprechender vier Kreise 543 bis 546 in einem dreidimensionalen Raum verbindenden Abschnitts sowie die Richtung einer Normalen einer Ebene, die durch die bei­ den Kreise definiert ist, ausgehend von den vier Kreisrän­ dern berechnet, so werden die Position und Lage des Teils 542 mit den beiden Vorsprüngen bestimmt. Wird eine entspre­ chende Operation für die verbleibenden zwei Kreise durchge­ führt, so werden die Position und Lage des Teils mit den beiden Löchern bestimmt.Specifically, an edge image IE (see Fig. 70a) of a stereo reference image, a gradient direction image and a disparity image are generated, and curved edges are extracted from the edge image, that is, four such circular edges 701 to 704 as shown in Fig. 70b are extracted. If the direction of a section connecting the center and center points of four circles 543 to 546 in a three-dimensional space and the direction of a normal of a plane defined by the circles are calculated from the four circles, the position and Location of the part 542 determined with the two projections. If a corresponding operation is carried out for the remaining two circles, the position and location of the part with the two holes are determined.

Gemäß der zuvor erläuterten Erfindung wird ein zweidimensio­ nales Bild ausgehend von dem gleichen Beobachtungspunkt wie ein Abstandsbild erhalten, das durch Fotografieren eines Objekts in einem dreidimensionalen Raum erhalten wird, wobei ein Teilbild in dem zweidimensionalen Bild spezifiziert wird, wobei das spezifizierte zweidimensionale Teilbild auf das Abstandsbild angewendet wird, um ein Teilbild von dem Abstandsbild zu extrahieren, und wobei eine Objekterfassungs­ operation über das Abstandsteilbild ausgeführt wird. Das heißt, bei der Objekterfassungsoperation wird eine Anwesen­ heitszone des der Erfassung unterliegenden Objekts in dem Ab­ standsbild zuvor durch Verwendung des zweidimensionalen Bil­ des beschränkt, und die Objekterfassungsoperation wird über ein Abstandsteilbild der beschränkten Zone durchgeführt. Im Ergebnis ist festzustellen, daß mit der Erfindung im Ver­ gleich zum Stand der Technik mit der Ausführung einer Erfas­ sungsoperation über sämtliche Zonen des Abstandsbildes eine relativ schnelle Erfassungsoperation durchgeführt werden kann.According to the invention explained above, a two-dimensional nales image from the same observation point as get a distance image that by photographing a Object is obtained in a three-dimensional space, whereby specifies a partial image in the two-dimensional image , the specified two-dimensional field on the distance image is applied to a sub-image of the Extract distance image, and being an object detection operation is carried out via the spacing drawing file. The That is, the property detection operation becomes a property zone of the object subject to detection in the Ab Freeze image beforehand by using the two-dimensional image of, and the object detection operation is over performed a subfield of the restricted zone. in the The result is that with the invention in Ver to the state of the art with the execution of a Erfas operation over all zones of the distance image one relatively fast acquisition operation can be performed can.

Claims (21)

1. Verfahren zur Erkennung der Position und Lage eines Ob­ jekts im dreidimensionalen Raum, bei dem ein räumliches Ab­ standsbild verwendet wird, das durch Aufnehmen des Objektes im dreidimensionalen Raum erhalten wird, dadurch gekenn­ zeichnet, daß

• - ein Flächenbild (I2) des Objekts vom gleichen Aufnahme­ punkt aus erhalten wird wie das räumliche Abstandsbild (I3),
• - ein Teilbild des erhaltenen Flächenbildes (I2) spezifi­ ziert wird,
• - ein Teilbild des räumliches Abstandsbildes an einer Posi­ tion in dem räumlichen Abstandsbild extrahiert wird, die der Position des spezifizierten Teilbildes in dem Flächenbild entspricht, und
• - das Teilbild des räumlichen Abstandsbildes für die Erken­ nung verarbeitet wird.

1. A method for detecting the position and location of an object in three-dimensional space, in which a spatial distance image is used, which is obtained by recording the object in three-dimensional space, characterized in that

• a surface image (I2) of the object is obtained from the same recording point as the spatial distance image (I3),
• - A partial image of the area image (I2) obtained is specified,
• a partial image of the spatial distance image is extracted at a position in the spatial distance image which corresponds to the position of the specified partial image in the surface image, and
• - The partial image of the spatial distance image is processed for recognition.

2. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi­ fizierens des Teilbildes für das Flächenbild auf der Basis eines Formmusters ausgeführt wird.2. The method of claim 1, wherein the step of spec Define the drawing file for the area picture on the basis a shape pattern is executed. 3. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi­ fizierens des Teilbildes für das Flächenbild auf der Basis statistischer Bildstrukturmerkmale ausgeführt wird. 3. The method of claim 1, wherein the step of spec Define the drawing file for the area picture on the basis statistical image structure features is executed.   4. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi­ fizierens des Teilbildes für das Flächenbild auf einer Farb- oder Helligkeitsbasis ausgeführt wird.4. The method of claim 1, wherein the step of spec fizierens the drawing for the area image on a color or Brightness basis is executed. 5. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi­ fizierens des Teilbildes für das Flächenbild auf der Basis eines zweidimensionalen geometrischen Merkmals ausgeführt wird, das von dem dreidimensionalen geometrischen Merkmal des Objekts abgeleitet wird.5. The method of claim 1, wherein the step of spec Define the drawing file for the area picture on the basis of a two-dimensional geometric feature is that of the three-dimensional geometric feature of the object is derived. 6. Verfahren nach Anspruch 1, bei dem als Vorverarbeitungs­ schritt eine spezifizierte Zone, die eine spezifizierte Höhe angibt, von dem räumlichen Abstandsbild extrahiert wird und das Teilbild von einem Flächenbild für die spezifizierte Zone spezifiziert wird.6. The method according to claim 1, in which as preprocessing walked a specified zone that has a specified height indicates from which spatial distance image is extracted and the drawing file from a surface image for the specified one Zone is specified. 7. Verfahren nach Anspruch 1, bei dem bei der Objekterfas­ sungsoperation eine von einem räumlichen Abstandsteilbild erhaltene dreidimensionale Information auf eine Ebene ange­ wendet wird, die dreidimensionale Information auf einem Ur­ sprung eines Kamera-Koordinatensystems gedreht wird, um da­ für zu sorgen, daß eine Normale der Ebene mit einer Z-Achse des Kamera-Koordinatensystems zusammenfällt, die dreidimen­ sionale Information nach der Drehung auf eine X-Y-Ebene des Koordinatensystems projiziert wird und ein Projektionsbild mit einem zuvor aufgezeichneten Modell kollationiert wird, um eine temporäre Position und Lage des Objekts aufzufinden, und die temporäre Position und Lage einer inversen Transfor­ mation unterworfen werden, um eine Position und Lage des Objekts vor der Drehung zu berechnen.7. The method of claim 1, wherein in the object detection solution operation one of a spatial spacing field obtained three-dimensional information on one level is used, the three-dimensional information on a Ur jump of a camera coordinate system is rotated to there to ensure that a normal of the plane with a Z axis of the camera coordinate system coincides, the three dimes sional information after rotation on an X-Y plane of the Coordinate system is projected and a projection image is collated with a previously recorded model, to find a temporary position and location of the object, and the temporary position and location of an inverse transform subject to a position and location of the To calculate the object before rotation. 8. Verfahren zur Erkennung der Position und Lage eines Ob­ jekts mit einer Kreisform im dreidimensionalen Raum, bei dem ein räumliches Abstandsbild verwendet wird, das durch Auf­ nehmen des Objekts im dreidimensionalen Raum erhalten wird, dadurch gekennzeichnet, daß

• - ein Stereo-Randeffektbild und ein Dichtegradientenbild des Objekts (18) über ein Graustufenbild erhalten werden, indem das Objekt (18) von mehreren Richtungen (11, 12) aus aufge­ nommen wird,
• - das Stereo-Randeffektbild so verarbeitet wird, daß über ein Bezugsrandeffektbild (IE) und andere übrige Randeffekt­ bilder ein Parallaxenbild (ID) als räumliches Abstandsbild erhalten wird,
• - das Bezugsrandeffektbild (IE) verarbeitet wird, um daraus die Komponenten (321) mit gekrümmten Rändern und darüber hinaus aus den Komponenten mit gekrümmten Rändern eine Kreis-Komponente (322) zu extrahieren, und
• - die Position und Lage der extrahierten Kreis-Komponente (322) unter Verwendung einer dreidimensionalen Information erkannt wird, die von dem Parallaxenbild (ID) unter Bezug auf die entsprechenden Randeffektpunkte der extrahierten Kreiskomponente erhalten wurde.

8. A method for detecting the position and location of an object with a circular shape in three-dimensional space, in which a spatial distance image is used, which is obtained by taking the object in three-dimensional space, characterized in that

• a stereo edge effect image and a density gradient image of the object ( 18 ) are obtained via a grayscale image by taking the object ( 18 ) from several directions ( 11 , 12 ),
• the stereo edge effect image is processed in such a way that a parallax image (ID) is obtained as a spatial distance image via a reference edge effect image (IE) and other remaining edge effect images,
• - The reference edge effect image (IE) is processed in order to extract the components ( 321 ) with curved edges and, in addition, from the components with curved edges a circular component ( 322 ), and
• - The position and position of the extracted circle component ( 322 ) is recognized using three-dimensional information obtained from the parallax image (ID) with reference to the corresponding edge effect points of the extracted circle component.

9. Verfahren nach Anspruch 8, bei dem gerade Linien von dem Bezugsrandeffektbild extrahiert werden und Ränder in der Nähe der extrahierten geraden Linien gelöscht werden, um nur die gekrümmten Ränder zu extrahieren.9. The method of claim 8, wherein straight lines from the Reference edge effect image are extracted and borders in the Near the extracted straight lines can only be deleted to extract the curved edges. 10. Verfahren nach Anspruch 8, bei dem gerade Linien von dem Bezugsrandeffektbild extrahiert werden und Ränder, die nahe bei den extrahierten geraden Linien angeordnet sind und Win­ kel von annähernd 90° zwischen ihrer Gradientenrichtung und dem Richtungsvektor gerader Linien besitzen, gelöscht wer­ den, um nur die gekrümmten Ränder zu extrahieren.10. The method of claim 8, wherein straight lines from the Reference edge effect image are extracted and edges that are close are arranged at the extracted straight lines and Win angle of approximately 90 ° between its gradient direction and have the direction vector of straight lines, who deleted to extract only the curved edges. 11. Verfahren nach Anspruch 8, bei dem bei der Extraktion nur gekrümmter Ränder von dem Bezugsrandeffektbild ein Rand­ punkt in dem Bezugsrandeffektbild als Objektrandpunkt fest­ gesetzt wird, Punkte, die den Objektrandpunkt umgeben, auf­ gesucht werden, um einen nächsten Randpunkt aufzufinden, die Operation einer Registrierung desjenigen aufgesuchten Rand­ punkts als nächster Objektrandpunkt, der eine Abweichung von einem vorbestimmten Wert oder weniger zwischen einer Gra­ dientenrichtung des aufgesuchten Randpunkts und eine Gradi­ entenrichtung des Objektrandpunkts aufweist, fortgesetzt wird, bis kein nächster Objektrandpunkt um den Objektrand­ punkt aufgefunden werden kann, Kurven- oder geradlinige Rän­ der gruppiert werden und nur die gekrümmten Ränder von einer Verteilung von Randpunkten in einer identischen Gruppe ex­ trahiert werden.11. The method according to claim 8, wherein in the extraction only curved edges from the reference edge effect image point in the reference edge effect image as the object edge point points around the object edge point are set to to find a next boundary point, the Operation of registration of the edge visited points as the next object edge point, which is a deviation from  a predetermined value or less between a gra direction of service of the edge point visited and a gradi has the direction of the object edge point, continued until no next object edge point around the object edge point can be found, curve or straight lines which are grouped together and only the curved edges of one Distribution of boundary points in an identical group ex be married. 12. Verfahren nach Anspruch 8, bei dem bei der Extraktion eines Kreises von gekrümmten Rändern von den extrahierten Kurvenrändern Ränder mit einer vorbestimmten Anzahl oder einem vorbestimmten prozentualen Anteil von Randpunkten mit berechneten Disparitäten extrahiert werden, um einen Kreis zu extrahieren.12. The method according to claim 8, wherein in the extraction a circle of curved edges from the extracted ones Curve edges edges with a predetermined number or a predetermined percentage of edge points with calculated disparities are extracted to a circle to extract. 13. Verfahren nach Anspruch 8, bei dem ein Kreis auf extra­ hierte Kurvenränder durch die Methode der kleinsten Quadrate angewendet wird, um einen Mittelpunkt des Kreises zu berech­ nen, von den Kurvenrändern Ränder mit in einem vorbestimmten Bereich liegenden Werten einer Abweichung zwischen einer Richtung von einem Randpunkt des Kurvenrandes zu dem Mittel­ punkt des Kreises und einer Gradientenrichtung des Rand­ punkts extrahiert werden und der Kreis von den extrahierten Kurvenrändern extrahiert wird.13. The method of claim 8, wherein a circle on extra edges of curves using the least squares method is used to calculate a center point of the circle NEN, from the edges of the curve with a predetermined Values of a deviation between a range Direction from an edge point of the curve edge to the middle point of the circle and a gradient direction of the edge points are extracted and the circle from the extracted Curve edges is extracted. 14. Verfahren nach Anspruch 8, bei dem bei der Kombination extrahierter Kurvenränder zur Bildung eines Kreises die Kur­ venränder entsprechend zunehmender Größe eines Abstands zwi­ schen den Kurvenrändern kombiniert werden, um den Kreis in einem Bild zu erzeugen, und von den Kurvenrändern Ränder mit dazwischen vorgesehenen Abständen von einem vorbestimmten Wert oder größer nicht zur Erzeugung des Kreises verwendet werden.14. The method according to claim 8, wherein in the combination extracted curve edges to form a circle the cure vein edges corresponding to the increasing size of a distance between between the edges of the curve can be combined to form the circle to create an image, and from the edges of the curve with intervening distances from a predetermined one Value or greater not used to create the circle will. 15. Verfahren nach Anspruch 14, bei dem dann, wenn der Kreis durch die Methode der kleinsten Quadrate von den zweidimen­ sionalen Daten der kombinierten Kurvenränder aufgefunden wurde und nur dann, wenn entsprechende Punkte der kombinier­ ten Kurvenränder einen Abstand von dem aufgefundenen Kreis innerhalb eines vorbestimmten Abstandsbereichs aufweisen, entschieden wird, daß die kombinierten Kurvenränder auf dem gleichen Kreis liegen und den Kreis bilden.15. The method of claim 14, wherein when the circle by the least squares method from the two dimes sional data of the combined curve edges were found  was and only if corresponding points of the combined th curve edges a distance from the found circle have within a predetermined distance range, it is decided that the combined curve edges on the lie in the same circle and form the circle. 16. Verfahren nach Anspruch 8, bei dem die beiden Kurvenrän­ der, für die entschieden wurde, daß sie einen Kreis bilden können, nur dann so beurteilt werden, daß sie in dem glei­ chen Kreis liegen und den Kreis bilden, wenn eine Abweichung zwischen einer Normalen einer Ebene, die unter Verwendung einer dreidimensionalen Information definiert wurde, die auf der Basis von Disparitäten zwischen zwei Punkten des ersten Kurvenrandes und einem Punkt des zweiten Randes aufgefunden wurde, und einer Normalen einer Ebene, die unter Verwendung einer dreidimensionalen Information definiert wurde, die auf der Basis von Disparitäten zwischen zwei Punkten des zweiten Kurvenrandes und einem Punkt des ersten Kurvenrandes mit Ausnahme der ausgewählten zwei Punkte aufgefunden wurde, innerhalb eines vorbestimmten Wertbereichs liegt.16. The method according to claim 8, wherein the two curve ranks the one who was decided to form a circle can only be judged so that they are in the same Chen circle and form the circle if there is a deviation between a normal one using a plane a three-dimensional information has been defined that is based on the basis of disparities between two points of the first Curve edge and a point of the second edge found and a normal one using a level a three-dimensional information has been defined that is based on the basis of disparities between two points of the second Curve edge and a point of the first curve edge with Exception of the selected two points was found is within a predetermined range of values. 17. Verfahren nach Anspruch 8, bei dem eine Ebene, auf die Kreisränder angewendet werden, unter Verwendung einer drei­ dimensionalen Information von Punkten auf den extrahierten Kreisrändern aufgefunden wird, die dreidimensionale Informa­ tion auf einem Ursprung eines Kamera-Koordinatensystems ge­ dreht wird, um zu bewirken, daß eine Normale der aufgefun­ denen Ebene mit einer Z-Achse des Kamera-Koordinatensystems zusammenfällt, ein Mittelpunkt und ein Radius des Kreises durch die Methode der kleinsten Quadrate unter Verwendung von X- und Y-Koordinatenwerten der Kreisränder nach der Dre­ hung berechnet werden und die berechneten Koordinatenwerte einer inversen Transformation unterworfen werden, um eine Position und Lage des Objekts vor der Drehung zu bestimmen.17. The method of claim 8, wherein a level on which Circular borders can be applied using a three dimensional information of points on the extracted Circular edges are found, the three-dimensional informa tion on an origin of a camera coordinate system is rotated to cause a normal to be found which plane with a Z axis of the camera coordinate system coincides with a center and a radius of the circle by using the least squares method of X and Y coordinate values of the circular edges after the Dre hung and the calculated coordinate values be subjected to an inverse transformation to a Determine the position and location of the object before rotation. 18. Verfahren nach Anspruch 17, bei dem eine Ebene, auf die Kreisränder angewendet werden, aufgefunden wird, Kreisrand­ punkte, die Punkten entsprechen, die durch einen vorbestimm­ ten Abstand oder mehr in einem dreidimensionalen Raum beab­ standet sind, von der aufgefundenen Ebene entfernt werden und ein Mittelpunkt und ein Radius des Kreises berechnet werden.18. The method of claim 17, wherein a level on which Circular borders are applied, is found, circular border points corresponding to points determined by a predetermined  distance or more in a three-dimensional space are removed from the level found and calculated a center point and a radius of the circle will. 19. Verfahren nach Anspruch 18, bei dem eine Ebene, auf die Kreisränder angewendet werden, aufgefunden wird, Kreisrand­ punkte, die Punkten entsprechen, die durch einen vorbestimm­ ten Abstand oder mehr in einem dreidimensionalen Raum beab­ standet sind, von der aufgefundenen Ebene entfernt werden und wiederum eine Ebene aufgefunden wird, auf die Kreisrän­ der angewendet werden, die durch verbleibende Kreisrandpunk­ te bestimmt sind, und die aufgefundene Ebene gedreht wird.19. The method of claim 18, wherein a level on which Circular borders are applied, is found, circular border points corresponding to points determined by a predetermined distance or more in a three-dimensional space are removed from the level found and again a level is found on the circular ranks which are applied by remaining circle edge point te are determined, and the found plane is rotated. 20. Verfahren nach Anspruch 8, bei dem extrahierte Kreisrän­ der auf eine Ebene und eine Kugel in einem dreidimensionalen Raum angewendet werden, um eine Mittenposition und einen Radius eines richtigen Kreises von einem Querschnitt der Kugel zu berechnen, der durch eine Schnittebene zwischen der Ebene und der Kugel definiert ist.20. The method according to claim 8, wherein the extracted circular ranks the one level and a sphere in a three-dimensional Space applied to a center position and a Radius of a correct circle from a cross section of the To calculate the sphere through a section plane between the Plane and the sphere is defined. 21. Verfahren nach Anspruch 8, bei dem eine Position und Lage des Objekts auf der Basis einer Größe des erfaßten K- reises und einer Positionsbeziehung davon in einem dreidi­ mensionalen Raum erfaßt und erkannt werden.21. The method of claim 8, wherein a position and Location of the object based on a size of the detected K- travel and a positional relationship thereof in a dreidi dimensional space can be grasped and recognized.