DE19506328C2 - Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum - Google Patents
Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen RaumInfo
- Publication number
- DE19506328C2 DE19506328C2 DE19506328A DE19506328A DE19506328C2 DE 19506328 C2 DE19506328 C2 DE 19506328C2 DE 19506328 A DE19506328 A DE 19506328A DE 19506328 A DE19506328 A DE 19506328A DE 19506328 C2 DE19506328 C2 DE 19506328C2
- Authority
- DE
- Germany
- Prior art keywords
- image
- edge
- circle
- edges
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
Die Erfindung betrifft ein Verfahren zur Erkennung der
Position und Lage eines Objekts im dreidimensionalen Raum,
bei dem ein räumliches Abstandsbild verwendet wird, das
durch Aufnehmen des Objekts im dreidimensionalen Raum er
halten wird sowie ein ebensolches Verfahren, das für ein
Objekt mit einer Kreisform bestimmt ist.
In IEEE Computer, Nov. 1982, Seiten 21-34 beschreibt
Yoshiaki Shirai Bildverarbeitungsverfahren zur Wiederge
winnung der dreidimensionalen Information aus zweidimensio
nalen Höhenbildern.
In dem Artikel "3 D Szenenanalyse zur Werkstückerkennung auf
der Basis von geometrischen Oberflächenmerkmalen aus räum
lichen Abstandsbildern" von W. Langer, der in dem im Sprin
ger-Verlag (Informatik-Fachberichte 254, "Mustererkennung
1990") erschienen Verhandlungsbericht zum 12. DAGM-Symposium
vom September 1990 in Oberkochen-Aalen auf den Seiten 556ff.
veröffentlicht ist, wird eine dreidimensionale Szenenanalyse
zur Lageerkennung von sich berührenden und überlappenden
Werkstücken in räumlichen Abstandsbildern vorgestellt. Die
Erkennung beruht dabei auf den lokalen geometrischen Ober
flächeneigenschaften des gesuchten Werkstücks.
In IEEE PAMI Vol. 13, Nr. 10, 1991, Seiten 971-991 ist ein
Verfahren beschrieben, das dazu dient, mithilfe von algebra
ischen Invarianten gekrümmte ebene Objekte wiederzuerkennen.
Dabei werden zur Beschreibung dreidimensionaler Objekte
euklidische Invarianten verwendet, die von der Position des
Objekts und einer Aufnahmekamera unabhängig sind.
Als Verfahren zur Erkennung eines dreidimensionalen Objekts
wurde herkömmlicherweise ein Verfahren vorgeschlagen, bei
dem die Positionserfassung dadurch erfolgte, daß ein Cluster
in einem Parameterraum extrahiert wurde, das die Lage eines
erhaltenen Objekts angibt, basierend auf Übereinstimmungen
zwischen allen Randabschnitten in einem Bild und allen
scharfen Kanten oder Gratlinien eines Objektmodells, wie in
der japanischen Offenlegungsschrift Nr. 2-230478 offenbart;
ein Verfahren, bei dem ein zu prüfendes Objekt als ein Objekt
modell mit einer Mehrzahl von starren Körpern und mit den
Körpern verbundenen Gelenken mit Drehfreiheitsgraden be
trachtet wird, wobei Lageanwärter für jeden starren Körper
auf der Basis von Entsprechungen zwischen Merkmalen (wie
etwa bestimmten Abschnitten oder bestimmten Punkten) in
einem Bild und dem Objektmodell aufgefunden werden und eine
Darstellung des Objektbildes anhand einer Schätzung ausgehend
von den jeweiligen Lageanwärtern erhalten und mit dem Bild
verglichen wird, um dadurch eine geeignete Lage zu bestim
men, wie in der japanischen Offenlegungsschrift Nr. 4-54409
offenbart; usw.
Bei dem vorhergehenden Verfahren ist es erforderlich, Über
einstimmungen zwischen allen Randabschnitten in dem Bild und
allen scharfen Kantenlinien des Objektmodells herzustellen. So
wird die Anzahl von Randabschnitten in einem Bild und die
Anzahl von scharfen Kantenlinien in einem Objektmodell groß,
wenn das Objekt eine komplizierte Form annimmt, was den Nach
teil mit sich bringt, daß viel Zeit erforderlich ist, um die
Übereinstimmungen zu bewirken, und daß die Erfassung ungenau
wird. Selbst bei dem letzteren Verfahren wird die Anzahl von
starren Körpern und Verbindungen dann, wenn ein Objekt eine
flexible Struktur besitzt, groß, was im Ergebnis dazu führt,
daß die endgültige Erfassung der dreidimensionalen Lage
eines Objekts viel Zeit in Anspruch nimmt.
Zur Erkennung eines Objekts mit einer Form wie etwa einer zy
lindrischen Form wird indessen ein Verfahren zur Durchfüh
rung einer Hochgeschwindigkeitserfassung eines Objekts vorge
schlagen, wie in der japanischen Offenlegungsschrift Nr. 6-
29695 gezeigt. Bei diesem Verfahren wird ein zu prüfendes
Objekt schräg durch zwei Bildaufnahmemittel photographiert, um
zwei Bilder zu erhalten, wobei von den beiden Bildern Kur
venränder extrahiert werden, einige der Kurvenränder dann,
wenn sie innerhalb eines vorbestimmten Entfernungsbereichs
liegen, als Ränder in einer identischen elliptischen Linie
betrachtet werden, die Mitte eines richtigen Kreises so be
trachtet wird, als sei sie als die Mitte der Ellipse in den
Bildern photographiert worden, die Mitten der oberen und
unteren Ellipsen berechnet und die von den beiden Bildern
einander zugeordnet werden, die Mitten der den oberen und
unteren Ellipsen entsprechenden richtigen Kreise auf der
Basis der Triangulation berechnet werden, und die Orientie
rung oder Richtung eines Linienabschnitts, der die beiden
berechneten Mitten verbindet, berechnet wird, um eine Mit
tellinie für den Zylinder aufzufinden, um dadurch die Posi
tion und Lage des zylindrischen Körpers zu bestimmen.
Dieses Verfahren ist jedoch mit einem Problem behaftet, das
darin besteht, daß dann, wenn ein ringförmiges Objekt oder
mehrere zylindrische Objekte erkannt werden sollen, Kombina
tionen von Kurvenrändern, die nicht in einem identischen
Kreis liegen, irrtümlicherweise als in dem identischen Kreis
liegend betrachtet werden und einige Ränder der unteren zy
lindrischen Fläche außerhalb des Schirmes nicht gesehen wer
den, was dazu führt, daß die Richtung der Mittellinie des
zylindrischen Objekts, d. h. seine Lage, nicht gemessen werden
kann. Wird die Mitte eines Kreises zu einem Bild projiziert,
so wird die Mitte gegenüber der Kreismitte in dem Bild ver
setzt projiziert, solange die den Kreis enthaltende Ebene
nicht senkrecht zu der optischen Achse der Bildaufnahmemit
tel ist. Da überdies nahezu die Hälfte der Ränder des unte
ren Kreises versteckt sind und damit nicht gesehen werden,
besteht die Tendenz, daß die Mittengenauigkeit des auf der
Basis von solchen Rändern berechneten Kreises gering ist.
Dementsprechend sind die auf diese Weise erhaltenen Posi
tions- und Lagewerte wenig genau und wenig zuverlässig.
Demnach ist die Aufgabe der Erfindung, ein Verfahren zur
Erkennung der Position und Lage eines Objekts im dreidimen
sionalen Raum zur Durchführung einer Hochgeschwindigkeits
erfassung bei hoher Genauigkeit zu schaffen.
Die Aufgabe der Erfindung wird durch ein Verfahren zur Er
kennung der Position und Lage eines Objekts im dreidimensio
nalen Raum erfüllt, bei dem ein räumliches Abstandsbild ver
wendet wird, das durch Aufnehmen des Objektes im dreidimen
sionalen Raum erhalten wird, wobei das Verfahren dadurch
gekennzeichnet ist, daß ein Flächenbild des Objekts vom
gleichen Aufnahmepunkt aus erhalten wird wie das räumliche
Abstandsbild, ein Teilbild des erhaltenen Flächenbildes spe
zifiziert wird, ein Teilbild des räumliches Abstandsbildes
an einer Position in dem räumlichen Abstandsbild extrahiert
wird, die der Position des spezifizierten Teilbildes in dem
Flächenbild entspricht, und das Teilbild des räumlichen Ab
standsbildes für die Erkennung verarbeitet wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren
zur Erkennung der Position und Lage eines Objekts mit einer
Kreisform im dreidimensionalen Raum geschaffen, bei dem ein
räumliches Abstandsbild verwendet wird, das durch Aufnehmen
des Objekts im dreidimensionalen Raum erhalten wird, dadurch
gekennzeichnet, daß ein Stereo-Randeffektbild und ein Dich
tegradientenbild des Objekts über ein Graustufenbild erhal
ten werden, indem das Objekt von mehreren Richtungen aus
aufgenommen wird, das Stereo-Randeffektbild so verarbeitet
wird, daß über ein Bezugsrandeffektbild und andere übrige
Randeffektbilder ein Parallaxenbild als räumliches Abstands
bild erhalten wird, das Bezugsrandeffektbild verarbeitet
wird, um daraus die Komponenten mit gekrümmten Rändern und
darüber hinaus aus den Komponenten mit gekrümmten Rändern
eine Kreis-Komponente zu extrahieren, und die Position und
Lage der extrahierten Kreis-Komponente unter Verwendung ei
ner dreidimensionalen Information erkannt wird, die von dem
Parallaxenbild unter Bezug auf die entsprechenden Randef
fektpunkte der extrahierten Kreiskomponente erhalten wurde.
Erfindungsgemäß wird bei der Objekterfassungsoperation das
zweidimensionale Bild dazu verwendet, zuvor die Objektanwesen
heitszone zu beschränken, die der Erfassung in dem Abstands
bild unterliegt, und die Objekterfassungsoperation wird über
dem Abstandsteilbild der beschränkten Zone durchgeführt. Mit
der Erfindung kann somit eine Erfassungsoperation durchge
führt werden, die im Vergleich zum Stand der Technik sehr
schnell ist, bei dem die Erfassungsoperation über alle Zonen
des Abstandsbildes erfolgt. In diesem Fall kann die Spezifi
zierung des Teilbildes des zweidimensionalen Bildes auf der
Basis des Formmusters der Oberfläche des Objekts, des stati
stischen Strukturbildmerkmals, der Farb- oder Helligkeits
klassifikation oder des zweidimensionalen geometrischen
Merkmals erfolgen, das von dem dreidimensionalen geometri
schen Merkmal des Objekts abgeleitet wurde.
Die Erfindung wird im folgenden anhand von Ausführungsbei
spielen unter Bezugnahme auf die Zeichnung näher erläutert;
in dieser zeigen:
Fig. 1 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Ausführungsform eines erfindungsgemäßen Systems;
Fig. 2 ein Blockdiagramm des Systems der Ausführungsform der
Fig. 1;
Fig. 3 eine perspektivische Ansicht eines Beispiels von
Objekten, die der Erfassung bei der Ausführungsform der Fig. 1
unterliegen;
Fig. 4a ein Diagramm zur Erläuterung eines zweidimensionalen
Bildes der beispielhaften Objekte bei der Ausführungsform der
Fig. 1;
Fig. 4b ein Diagramm zur Erläuterung eines Abstandsbildes der
beispielhaften Objekte bei der Ausführungsform der Fig. 1;
Fig. 5 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer spezifischeren Abwandlung der Ausführungsform der Fig. 1,
Fig. 6 ein Diagramm zur Erläuterung der Wirkungsweise der
Abwandlung der Fig. 5;
Fig. 7 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren spezifischen Abwandlung der Ausführungsform
der Fig. 1;
Fig. 8 ein Diagramm zur Erläuterung der Wirkungsweise der
Abwandlung der Fig. 7;
Fig. 9 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren spezifischeren Abwandlung der Ausführungsform
der Fig. 1;
Fig. 10 ein Diagramm zur Erläuterung der Wirkungsweise der
Abwandlung der Fig. 9;
Fig. 11 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren spezifischeren Abwandlung der Ausführungsform
der Fig. 1;
Fig. 12 eine Vorderansicht eines Beispiels einer Objekterfas
sung bei der Abwandlung der Fig. 11;
Fig. 13a ein Diagramm zur Erläuterung eines zweidimensio
nalen Bildes bei der Abwandlung der Fig. 11;
Fig. 13b ein Diagramm zur Erläuterung eines Abstandsbildes bei
der Abwandlung der Fig. 11;
Fig. 14 ein Diagramm zur Erläuterung der Wirkungsweise der
Abwandlung der Fig. 11;
Fig. 15 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung;
Fig. 16 ein Diagramm zur Erläuterung einer Wirkungsweise der
Ausführungsform der Fig. 15;
Fig. 17 ein Diagramm zur Erläuterung einer weiteren Wir
kungsweise der Ausführungsform der Fig. 15;
Fig. 18 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung;
Fig. 19 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung;
Fig. 20a ein Diagramm zur Erläuterung eines zweidimensiona
len Bildes bei der Ausführungsform der Fig. 19;
Fig. 20b ein Diagramm zur Erläuterung eines Abstandsbildes
bei der Ausführungsform der Fig. 19;
Fig. 21a ein Diagramm zur Erläuterung des Abstandsbildes
nach dem Anwenden einer Vorverarbeitungsoperation bei der
Ausführungsform der Fig. 19;
Fig. 21b ein Diagramm zur Erläuterung des zweidimensionalen
Bildes nach einer Anwendung einer Vorverarbeitungsoperation
bei der Ausführungsform der Fig. 19;
Fig. 22 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Ausführungsform, auf die das Prüfungsverfahren gemäß
der Erfindung angewendet wird;
Fig. 23 eine perspektivische Ansicht eines zu prüfenden
Objekts bei der Ausführungsform der Fig. 23;
Fig. 24a ein Diagramm zur Erläuterung eines zweidimensio
nalen Bildes bei der Ausführungsform der Fig. 22;
Fig. 24b ein Diagramm zur Erläuterung eines Abstandsbildes
bei der Ausführungsform der Fig. 22;
Fig. 25 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung zum Auffinden
einer Position und Lage eines Objekts;
Fig. 26 eine perspektivische Ansicht eines Beispiels des
Objekts in Fig. 25;
Fig. 27 ein Diagramm zur Erläuterung einer Ebene, auf die
die Oberseite des Objekts bei der Ausführungsform der Fig. 25
gelegt wird;
Fig. 28a ein Diagramm, das einen gedrehten Zustand der Ebene
bei der Ausführungsform der Fig. 25 zeigt;
Fig. 28b ein Diagramm zur Erläuterung eines Schablonenbil
des;
Fig. 29 ein Blockdiagramm eines Systems, bei dem die Er
findung angewendet wird und ein zu erfassendes Objekt eine
zylindrische Form besitzt;
Fig. 30 perspektivische Ansichten eines Beispiels des
Erfassungsobjekts bei dem System der Fig. 29;
Fig. 31a ein Diagramm zur Erläuterung eines Randbildes in
einem Stereobezugsbild bei dem System der Fig. 30;
Fig. 31b ein Diagramm zur Erläuterung eines Disparitätsbil
des bei dem System der Fig. 30;
Fig. 32a ein Diagramm zur Erläuterung eines Beispiels eines
Randbildes bei dem System der Fig. 30;
Fig. 32b ein Diagramm zur Erläuterung von Kurvenrändern bei
dem System der Fig. 30;
Fig. 32c ein Diagramm zur Erläuterung eines bei dem System
der Fig. 30 extrahierten kreisförmigen Randes;
Fig. 33 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung der Erfindung;
Fig. 34 eine perspektivische Ansicht einer weiteren Aus
führungsform der Erfindung;
Fig. 35 perspektivische Ansichten eines Objekts bei der
Ausführungsform der Fig. 34;
Fig. 36a ein Diagramm zur Erläuterung eines Randbildes bei
der Ausführungsform der Fig. 35;
Fig. 36b ein Diagramm zur Erläuterung eines bei der Aus
führungsform der Fig. 35 extrahierten kreisförmigen Randes;
Fig. 37 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Abwandlung der Erfindung;
Fig. 38 eine perspektivische Ansicht eines Bilderfassungs
zustands einer weiteren Ausführungsform der Erfindung;
Fig. 39 perspektivische Ansichten eines Objekts bei der
Ausführungsform der Fig. 38;
Fig. 40a ein Diagramm zur Erläuterung eines Randbildes bei
der Ausführungsform der Fig. 38;
Fig. 40b ein Diagramm zur Erläuterung eines extrahierten
kreisförmigen Randes bei der Ausführungsform der Fig. 38;
Fig. 41 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Abwandlung der Erfindung;
Fig. 42 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung;
Fig. 43a ein Diagramm zur Erläuterung der Art und Weise, wie
Randpunkte bei der Ausführungsform der Fig. 42 aufgesucht
werden;
Fig. 43b ein Diagramm zur Erläuterung extrahierter Ränder
bei der Ausführungsform der Fig. 42;
Fig. 44 ein Diagramm zur Erläuterung der Art und Weise, wie
ein gekrümmter Rand bei der Ausführungsform der Fig. 42 zu
extrahieren ist;
Fig. 45a ein Diagramm zur Erläuterung extrahierter gekrümmter
Ränder bei der Ausführungsform der Fig. 42;
Fig. 45b ein Diagramm zur Erläuterung extrahierter gekrümm
ter Ränder bei der Ausführungsform der Fig. 42;
Fig. 46 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 47a ein Diagramm zur Erläuterung extrahierter gekrümm
ter Ränder bei der Ausführungsform der Fig. 46;
Fig. 47b ein Diagramm zur Erläuterung eines binären Bildes
von Rändern mit Disparitäten, die bei der Ausführungsform
der Fig. 46 berechnet wurden;
Fig. 47c ein Diagramm zur Erläuterung extrahierter kreis
förmiger Ränder bei der Ausführungsform der Fig. 46;
Fig. 48 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 49 eine perspektivische Ansicht eines Objekts bei der
Ausführungsform der Fig. 48;
Fig. 50a ein Diagramm zur Erläuterung eines Randbildes bei
der Ausführungsform der Fig. 48;
Fig. 50b ein Diagramm zur Erläuterung extrahierter gekrümm
ter Ränder bei der Ausführungsform der Fig. 48;
Fig. 50c ein Diagramm zur Erläuterung extrahierter gekrümm
ter Ränder bei der Ausführungsform der Fig. 48;
Fig. 51 ein Diagramm zur Erläuterung der Art und Weise, wie
gekrümmte Ränder bei der Ausführungsform der Fig. 48 auszu
wählen sind;
Fig. 52 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform der Erfindung;
Fig. 53 perspektivische Ansichten eines Objekts bei der Aus
führungsform der Fig. 52;
Fig. 54a ein Diagramm zur Erläuterung von Randbildern bei
der Ausführungsform der Fig. 52;
Fig. 54b ein Diagramm zur Erläuterung extrahierter kreis
förmiger Ränder bei der Ausführungsform der Fig. 52;
Fig. 55 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 56 ein Flußdiagramm zur Erläuterung der Extraktions
operation der Ausführungsform der Fig. 55;
Fig. 57 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 58 eine perspektivische Ansicht von Objekten bei der
Ausführungsform der Fig. 57;
Fig. 59a ein Diagramm zur Erläuterung von Randbildern bei
der Ausführungsform der Fig. 57;
Fig. 59b ein Diagramm zur Erläuterung eines extrahierten
kreisförmigen Randes bei der Ausführungsform der Fig. 57;
Fig. 60 ein Diagramm zur Erläuterung der Art und Weise, wie
ein kreisförmiger Rand bei der Ausführungsform der Fig. 57
zu extrahieren ist;
Fig. 61 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 62 ein Diagramm zur Darstellung einer Ebene eines
Objekts, betrachtet von seiner Unterseite, bei der Ausfüh
rungsform der Fig. 61;
Fig. 63 ein Diagramm zur Erläuterung eines gedrehten
Zustands der Ebene bei der Ausführungsform der Fig. 61;
Fig. 64 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform der Erfin
dung;
Fig. 65 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer weiteren Ausführungsform;
Fig. 66 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Abwandlung einer weiteren Ausführungsform;
Fig. 67 ein Diagramm zur Erläuterung einer Form der Wir
kungsweise der Ausführungsform der Fig. 66;
Fig. 68 ein Flußdiagramm zur Erläuterung der Wirkungsweise
einer Ausführungsform der Erfindung, die bei einem Montage
überwachungssystem angewendet werden kann;
Fig. 69 eine perspektivische Ansicht von Objekten bei der
Ausführungsform der Fig. 68;
Fig. 70a ein Diagramm zur Erläuterung von Randbildern bei
der Ausführungsform der Fig. 68;
Fig. 70b ein Diagramm zur Erläuterung extrahierter kreisför
miger Ränder bei der Ausführungsform der Fig. 68; und
Fig. 71 ein Diagramm zur Erläuterung eines beispielsweise
bei den Ausführungsformen der Fig. 29 bis 31 verwendeten
Sobel-Operators.
Die Erfindung wird nun anhand von Ausführungsbeispielen nä
her erläutert. Nach einem ersten und einem zweiten Merkmal
der Erfindung werden ein Abstandsbild und ein zweidimensio
nales Bild verwendet, das von dem gleichen Beobachtungspunkt
aus wie das Abstandsbild photographiert wurde. Obwohl ver
schiedene Wege der Erzeugung des Abstandsbildes möglich
sind, erfolgt eine Erläuterung in Verbindung mit einem Fall,
bei dem das Abstandsbild ausgehend von einem stereoskopischen
Bild, d. h. einem zweidimensionalen Bild erzeugt wurde. In
Fig. 2 geben die Bezugszeichen 10a und 10b Fernsehkameras
zur Aufnahme von Stereobildern an. Ein Bild, das von einer
10a der Fernsehkameras 10a und 10b photographiert wurde, die
mit einem Speicher 4 für zweidimensionale Bilder verbunden
ist, wird als Stereobezugsbild verwendet. Bilder, die von
den Fernsehkameras 10a und 10b photographiert wurden, werden
einander in einem Stereobildprozessor 2 zugeordnet, und Ab
stände, die auf der Basis des betreffenden Ergebnisses be
rechnet wurden, werden auf dem Stereobezugsbild abgebildet,
um ein Abstandsbild in einem dreidimensionalen Bildgenerator
3 zu erzeugen. Das von einer Fernsehkamera 10a erfaßte zwei
dimensionale Bild wird in dem zweidimensionalen Bildspeicher
4 gespeichert. Eine Objektanwesenheitszonen-Extraktionsein
richtung 5 extrahiert, basierend auf dem zweidimensionalen
Bild und dem Abstandsbild, eine Objektanwesenheitszone, in der
das Objekt vorliegt, und ein Detektor 6 für eine dreidimensio
nale Position/Lage erfaßt eine dreidimensionale Position
oder Lage des Objekts auf der Basis der Objektanwesenheitszone
und des Abstandsbildes in deren Nähe.
Fig. 3 zeigt ein Beispiel von zu erfassenden Objekten. Fig. 4a
ist ein zweidimensionales Bild I2 der beispielhaften Objekte,
und Fig. 4b ist ein Abstandsbild I3 davon. Unterschiedlich
schraffierte Bereiche in dem Abstandsbild I3 bedeuten unter
schiedliche Höhen der Objekte. Diese Darstellung ist auch auf
die später beschriebenen Fälle anwendbar.
Es wird zunächst erläutert, wie eine Objektanwesenheitszone zu
extrahieren ist, wobei ein Formmuster verwendet wird, das
auf eine Oberfläche eines einer Erfassung unterliegenden
Objekts vorliegt, das ausgehend von dem Abstandsbild nicht
erfaßt werden kann. Die Extraktion einer Objektanwesenheitszo
ne durch die Objektanwesenheitszonen-Extraktionseinrichtung 5
erfolgt im Fall der Fig. 5 durch Mittel eines Musterver
gleichs. Liegt z. B. ein Buchstabe "B" auf einer Oberfläche
eines der Erfassung unterliegenden Objekts vor, so wird der
Buchstabe "B" als ein Erfassungsmuster verwendet, wobei ein
Mustervergleich zwischen dem zweidimensionalen Bild I2 und
dem Erfassungsmuster erfolgt, um einen Teil zu extrahieren,
der einem Vergleichsergebnis entspricht, das gleich oder
größer als ein Schwellenwert ist, und als Objektanwesenheits
zone Al eine Zone zu verwenden, die den extrahierten Teil
enthält und einen Kreis mit einem Mittelpunkt bedeckt, der
dem Schwerpunkt GI des extrahierten Teils entspricht, wie in
Fig. 6 gezeigt. Eine Objekterfassungsoperation wird über ein
Teilbild des Abstandsbildes I3 ausgeführt, das der Objektanwe
senheitszone A1 entspricht. Diese Objekterfassungsoperation
kann nicht nur durch die beiden bereits im Zusammenhang mit
dem Stand der Technik erläuterten Verfahren, sondern auch
durch ein anderes, später erläutertes Verfahren durchgeführt
werden.
Zum Einstellen der Objektanwesenheitszone A2, wie in den
Fig. 7 und 8 gezeigt, können Ränder von dem zweidimensionalen
Bild I2 extrahiert werden, wobei ein Teil, der einer Randin
tensität gleich oder größer als ein Schwellenwert ent
spricht, extrahiert werden kann, eine Objektanwesenheitszone
A2 mit einer einem Schwerpunkt G2 des extrahierten Teils
entsprechenden Mitte eingestellt werden kann und eine Objekt
erfassungsoperation über ein Teilbild des Abstandsbildes I3
entsprechend der Objektanwesenheitszone A2 durchgeführt werden
kann. Bei dieser Objekterfassungsoperation wird der Umstand
ausgenutzt, daß Unterschiede bei den statistischen Bildmerk
malen der Objektstruktur als unterschiedliche Dichten in dem
zweidimensionalen Bild I2 in Erscheinung treten.
Ist nur eines einer Mehrzahl von rechteckigen Parallelepipe
den, das in deren Mitte angeordnet ist, von roter Farbe, und
sind die anderen rechteckigen Parallelepipede blau, so kann,
wie in Fig. 9 gezeigt, eine Farbextraktion (bei dem darge
stellten Beispiel eine Rot-Extraktion) ausgehend von dem
zweidimensionalen Bild I2 ausgeführt werden, um einen Teil
zu extrahieren, der eine Rot-Komponente gleich oder größer
als ein Schwellenwert besitzt. Wie in Fig. 10 gezeigt kann
eine Objektanwesenheitszone A3 mit einer einem Schwerpunkt G3
des extrahierten Teils entsprechenden Schwerpunkt G3 einge
stellt werden, und eine Objekterfassungsoperation kann über
ein Teilbild des Abstandsbildes I3 entsprechend der Objektan
wesenheitszone A3 durchgeführt werden. Es ergibt sich von
selbst, daß ein entsprechender Teil auf der Basis seiner
Helligkeit anstelle der Farbe extrahiert werden kann. In
diesem Fall ist festzustellen, daß eine Objektanwesenheitszone
auf der Basis eines extrahierten Teils eines zweidimensiona
len Bildes eingestellt wird, das eine Objektkomponente be
sitzt, die gleich oder größer als ihr Schwellenwert ist, und
ein der eingestellten Zone entsprechendes Bild wird als
Teilbild des zweidimensionalen Bildes verwendet.
Überdies kann die Anwesenheitszone eines der Erfassung un
terliegenden Objekts zuvor durch die Verwendung zweidimensio
naler geometrischer Merkmale, die von den dreidimensionalen
geometrischen Merkmalen abgeleitet wurden, begrenzt werden.
Fig. 11 zeigt einen Fall, bei dem ein zweidimensionales geo
metrisches Merkmal verwendet wird, gemäß dem zwei gerade
Linien in Form eines Buchstabens T verbunden werden. Genauer
wird als erstes ein in Fig. 12 gezeigtes Objekt 120 photogra
phiert, um ein zweidimensionales Bild I2, wie in Fig. 13a
gezeigt, und damit ein Abstandsbild I3, wie in Fig. 13b ge
zeigt, zu erhalten. In diesem Fall erscheint ein zweidimen
sionales geometrisches Merkmal als eine solche T-förmige
Verbindung zweier gerader Linien, wie durch ein Bezugszei
chen 130 gezeigt. Als nächstes werden Ränder von dem zweidi
mensionalen Bild I2 extrahiert und einer Hough-Transforma
tion unterworfen, um gerade Linien zu erfassen, wobei ein
Schnittpunkt der erfaßten Linien extrahiert wird, und wobei
das Vorliegen oder Fehlen einer T-förmigen Verbindung fest
gestellt wird, wodurch ein Schnittpunkt G4 in der T-förmigen
Verbindung extrahiert wird, wie in Fig. 14 gezeigt. Überdies
wird eine Zone von vorbestimmtem Ausmaß und mit einer dem
Schnittpunkt G4 der T-förmigen Verbindung entsprechenden
Mitte auf das Abstandsbild I3 angewendet, um eine dreidimen
sionale Position oder Lage des Objekts ausgehend von einem
Abstandsteilbild zu bestimmen.
Wie in den Fig. 15 und 16 gezeigt, werden eine Trägheits
hauptachse EA1 und ein Schwerpunkt G5 ausgehend von dem
zweidimensionalen Bild I2 erfaßt, und das Abstandsbild I3
wird auf eine Ebene projiziert, die durch die Trägheits
hauptachse EA1 verläuft und senkrecht zu dem zweidimensiona
len Bild I2 ist. Werden eine Trägheitshauptachse EA2 und ein
Schwerpunkt G6 ausgehend von dem in Fig. 17 gezeigten Pro
jektionsbild erfaßt, so kann die Lage der Trägheitshauptach
se ausgehend von den beiden Trägheitshauptachsen EA1 und EA2
erfaßt werden, und die Position der Trägheitshauptachse kann
ausgehend von den Schwerpunkten G5 und G6 erfaßt werden.
Wie in Fig. 18 gezeigt werden ferner nach dem oben genannten
Erfassen der Lage und der Position der Trägheitshauptachse
eine Trägheitshauptachse und ein Schwerpunkt für das Objektmo
dell aufgefunden und mit der Lage und Position der erfaßten
Trägheitshauptachse in Übereinstimmung gebracht, wobei das
Objektmodell auf der Trägheitshauptachse gedreht wird, um eine
gewisse Übereinstimmung oder Angleichung zwischen dem Objekt
modell und dem Objekt aufzufinden, und eine dreidimensionale
Position und Lage des Objekts kann auf der Basis der Position
und Lage des Objektmodells erfaßt werden, wenn der Grad an
Übereinstimmung ein Maximum erreicht. Da die Position und
Lage der Trägheitshauptachse, die repräsentativ sind für die
Position und Lage des Objekts in dem dreidimensionalen Raum,
als feste Bezugsgrößen verwendet werden, d. h. da fünf oder
sechs Freiheitsgrade des Objekts in dem dreidimensionalen Raum
eingeschränkt sind, kann in diesem Fall die Position und
Lage des Objekts in dem dreidimensionalen Raum bei hoher Ge
schwindigkeit genau erfaßt werden.
Wie anhand eines in Fig. 20a gezeigten zweidimensionalen
Bildes I2 und eines in Fig. 20b gezeigten Abstandsbildes I3
zu sehen ist, ist dann, wenn eine Mehrzahl solcher, in Fig.
12 gezeigter Objekte gestapelt wird, eine vorhergesagte Höhe
einer Anwesenheitsposition eines zu erfassenden Objekts als eine
Vorverarbeitung festgesetzt, wobei eine Zone, die höher als
die vorausgesagte Höhe ist, ausgehend von dem Abstandsbild
I3 (siehe Fig. 21a) extrahiert wird und eine Zone, die die
gleiche Position wie in dem Bild besitzt, ausgehend von dem
zweidimensionalen Bild I2 (siehe Fig. 21b) extrahiert wird,
wie in Fig. 19 gezeigt. Danach bezieht sich die durch die
vorausgesagte Höhe eingeschränkte Zone auf ein zweidimensio
nales Bild I2′, und das Abstandsbild I3′ wird einer solchen
Verarbeitung unterzogen, wie sie oben erwähnt wurde (bei dem
dargestellten Beispiel, welche die gleiche wie die in Fig.
11 gezeigte Verarbeitung ist), um eine dreidimensionale Po
sition und Lage des Objekts zu bestimmen.
Ein solches dreidimensionales Objekterkennungsverfahren kann
auf Objektüberprüfungssituationen angewendet werden. Z. B.
zeigt Fig. 23 einen Fall, bei dem ein rechteckiger Pfosten 8
in ein rechteckiges Loch 70 eines Sockels 2 eingesetzt wird,
und es soll geprüft werden, ob der rechteckige Pfosten 8
senkrecht (θ = 90°) zum Sockel 2 in das rechteckige Loch
eingesetzt wurde oder nicht. Fig. 22 zeigt ein Flußdiagramm
zur Erläuterung der Wirkungsweise, wenn der zuvor genannte
Mustervergleich angewendet wird. D.h., ein solches, in Fig.
24a gezeigtes zweidimensionales Bild I2 und ein solches, wie
in Fig. 24b gezeigtes Abstandsbild I3 werden ausgehend von
Stereobildern zweier Fernsehkameras erhalten. Genauer wird
ein Kreis 80 (der durch eine Öffnung oder ein Schraubenloch
ersetzt werden kann) auf der Oberseite des rechteckigen Pfo
stens 8 als Erfassungsmuster verwendet, wobei eine Objektanwe
senheitszone in einer Weise eingeschränkt ist, die der der
vorhergehenden Ausführungsform gleichartig ist, wobei dann
eine Position und Lage des rechteckigen Pfostens 8 in dem
dreidimensionalen Raum erfaßt werden. Auf der Basis des Er
fassungsergebnisses wird eine Neigung θ des rechteckigen
Pfostens ermittelt, um zu entscheiden, ob der Einsetzungszu
stand gut ist oder nicht.
Die Fig. 25 bis 28 zeigen ein Beispiel eines Erfassungs
verfahrens, bei dem eine Position und Lage eines Objekts auf
der Basis eines Abstandteilbildes erfaßt werden, das durch
Verwendung des zuvor genannten Musters extrahiert wurde.
Liegt insbesondere ein solches Objekt 8 vor, wie es in der
Fig. 26 gezeigt ist, so wird ein der Oberseite des Objekts 8
entsprechendes Teilbild von einem Abstandsbild extrahiert,
das durch Photographieren des Objekts 8 auf der Basis der
Struktur erhalten wurde, und eine von dem Teilbild erhaltene
dreidimensionale Information wird auf eine Ebene angewendet,
um eine Ebene Pa aufzufinden, die die Oberseite des Objekts 8
in dem dreidimensionalen Raum, wie in Fig. 27 gezeigt, ent
hält. Die Ebene Pa erhält man beispielsweise durch Berechnen
von Koeffizienten a, b und c in der folgenden Gleichung
durch die Methode der kleinsten Quadrate:
ax + by + cz + 1 = 0
Als nächstes werden, wie in Fig. 27 gezeigt, dreidimensiona
le Positionen von Punkten auf der Oberseite des Objekts auf
einem Ursprung Po eines Kamerabild-Koordinatensystems so
gedreht, daß eine Normale Paz der Ebene Pa mit einer Z-Achse
des Bildkoordinatensystems zusammenfällt, wie in Fig. 28a
gezeigt, und die Positionen werden dann auf eine Ebene (in
diesem Fall eine X-Y-Ebene Pxy des obigen Bild-Koordinaten
systems) eines Bezugskoordinatensystems unter Verwendung von
x- und y-Koordinatenwerten der Punkte auf der Oberseite des
Objekts nach der Drehung projiziert. Ein auf diese Weise er
haltenes Projektionsbild und ein zuvor aufgezeichnetes Scha
blonenbild M (wie in Fig. 28b gezeigt) werden einem Muster
vergleich unterworfen, um eine Position und Lage des Objekts
des Projektionsbildes aufzufinden, wobei die aufgefundene
Objektposition einer inversen Transformation unterworfen wird,
um eine Position und Lage der Oberseite des Objekts vor der
obigen Drehung aufzufinden. Um die Position und Lage des
Objekts in dem zweidimensionalen Bild aufzufinden, wurde bei
dem dargestellten Beispiel der Mustervergleich mit dem Scha
blonenbild durchgeführt, es ist jedoch festzustellen, daß
ein anderes Verfahren wie etwa eine verallgemeinerte Hough-
Transformation verwendet werden kann.
Bei der vorhergehenden Ausführungsform wurde das zweidimen
sionale Bild ausgehend von dem gleichen Betrachtungspunkt
wie bei dem Abstandsbild erhalten, das durch ein Aufnehmen
des Objekts in dem dreidimensionalen Raum erhalten wurde, wo
bei die der Erfassungsoperation für die Position und Lage
des Objekts zu unterwerfende Zone extrahiert und beschränkt
wurde und die Trägheitshauptachse und der Schwerpunkt des
Objekts auf der Basis eines zweidimensionalen Bildes extra
hiert wurden. Besitzt das Objekt jedoch eine solche Form wie
etwa die eines Kreiszylinders, so wird ein Zylinderteil da
durch extrahiert, daß ein Randbild verwendet wird, und eine
Position, Lage und Radius des Kreises werden gemessen, um
eine Erkennung des Objekts mit höherer Geschwindigkeit durch
führen zu können.
In diesem Fall enthält ein System, wie in Fig. 29 gezeigt,
zwei Kameras 11 und 12 zum Photographieren eines Objekts 18,
das von einem Illuminator 19 beleuchtet wird, A/D-Wandler 13
und 14 zum Umwandeln analoger Bildsignale von den beiden
Kameras 11 und 12 in digitale Bildsignale, Bildspeicher 15
und 16 zum Speichern der digitalen Bildsignale, und einen
Prozessor 17, der mit den Bildspeichern 15 und 16 verbunden
ist. Mit diesem System wird eine parallele Stereoumwandlung
durch die Stereobildverarbeitung eines Randbildes durchge
führt, d. h. die beiden Kameras 11 und 12 werden hinsicht
lich ihrer Orientierung und Brennweite aufeinander abge
stimmt, wobei die Bildsignale so in Bilder umgewandelt wer
den, daß die entsprechenden Pixel der beiden Bilder bezüg
lich des Y-Koordinatenwertes zusammenfallen, um dadurch eine
wirksame entsprechende Punktprüfung zu verwirklichen, wobei
eine einer Abweichung zwischen den X-Koordinatenwerten der
beiden berechneten Bilder entsprechende Disparität von der
Kamera 11 photographiert und auf ein extrahiertes Randbild
(Stereobezugsbild) abgebildet wird, um ein Disparitätsbild
zu erzeugen. Ist ein Abstandsbild erforderlich, so ist zu
sätzlich eine Umwandlung von der Disparität zum Abstand vor
gesehen. Z. B. in dem Fall, daß kreiszylindrische Objekte 18a,
18b und 18c mit unterschiedlichen Höhen wie in Fig. 30 ge
zeigt angeordnet sind, werden dann, wenn die Objekte von ihrer
Oberseite her durch die beiden Kameras photographiert wer
den, ein solches Randbild IE für das Stereobezugsbild, wie
in Fig. 31a gezeigt, und ein solches Disparitätsbild ID, wie
in Fig. 31b gezeigt, erhalten. In Fig. 31b gibt eine dickere
Linie ein höheres Objekt an.
Die in den Bildspeichern 15 und 16 durch die Bilderfassung
gespeicherten Bilder werden der parallelen Stereowandlung
unterzogen, um ein Randbild und ein Gradientenrichtungsbild
auf der Basis des umgewandelten Bildes zu erhalten. Um Rän
der von den Bildern zu extrahieren, wird ein Sobel-Operator,
wie in Fig. 71 gezeigt, verwendet. Auf die Anwendung dieses
Operators hin wird die Mitte des Operators zu einem Objektpi
xel bewegt, wobei die Intensitätswerte der Pixel nahe dem
Objektpixel mit den Werten des Operators multipliziert werden,
wodurch Gradientengrößen Gx und Gy in den X- und Y-Richtun
gen, eine Gradientenintensität |G| und eine Gradientenrich
tung θ bezüglich aller Pixel berechnet werden. Gibt I(x, y)
die Intensität eines Pixels bei einem Koordinatenpunkt [x,
y] an, so werden die Gradientengrößen Gx und Gy in den X- und
Y-Richtungen durch die folgenden Gleichungen ausge
drückt:
Gx(x,y) = {I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)}
-{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)}
Gy(x,y) = {I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)}
-{I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)}
-{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)}
Gy(x,y) = {I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)}
-{I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)}
Unter Verwendung von Gx und Gy werden die Gradientenintensi
tät |G| und die Gradientenrichtung θ bei jeder Pixelposition
wie folgt aufgefunden: Bilder von Pixeln mit solchen Werten
werden als Gradientenintensitätsbild bzw. Gradientenrich
tungsbild bezeichnet.
|G| = (Gx²+Gy²)1/2
θ = tan-1(Gy/Gx)
θ = tan-1(Gy/Gx)
Nachdem ein Schwellenwert für den Wert der Gradienteninten
sität |G| bereitgestellt wurde und die Gradientenintensitä
ten für Pixel mit unter dem Schwellenwert liegenden Gradien
tenintensitäten auf θ gesetzt wurden, werden Punkte mit den
höchsten Gradientenintensitäten im Nahbereich, d. h. die
Gradientenintensitäten in Form einer Gratlinie, als Rand
punkte extrahiert, wobei ein solches Randbild IE erhalten
wird, wie es in Fig. 32a gezeigt ist. Ferner werden nur ge
krümmte Komponenten 321 und 322 von dem Randbild des Stereo
bezugsbildes, wie in Fig. 32b gezeigt, extrahiert, und eine
kreisförmige Komponente 322 wird von den extrahierten ge
krümmten Komponenten extrahiert, wie in Fig. 32c gezeigt.
Auf die vorhergehende Weise wird eine Disparität auf der
Basis der Stereorandbilder durch die Stereobildverarbeitung
berechnet, wobei die berechnete Disparität auf das Randbild
des Stereobezugsbildes abgebildet wird, um ein Disparitäts
bild zu erzeugen, wobei dreidimensionale Positionen an Punk
ten auf dem kreisförmigen Rand ausgehend von den entspre
chenden Teilen des kreisförmigen Disparitätsbildes berechnet
werden, das auf die zuvor genannte Weise extrahiert wurde,
und wobei eine mittlere Position und Lage eines Kreises auf
der Oberseite des kreiszylindrischen Objekts 18 auf der Basis
der berechneten dreidimensionalen Positionsinformation ge
messen werden, um eine Position und Lage des Objekts 18 zu
erkennen.
Die Extraktion nur der gekrümmten Komponenten ausgehend von
dem Randbild des Stereobezugsbildes kann beispielsweise
durch Extrahieren gerader Linien über eine Hough-Transfor
mation und dadurch erfolgen, daß Ränder, die innerhalb einer
vorbestimmten Entfernung von den extrahierten geraden Linien
vorliegen, gelöscht werden. Eine Erläuterung erfolgt in be
zug auf den Fall, daß drei Typen solcher Objekte 18a, 18b und
18c, wie in Fig. 35 gezeigt, entlang einer Fördereinrichtung
92 transportiert werden und das Objekt 18 eines von drei Typen
von solchen Objekten ist, und darauf bezogen, wie das Objekt aus
den drei Typen von Objekten auszuwählen ist. Wie in Fig. 37
gezeigt wird ein Randbild durch eine parallele Stereoumwand
lung und die Erzeugung eines Gradientengrößenbildes und ei
nes Gradientenrichtungsbildes erzeugt. In diesem Fall erfaßt
eine Kamera 11 zum Photographieren eines als Stereobezugs
bild zu verwendenden Bildes das Bild des Objekts 18 annähernd
rechts von seiner Oberseite, wobei ein solches Randbild wie
in Fig. 36a gezeigt erhalten wird. Wird das Randbild einer
Hough-Transformation unterworfen, um davon gerade Linien zu
extrahieren, und werden Ränder, die innerhalb einer vorbe
stimmten Entfernung von den extrahierten geraden Linien 126
und 127 liegen, gelöscht, so können die aus der Förderein
richtung 92 resultierenden Ränder 122 bis 125 gelöscht wer
den. Damit kann nur ein kreisförmiger Rand 121 auf der Ober
seite des Objekts extrahiert werden. Werden überdies dreidi
mensionale Positionen an Punkten auf dem kreisförmigen Rand
ausgehend von der Disparität des extrahierten Kreises be
rechnet, und werden eine mittlere Position und ein Radius
des Kreises der Oberseite des Objekts 18 ausgehend von der
berechneten dreidimensionalen Positionsinformation gemessen,
so kann das Objekt 18 als einer der drei Typen von in Fig. 35
gezeigten Objekten auf der Basis der gemessenen mittleren Po
sition (Höhe) und des Radius spezifiziert werden.
Besitzen die kreiszylindrischen Objekte 18, 18a, 18b und 18c
indessen geradlinige Komponenten in den Rändern ihrer Ober
seite, wie in den Fig. 38 und 39 gezeigt, so betrifft ein
alleiniges Löschen von Rändern, die innerhalb einer vorbe
stimmten Entfernung von extrahierten geraden Linien vorlie
gen, auch teilweise gekrümmte Teile. Um einen solchen Nach
teil zu vermeiden, ist, wie in den Fig. 40 und 41 ge
zeigt, vorgesehen, solche Ränder zu löschen, die innerhalb
einer vorbestimmten Entfernung von den extrahierten geraden
Linien 177, 178, 179, 17a, 17b und 17c liegen und Winkelwer
te innerhalb eines vorbestimmten Wertes ausgehend von 90°
bezüglich des Winkels zwischen ihrer Gradientenrichtung und
dem Richtungsvektor der geraden Linie besitzen. Dies ermög
licht ein Löschen von Rändern gerader Linien, während ein
teilweises Löschen eines kreisförmigen Randes 171, wie in
Fig. 40b gezeigt, vermieden wird.
Das Löschen geradliniger Komponenten von dem Randbild, wäh
rend Kurvenkomponenten beibehalten werden, kann durch ein
solches Verfahren, wie es in den Fig. 42 bis 45 gezeigt
ist, erfolgen. D.h. es werden Randpunkte ausgehend von ei
nem Randbild eines Stereobezugsbildes zum Speichern aufge
funden, wobei einen aufgefundenen Objektrandpunkt 201 umgebene
Punkte im Uhrzeigersinn von seiner rechten Seite aus aufge
sucht werden, um das Vorliegen eines weiteren Randpunkts,
wie in Fig. 43a gezeigt, aufzufinden, und wobei eine Spei
cheroperation für einen Randpunkt fortgesetzt wird, dessen
Gradientenrichtung von der Gradientenrichtung des zuvor ge
speicherten Randpunkts 201 um einen vorbestimmten Wert oder
weniger als der nächste Objektrandpunkt abweicht, bei Vorlie
gen des Randpunkts, bis kein Randpunkt an den Punkten um den
Objektrandpunkt 201 mehr aufgefunden wird, und wobei dann,
wenn die Anzahl solcher gespeicherter Randpunkte einen vor
bestimmten Wert überschreitet, solche Randpunkte in Rand
gruppen 431 bis 435, wie in Fig. 34b gezeigt, zusammenge
stellt werden. Für jede Randgruppe, wie in Fig. 44 gezeigt,
wird ein Winkel 224, der zwischen einem einen Randstartpunkt
221 und einen Mittelpunkt 222 verbindenden Abschnitt und
einem den Randstartpunkt 221 und einen Endpunkt 223 verbin
denden Abschnitt gebildet ist, überprüft, so daß dann, wenn
nur ein Rand verbleibt, bei dem der Winkel einen vorbestimm
ten Wert überschreitet, nur gebogene Ränder 431, 434 und
435, wie in Fig. 45a gezeigt, extrahiert werden können und
solche kreisförmigen Ränder 434, 435, wie sie in Fig. 45b
gezeigt sind, ausgehend von den Rändern der Fig. 45a extra
hiert werden können.
Die Extraktion kreisförmiger Ränder ausgehend von gekrümmten
Rändern kann auf die folgende Weise geschehen. Als erstes
wird bei einem in Fig. 46 gezeigten Verfahren der Umstand
ausgenutzt, daß das Objekt 18 auf seiner unteren Seite im we
sentlichen keine entsprechenden Teile in seinen linken und
rechten Bildern aufweist und sein Disparitätserfassungsver
hältnis sehr klein wird. Werden die berechneten Disparitäten
der gekrümmten Ränder 261, 262 und 263 ausgehend von einem
Randbild mit nur gekrümmten Rändern, wie in Fig. 47a ge
zeigt, geprüft, so werden die gekrümmten Ränder 262 und 263
in ihrer Disparität wie gezeigt nahezu durch ein binäres
Bild von Randpunkten mit den in Fig. 47b berechneten Dispa
ritäten berechnet. Da der gekrümmte Rand 261 keine entspre
chenden Teile in den linken und rechten Bildern aufweist und
seine Disparität noch nicht berechnet ist, wird, wenn ge
krümmte Ränder, deren bereits berechnete Disparitätsverhält
nisse kleiner als ein vorbestimmter Wert sind, gelöscht wer
den, der gekrümmte Rand 261 gelöscht, was dazu führt, daß
nur die gekrümmten Ränder 262 und 263 auf der Oberseite des
Objekts zurückbleiben können, wie in Fig. 47c gezeigt, von
denen die Ränder 262 und 263 extrahiert werden können, um
einen Kreis zu bilden.
Ist das Objekt 18 ringförmig, wie in Fig. 49 gezeigt, kann, da
die Oberseite des Objekts zwei kreisförmige Ränder besitzt,
nur einer (der kreisförmige Rand in Fig. 49) der kreisförmi
gen Ränder extrahiert werden. Genauer ist ein Randbild IE
für das Objekt 18 so, wie in Fig. 50a gezeigt, und dann, wenn
geradlinige Komponenten von dem Randbild gelöscht werden,
wird ein solches Randbild IE2 erhalten, wie es in Fig. 50b
gezeigt ist. Ist das Objekt 18 auf dem Hintergrund hell zu
sehen und ist eine Gradientenrichtung 335 eines Randes 331
für den Außenring in das Innere des Kreises gerichtet, wäh
rend eine Gradientenrichtung 336 eines Randes 332 für den
Außenring bezüglich des Kreises nach außen gerichtet ist,
wie in Fig. 51 gezeigt, so können Koeffizienten a und b und
eine Konstante r durch die Methode der kleinsten Quadrate in
Übereinstimmung mit der folgenden Anwendungsgleichung eines
richtigen Kreises aufgefunden werden:
x² + y² + ax + by + r = 0
Wird die Anwendungsgleichung eines richtigen Kreises auf den
einzelnen Rand 332 auf der Oberseite zur Berechnung eines
Mittelpunkts (-a/2-b/2) 334 des Kreises angewendet, so wird
jeder Punkt 339 der Punkte auf dem Rand eines richtigen
Kreises ausgewählt, wobei eine Richtung auf den berechteten
Mittelpunkt 334 des Kreises zu ausgehend von dem ausgewähl
ten Punkt 399 aufgefunden wird, und es wird ein solcher Rand
der Oberseite extrahiert, daß eine Abweichung zwischen der
Richtung 338 und der Gradientenrichtung 336 des ausgewählten
Punktes gleich einem vorbestimmten Wert (90°) oder kleiner
ist. Selbst bezüglich anderer Ränder 331, 33a, 33b, 33c,
33d, 33e und 33f der Oberseite als dem Rand 332 kann dann,
wenn die zuvor genannte Operation ausgeführt wird, um eine
Abweichung zwischen der Gradientenrichtung eines Punktes
eines jeden Randes und der Richtung ausgehend von dem Punkt
auf den Mittelpunkt des richtigen Kreises zu berechnen, und
wenn Ränder der Oberseite extrahiert werden, die solche Ab
weichungen von einem vorbestimmten Wert (90°) oder weniger
aufweisen, ein solches Randbild (IE3) eines Stereobildes,
bei dem die inneren kreisförmigen Ränder 332, 33a, 33c und
33e, wie in Fig. 50 gezeigt, entfernt wurden, erhalten wer
den. In diesem Zusammenhang werden, wenn der vorbestimmte
Wert für die Abweichung höher als 90° gewählt wird, die äu
ßeren kreisförmigen Ränder 331, 33b, 33d und 33f gelöscht,
während die inneren kreisförmigen Ränder 332, 33a, 33c und
33e übrigbleiben.
Bei einer in Fig. 52 gezeigten Ausführungsform wird dann,
wenn solche kreiszylindrischen Objekte 18 wie in Fig. 53 ge
zeigt, gestapelt werden und damit deren Randbild so ist, wie
dies in Fig. 54a dargestellt ist, das den höchsten Pegel
aufweisende Objekt der gestapelten Objekte erfaßt, um seine Po
sition und Lage zu messen. Unter einer Mehrzahl gekrümmter,
in dem Randbild vorliegender Ränder wird ein Rand ausge
wählt, der aufgrund seiner Stelle höchsten Pegels maximale
Disparität aufweist, und der ausgewählte Rand wird als Be
zugsrand 381 festgesetzt, wie dies in Fig. 54a gezeigt ist,
und es wird geprüft, ob der Bezugsrand 381 einen Teil eines
Kreises bildet oder nicht. Kann der Bezugsrand nicht als
Teil des Kreises betrachtet werden, so wird der Rand mit
einer Disparität weiter in der Nähe des Randes 381 als Be
zugsrand ausgewählt, und es wird geprüft, ob der Rand einen
Teil des Kreises bildet oder nicht. Die obige Operation wird
wiederholt, bis der Bezugsrand aufgefunden wird, der einen
Teil des Kreises bilden kann. Danach werden die weiteren
Ränder entsprechend der zunehmenden Größe des Abstands von
dem Bezugsrand 381 mit Bezugszeichen 382, 383 . . . bezeich
net, und in der obigen Zahlenfolge wird geprüft, ob die an
deren Ränder einen Teil des gleichen Kreises bilden oder
nicht. Und bestimmte Ränder, für die entschieden wurde, daß
sie einen Teil des gleichen Kreises wie der Bezugsrand bil
den, sind in der gleichen Gruppe wie der Bezugsrand enthal
ten. Einer solchen Verarbeitung werden auch die anderen Rän
der unterworfen, die Abstände eines vorbestimmten Wertes
oder weniger von dem Bezugsrand aufweisen, so daß die Ränder
381, 383, 384 und 386 mit dem gleichen Kreis wie in Fig.
54 b gezeigt auf der Basis zusammengesetzt werden, auf der
eine Position und Lage des Objekts 18 mit dem höchsten Pegel
erfaßt werden kann.
Bei einer Ausführungsform gemäß Fig. 55 wird ein Rand, der
aufgrund der Stelle höchsten Pegels des Objekts die größte
Disparität aufweist, von dem Randbild der Fig. 54a ausge
wählt, wobei der ausgewählte Rand als Bezugsrand 381 gewählt
wird, und wobei die anderen Ränder entsprechend zunehmender
Größe des Abstands von dem Bezugsrand 381 durch Bezugszei
chen 382, 383 . . . bezeichnet werden. Danach werden Koeffizi
enten a, b, h, g und f durch die Methode der kleinsten Qua
drate in Übereinstimmung mit der folgenden Gleichung (anzu
wenden auf eine Ellipse) aufgefunden:
ax² + by² + 2hxy + 2gx + 2fy = 1
Eine Ellipse wird auf den Bezugsrand 381 angewendet, um da
von den Mittenkoordinatenpunkt (xo, yo) zu berechnen. Wie in
Fig. 56 zu sehen ist, schneidet eine durch einen Punkt 417
des Bezugsrandes und einen Mittelpunkt 412 einer Ellipse 412
verlaufende gerade Linie 413 die Ellipse an zwei Schnitt
punkten 414 und 415, und dann, wenn ein Abstand 416 eines
414 der beiden Schnittpunkte, der näher am Randpunkt 417
liegt, von diesem bei irgendwelchen Punkten des Bezugsrandes
einen vorbestimmten Wert überschreitet, wird der Bezugsrand
nicht als Kreiskomponente betrachtet, und es wird willkür
lich ein nächster Bezugsrand ausgewählt. Überschreitet der
Abstand den vorbestimmten Wert dagegen nicht, so wird der
Bezugsrand als Kreiskomponente betrachtet, wobei der Bezugs
rand 381 mit dem Rand 382 in dessen Nähe kombiniert wird,
und wobei die Koeffizienten a, b, h, g und f in der folgen
den Gleichung durch die Methode der kleinsten Quadrate auf
gefunden werden, wodurch die Ellipse auf den Bezugsrand an
gewendet wird, um davon den Mittenkoordinatenpunkt (xo, yo)
zu berechnen. Und es werden Abstände zwischen den Punkten
des Bezugsrandes 381 und des Randes 382 in seiner Nähe und
der aufgefundenen Ellipse aufgefunden. Sind die aufgefunde
nen Abstände geringer als ein vorbestimmter Wert, so wird
entschieden, daß der Bezugsrand 381 und der Rand 382 in des
sen Nähe Teile des gleichen Kreises bilden. Ist lediglich
ein einziger der Abstände geringer als der vorbestimmte
Wert, so wird entschieden, daß die Ränder keinen Teil des
gleichen Kreises bilden, und der Bezugsrand 381 wird mit dem
nächsten Rand 383 in seiner Nähe kombiniert, um die zuvor
genannte Operation durchzuführen. Wird eine Reihe von Opera
tionen wiederholt, bevor zu kombinierende Ränder Null wer
den, so können dem gleichen Kreis angehörende Ränder in ei
nem kombiniert werden. In dieser Vereinigung läßt sich der
Mittenkoordinatenpunkt (xo, yo) der obigen Ellipse wie folgt
ausdrücken:
xo = (hf/bg)/(ab-h²)
yo = (hg/af)/(ab-h²)
yo = (hg/af)/(ab-h²)
Eine in Fig. 57 gezeigte Ausführungsform ist auch dazu be
stimmt, das den höchsten Pegel aufweisende Objekt einer Mehr
zahl von gestapelten, kreiszylindrischen Objekten 18, wie in
Fig. 58 gezeigt, zu erfassen. Fig. 59a zeigt ein Randbild IE
solcher Objekte der Fig. 58. Gemäß Fig. 59a entspricht ein
Bezugsrand 441 dem den höchsten Pegel aufweisenden Rand mit
der maximalen Disparität. In diesem Fall gemäß dem Verfahren
der obigen Ausführungsform kann dann, wenn der als Teil des
gleichen Kreises wie der Bezugsrand 441 zu erfassende Rand
442 aufgrund des geneigten Objekts oder dergleichen nicht er
faßt werden kann, fälschlicherweise entschieden werden, daß
der Rand 443 mit dem Bezugsrand 441 zu kombinieren ist. Bei
dem dargestellten Beispiel wird zur Vermeidung eines solchen
Fehlers dann, wenn gemäß dem Verfahren der obigen Ausfüh
rungsform entschieden wurde, daß der Bezugsrand 441 und der
Rand 443 Teil des gleichen Kreises bilden, die abschließende
Entscheidung über den gleichen Kreis erst dann getroffen,
wenn eine Abweichung innerhalb eines vorbestimmten Bereichs
zwischen der Richtung einer Normalen einer Ebene 453, her
gestellt unter Verwendung einer dreidimensionalen Informa
tion, die auf der Basis der Disparität zweier beliebiger
Punkte des Bezugsrandes 441 und eines beliebigen Punktes des
weiteren Randes 443 aufgefunden wurde, und der Richtung ei
ner Normalen einer Ebene 454 liegt, die unter Verwendung
einer dreidimensionalen Information erzeugt wurde, die auf
der Basis der Disparität zweier beliebiger Punkte des Randes
443 und eines beliebigen Punktes des Bezugsrandes 441 mit
Ausnahme der ausgewählten zwei Punkte aufgefunden wurde, wie
in Fig. 60 gezeigt. Durch die obige Operation kann der
kreisförmige Rand 441 der Oberseite des den höchsten Pegel
aufweisenden Objekts extrahiert werden, wie in Fig. 59b ge
zeigt.
Es wird nun die Operation nach der Extraktion der kreisför
migen Ränder der Oberseite des kreiszylindrischen Objekts er
läutert. Bei einer Ausführungsform gemäß den Fig. 61 bis
63, wie im Fall der Fig. 25, werden dreidimensionale Posi
tionen von Punkten auf der Basis der Disparität der extra
hierten Kreisränder berechnet, und Koeffizienten a, b und c
werden durch die Methode der kleinsten Quadrate in Überein
stimmung mit der folgenden Gleichung (auf eine Ebene anzu
wenden) berechnet:
ax + by + cz + 1 = 0
Dann wird eine die Oberseite des Objekts 18 enthaltende Ebene
Pa aufgefunden, wie in Fig. 62 gezeigt, und dreidimensionale
Positionen von Punkten auf der Oberseite des Objekts werden
auf dem Ursprung po eines Kamera-Koordinatensystems gedreht,
so daß eine Normale Paz der Ebene Pa mit der Z-Achse des
Kamera-Koordinatensystems zusammenfällt, wie in Fig. 63 ge
zeigt, und Koeffizienten a, b und eine Konstante r werden
durch die Methode der kleinsten Quadrate in Übereinstimmung
mit der folgenden Gleichung (auf den richtigen Kreis anzu
wenden) aufgefunden, um eine Mittenposition 491 und einen
Radius 492 des richtigen Kreises nach der Drehung zu berech
nen:
Fig. x² + y² + ax + by + r = 0
Fig. x² + y² + ax + by + r = 0
Bei dem dargestellten Beispiel wird das Kamera-Koordinaten
system als Bezugskoordinatensystem verwendet. Eine Mitten
position 486 des richtigen Kreises der Oberseite des Objekts
18 wird durch eine (zur vor der Drehung) inverse Transfor
mation der Mittenposition 491 des berechneten richtigen
Kreises berechnet, um eine Position, Lage und ein Radius des
Objekts 18 zu erhalten. Bei der Berechnung des richtigen Krei
ses nach der Drehung des Koordinatensystems werden Koeffizi
enten a, b, h, g und f in der obigen Ellipsen-Anwendungs
gleichung durch die Methode der kleinsten Quadrate aufgefun
den, und es erfolgt eine Umwandlung in eine Standardellipse,
um eine Position und Lage des Ellipsenzylinders sowie dessen
Haupt- und Nebenachse zu erhalten.
Bei einer Ausführungsform gemäß Fig. 64 werden dreidimensio
nale Positionen von Punkten auf der Oberseite des Objekts auf
dem Ursprung po des obigen Bildkoordinatensystems, wie oben
erwähnt, gedreht, so daß die Normale Paz der Ebene a mit der
Z-Achse des Koordinatensystems zusammenfällt, wonach solche
Randpunkte entfernt werden, so daß ein Abstand 493 (Abwei
chung von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa
von den Randpunkten des Kreises nach der Drehung in dem
dreidimensionalen Raum einen vorbestimmten Wert überschrei
tet. Unter Verwendung der x- und y-Koordinatenwerte von
Randpunkten der Oberseite des Objekts 18 nach der Drehung mit
Ausnahme der obigen Randpunkte werden Koeffizienten a und b
und eine Konstante r durch die Methode der kleinsten Quadra
te in Übereinstimmung mit der Anwendungsgleichung des rich
tigen Kreises aufgefunden, um eine Mittenposition 491 und
ein Radius 492 des richtigen Kreises nach der Drehung zu
berechnen. Hierbei wird das Kamera-Koordinatensystem als
Bezugskoordinatensystem verwendet. Und es wird eine Mitten
position 486 des richtigen Kreises der Oberseite des Objekts
18 durch eine (zu der vor der Drehung) inverse Transforma
tion der Mittenposition 491 des berechneten richtigen Krei
ses berechnet, um eine Position, Lage und einen Radius des
Objekts nach der Koordinatensystemdrehung zu erhalten. Bei der
Berechnung des richtigen Kreises nach der Koordinatensystem
drehung werden ferner Koeffizienten a, b, h, g und f durch
die Methode der kleinsten Quadrate in Übereinstimmung mit
der vorhergehenden Anwendungsgleichung einer Ellipse aufge
funden, und eine Position und Lage des elliptischen Zylin
ders sowie eine Haupt- und eine Nebenachse davon werden
durch eine Umwandlung in eine Standardellipse erhalten.
Bei einer Ausführungsform gemäß Fig. 65 werden dreidimensio
nale Positionen von Punkten auf der Oberseite des Objekts auf
dem Ursprung po des obigen Bildkoordinatensystems, wie oben
erwähnt so gedreht, daß die Normale Paz der Ebene Pa mit der
Z-Achse des Koordinatensystems zusammenfällt, wonach solche
Randpunkte entfernt werden, damit ein Abstand (Abweichung
von dem Z-Koordinatenwert) der aufgefundenen Ebene Pa von
den Randpunkten des Kreises nach der Drehung in dem dreidi
mensionalen Raum einen vorbestimmten Wert überschreitet,
wobei wiederum eine Ebene Pa in dem dreidimensionalen Raum,
der den Rand der Oberseite des kreiszylindrischen Objekts 18
enthält, durch die Methode der kleinsten Quadrate aufgefun
den wird, und dreidimensionale Positionen von Punkten der
Oberseite des Objekts werden auf dem Ursprung po des Kamera-
Koordinatensystems gedreht, so daß die Normale Paz der auf
gefundenen Ebene Pa mit der Z-Achse des Koordinatensystems
zusammenfällt. Danach werden unter Verwendung der x- und y-
Koordinatenwerte von Randpunkten der Oberseite des Objekts 18
nach der Drehung mit Ausnahme der obigen Randpunkte Koeffi
zienten a und b und eine Konstante r durch die Methode der
kleinsten Quadrate in Übereinstimmung mit der Anwendungs
gleichung des richtigen Kreises aufgefunden, um eine Mitten
position 491 und einen Radius 491 des richtigen Kreises nach
der Drehung zu berechnen. Und es wird eine Mittenposition
486 des richtigen Kreises der Oberseite des Objekts 18 durch
eine (zu der vor der Drehung) inverse Transformation der
Mittenposition 491 des berechneten richtigen Kreises berech
net, um eine Position, Lage und einen Radius des Objekts 18
nach der Koordinatensystemdrehung zu erhalten. Selbst in
diesem Fall werden bei der Berechnung des richtigen Kreises
nach der Koordinatensystemdrehung weitere Koeffizienten a,
b, h, g und f durch die Methode der kleinsten Quadrate in
Übereinstimmung mit der zuvor genannten Anwendungsgleichung
einer Ellipse aufgefunden, und eine Position und Lage des
elliptischen Zylinders sowie eine Haupt- und Nebenachse da
von werden durch Umwandlung in eine Standardellipse erhal
ten.
Bei einer Ausführungsform gemäß Fig. 66 werden dreidimensio
nale Positionen von Punkten auf der Basis der Disparität der
extrahierten Kreisränder berechnet, wie oben erwähnt, und es
werden Koeffizienten a, b und c durch die Methode der klein
sten Quadrate in Übereinstimmung mit der zuvor erwähnten
Anwendungsgleichung einer Ebene berechnet, um eine Ebene Pa
aufzufinden, die die Oberseite des Objekts 18 enthält. Ferner
wird, wie in Fig. 67 gezeigt, eine den richtigen Kreis der
Oberseite eines Objekts 18 enthaltende Kugel 531 in einem
dreidimensionalen Raum durch die Methode der kleinsten Qua
drate aufgefunden. Wird eine Kugel verwendet, so wird nicht
allein die Kugel bestimmt, da der richtige Kreis der Ober
seite auf der gleichen Ebene vorliegt. Der Mittelpunkt der
Kugel ist jedoch in dem Maß beschränkt, daß er auf einer
geraden Linie vorliegt, die senkrecht zu der obigen Ebene Pa
ist und durch den Mittelpunkt des richtigen Kreises ver
läuft, der auf der Ebene vorliegt. Da überdies die aufgefun
dene Kugel irgendeine beliebige Kugel sein kann, solange ihr
Radius größer als der richtige Kreis der Oberseite ist und
die Kugel den richtigen Kreis der Oberseite enthält, kann
die Kugel bestimmt werden, wenn ein beliebiger Wert irgend
einer Mittenkoordinatenachse der Kugel festgelegt ist. Bei
der vorliegenden Ausführungsform wurde der Z-Koordinatenwert
des Mittelpunkts der Kugel auf einen Z-Koordinatenwert co
festgelegt, der um mehr als den Radius des richtigen Kreises
von den Z-Koordinatenwerten der Objektanwesenheitszone ab
weicht. In anderen Worten wurde eine Gleichung für die Kugel
wie folgt dargestellt, um Koeffizienten a und b und eine
Konstante R durch die Methode der kleinsten Quadrate aufzu
finden:
x² + y² + z² + ax + by - 2coz + R = 0
Ein Mittelpunkt 533 des richtigen Kreises der Oberseite des
kreiszylindrischen Objekts 18 wird dadurch aufgefunden, daß
ein Schnittpunkt zwischen der Ebene Pa und einer geraden
Linie berechnet wird, die durch einen Mittelpunkt 532 der
Kugel verläuft und den gleichen Richtungsvektor wie ein
normaler Vektor 537 der Ebene Pa aufweist. Ein Radius 534
wird dadurch aufgefunden, daß ein Quadrat eines Abstands 536
zwischen dem Mittelpunkt der Kugel und dem Mittelpunkt des
richtigen Kreises von einem Quadrat eines Radius 535 der
Kugel subtrahiert wird, um eine Subtraktion zu erhalten, und
dann durch Auffinden einer Quadratwurzel der Subtraktion.
Entsprechend können selbst in diesem Fall eine Position,
Lage und ein Radius des Objekts 18 aufgefunden werden.
Eine Ausführungsform gemäß den Fig. 68 bis 70 zeigt ein
Beispiel, bei der die Erfindung auf eine automatische Mon
tagearbeit angewendet wird. Genauer und wie in Fig. 69 ge
zeigt, werden dann, wenn ein Teil 541 mit zwei Löchern und
ein Teil 542 mit zwei Vorsprüngen mit Hilfe eines Roboters
zusammengebaut werden sollen, die Löcher und Vorsprünge er
faßt, um Positionen und Lagen davon zu erfassen, das heißt
um Positionen und Lagen der Teile 541 und 542 zu erfassen.
Insbesondere werden ein Randbild IE (siehe Fig. 70a) eines
Stereobezugsbildes, ein Gradientenrichtungsbild und ein Dis
paritätsbild erzeugt, und gekrümmte Ränder werden von dem
Randbild extrahiert, das heißt es werden vier solche kreis
förmigen Ränder 701 bis 704, wie sie in Fig. 70b gezeigt
sind, extrahiert. Werden die Richtung eines den Mittelpunkt
und Mittelpunkte entsprechender vier Kreise 543 bis 546 in
einem dreidimensionalen Raum verbindenden Abschnitts sowie
die Richtung einer Normalen einer Ebene, die durch die bei
den Kreise definiert ist, ausgehend von den vier Kreisrän
dern berechnet, so werden die Position und Lage des Teils
542 mit den beiden Vorsprüngen bestimmt. Wird eine entspre
chende Operation für die verbleibenden zwei Kreise durchge
führt, so werden die Position und Lage des Teils mit den
beiden Löchern bestimmt.
Gemäß der zuvor erläuterten Erfindung wird ein zweidimensio
nales Bild ausgehend von dem gleichen Beobachtungspunkt wie
ein Abstandsbild erhalten, das durch Fotografieren eines
Objekts in einem dreidimensionalen Raum erhalten wird, wobei
ein Teilbild in dem zweidimensionalen Bild spezifiziert
wird, wobei das spezifizierte zweidimensionale Teilbild auf
das Abstandsbild angewendet wird, um ein Teilbild von dem
Abstandsbild zu extrahieren, und wobei eine Objekterfassungs
operation über das Abstandsteilbild ausgeführt wird. Das
heißt, bei der Objekterfassungsoperation wird eine Anwesen
heitszone des der Erfassung unterliegenden Objekts in dem Ab
standsbild zuvor durch Verwendung des zweidimensionalen Bil
des beschränkt, und die Objekterfassungsoperation wird über
ein Abstandsteilbild der beschränkten Zone durchgeführt. Im
Ergebnis ist festzustellen, daß mit der Erfindung im Ver
gleich zum Stand der Technik mit der Ausführung einer Erfas
sungsoperation über sämtliche Zonen des Abstandsbildes eine
relativ schnelle Erfassungsoperation durchgeführt werden
kann.
Claims (21)
1. Verfahren zur Erkennung der Position und Lage eines Ob
jekts im dreidimensionalen Raum, bei dem ein räumliches Ab
standsbild verwendet wird, das durch Aufnehmen des Objektes
im dreidimensionalen Raum erhalten wird, dadurch gekenn
zeichnet, daß
- - ein Flächenbild (I2) des Objekts vom gleichen Aufnahme punkt aus erhalten wird wie das räumliche Abstandsbild (I3),
- - ein Teilbild des erhaltenen Flächenbildes (I2) spezifi ziert wird,
- - ein Teilbild des räumliches Abstandsbildes an einer Posi tion in dem räumlichen Abstandsbild extrahiert wird, die der Position des spezifizierten Teilbildes in dem Flächenbild entspricht, und
- - das Teilbild des räumlichen Abstandsbildes für die Erken nung verarbeitet wird.
2. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi
fizierens des Teilbildes für das Flächenbild auf der Basis
eines Formmusters ausgeführt wird.
3. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi
fizierens des Teilbildes für das Flächenbild auf der Basis
statistischer Bildstrukturmerkmale ausgeführt wird.
4. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi
fizierens des Teilbildes für das Flächenbild auf einer Farb- oder
Helligkeitsbasis ausgeführt wird.
5. Verfahren nach Anspruch 1, bei dem der Schritt des Spezi
fizierens des Teilbildes für das Flächenbild auf der Basis
eines zweidimensionalen geometrischen Merkmals ausgeführt
wird, das von dem dreidimensionalen geometrischen Merkmal
des Objekts abgeleitet wird.
6. Verfahren nach Anspruch 1, bei dem als Vorverarbeitungs
schritt eine spezifizierte Zone, die eine spezifizierte Höhe
angibt, von dem räumlichen Abstandsbild extrahiert wird und
das Teilbild von einem Flächenbild für die spezifizierte
Zone spezifiziert wird.
7. Verfahren nach Anspruch 1, bei dem bei der Objekterfas
sungsoperation eine von einem räumlichen Abstandsteilbild
erhaltene dreidimensionale Information auf eine Ebene ange
wendet wird, die dreidimensionale Information auf einem Ur
sprung eines Kamera-Koordinatensystems gedreht wird, um da
für zu sorgen, daß eine Normale der Ebene mit einer Z-Achse
des Kamera-Koordinatensystems zusammenfällt, die dreidimen
sionale Information nach der Drehung auf eine X-Y-Ebene des
Koordinatensystems projiziert wird und ein Projektionsbild
mit einem zuvor aufgezeichneten Modell kollationiert wird,
um eine temporäre Position und Lage des Objekts aufzufinden,
und die temporäre Position und Lage einer inversen Transfor
mation unterworfen werden, um eine Position und Lage des
Objekts vor der Drehung zu berechnen.
8. Verfahren zur Erkennung der Position und Lage eines Ob
jekts mit einer Kreisform im dreidimensionalen Raum, bei dem
ein räumliches Abstandsbild verwendet wird, das durch Auf
nehmen des Objekts im dreidimensionalen Raum erhalten wird,
dadurch gekennzeichnet, daß
- - ein Stereo-Randeffektbild und ein Dichtegradientenbild des Objekts (18) über ein Graustufenbild erhalten werden, indem das Objekt (18) von mehreren Richtungen (11, 12) aus aufge nommen wird,
- - das Stereo-Randeffektbild so verarbeitet wird, daß über ein Bezugsrandeffektbild (IE) und andere übrige Randeffekt bilder ein Parallaxenbild (ID) als räumliches Abstandsbild erhalten wird,
- - das Bezugsrandeffektbild (IE) verarbeitet wird, um daraus die Komponenten (321) mit gekrümmten Rändern und darüber hinaus aus den Komponenten mit gekrümmten Rändern eine Kreis-Komponente (322) zu extrahieren, und
- - die Position und Lage der extrahierten Kreis-Komponente (322) unter Verwendung einer dreidimensionalen Information erkannt wird, die von dem Parallaxenbild (ID) unter Bezug auf die entsprechenden Randeffektpunkte der extrahierten Kreiskomponente erhalten wurde.
9. Verfahren nach Anspruch 8, bei dem gerade Linien von dem
Bezugsrandeffektbild extrahiert werden und Ränder in der
Nähe der extrahierten geraden Linien gelöscht werden, um nur
die gekrümmten Ränder zu extrahieren.
10. Verfahren nach Anspruch 8, bei dem gerade Linien von dem
Bezugsrandeffektbild extrahiert werden und Ränder, die nahe
bei den extrahierten geraden Linien angeordnet sind und Win
kel von annähernd 90° zwischen ihrer Gradientenrichtung und
dem Richtungsvektor gerader Linien besitzen, gelöscht wer
den, um nur die gekrümmten Ränder zu extrahieren.
11. Verfahren nach Anspruch 8, bei dem bei der Extraktion
nur gekrümmter Ränder von dem Bezugsrandeffektbild ein Rand
punkt in dem Bezugsrandeffektbild als Objektrandpunkt fest
gesetzt wird, Punkte, die den Objektrandpunkt umgeben, auf
gesucht werden, um einen nächsten Randpunkt aufzufinden, die
Operation einer Registrierung desjenigen aufgesuchten Rand
punkts als nächster Objektrandpunkt, der eine Abweichung von
einem vorbestimmten Wert oder weniger zwischen einer Gra
dientenrichtung des aufgesuchten Randpunkts und eine Gradi
entenrichtung des Objektrandpunkts aufweist, fortgesetzt
wird, bis kein nächster Objektrandpunkt um den Objektrand
punkt aufgefunden werden kann, Kurven- oder geradlinige Rän
der gruppiert werden und nur die gekrümmten Ränder von einer
Verteilung von Randpunkten in einer identischen Gruppe ex
trahiert werden.
12. Verfahren nach Anspruch 8, bei dem bei der Extraktion
eines Kreises von gekrümmten Rändern von den extrahierten
Kurvenrändern Ränder mit einer vorbestimmten Anzahl oder
einem vorbestimmten prozentualen Anteil von Randpunkten mit
berechneten Disparitäten extrahiert werden, um einen Kreis
zu extrahieren.
13. Verfahren nach Anspruch 8, bei dem ein Kreis auf extra
hierte Kurvenränder durch die Methode der kleinsten Quadrate
angewendet wird, um einen Mittelpunkt des Kreises zu berech
nen, von den Kurvenrändern Ränder mit in einem vorbestimmten
Bereich liegenden Werten einer Abweichung zwischen einer
Richtung von einem Randpunkt des Kurvenrandes zu dem Mittel
punkt des Kreises und einer Gradientenrichtung des Rand
punkts extrahiert werden und der Kreis von den extrahierten
Kurvenrändern extrahiert wird.
14. Verfahren nach Anspruch 8, bei dem bei der Kombination
extrahierter Kurvenränder zur Bildung eines Kreises die Kur
venränder entsprechend zunehmender Größe eines Abstands zwi
schen den Kurvenrändern kombiniert werden, um den Kreis in
einem Bild zu erzeugen, und von den Kurvenrändern Ränder mit
dazwischen vorgesehenen Abständen von einem vorbestimmten
Wert oder größer nicht zur Erzeugung des Kreises verwendet
werden.
15. Verfahren nach Anspruch 14, bei dem dann, wenn der Kreis
durch die Methode der kleinsten Quadrate von den zweidimen
sionalen Daten der kombinierten Kurvenränder aufgefunden
wurde und nur dann, wenn entsprechende Punkte der kombinier
ten Kurvenränder einen Abstand von dem aufgefundenen Kreis
innerhalb eines vorbestimmten Abstandsbereichs aufweisen,
entschieden wird, daß die kombinierten Kurvenränder auf dem
gleichen Kreis liegen und den Kreis bilden.
16. Verfahren nach Anspruch 8, bei dem die beiden Kurvenrän
der, für die entschieden wurde, daß sie einen Kreis bilden
können, nur dann so beurteilt werden, daß sie in dem glei
chen Kreis liegen und den Kreis bilden, wenn eine Abweichung
zwischen einer Normalen einer Ebene, die unter Verwendung
einer dreidimensionalen Information definiert wurde, die auf
der Basis von Disparitäten zwischen zwei Punkten des ersten
Kurvenrandes und einem Punkt des zweiten Randes aufgefunden
wurde, und einer Normalen einer Ebene, die unter Verwendung
einer dreidimensionalen Information definiert wurde, die auf
der Basis von Disparitäten zwischen zwei Punkten des zweiten
Kurvenrandes und einem Punkt des ersten Kurvenrandes mit
Ausnahme der ausgewählten zwei Punkte aufgefunden wurde,
innerhalb eines vorbestimmten Wertbereichs liegt.
17. Verfahren nach Anspruch 8, bei dem eine Ebene, auf die
Kreisränder angewendet werden, unter Verwendung einer drei
dimensionalen Information von Punkten auf den extrahierten
Kreisrändern aufgefunden wird, die dreidimensionale Informa
tion auf einem Ursprung eines Kamera-Koordinatensystems ge
dreht wird, um zu bewirken, daß eine Normale der aufgefun
denen Ebene mit einer Z-Achse des Kamera-Koordinatensystems
zusammenfällt, ein Mittelpunkt und ein Radius des Kreises
durch die Methode der kleinsten Quadrate unter Verwendung
von X- und Y-Koordinatenwerten der Kreisränder nach der Dre
hung berechnet werden und die berechneten Koordinatenwerte
einer inversen Transformation unterworfen werden, um eine
Position und Lage des Objekts vor der Drehung zu bestimmen.
18. Verfahren nach Anspruch 17, bei dem eine Ebene, auf die
Kreisränder angewendet werden, aufgefunden wird, Kreisrand
punkte, die Punkten entsprechen, die durch einen vorbestimm
ten Abstand oder mehr in einem dreidimensionalen Raum beab
standet sind, von der aufgefundenen Ebene entfernt werden
und ein Mittelpunkt und ein Radius des Kreises berechnet
werden.
19. Verfahren nach Anspruch 18, bei dem eine Ebene, auf die
Kreisränder angewendet werden, aufgefunden wird, Kreisrand
punkte, die Punkten entsprechen, die durch einen vorbestimm
ten Abstand oder mehr in einem dreidimensionalen Raum beab
standet sind, von der aufgefundenen Ebene entfernt werden
und wiederum eine Ebene aufgefunden wird, auf die Kreisrän
der angewendet werden, die durch verbleibende Kreisrandpunk
te bestimmt sind, und die aufgefundene Ebene gedreht wird.
20. Verfahren nach Anspruch 8, bei dem extrahierte Kreisrän
der auf eine Ebene und eine Kugel in einem dreidimensionalen
Raum angewendet werden, um eine Mittenposition und einen
Radius eines richtigen Kreises von einem Querschnitt der
Kugel zu berechnen, der durch eine Schnittebene zwischen der
Ebene und der Kugel definiert ist.
21. Verfahren nach Anspruch 8, bei dem eine Position und
Lage des Objekts auf der Basis einer Größe des erfaßten K-
reises und einer Positionsbeziehung davon in einem dreidi
mensionalen Raum erfaßt und erkannt werden.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6317279A JP2919284B2 (ja) | 1994-02-23 | 1994-12-20 | 物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19506328A1 DE19506328A1 (de) | 1995-08-24 |
DE19506328C2 true DE19506328C2 (de) | 1997-06-12 |
Family
ID=18086464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19506328A Expired - Fee Related DE19506328C2 (de) | 1994-12-20 | 1995-02-23 | Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19506328C2 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19737523A1 (de) * | 1997-08-28 | 1999-03-04 | Foerderverein Inst Fuer Medizi | Verfahren zur Erkennung der Position eines Objektes mit rotationssymmetrischem Querschnitt |
DE102009042476A1 (de) | 2008-09-25 | 2010-04-01 | Volkswagen Ag | Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeugs mittels einer Stereokamera |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2259411A1 (en) * | 1997-05-05 | 1998-11-12 | Shell Oil Company | Visual recognition method |
DE10126375B4 (de) * | 2001-05-30 | 2004-03-25 | Humanscan Gmbh | Verfahren und System zur Erkennung von Objekten |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02230478A (ja) * | 1989-03-03 | 1990-09-12 | Nec Corp | 3次元物体認識方式 |
JPH0454409A (ja) * | 1990-06-25 | 1992-02-21 | Nippon Telegr & Teleph Corp <Ntt> | 物体の姿勢推定方法およびその装置 |
JPH0629695A (ja) * | 1992-07-08 | 1994-02-04 | Taiyo Yuden Co Ltd | 電子部品実装機 |
-
1995
- 1995-02-23 DE DE19506328A patent/DE19506328C2/de not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19737523A1 (de) * | 1997-08-28 | 1999-03-04 | Foerderverein Inst Fuer Medizi | Verfahren zur Erkennung der Position eines Objektes mit rotationssymmetrischem Querschnitt |
DE19737523C2 (de) * | 1997-08-28 | 2000-02-03 | Foerderverein Inst Fuer Medizi | Verfahren zur Erkennung der Position eines Objektes mit rotationssymmetrischem Querschnitt |
DE102009042476A1 (de) | 2008-09-25 | 2010-04-01 | Volkswagen Ag | Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeugs mittels einer Stereokamera |
DE102009042476B4 (de) | 2008-09-25 | 2022-12-22 | Volkswagen Ag | Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeugs mittels einer Stereokamera |
Also Published As
Publication number | Publication date |
---|---|
DE19506328A1 (de) | 1995-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014016069B4 (de) | Vorrichtung und Verfahren zum Aufnehmen eines Gegenstandes im 3- dimensionalen Raum mit einem Roboter | |
DE60124604T2 (de) | Stereobildmessvorrichtung | |
DE112016006262B4 (de) | Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen | |
DE69127968T2 (de) | Dreidimensionales echtzeit-sensorsystem | |
DE10080012B4 (de) | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens | |
DE102006055758B4 (de) | Verfahren zur Kalibrierung von Kameras und Projektoren | |
EP2584493B1 (de) | Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess | |
DE102015015194A1 (de) | Bildverarbeitungsvorrichtung und -verfahren und Programm | |
DE102015011914A1 (de) | Konturlinienmessvorrichtung und Robotersystem | |
DE10297444T5 (de) | Bestückungsmaschine mit Bauteilplazierungskontrolle | |
DE19936364A1 (de) | Verfahren zur Identifizierung und Lokalisierung von Marken in einem 3D-Volumendatensatz | |
DE102012112322A1 (de) | Verfahren zum optischen Abtasten und Vermessen einer Umgebung | |
DE102015005267A1 (de) | Informationsverarbeitungsvorrichtung, Verfahren dafür und Messvorrichtung | |
DE102017116853A1 (de) | System und Verfahren zur automatischen Auswahl von 3D-Ausrichtungsalgorithmen in einem Sehsystem | |
DE19525561C2 (de) | 3D-Meßvorrichtung | |
DE102021107333A1 (de) | 3d-stellungsabschätzung mit einer 2d-kamera | |
DE10254435A1 (de) | Verfahren und Vorrichtung zur dreidimensionalen Kantenerkennung mit Z-Höhenjustierung | |
DE112010002677T5 (de) | Verfahren und vorrichtung zum bestimmen einer formübereinstimmung in drei dimensionen | |
DE102017212371A1 (de) | Bestimmung einer Marke in einem Datensatz mit mittels zumindest eines Laserscanners erfassten dreidimensionalen Oberflächen-Koordinaten einer Szene | |
DE102021107351A1 (de) | System zur eigenschaftserkennung durch deep-learning und vektorfeldschätzung | |
DE102018123717B4 (de) | Kalibriervorlage und Kalibrierverfahren zum geometrischen Kalibrieren einer Vielzahl von Kameras eines Kamera-Arrays | |
EP1022541A2 (de) | Verfahren und Vorrichtung zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon | |
DE19506328C2 (de) | Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum | |
DE102021107479A1 (de) | Erfassung einer dreidimensionalen pose durch mehrere 2d-kameras | |
DE10297595T5 (de) | Verfahren zum automatischen Definieren eines Teilemodells |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20140902 |