DE102020201379A1 - Konturerkennungsvorrichtung, konturerkennungssystem und konturerkennungsverfahren - Google Patents

Konturerkennungsvorrichtung, konturerkennungssystem und konturerkennungsverfahren Download PDF

Info

Publication number
DE102020201379A1
DE102020201379A1 DE102020201379.9A DE102020201379A DE102020201379A1 DE 102020201379 A1 DE102020201379 A1 DE 102020201379A1 DE 102020201379 A DE102020201379 A DE 102020201379A DE 102020201379 A1 DE102020201379 A1 DE 102020201379A1
Authority
DE
Germany
Prior art keywords
distance
image
target
contour
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020201379.9A
Other languages
English (en)
Inventor
Yuuji TAIRA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102020201379A1 publication Critical patent/DE102020201379A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Es wird eine Technik vorgesehen, die auch bei einem transparenten Ziel die Kontur des Ziels genau erfassen kann. Eine Konturerkennungsvorrichtung umfasst: eine Projektionseinheit, die ein Musterlicht projiziert; eine Lichtmengen-Einstelleinheit, die die Lichtmenge des Musterlichts der Projektionseinheit einstellt; zwei Bildaufnahmeeinheiten, die das Ziel und die Platzierungsfläche aus verschiedenen Perspektiven aufnehmen; eine Distanzberechnungseinheit, die eine Distanz an jeder zweidimensionalen Position aus einer Parallaxe von zwei Bildern berechnet; eine Bilderzeugungseinheit, die ein Distanzbild erzeugt, das mittels eines Gradienten eine Distanz von einer maximalen Distanz bis zu einer minimalen Distanz an jeder zweidimensionalen Position ausdrückt und eine Position, an der die Distanz nicht durch die Distanzberechnungseinheit berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche wiedergibt; und eine Konturextraktionseinheit, die eine Kontur des Ziels durch eine Bildverarbeitung auf dem Distanzbild extrahiert; wobei die Lichtmengen-Einstelleinheit die Lichtmenge der Projektionseinheit derart einstellt, dass durch die Distanzberechnungseinheit die Distanz wenigstens der Kontur des Ziels nicht berechnet werden kann und die Distanz der Platzierungsfläche berechnet werden kann; und wobei die Bilderzeugungseinheit ein Bild derart erzeugt, dass eine maximale Distanz in dem Gradientenausdruck des Distanzbilds eine Distanz wird, die größer als die Distanz der Platzierungsfläche ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • Erfindungsfeld
  • Die vorliegende Erfindung betrifft eine Konturerkennungsvorrichtung, ein Konturerkennungssystem und ein Konturerkennungsverfahren.
  • Stand der Technik
  • In einem Werk oder ähnlichem wird eine Ausstattung verwendet, die mittels einer Kamera ein auf einem Förderband platziertes und befördertes Werkstück erfasst, die Kontur (das Profil) des Werkstücks durch eine Bildverarbeitung erkennt und das Werkstück durch einen Roboterarm oder ähnliches aufgreift. Wenn bei einer derartigen Ausstattung die Farbe des Werkstücks (Ziel) und die Farbe des Förderbands (Hintergrund) sehr ähnlich sind oder das Werkstück transparent ist (eine relativ hohe Lichtdurchlässigkeit aufweist), kann die Kontur des Werkstücks unter Umständen nicht genau durch die Bildverarbeitung erkannt werden.
  • Für die Erkennung der Kontur des Werkstücks wurde vorgeschlagen, die Distanz zu dem Abbildungsobjekt an jeder zweidimensionalen Position (Pixel) eines durch die Kamera aufgenommenen Bilds zu messen und ein Distanzbild, das die Farbe jedes Pixels als eine Farbe (z.B. eine Schattierung) in Entsprechung zu der Distanz anzeigt, zu verwenden. Als eine Technik für das Erhalten eines derartigen Distanzbilds ist eine dreidimensionale Messtechnik bekannt, die ein Musterlicht auf die Oberfläche des Messobjekts projiziert, Bilder des auf die Oberfläche des Ziels projizierten Musterlichts durch zwei an verschiedenen Positionen angeordnete Kameras aufnimmt und eine Distanz zu dem Ziel an jedem Pixel des aufgenommenen Bilds basierend auf einer Parallaxe zwischen den durch die zwei Kameras aufgenommenen Bildern berechnet (siehe zum Beispiel das Patentdokument 1).
  • Patentdokument 1: Ungeprüfte japanische Patentanmeldung mit der Veröffentlichungsnummer 2001-285762
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Wenn bei einer dreidimensionalen Messtechnik, die ein Musterlicht auf eine Zieloberfläche projiziert, das Ziel transparent ist, kann unter Umständen das auf die Zieloberfläche projizierte Muster nicht erkannt werden und kann somit die Distanz nicht berechnet werden. Aus diesem Grund ist eine Technik wünschenswert, mit der die Kontur eines transparenten Ziels genau erfasst werden kann.
  • Eine Konturerkennungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung ist eine Konturerkennungsvorrichtung zum Erkennen einer Kontur eines auf einer Platzierungsfläche angeordneten Ziels und umfasst: eine Projektionseinheit, die ein Musterlicht auf das Ziel und die Platzierungsfläche projiziert; eine Lichtmengen-Einstelleinheit, die die Lichtmenge des Musterlichts der Projektionseinheit einstellt; zwei Bildaufnahmeeinheiten, die Bilder, die das von dem Ziel und der Platzierungsfläche reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven aufnehmen; eine Distanzberechnungseinheit, die eine Distanz zu dem Ziel und der Platzierungsfläche an jeder zweidimensionalen Position aus einer Parallaxe von durch die zwei Bildaufnahmeeinheiten aus verschiedenen Perspektiven aufgenommenen Bildern berechnet; eine Bilderzeugungseinheit, die ein Distanzbild erzeugt, das mittels eines Gradienten die durch die Distanzberechnungseinheit berechnete Distanz von einer maximalen Distanz bis zu einer minimalen Distanz an jeder zweidimensionalen Position ausdrückt und eine Position, an der die Distanz nicht durch die Distanzberechnungseinheit berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche wiedergibt; und eine Konturextraktionseinheit, die eine Kontur des Ziels durch eine Bildverarbeitung auf dem durch die Bilderzeugungseinheit erzeugten Distanzbild extrahiert; wobei die Lichtmengen-Einstelleinheit die Lichtmenge der Projektionseinheit derart einstellt, dass durch die Distanzberechnungseinheit die Distanz wenigstens der Kontur des Ziels nicht berechnet werden kann und die Distanz der Platzierungsfläche berechnet werden kann; und wobei die Bilderzeugungseinheit ein Bild derart erzeugt, dass eine maximale Distanz in dem Gradientenausdruck des Distanzbilds eine Distanz wird, die größer als die Distanz der Platzierungsfläche ist.
  • Ein Konturberechnungsverfahren gemäß einem anderen Aspekt der vorliegenden Erfindung ist ein Verfahren zum Erkennen der Kontur eines auf einer Platzierungsfläche angeordneten Ziels, wobei das Verfahren die folgenden Schritte umfasst: Projizieren eines Musterlichts auf das Ziel und die Platzierungsfläche; Aufnehmen von Bildern, die das von dem Ziel und der Platzierungsfläche reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven; Berechnen einer Distanz zu dem Ziel und der Platzierungsfläche an jeder zweidimensionalen Position aus einer Parallaxe von zwei aus den verschiedenen Perspektiven aufgenommenen Bildern; Erzeugen eines Distanzbilds, das mittels eines Gradienten die aus den zwei Bildern an jeder zweidimensionalen Position berechnete Distanz ausdrückt und eine Position, an der die Distanz in dem Schritt zum Berechnen der Distanz nicht berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche wiedergibt; und Extrahieren einer Kontur des Ziels durch eine Bildverarbeitung auf dem Distanzbild; wobei die Lichtmenge des Musterlichts in dem Schritt zum Projizieren des Musterlichts derart gesetzt wird, dass in dem Schritt zu m Berechnen der Distanz die Distanz wenigstens einer Kontur des Ziels nicht berechnet werden kann und die Distanz der Platzierungsfläche berechnet werden kann; und wobei eine maximale Distanz in dem Gradientenausdruck des Distanzbilds in dem Schritt zum Erzeugen eines Distanz bilds zu einer Distanz gesetzt wird, die größer als die Distanz der Platzierungsfläche ist.
  • Gemäß der Konturerkennungsvorrichtung und dem Konturerkennungsverfahren der vorliegenden Erfindung kann auch dann, wenn das Ziel transparent ist, die Kontur des Ziels genau erfasst werden.
  • Figurenliste
    • 1 ist eine schematische Ansicht, die die Konfiguration einer Konturerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • 2 ist ein Flussdiagramm, das die Abfolge eines durch die Konturerkennungsvorrichtung von 1 durchgeführten Konturerkennungsverfahrens zeigt.
    • 3 zeigt ein beispielhaftes Bild eines Ziels für das Erfassen der Kontur durch die Konturerkennungsvorrichtung von 1.
    • 4 zeigt ein beispielhaftes Distanzbild, wenn die Distanz des Ziels in 3 als das messbare Maximum definiert wird.
    • 5 zeigt ein beispielhaftes Distanzbild des Ziels in 3, das durch die Konturerkennungsvorrichtung von 1 erzeugt wird.
    • 6 ist eine schematische Ansicht, die die Konfiguration eines Konturerkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben. 1 ist eine schematische Ansicht, die die Konfiguration einer Konturerkennungsvorrichtung der vorliegenden Erfindung zeigt. Die Konturerkennungsvorrichtung 1 von 1 erkennt die Kontur eines transparenten Ziels W, das auf einer Platzierungsfläche P angeordnet ist.
  • Die Konturerkennungsvorrichtung 1 umfasst: eine Projektionseinheit 10, die ein Musterlicht auf das Ziel W und die Platzierungsfläche P projiziert; eine Lichtmengen-Einstelleinheit 20, die die Lichtmenge des Musterlichts der Projektionseinheit 10 einstellt; zwei Bildaufnahmeeinheiten 30A, 30B, die Bilder, die das von dem Ziel W und der Platzierungsfläche P reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven aufnehmen; eine D istanzberechnungseinheit 40, die die Distanz zu dem Ziel W und der Platzierungsfläche P an jeder zweidimensionalen Position aus der Parallaxe der aus verschiedenen Perspektiven durch die Bildaufnahmeeinheiten 30A, 30B aufgenommenen Bilder berechnet; eine Bilderzeugungseinheit 50, die ein Distanzbild erzeugt, das mittels eines Gradienten die durch die Distanzberechnungseinheit 40 berechnete Distanz von einer maximalen Distanz bis zu einer minimalen Distanz an jeder zweidimensionalen Position ausdrückt und eine Position, an der die Distanz nicht durch die Distanzberechnungseinheit 40 berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche (in dieser Ausführungsform durch den gleichen Farbton wie für die maximale Distanz) wiedergibt; und eine Konturextraktionseinheit 60, die die Kontur des Ziels W durch eine Bildverarbeitung des durch die Bilderzeugungseinheit 50 erzeugten Distanzbilds extrahiert.
  • Die Projektionseinheit 10 muss lediglich ein Musterlicht projizieren können, wobei jedoch gewöhnlich ein Projektor verwendet wird. Das Muster des durch die Projektionseinheit 10 projizierten Musterlichts soll ein Muster mit einer Vielzahl von charakteristischen Punkten auf einer zweidimensionalen Ebene senkrecht zu der optischen Achse sein und weist vorzugsweise eine regelmäßige Form auf.
  • Die Lichtmengen-Einstelleinheit 20 steuert die Lichtmenge der Projektionseinheit 10 derart, dass durch die Distanzberechnungseinheit 40 die Distanz wenigstens der Kontur des Ziels W (des äußeren Randteils von der Projektionseinheit 10 aus gesehen) nicht berechnet werden kann und die Distanz der Platzierungsfläche P berechnet werden kann.
  • Die Bildaufnahmeeinheiten 30A, 30B können als Kameras konfiguriert sein, die umfassen: ein Optiksystem, das ein Bild des Lichts von einem Objekt erzeugt; und einen zweidimensionalen Bildsensor, der das erzeugte Bild zu elektrischen Signalen an jeder zweidimensionalen Position wandelt. Die Bildaufnahmeeinheiten 30A, 30B sind vorzugsweise derart angeordnet, dass die Distanzen von der Platzierungsfläche P jeweils gleich sind. Außerdem sind die Bildaufnahmeeinheiten 30A, 30B vorzugsweise derart angeordnet, dass die optischen Achsen der Optiksysteme im Wesentlichen senkrecht zu der Platzierungsfläche P werden.
  • Die Bildaufnahmeeinheiten 30A, 30B nehmen Bilder, die das durch das Ziel W und die Platzierungsfläche P reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven auf. Mit anderen Worten nehmen die Bildaufnahmeeinheiten 30A, 30B Bilder des Ziels W und der Platzierungsfläche P auf, auf deren Oberfläche ein Muster durch das Musterlicht geworfen wird.
  • Die Distanzberechnungseinheit 40 extrahiert die Koordinaten von charakteristischen Punkten des durch das Musterlicht vorgesehenen Musters in dem durch die Bildaufnahmeeinheiten 30A, 30B aufgenommenen Bild und berechnet die Parallaxe der charakteristischen Punkte in Entsprechung zu zwei Bildern. Dann berechnet die Distanzberechnungseinheit 40 die Distanz von den Bildaufnahmeeinheiten 30A, 30b zu dem Punkt, an dem die charakteristischen Punkte des Musterlichts auf die Oberfläche des Ziels W oder der Platzierungsfläche P proj iziert werden, basierend auf der Parallaxe jedes charakteristischen Punkts. Die Distanzberechnungseinheit 40 kann auf diese Weise die Distanz zu dem Ziel W oder der Platzierungsfläche P an jeder zweidimensionalen Position senkrecht zu den optischen Achsen der Bildaufnahmeeinheiten 30A, 30B berechnen.
  • Wenn ein Teil vorhanden ist, in dem das auf die Oberfläche des Ziels W projizierte Muster nicht ausreichend erkannt werden kann, kann die Distanzberechnungseinheit 30 die Distanz des Teils, in dem das auf die Oberfläche des Ziels W projizierte Muster nicht ausreichend erkannt werden kann, nicht berechnen. Wenn das Ziel W transparent ist, dringt das Musterlicht in das Ziel W ein und wird nicht ausreichend zu den Bildaufnahmeeinheiten 30A, 30b reflektiert, sodass es schwierig wird, das durch das Musterlicht projizierte Muster in dem durch die Bildaufnahmeeinheiten 30A, 30B aufgenommenen Bild zu erkennen. Wenn das Ziel W transparent ist, neigt die Berechnung der Distanz durch die Distanzberechnungseinheit 40 dazu, schwieriger zu werden, weil die Lichtmenge des Projektionslichts 10 kleiner wird. Eine Transparenz ist nicht auf eine farblose Transparenz beschränkt und kann auch eine farbige Transparenz oder eine Lichtdurchlässigkeit sein.
  • Die Bilderzeugungseinheit 50 erzeugt ein Distanzbild, das die durch die Distanzberechnungseinheit 40 berechnete Distanz zu dem Ziel W oder der Platzierungsfläche P an jeder zweidimensionalen Position durch eine Schattierung des Pixels dieser zweidimensionalen Position wiedergibt. Die Bilderzeugungseinheit 50 sieht einen Gradientenausdruck vor, gemäß dem sich die Schattierung von der maximalen Distanz bis zu einer minimalen Distanz, die entsprechend gesetzt sind, variiert. Insbesondere erzeugt die Bilderzeugungseinheit 50 ein Distanzbild, in dem die Helligkeit die Farbe jedes Pixels durch 256 Graustufen 0 bis 255 wiedergibt, wobei die Helligkeit an der gesetzten maximalen Distanz einen minimalen Wert aufweist und die Helligkeit an der gesetzten minimalen Distanz einen maximalen Wert aufweist. In diesem Fall weist die Helligkeit des Pixels bei einer die maximale Distanz überschreitenden Distanz den minimalen Wert auf und weist die Helligkeit eines Pixels bei einer Distanz, die kleiner als die minimale Distanz ist, den maximalen Wert auf. Außerdem definiert die Bilderzeugungseinheit 50 die Helligkeit eines Pixels in Entsprechung zu einer Position, an welcher die Distanz nicht berechnet werden kann, als den minimalen Wert. Mit anderen Worten setzt die Bilderzeugungseinheit 50, wenn der charakteristische Punkt des auf der Oberfläche des Ziels W oder der Platzierungsfläche P durch das Musterlicht vorgesehen Musters nicht erkannt werden kann, die Helligkeit des entsprechenden Pixels zu der gleichen Helligkeit wie für Unendlich.
  • Die Bilderzeugungseinheit 50 setzt die maximale Distanz in dem Gradientenausdruck des Distanzbilds zu einer Distanz, die größer als die Distanz der Platzierungsfläche P ist. Die Helligkeit von Pixeln der Platzierungsfläche P in dem Distanzbild wird größer als der minimale Wert, sodass Pixel von Positionen, an denen die Distanz nicht durch die Distanzberechnungseinheit 40 berechnet werden kann, unterschieden werden können.
  • Außerdem setzt die Bilderzeugungseinheit 50 vorzugsweise die minimale Distanz in dem Gradientenausdruck des Distanzbilds zu einem Wert, der größer als die Distanz der Platzierungsfläche ist. Auf der Oberfläche des Ziels W und der Platzierungsfläche P weist die Helligkeit von Koordinaten, an denen die Distanz durch die Distanzberechnungseinheit 40 berechnet werden kann, einen maximalen Wert auf. Und weil die Helligkeit eines Pixels an einer Position, an der die Distanz nicht durch die Distanzberechnungseinheit 40 berechnet werden kann, den minimalen Wert aufweist und weil der Kontrast zwischen einer Position, an welcher die Distanz nicht durch die Distanzberechnungseinheit 40 berechnet werden kann, und einer Position, an welcher die Distanz berechnet werden kann, maximal wird, wird es für die nachfolgend beschriebene Konturextraktionseinheit 60 einfacher, die Kontur des Ziels W zu erfassen. Wenn die minimale Distanz in dem Gradientenausdruck des Distanzbilds zu einem größeren Wert als die Distanz der Platzierungsfläche gesetzt wird, kann dieser Gradient zwei Farbtöne umfassen (monochrom sein).
  • Die Konturextraktionseinheit 60 erkennt die Kontur des Ziels W in dem Distanzbild durch eine Mustererkennung der Konturform des Ziels W aus dem durch die Bilderzeugungseinheit 50 erzeugten Distanzbild durch eine wohlbekannte Bildverarbeitungstechnik. Insbesondere ist auch bei einem Rauschen in dem Distanzbild die Helligkeit eines Pixels des Ziels W im Wesentlichen der minimale Wert und ist die Helligkeit eines Pixels der Platzierungsfläche P ein fixer größerer Wert (der maximale Wert, wenn die minimale Distanz in dem Gradientenausdruck des Distanzbilds zu einem größeren Wert als die Distanz der Platzierungsfläche gesetzt ist). Aus diesem Grund extrahiert die Konturextraktionseinheit 60 einen Teil, der der Konturform des Ziels W in dem Profil des Teils mit einer niedrigen Helligkeit in dem Distanzbild ähnlich ist, als die Kontur des Ziels W.
  • Im Folgenden wird der Ablauf eines Konturerkennungsverfahrens gemäß einer Ausführungsform der vorliegenden Erfindung, das durch die Konturerkennungsvorrichtung 1 ausgeführt werden kann, erläutert. 2 ist ein Flussdiagramm, das den Ablauf eines durch die Konturerkennungsvorrichtung 1 durchgeführten Konturerkennungsverfahrens zeigt. Das Konturerkennungsverfahren von 2 wird unter Verwendung der Bezugszeichen für die Kom ponenten der Konturerkennungsvorrichtung 1 von 1 erläutert.
  • Das Konturerkennungsverfahren von 2 ist ein Konturerkennungsverfahren, das die Kontur eines auf der Platzierungsfläche P angeordneten Ziels W erkennt. 3 zeigt das Beispiel eines transparenten Ziels W. 3 zeigt ein beispielhaftes Bild, das durch eine Bildaufnahmeeinrichtung A in einem Zustand aufgenommen wird, in dem kein Musterlicht von der Projektionseinheit 10 projiziert wird. Es ist deutlich, dass die Kontur des Ziels W in einem normalen Bild schwierig zu erkennen ist.
  • Das Konturerkennungsverfahren von 2 umfasst: einen Schritt zum Projizieren eines Musterlichts auf das Ziel W und die Platzierungsfläche P (Schritt P1: Projektionsschritt); einen Schritt zum Aufnehmen von Bildern, die das von dem Ziel W und der Platzierungsfläche P reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven (Schritt P2: Aufnahmeschritt); einen Schritt zum Berechnen einer Distanz zu dem Ziel W und der Platzierungsfläche P an jeder zweidimensionalen Position aus einer Parallaxe von zwei aus verschiedenen Perspektiven aufgenommenen Bildern (Schritt P3: Distanzberechnungsschritt); einen Schritt zum Erzeugen eines Distanzbilds, das mittels eines Gradienten die aus zwei Bildern an jeder zweidimensionalen Position berechnete Distanz ausdrückt und eine Position, an der die Distanz in dem Distanzberechnungsschritt nicht berechnet werden kann, durch einen anderen Farbton (gewöhnlich den gleichen Farbton wie für die maximale Distanz) wiedergibt (Schritt S4: Distanzbild-Erzeugungsschritt); und einen Schritt zum Extrahieren einer Kontur des Ziels durch eine Bildverarbeitung des Distanzbilds (Schritt S5: Konturextraktionsschritt).
  • Der Projektionsschritt S1 projiziert das Musterlicht auf das Ziel W und die Platzierungsfläche P unter Verwendung der Projektionseinheit 10. Die Lichtmenge des Musterlichts wird derart gesetzt, dass wenigstens eine Distanz der Kontur des Ziels W nicht berechnet werden kann und eine Distanz der Platzierungsfläche P berechnet werden kann. Ein derartiges Setzen der Lichtmenge kann durch eine Kalibrierung bewerkstelligt werden, in der eine Probe des Ziels W zuerst manuell auf der Platzierungsfläche P angeordnet wird und der Bediener das Distanzbild prüft, wobei kontinuierlich die Kontur des Ziels W des gleichen Typs erfasst wird. Bei einer vorausgehenden Festlegung einer Anordnung und einer Ausrichtung des Ziels W kann das Setzen der Lichtmenge derart erfolgen, dass die Konturerkennungsvorrichtung 1 automatisch die Intensität des Musterlichts einstellt, indem die Koordinaten von Pixeln des Randteils des Ziels W in dem verarbeiteten Bild in der Konturerkennungsvorrichtung 1 gespeichert werden und der Bediener das Ziel W an der Position und mit der Ausrichtung, die zuvor festgelegt werden, anordnet.
  • In dem Bildaufnahmeschritt S2 werden das Ziel W und die Platzierungsfläche P, auf deren Oberfläche das Muster des Musterlichts projiziert wird, durch die zwei Bildaufnahmeeinheiten 30A, 30B aufgenommen. Aufgrund der verschiedenen Positionen der zwei Bildaufnahmeeinheiten 30A, 30B werden die zwei aufgenommenen Bilder der Bildaufnahmeeinheiten 30A, 30B zu Bildern, in denen die Teile der Objekte (des Ziels W und der Platzierungsfläche P) um eine Distanz in Entsprechung zu der Distanz von den Bildaufnahmeeinheiten 30A, 30B versetzt sind, sodass die Bilder also eine Parallaxe aufweisen.
  • In dem Distanzberechnungsschritt S3 wird basierend auf der Parallaxe der zwei durch die Bildaufnahmeeinheiten 30A, 30B aufgenommenen Bilder die Distanz jedes Teils von den Bildaufnahmeeinheiten 30A, 30B berechnet. Weil dabei feststeht, dass die charakteristischen Punkte des Musters des Musterlichts die gleichen Punkte auf der Oberfläche des Ziels W oder der Platzierungsfläche P sind, kann durch das Berechnen der Distanz für die charakteristischen Punkte des Musters relativ genau die Distanz zu jeder zweidimensionalen Position des Ziels W und der Platzierungsfläche P in den aufgenommenen Bildern berechnet werden.
  • In dem Distanzberechnungsschritt S4 wird ein Distanzbild erzeugt, das die Distanz an jeder zweidimensionalen Position durch einen Gradientenausdruck der Farbe jedes Pixels wiedergibt. Dabei muss die maximale Distanz in dem Gradientenausdruck als wenigstens die Distanz der Platzierungsfläche P definiert werden und wird vorzugsweise die minimale Distanz als wenigstens die Distanz der Platzierungsfläche P definiert.
  • 4 zeigt ein beispielhaftes Distanzbild, das in dem Distanzbild-Erzeugungsschritt erhalten wird. Indem auf diese Weise die Distanz des Ziels W als nicht-berechenbar definiert wird und die Distanz der Platzierungsfläche P als berechenbar definiert wird, wird die Helligkeit der Pixel des Ziels W gleich der Helligkeit für Unendlich und wird die Helligkeit der Platzierungsfläche P an dem Umfang des Ziels W an einer zweidimensionalen Position eine Helligkeit, die eine kurze Distanz angibt. Im Gegensatz dazu zeigt 5 ein Distanzbild, das erhalten wird, wenn die Lichtmenge in dem Projektionsschritt auf herkömmliche Weise zu einer Lichtmenge gesetzt wird, mit der die Distanz einer Oberfläche des Ziels W möglichst berechnet werden kann. Wenn dabei das Ziel W transparent ist, ist es schwierig, die Distanz der Oberfläche des Ziels W berechenbar zu machen.
  • In dem Konturextraktionsschritt S5 wird die Kontur des Ziels W in dem Distanzbild unter Verwendung einer wohlbekannten Bildverarbeitungstechnik erkannt. Bei dem Distanzbild von 4 kann die Kontur des Ziels W relativ korrekt erkannt werden.
  • Gemäß der Konturerkennungsvorrichtung 1 und dem Konturerkennungsverfahren kann die Kontur des Ziels W einfach durch eine Bildverarbeitung erkannt werden, indem die Lichtmenge des Musterlichts derart eingestellt wird, dass die Distanz der Oberfläche des Ziels W nichtmessbar wird. Deshalb kann die Kontur eines transparenten Ziels genau durch die Konturerkennungsvorrichtung 1 und das Konturerkennungsverfahren erkannt werden.
  • Im Folgenden wird ein Konturerkennungssystem gemäß einer Ausführungsform der vorliegenden Erfindung erläutert. 6 ist ein schematisches Diagramm, das die Konfiguration eines Konturerkennungssystems 100 zeigt.
  • Das Konturerkennungssystem 100 umfasst eine Vielzahl von Konturerkennungsvorrichtungen 1 und eine Verwaltungsvorrichtung, die mit der Konturerkennungsvorrichtung 1 über ein Netzwerk verbunden ist.
  • Die Verwaltungsvorrichtung 2 sammelt Informationen der durch die Lichtmengen-Einstelleinheit 20 eingestellten Lichtmenge von der Vielzahl von Konturerkennungsvorrichtungen 1. Indem die Verwaltungsvorrichtung 2 die Informationen der auf das Ziel W angewendeten Lichtmenge sammelt und Informationen zu den Trends usw. der für die Ziele W des gleichen Typs in einer anderen Konturerkennungsvorrichtung 1 gesetzten Lichtmenge beim Verarbeiten eines neuen Typs des Ziels W in jeder Konturerkennungsvorrichtung 1 vorsieht, kann die Einstellung der Lichtmenge bewerkstelligt werden und kann die Genauigkeit der Konturerkennung der Ziele W verbessert werden. Aus diesem Grund ist die Verwaltungsvorrichtung 2 vorzugsweise derart konfiguriert, dass sie eine bessere Lichtmenge basierend auf den von der Vielzahl von Konturerkennungsvorrichtungen 1 erhaltenen Informationen durch ein Deep-Machine-Learning oder ähnliches schätzen kann.
  • Vorstehend wurde eine Ausführungsform der vorliegenden Erfindung erläutert, wobei die Konturerkennungsvorrichtung, das Konturerkennungssystem und das Konturerkennungsverfahren gemäß der vorliegenden Erfindung jedoch nicht auf die hier beschriebene Ausführungsform beschränkt sind. Außerdem werden nur die vorteilhaftesten Effekte der vorliegenden Erfindung genannt und sind die Effekte der vorliegenden Erfindung nicht auf die hier genannten Effekte beschränkt.
  • In der Konturerkennungsvorrichtung, dem Konturerkennungssystem und dem Konturerkennungsverfahren gemäß der vorliegenden Erfindung kann die Bilderzeugungseinheit ein Distanzbild erzeugen, das die Positionen, an denen die Distanz nicht durch die Distanzberechnungseinheit berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche und einen anderen Farbton als für die maximale Distanz wiedergibt. Als der andere Farbton als derjenige der Platzierungsfläche kann ein spezifischer Farbton gesetzt werden, wodurch eine deutliche Unterscheidung von der minimalen Distanz oder der Platzierungsfläche ermöglicht wird, wobei ein Farbton in Entsprechung zu der Lichtmenge des Musterlichts gesetzt werden kann.
  • Bezugszeichenliste
    • 1
    Konturerkennungsvorrichtung
    2
    Verwaltungsvorrichtung
    10
    Projektionseinheit
    20
    Lichtmengen-Einstelleinheit
    30A, 30B
    Bildaufnahmeeinheit
    40
    Distanzberechnungseinheit
    50
    Bilderzeugungseinheit
    60
    Konturextraktionseinheit
    100
    Konturerkennungssystem
    P
    Platzierungsfläche
    W
    Ziel
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2001285762 [0004]

Claims (4)

  1. Konturerkennungsvorrichtung (1) zum Erkennen einer Kontur eines auf einer Platzierungsfläche (P) angeordneten Ziels (W), wobei die Konturerkennungsvorrichtung umfasst: eine Projektionseinheit (10), die ein Musterlicht auf das Ziel (V11) und die Platzierungsfläche (P) projiziert, eine Lichtmengen-Einstelleinheit (20), die die Lichtmenge des Musterlichts der Projektionseinheit (10) einstellt, zwei Bildaufnahmeeinheiten (30A, 30B), die Bilder, die das von dem Ziel (W) und der Platzierungsfläche (P) reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven aufnehmen, eine Distanzberechnungseinheit (40), die eine Distanz zu dem Ziel (W) und der Platzierungsfläche (P) an jeder zweidimensionalen Position aus einer Parallaxe von durch die zwei Bildaufnahmeeinheiten (30A, 30B) aus verschiedenen Perspektiven aufgenommenen Bildern berechnet, eine Bilderzeugungseinheit (50), die ein Distanzbild erzeugt, das mittels eines Gradienten die durch die Distanzberechnungseinheit (40) berechnete Distanz von einer maximalen Distanz bis zu einer minimalen Distanz an jeder zweidimensionalen Position ausdrückt und eine Position, an der die Distanz nicht durch die Distanzberechnungseinheit (40) berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche wiedergibt, und eine Konturextraktionseinheit (60), die eine Kontur des Ziels durch eine Bildverarbeitung auf dem durch die Bilderzeugungseinheit (50) erzeugten Distanzbild extrahiert, wobei die Lichtmengen-Einstelleinheit (20) die Lichtmenge der Projektionseinheit (10) derart einstellt, dass durch die Distanzberechnungseinheit (40) die Distanz wenigstens der Kontur des Ziels (W) nicht berechnet werden kann und die Distanz der Platzierungsfläche (P) berechnet werden kann, und wobei die Bilderzeugungseinheit (50) ein Bild derart erzeugt, dass eine maximale Distanz in dem Gradientenausdruck des Distanzbilds eine Distanz wird, die größer als die Distanz der Platzierungsfläche (P) ist.
  2. Konturerkennungsvorrichtung (1) nach Anspruch 1, wobei die Bilderzeugungseinheit (50) ein Bild derart erzeugt, dass eine minimale Distanz in dem Gradientenausd ruck des Distanzbilds eine Distanz wird, die größer als die Distanz der Platzierungsfläche (P) ist.
  3. Konturerkennungssystem (100), das umfasst: eine Vielzahl der Konturerkennungsvorrichtungen (100) gemäß Anspruch 1 oder 2, und eine Verwaltungsvorrichtung (2), die Informationen der durch die Lichtmengen-Einstelleinheit (20) eingestellten Lichtmenge von der Vielzahl von Konturerkennungsvorrichtungen (1) sammelt.
  4. Konturerkennungsverfahren zum Erkennen der Kontur eines auf einer Platzierungsfläche (P) angeordneten Ziels (W), wobei das Verfahren die folgenden Schritte umfasst: Projizieren eines Musterlichts auf das Ziel (W) und die Platzierungsfläche, Aufnehmen, von Bildern, die das von dem Ziel (W) und der Platzierungsfläche (P) reflektierte Licht des Musterlichts enthalten, aus verschiedenen Perspektiven, Berechnen einer Distanz zu dem Ziel (W) und der Platzierungsfläche (P) an jeder zweidimensionalen Position aus einer Parallaxe von zwei aus den verschiedenen Perspektiven aufgenommenen Bildern, Erzeugen eines Distanzbilds, das mittels eines Gradienten die aus den zwei Bildern an jeder zweidimensionalen Position berechnete Distanz ausdrückt und eine Position, an der die Distanz in dem Schritt zum Berechnen der Distanz nicht berechnet werden kann, durch einen anderen Farbton als denjenigen der Platzierungsfläche (P) wiedergibt, und Extrahieren einer Kontur des Ziels durch eine Bildverarbeitung auf dem Distanzbild, wobei die Lichtmenge des Musterlichts in dem Schritt zum Projizieren des Musterlichts derart gesetzt wird, dass in dem Schritt zum Berechnen der Distanz die Distanz wenigstens einer Kontur des Ziels (W) nicht berechnet werden kann und die Distanz der Platzierungsfläche (P) berechnet werden kann, und wobei eine maximale Distanz in dem Gradientenausdruck des Distanzbilds in dem Schritt zum Erzeugen eines Distanzbilds zu einer Distanz gesetzt wird, die größer als die Distanz der Platzierungsfläche (P) ist.
DE102020201379.9A 2019-02-07 2020-02-05 Konturerkennungsvorrichtung, konturerkennungssystem und konturerkennungsverfahren Pending DE102020201379A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019020670A JP7028814B2 (ja) 2019-02-07 2019-02-07 外形認識装置、外形認識システム及び外形認識方法
JP2019-020670 2019-02-07

Publications (1)

Publication Number Publication Date
DE102020201379A1 true DE102020201379A1 (de) 2020-08-13

Family

ID=71739046

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020201379.9A Pending DE102020201379A1 (de) 2019-02-07 2020-02-05 Konturerkennungsvorrichtung, konturerkennungssystem und konturerkennungsverfahren

Country Status (4)

Country Link
US (1) US11132579B2 (de)
JP (1) JP7028814B2 (de)
CN (1) CN111536895B (de)
DE (1) DE102020201379A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509156B (zh) * 2020-12-16 2023-09-26 集美大学 基于ug的轮胎花纹快速编辑***及其方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285762A (ja) 2000-03-30 2001-10-12 Fuji Xerox Co Ltd 画像印刷装置
JP3729035B2 (ja) * 2000-06-30 2005-12-21 富士ゼロックス株式会社 ３次元画像撮像装置および３次元画像撮像方法
JP4409072B2 (ja) * 2000-09-14 2010-02-03 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
EP1371939A1 (de) * 2002-05-15 2003-12-17 Icos Vision Systems N.V. Vorrichtung zur Messung in drei Dimensionen der topographischen Oberflächenform eines Gegenstandes
JP2005033703A (ja) * 2003-07-11 2005-02-03 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US8917901B2 (en) * 2007-07-18 2014-12-23 Iatia Imaging Pty Ltd. Method and apparatus for determining the surface profile of an object
CN102565810B (zh) * 2011-12-30 2013-11-06 武汉大学 一种遥感影像上土地利用地物边界轮廓提取方法
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10063837B2 (en) * 2013-07-25 2018-08-28 TIREAUDIT.COM, Inc. System and method for analysis of surface features
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法
CN107683401B (zh) * 2015-04-22 2019-11-15 日本制铁株式会社 形状测定装置和形状测定方法
JP6038415B1 (ja) * 2015-11-25 2016-12-07 三菱電機株式会社 ３次元画像計測装置及び方法
JP6587000B2 (ja) * 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6795993B2 (ja) * 2016-02-18 2020-12-02 株式会社ミツトヨ 形状測定システム、形状測定装置及び形状測定方法
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
CN108671534B (zh) * 2018-05-21 2020-10-02 湖南大学 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和***

Also Published As

Publication number Publication date
CN111536895A (zh) 2020-08-14
JP7028814B2 (ja) 2022-03-02
US20200257923A1 (en) 2020-08-13
CN111536895B (zh) 2024-04-16
US11132579B2 (en) 2021-09-28
JP2020129187A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
DE102015005267B4 (de) Informationsverarbeitungsvorrichtung, Verfahren dafür und Messvorrichtung
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE69734855T2 (de) Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild
DE102008053460B4 (de) Objekterfassungssystem
DE102015015194A1 (de) Bildverarbeitungsvorrichtung und -verfahren und Programm
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE60133026T2 (de) Genaues ausrichten von bildern in digitalen abbildungssystemen durch anpassen von punkten in den bildern
DE102011055665A1 (de) Bildverarbeitungsvorrichtung
DE102015113051B4 (de) Messvorrichtung, Leiterplattenprüfvorrichtung und Verfahren zu deren Steuerung
EP2886043A1 (de) Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
DE69923048T2 (de) Wirksames Testverfahren zum Klassifizieren der Bildqualität eines optischen Sensors unter Verwendung von drei Pixelkategorien
DE112008002819T5 (de) Autofokus-Bildsystem
DE112014004190T5 (de) Positurschätzverfahren und Roboter
DE112010002174T5 (de) Verfahren und vorrichtung für ein praktisches 3d-sehsystem
DE10157958A1 (de) Bildverarbeitungsverfahren und-vorrichtung
DE112006002473T5 (de) Bestückungsmaschine mit verbesserter Bauteil-Aufnahmebild-Identifizierungsverarbeitung
DE69913274T2 (de) Automatische Überwachung der Druckqualität durch ein elastisches Modell
DE102008002725A1 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE102016100132B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE19536691B4 (de) Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung
DE102009059890A1 (de) Optische Positionierungs-Vorrichtung und ihr Positionierungs-Verfahren
DE102020201379A1 (de) Konturerkennungsvorrichtung, konturerkennungssystem und konturerkennungsverfahren
DE102008025658A1 (de) Optische Erfassung und Klassifizierung von gegenständlichen Leergut-Objekten in einem Leergut-Rückgabesystem
DE102016123194A1 (de) Messvorrichtung, Messverfahren und Produktfertigungsverfagren

Legal Events

Date Code Title Description
R012 Request for examination validly filed