DE69132853T2 - Dreidimensionales Messinstrument - Google Patents
Dreidimensionales MessinstrumentInfo
- Publication number
- DE69132853T2 DE69132853T2 DE69132853T DE69132853T DE69132853T2 DE 69132853 T2 DE69132853 T2 DE 69132853T2 DE 69132853 T DE69132853 T DE 69132853T DE 69132853 T DE69132853 T DE 69132853T DE 69132853 T2 DE69132853 T2 DE 69132853T2
- Authority
- DE
- Germany
- Prior art keywords
- slit
- image
- lights
- light
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 claims description 83
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 239000011295 pitch Substances 0.000 description 15
- 238000005259 measurement Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
- Die vorliegende Erfindung ist aus dem europäischen Patent 91 110 071.7 geteilt und betrifft eine dreidimensionale Meßvorrichtung zum Messen einer Form eines Objekts durch Projizieren von mehrfach geschlitztem Licht auf das Objekt, um eine dreidimensionale Messung zu erhalten.
- Auf den Gebieten, die eine dreidimensionale Sichtfunktion zum Erkennen eines zu messenden Objekts zur Verwendung in einem Roboter oder anderen verschiedenen automatischen Vorrichtungen oder eine Formeingabevorrichtung zum Messen der Form des einzugebenden Objekts enthalten, gibt es einen bekannten Aufbau, bei welchem geschlitztes Licht durch einen Projektor auf das zu messende Objekt gestrahlt wird und durch eine Bildgebungseinheit von einem Winkel aus abgetastet und abgebildet wird, der unterschiedlich von der Strahlrichtung ist, um den Abstand von der Beobachtungsstelle zu der durch geschlitztes Licht bestrahlten Stelle basierend auf der Dreieckförmigkeit zu berechnen, um dadurch die Form des zu messenden Objekts zu erkennen.
- Anstelle eines Abtastens des geschlitzten Lichts gibt es einen Mehrfachschlitz-Projektor, der eine Vielzahl von parallelem geschlitzten Licht ausstrahlt, um zu ermöglichen, daß eine Vielzahl von zu messenden Stellen gleichzeitig verwendet werden kann. In diesem Fall wird die Auflösung bei der Messung des zu messenden Objekts durch die Auflösung der Abbildungsvorrichtung bestimmt, und die Teilung zwischen dem vom Projektor gestrahlten geschlitzten Licht, und somit muß die Auflösung bei der Messung des Objekts verbessert werden.
- Bei der dreidimensionalen Mehrschlitz-Meßvorrichtung wird mehrfach geschlitztes Licht auf ein zu messendes Objekt projiziert, wird das projizierte Bild durch eine Bildaufnahmeeinheit, wie beispielsweise eine Fernsehkamera, aufgenommen und wird ein Referenzschlitz-Licht unter dem projizierten Mehrfachschlitz-Licht bestimmt, um einen Abstand von einer Beobachtungsstelle zu einer mit einem codierten Muster bestrahlten Stelle des zu messenden Objekts zu berechnen. Bei dieser Vorrichtung muß jedoch die Geschwindigkeit, mit welcher die Messung durchgeführt wird, erhöht werden.
- Es ist eine Aufgabe der vorliegenden Erfindung, die Geschwindigkeit der dreidimensionalen Messung des zu messenden Objekts zu erhöhen.
- Zum Erreichen der Aufgabe der vorliegenden Erfindung ist eine dreidimensionale Meßvorrichtung geschaffen, die folgendes aufweist: einen Mehrfachschlitz-Projektor zum Projizieren eines codierten mehrfach geschlitzten Lichtmusters auf ein zu messendes Objekt und eine Bilderkennungsvorrichtung, wobei die Bilderkennungsvorrichtung folgendes aufweist: eine Bildaufnahmeeinheit zum Aufnehmen des auf das Objekt projizierten codierten mehrfach geschlitzten Lichtmusters; eine Binarisierungsschaltung zum Binarisieren der Bildsignale von der Bildaufnahmeeinheit; eine Bild-Arithmetikeinheit zum Ändern von den durch die Binarisierungsschaltung erhaltenen binarisierten Bildsignalen zugeordneten Gewichten jedesmal dann, wenn das codierte Mehrfachschlitz-Lichtmuster geändert wird, und zum Aufsummieren der letzten gewichteten binarisierten Bildsignale oder der Bildsignale der aus einem Bildspeicher ausgelesenen als letztes addierten Ergebnisse mit neu gewichteten binarisierten Bildsignalen; einen Speicher für eine mit einem codierten Muster bestrahlte Stelle zum Speichern einer Koordinate einer mit einem codierten Muster bestrahlten Stelle des Objekts, wobei die Koordinate dem mehrfach geschlitzten Licht entspricht, das aus den schließlichen Rechenergebnissen bzw. Arithmetikergebnissen der Bild-Arithmetikeinheit decodiert ist; und eine Abstandsberechnungseinheit zum Berechnen einer dreidimensionalen Position der durch ein codiertes Muster bestrahlten Stelle des Objekts basierend auf den Koordinaten der durch ein codiertes Muster bestrahlten Stellen, die im Speicher für eine mit einem codierten Muster bestrahlte Stelle gespeichert sind.
- Die vorliegende Erfindung wird deutlicher aus der folgenden Beschreibung, die anhand eines Beispiels angegeben ist, von bevorzugten Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen verstanden werden, wobei:
- Fig. 1 ein Diagramm ist, das ein herkömmliches Beispiel eines Projektors in einer dreidimensionalen Meßvorrichtung zeigt;
- Fig. 2 ein Diagramm ist, das ein weiteres herkömmliches Beispiel eines Projektors zeigt;
- Fig. 3 ein Diagram ist, das einen bekannten Mehrfachschlitz-Projektor zeigt;
- Fig. 4 ein Diagramm ist, das hauptsächlich einen Projektor in einer dreidimensionalen Meßvorrichtung mit bewegbarem Mehrfachschlitz-Licht zeigt;
- Fig. 5 eine perspektivische Ansicht eines Projektors gemäß dem in Fig. 4 gezeigten Prinzip ist;
- Fig. 6 eine Schnittansicht des Projektors ist, das den Hauptteil des in Fig. 5 gezeigten Projektors zeigt;
- Fig. 7 eine perspektivische Ansicht eines weiteren Projektors gemäß dem in Fig. 4 gezeigten Prinzip ist;
- Fig. 8 eine perspektivische Ansicht eines weiteren Projektors gemäß dem in Fig. 4 gezeigten Prinzip ist;
- Fig. 9 ein Diagramm ist, das ein herkömmliches codiertes Mehrfachschlitz-Lichtmuster erklärt;
- Fig. 10 ein Diagramm ist, das das Prinzip der dreidimensionalen Meßvorrichtung gemäß der vorliegenden Erfindung erklärt;
- Fig. 11 ein Blockdiagramm ist, das eine dreidimensionale Meßvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
- Fig. 12 ein Ablaufdiagramm ist, das den Betrieb der in Fig. 12 gezeigten Vorrichtung erklärt;
- Fig. 13 ein Diagramm ist, das den Betrieb der in Fig. 11 gezeigten Vorrichtung erklärt;
- Fig. 14 ein Diagramm ist, das die Abstandsmessung in der in Fig. 11 gezeigten Vorrichtung erklärt;
- Fig. 15 ein Blockdiagramm ist, das eine dreidimensionale Vorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung zeigt;
- Fig. 16 ein Diagramm ist, das eine Pipeline-Verarbeitung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung erklärt; und
- Fig. 17 ein Diagramm ist, das eine Pipeline-Verarbeitung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung erklärt.
- Für ein besseres Verstehen der vorliegenden Erfindung wird zuerst ein herkömmlicher Stand der, Technik unter Bezugnahme auf Fig. 1 bis Fig. 3 beschrieben.
- Fig. 1 zeigt einen herkömmlichen Mehrfachschlitz-Projektor zum Ausstrahlen einer Vielzahl von parallelem Licht. In Fig. 1 fällt Licht von einer Lampe 11 mit hoher Helligkeit, wie beispielsweise einer Xenon-Lampe, über Schlitze 12, die eine Vielzahl von geschlitztem Licht 14 erzeugen, das ein zu messendes Objekt bestrahlt, auf eine Linse 13 ein. In diesem Fall werden die Schlitze 12 und die Linse 13 derart ausgewählt, daß sie eine erwünschte Länge L1 des geschlitzten Lichts 14 erhalten können.
- Ebenso zeigt Fig. 2 ein weiteres herkömmliches Beispiel, bei welchem durch eine Kombination eines Halbleiterlasers, einer Sammellinse, einer zylindrischen Linse, etc., eine Vielzahl von Lichtquellen 21, 22 und 23 zum Ausstrahlen von geschlitztem Licht auf einen Spiegel 25 am Umfang um die Rotationswelle eines Motors 24 angeordnet sind und der Spiegel 25 durch den Motor 24 gedreht wird, um das geschlitzte Licht auf das zu messende Objekt zu strahlen. Zusätzliche Lichtquellen können angeordnet sein.
- Die Länge L2 des Spiegels 25 ist beispielsweise 25 cm, und der Abstand zwischen der Rotationswelle des Motors 24 und den Lichtquellen 21, 22, 23 ist beispielsweise auf 20 cm eingestellt, um dadurch zu einer Konfiguration mit vergleichsweise großer Abmessung zu führen.
- Es ist auch eine Vorrichtung bekannt, bei welcher ein codiertes Mehrfachschlitz-Licht auf das zu messende Objekt projiziert wird, um eine dreidimensionale Messung auszuführen. Der Mehrfachschlitz-Projektor in der dreidimensionalen Meßvorrichtung hat beispielsweise einen Aufbau, wie er in Fig. 3 gezeigt ist, wobei Laserlicht mit einer einzelnen Wellenlänge, das von einem Halbleiterlaser 31 ausgesendet wird, fokussiert wird, um paralleles Licht zu erzeugen, welches auf ein erstes Beugungsgitter 34 einfällt, das Ausgangslicht 38 erzeugt, das aus punktförmigem Licht besteht, das in der Y-Achsenrichtung angeordnet ist, welches in Folge auf ein zweites Beugungsgitter 35 trifft. Das Beugungsgitter 35 ist so ausgebildet, daß seine Beugungsrichtung rechtwinklig zu derjenigen des ersten Beugungsgitters 34 ist, und somit wird das punktförmige Licht veranlaßt, Licht auszugeben, das in einer Vielzahl von Linien bzw. Zeilen angeordnet ist und das auf eine zylindrische Linse 33 fällt. Das erste und das zweite Beugungsgitter 34, 35 können aus optischen Fasern mit einem Durchmesser von beispielsweise etwa 2&sup0; bis 70 um gebildet sein und in einer Ebene angeordnet sein.
- Die zylindrische Linse 33 ist in der x-Achsenrichtung ausgedehnt, und sie erzeugt ein Ausgangslicht 40 in der Form eines mehrfach geschlitzten Lichts, das aus punktförmigem Licht besteht, das in der x-Achsenrichtung verbunden ist. In diesem Fall ist unter der Voraussetzung, daß die zylindrische Linse 33 in der y-Achsenrichtung ausgedehnt ist, das Ausgangslicht 40 ein mehrfach geschlitztes Licht, das aus punktförmigem Licht besteht, das in der x-Richtung verbunden ist. Das Ausgangslicht 40 kommt bei der Blenden- bzw. Verschlußanordnung 37 an, die ein codiertes Mehrfachschlitz- Lichtmuster 36 durch ein selektives Öffnen und Schließen der Verschlußanordnung erzeugen. Die Verschlußanordnung 37 kann beispielsweise durch Flüssigkristall-Blenden bzw. -Verschlüsse gebildet sein, die einen Polarisierungseffekt verwenden, oder durch Blenden bzw. Verschlüsse, die Elemente eines elektrooptischen Effekts verwenden.
- Fig. 9 ist eine beispielhafte Zeichnung des herkömmlichen codierten Mehrfachschlitz-Lichtmusters, bei welchem unterschiedliche Muster A, B und C in einer Folge projiziert werden, um Muster von achtfach geschlitztem Licht zu erzeugen. Das Muster A hat ein sich abwechselndes geschlitztes Lichtmuster, das Muster B hat ein Lichtmuster mit sich abwechselnden Paaren von Schlitzen und das Muster C hat ein Lichtmuster mit sich abwechselnden benachbarten vier Schlitzen, und jedesmal dann, wenn diese drei Arten von codiertem Mehrfachschlitz-Lichtmuster projiziert werden, werden aufgenommene bzw. abgenommene Bildsignale im Bildspeicher gespeichert. Beispielsweise wird bei einer Position eines geschlitzten Lichts entsprechend gespeicherten Signalen dann, wenn "1" für das Muster A gelesen wird, "0" für das Muster B und "1" für das Muster C, "C,B,A" = "101" erhalten, wodurch erkannt werden kann, daß das geschlitzte Licht das geschlitzte Licht Nr. 5 ist. Das bedeutet, daß unter der Voraussetzung, daß "n" Arten von Mehrfachschlitz- Lichtmustern für 2n-Schlitz-Licht projiziert werden, alle Schlitz-Nummern erkannt werden können. Auf diese Weise kann deshalb, weil jeweilige Nummern des mehrfach geschlitzten Lichts, das auf das zu messende Objekt projiziert wird, identifiziert werden, die Position jeder Stelle des zu messenden Objekts dreidimensional berechnet wird, um dadurch seine dreidimensionale Konfiguration zu bestimmen.
- Bei der dreidimensionalen Meßeinrichtung, die das geschlitzte Licht verwendet, muß die Messung eine Genauigkeit haben, die gleich der oder besser als die der Pixel-Auflösung der Bildgebungsvorrichtung ist. Bei dem in Fig. 1 gezeigten oben angegebenen herkömmlichen Beispiel wird die Breite des geschlitzten Lichts durch den Schlitz 12 bestimmt, was die Breite des geschlitzten Lichts für gewöhnlich größer als das Pixel der Bildgebungsvorrichtung macht, und zwar teilweise deshalb, weil die Lichtquelle 11 nicht paralleles Licht aussendet und die Phasen der Lichter unterschiedlich sind, und somit ein Bild von Licht zwei Pixel der Bildgebungsvorrichtung überlagert, und demgemäß ist es schwierig, die Auflösung zu verbessern.
- Weiterhin werden bei der in Fig. 1 gezeigten herkömmlichen dreidimensionalen Meßvorrichtung Schlitz-Lichter auf das zu messende Objekt projiziert und auf einer zweidimensionalen Ebene in der Form von Koordinaten aufgenommen, um den Abstand von einer Beobachtungsstelle aus zu messen, und somit entsteht ein Nachteil, der darin besteht, daß die Meßzeit aufgrund der Notwendigkeit für ein aufeinanderfolgendes Abtasten verlängert wird.
- Gegensätzlich dazu haben die in Fig. 2 gezeigten herkömmlichen Beispiele eine Helligkeitsverteilung der Schlitz-Lichter in der Schnittrichtung in der Form einer Gauß-Verteilung. Demgemäß kann, auch wenn das Schlitz-Licht- Bild zwei Pixel überlagert, das Zentrum des Schlitz-Lichts durch eine gewichtete Operation oder eine Vergleichsoperation bestimmt werden, um dadurch die Pixelauflösung zu verbessern.
- Nichts desto weniger sind dann, wenn eine dreidimensionale Messung hoher Geschwindigkeit für das zu messende Objekt ausgeführt wird, 50 bis 60 Schlitz-Lichter oder mehr nötig. Daher muß das in Fig. 2 gezeigte herkömmliche Beispiel zigfache von Lichtquellen haben, die am Umfang um die Rotationswelle des Motors 2&sup4; angeordnet sind, was in einer Vergrößerung der Vorrichtungsgröße und höheren Herstellungskosten resultiert, und somit ist es schwierig, die Vorrichtung bei einer praktischen Anwendung einzusetzen.
- Weiterhin muß zum Realisieren einer visuellen Funktion, bzw. einer Sichtfunktion zur Verwendung in einem Roboter oder anderen automatischen Vorrichtungen ein Mehrfachschlitz- Projektor am sich bewegenden Körper angebracht werden, was eine Miniaturisierung erfordert. Das herkömmliche Beispiel, wie es in Fig. 1 gezeigt ist, verwendet jedoch eine Lampe 11 hoher Helligkeit, die eine solche Miniaturisierung verhindert. Wie es früher beschrieben ist, ist es auch schwierig, das in Fig. 2 gezeigte herkömmliche Beispiel zu miniaturisieren.
- Gegensätzlich dazu ist die Miniaturisierung des in Fig. 3 gezeigten Mehrfachschlitz-Projektors einfach, weil er nur den einzelnen Halbleiterlaser 31, das erste und das zweite Beugungsgitter 34 und 35 und die zylindrische Linse 33 verwendet, um ein Mehrfachschlitz-Licht zu erhalten.
- Nichts desto weniger hat dieser einen Nachteil, der darin besteht, daß es unmöglich ist, den Teil zwischen den Schlitzen zu messen, und somit ist die Pixelauflösung analog zu derjenigen des in Fig. 1 gezeigten herkömmlichen Beispiels.
- Der in Fig. 4 gezeigte Mehrfachschlitz-Projektor basiert auf dem in Fig. 3 gezeigten Mehrfachschlitz-Projektor, aber eine Verbesserung in bezug auf die Pixelauflösung wird dadurch erreicht, daß veranlaßt ist, daß die Mehrfachschlitz-Lichter bewegbar sind.
- Der Mehrfachschlitz-Projektor der Fig. 4 weist folgendes auf: eine Lichtquelle 41 zum Aussenden paralleler Lichter; ein erstes und ein zweites Beugungsgitter 42 und 43 zum Empfangen der parallelen Lichter von der Lichtquelle 41 und zum Beugen der parallelen Lichter in Beugungsrichtungen, die rechtwinklig zueinander sind; eine zylindrische Linse 44, auf der durch das erste und das zweite Beugungsgitter 42 und 43 gebeugte Ausgangslichter einfallen und die eine Vielzahl von parallelen Schlitz-Lichtern erzeugt, die in der Beugungsrichtung von entweder dem ersten oder dem zweiten Beugungsgitter 42 und 43 dispergiert sind; und eine Verschlußanordnung bzw. eine Blendenanordnung zum Blockieren vorbestimmter Schlitz-Lichter unter den parallelen Schlitz- Lichtern von der zylindrischen Linse 44, um dadurch einen Code daraus zu bilden. Es ist weiterhin ein Stellglied 46 zum Versetzen einer Konfiguration einschließlich wenigstens eines des ersten und des zweiten Beugungsgitters 42 und 43 um nur einen minuziösen Abstand in der Richtung rechtwinklig zu den parallelen Schlitz-Lichtern vorgesehen.
- Von der Lichtquelle 41 aus gesendete parallele Lichter werden durch das erste Beugungsgitter 42 in Punktlichter 47 mit ovaler Form modifiziert und werden weiterhin in Punktlichter 48 in einer Matrixanordnung modifiziert. Darauffolgend erzeugt die zylindrische Linse 44 parallele Schlitz-Lichter, die in der Richtung rechtwinklig zur Längsrichtung der zylindrischen Linse 44 angeordnet sind und eine Teilung 10 haben, was auf die Blendenanordnung 5 trifft, durch welche die parallelen Schlitz-Lichter durch eine selektive Verwendung der Verschlüsse bzw. Blenden in einen Code ausgebildet werden.
- Wenn das Stellglied 46 veranlaßt, daß das erste und das zweite Beugungsgitter 42 und 43, die zylindrische Linse 44 und die Blendenanordnung 45 in der X-Achsenrichtung rechtwinklig zu den Schlitz-Lichtern, die sich entlang der Y- Achse erstrecken, um beispielsweise die Hälfte der Teilung P der Schlitz-Lichter versetzt werden, sind die parallelen Schlitz-Lichter 49 dieselben wie wenn Schlitz-Lichter mit einer Teilung gleich der Hälfte der Teilung P ausgestrahlt werden, wodurch die Pixelauflösung verbessert wird. Gleichermaßen sind dann, wenn der Versatz um eine Teilung von 1/3 bewirkt wird, und darauffolgend um eine weitere Teilung von 1/3, die parallelen Schlitz-Lichter 49 dieselben wie wenn die Schlitz-Lichter eine Teilung von 1/3 der Teilung P haben. Das bedeutet, daß die Pixelauflösung durch eine einfache Struktur verbessert werden kann.
- Fig. 5 ist eine perspektivische Ansicht des Mehrfachschlitz- Projektors, der das oben in bezug auf Fig. 4 beschriebene Prinzip verwendet, wobei ein Schwingspulenmotor 60 als Stellglied verwendet wird, und Fig. 6 ist eine Schnittansicht des Hauptteils davon. In den Figuren bezeichnet das Bezugszeichen 51a einen Halbleiterlaser, 51b eine Sammellinse, 52 ein erstes Beugungsgitter, 53 ein zweites Beugungsgitter, 54 eine zylindrische Linse, 55 eine Blendenanordnung und 56 einen Stützrahmen zum Stützen des ersten und des zweiten Beugungsgitters 52 und 53, der zylindrischen Linse 54 und der Blendenanordnung 55. Ein Bezugszeichen 57 stellt eine Basisplatte dar, 57a ist ein nach oben stehender Teil davon, 58 und 59 sind Lagerungsfedern, 61 ist ein Eisenkern, 62 ist eine Spule, 63 ist ein Lagerungszylinder und 64 bezeichnet einen Permanent- Feldmagneten.
- Vom Halbleiterlaser 51a aus gesendetes Licht mit einer einzigen Wellenlänge wird durch die Sammellinse 51b in einen parallelen Strahl umgewandelt und kommt beim ersten Beugungsgitter 52 an, das ein Ausgangslicht erzeugt, das aus ovalen Punktlichtern besteht, die in einer Zeile bzw. Linie angeordnet sind. Das Ausgangslicht fällt auf das zweite Beugungsgitter, das Punktlichter, erzeugt, die in einer Matrix angeordnet sind, und trifft auf die zylindrische Linse 54. In Fig. 5 ist die zylindrische Linse 54 in der Form eines Halbzylinders, aber kann auch eine vollständig zylindrische Form haben. Die Punktlichter sind in der Richtung rechtwinklig zur Längsrichtung der zylindrischen Linse 54 jeweils durch die zylindrische Linse 54 als kettenartige Schlitz-Lichter angeordnet und kommen bei der Blendenanordnung 55 an. Wenn die Blendenanordnung 55 vollständig geöffnet ist, werden alle Schlitz-Lichter in der Form eines Mehrfachschlitz-Lichtes ausgegeben. Weiterhin kann dann, wenn das Mehrfachschlitz-Licht eine Vielzahl von Malen ausgestrahlt wird, es durch Schließen der Blenden bei ausgewählten Stellen codiert werden.
- Als die Blendenanordnung 55 kann beispielsweise eine Flüssigkristall-Blendenanordnung verwendet werden, die polarisiertes Licht verwendet, und eine Blendenanordnung mit Elementen für elektrooptische Effekte, die zwischen den polarisierenden Platten angeordnet sind. In diesen Fällen können Elektroden ausgewählt werden, um eine Spannung anzulegen, um dadurch das Öffnen und Schließen der ausgewählten Blende zu steuern.
- Ebenso ist beim Schwingspulenmotor 60, der als das Stellglied wirkt, der Eisenkern 61 an dem nach oben stehenden Teil 57a der Basisplatte 57 befestigt und ist die Spule 62 dem am Eisenkern 61 befestigten Permanent-Feldmagneten 64 gegenüberliegend am Stütz- bzw. Lagerungszylinder 63 gesichert, der wiederum mit der Stütz- bzw. Lagerungsfeder 59 verbunden ist. Die unteren Enden der Lagerungsfedern 58 und 59 sind jeweils an der Basisplatte 57 befestigt, und an ihren oberen Enden ist ein Stützrahmen bzw. Lagerungsrahmen bzw. Lagerungsgestell angebracht, an welchem das erste und das zweite Beugungsgitter 52 und 53, die zylindrische Linse 54 und die Blendenanordnung 55 befestigt sind.
- Folglich wird dann, wenn der Spule 62 elektrischer Strom zugeführt wird, der die Spule 62 fixierende Lagerungszylinder 63 um eine magnetische Anziehung oder Abstoßung versetzt, die zwischen der Spule 62 und dem Permanent-Feldmagneten 64 erzeugt wird, was dazu führt, daß sich die Konfiguration mit dem ersten und dem zweiten Beugungsgitter um einen minuziösen Abstand in bezug auf die Lichtquelle gegen die Lagerungsfedern 58 und 59 verschieben. In diesem Fall tritt deshalb, weil das Mehrfachschlitz-Licht aus Längsschlitz- Lichtern zusammengesetzt ist, ein lateraler mikroskopischer Versatz davon auf.
- Wenn der minuziöse Versatz beispielsweise die Hälfte einer Teilung P des Mehrfachschlitz-Lichts ist, ist die Situation dieselbe, wie wenn das Mehrfachschlitz-Licht mit einer Teilung von P/2 auf das zu messende Objekt gestrahlt wird. Es ist auch möglich, dieselben mit einer Teilung von P/3 oder P/4 zu versetzen, und ein solcher mikroskopischer Versatz kann ohne Schwierigkeit durch eine Rückkopplung des Schwingspulenmotors 60 genau erreicht werden. Weiterhin kann ein kontinuierlicher Versatz zwischen den Schlitz-Lichtern auch für die Messung des Objekts verwendet werden.
- Darüber hinaus können Konfigurationen angenommen werden, bei welchen nur das erste Beugungsgitter 52 durch die Lagerungsfeder 58 und 59 gelagert ist, um versetzbar zu sein, während das zweite Beugungsgitter 53, die zylindrische Linse 54 und die Blendenanordnung 55 zusammen mit der Lichtquelle fixiert sind, oder bei welchen nur das zweite Beugungsgitter 53 durch die Lagerungsfedern 58 und 59 versetzbar gelagert ist, während das erste Beugungsgitter 52, die zylindrische Linse 54 und die Blendenanordnung 55 zusammen mit der Lichtquelle fixiert sind. Weiterhin ist es auch akzeptierbar, nur das erste und das zweite Beugungsgitter 52 und 53 durch die Lagerungsfedern 58 und 59 versetzbar zu lagern, während die anderen Teile zusammen mit der Lichtquelle fixiert sind.
- Wie es oben beschrieben ist, wird die Konfiguration mit wenigstens einem des ersten und des zweiten Beugungsgitters um nur einen minuziösen Abstand verschoben, so daß ein positionsmäßiger Schlupf zwischen dem Mehrfachschlitz-Licht und der Blende in Betracht gezogen werden sollte, wenn die Blendenanordnung 55 fixiert wird.
- Weiterhin können das erste und das zweite Beugungsgitter aus einer optischen Faseranordnung gebildet sein. Beispielsweise besteht in der Fig. 4 das erste Beugungsgitter 42 aus einer Vielzahl von optischen Fasern, die sich entlang der X-Achse erstrecken und in der Y-Achsenrichtung angeordnet sind, wohingegen das zweite Beugungsgitter 43 aus sich entlang der Y-Achse erstreckenden optischen Fasern besteht, die in der X- Achsenrichtung angeordnet sind.
- Bei den durch solche Beugungsgitter erzeugten Schlitz- Lichtern haben benachbarte Schlitz-Lichter einen Strahlungswinkel Δθ, der durch den folgenden Ausdruck gebildet wird:
- wobei h eine Wellenlänge des vom Halbleiterlaser 51a ausgesendeten Lichts ist, "d" ein Durchmesser der optischen Faser ist, die das erste und das zweite Beugungsgitter 12 und 13 bildet, θm ein Winkel zwischen den Schlitz-Lichtern ist, die jeweils einen Beugungsmode 0 (ein auf der optischen Achse ausgesendetes Schlitz-Licht) haben und einen Beugungsmode "m" (ein Licht eines "m"-ten Schlitzes von der optischen Achse) haben, und θm-1 einen Winkel zwischen den Schlitz-Lichtern des Modes 0 und des Modes "m-1" darstellt.
- Zusätzlich ist das Intervall Wm zwischen Schlitz-Lichtern, die auf das Objekt projiziert werden, das um einen Abstand L beabstandet ist, durch den folgenden Ausdruck gegeben:
- Da der Durchmesser "d" der optischen Faser für gewöhnlich 20 bis 100 um ist, kann der Abstand, um welchen die Lagerungsfedern 58 und 59 durch den Schwingspulenmotor 60 versetzt werden, 20 bis 100 um oder darunter sein.
- Weiterhin können sogar zwischen den Schlitz-Lichtern des Mehrfachschlitz-Lichts, das auf das zu messende Objekt projiziert wird, Schlitz-Lichter durch Versetzen bei wenigstens einem des ersten und des zweiten Beugungsgitters 52 und 53 um einen mikroskopischen Abstand projiziert werden, um dadurch die Pixelauflösung zu verbessern.
- Fig. 7 ist eine perspektivische Ansicht eines weiteren Mehrfachschlitz-Projektors gemäß dem Prinzip der Fig. 4, wobei ein piezoelektrisches Element 65 als das Stellglied verwendet wird. In Fig. 5 und in Fig. 7 sind dieselben Elemente mit denselben Bezugszeichen bezeichnet. Was das piezoelektrische Element 65 bei dieser Anordnung anbetrifft, wird ein Liefern eines erwünschten Versatzes nicht durch ein einzelnes piezoelektrisches Element erhalten, und eine Vielzahl von piezoelektrischen Elementen kann gestapelt sein, um einen Versatz in der Größenordnung von 2&sup0; bis 100 um ohne Schwierigkeit zu veranlassen. Auch bei diesem Projektor kann ein genauer mikroskopischer Versatz unter einer Rückkopplung sichergestellt werden.
- Auf dieselbe Weise wie die oben beschriebene Anordnung kann eine Konfiguration mit wenigstens einem des ersten und des zweiten Beugungsgitters 52 und 53 um nur einen minuziösen Abstand durch die Lagerungsfedern 58 und 59 über den Lagerungsrahmen 56 versetzt werden.
- Fig. 8 ist eine perspektivische Ansicht eines weiteren Mehrfachschlitz-Projektors gemäß dem Prinzip der Fig. 4, wobei ein linearer Motor 66 als das Stellglied verwendet wird. In Fig. 5 und in Fig. 8 sind dieselben Elemente mit denselben Bezugszeichen bezeichnet.
- Der lineare Motor 66 bei diesem Aufbau weist folgendes auf: ein Bewegungselement 67, an welchem der Lagerungsrahmen 56 fixiert ist, einen Stator 68 und Räder 69 und eine Führungsschiene 70, die das Bewegungselement 67 führt. Beispielsweise ist eine Spule an entweder dem Bewegungselement 67 oder dem Stator 68 montiert und ist ein Permanentmagnet am anderen montiert. Somit wird dann, wenn die Spule erregt wird, das Bewegungselement 67 durch die Räder 69 und die Führungsschienen 70 derart geführt, daß es um einen minuziösen Abstand verschoben wird. Auch bei diesem Aufbau kann ein gewünschter Betrag eines minuziösen Versatzes durch eine Positionserfassung und eine Rückkopplung genau erreicht werden.
- Weiterhin ist auch bei diesem Aufbau die Konfiguration mit wenigstens einem des ersten und des zweiten Beugungsgitters 52 und 53 am Lagerungsrahmen 56 fixiert, um durch das Bewegungselement 67 einen minuziösen Versatz zuzulassen.
- Die Möglichkeiten sind nicht auf die oben beschriebenen Aufbauten beschränkt. Beispielsweise können als das Stellglied für einen minuziösen Versatz verschiedene Aufbauten neben dem Schwingspulenmotor 60, dem piezoelektrischen Element 65 oder dem linearen Motor 66 verwendet werden.
- Wie es hierin zuvor beschrieben ist, weist der Mehrfachschlitz-Projektor folgendes auf: das erste und das zweite Beugungsgitter 42 und 43, die zylindrische Linse 44 und die Blendenanordnung 45, wobei parallele Lichter von der Lichtquelle 41 zu einem Mehrfachschlitz-Licht gemacht werden, und eine Konfiguration mit wenigstens einem des ersten und des zweiten Beugungsgitters 42 und 43 wird durch das Stellglied 46 in bezug auf die Lichtquelle um nur einen minuziösen Abstand versetzt, um zuzulassen, daß die Schlitz- Lichter auf Abstände zwischen den Schlitz-Lichtern gestrahlt werden, und derart gesteuert werden können, daß eine Situation identisch zu der Situation, in welcher die Teilungen zwischen den Schlitz-Lichtern sogar verkleinert werden können oder der Raum zwischen Schlitz-Lichtern aufeinanderfolgend abgetastet werden kann, um dadurch die Pixelauflösung zu verbessern und die Miniaturisierung der Vorrichtung ohne Schwierigkeit zu erreichen.
- Der in bezug auf die Fig. 4-8 beschriebene Mehrfachschlitz- Projektor für eine dreidimensionale Messung kann dazu verwendet werden, eine visuelle Funktion und ähnliches für einen Roboter oder andere verschiedene automatische Vorrichtungen zu realisieren. Weiterhin kann eine Genauigkeit der dreidimensionalen Messung für das zu messende Objekt durch eine einfache Struktur verbessert werden.
- Als nächstes werden Vorrichtung zum Erkennen eines aufgenommenen bzw. abgenommenen Bildes in der dreidimensionalen Meßvorrichtung gemäß verschiedenen Ausführungsbeispielen der vorliegenden Erfindung beschrieben.
- Bei der herkömmlichen Vorrichtung zum Erkennen eines aufgenommenen Bildes, wie sie zuvor unter Bezugnahme auf Fig. 9 beschrieben ist, werden nach einem Projizieren aller Muster A, B und C die Bildsignale entsprechend den codierten Mehrfachschlitz-Lichtmustern jeweils in den Bildspeichern gespeichert und werden dann gesammelt, um das codierte Mehrfachschlitz-Licht zu decodieren, d.h. die Schlitz-Lichter zu numerieren. Daher hat dies einen Nachteil, der darin besteht, daß viele Bildspeicher vorgesehen sein müssen.
- Zusätzlich wird das Decodieren der codierten Mehrfachschlitz- Lichter durch Rahmen von Daten im entsprechenden Bildspeicher nach einem Projizieren aller Muster ausgeführt, und daher entsteht ein Nachteil, der darin besteht, daß als ein Ergebnis einer Erhöhung der Anzahl von Mehrfachschlitz- Lichtern die Verarbeitungszeit verlängert wird und die Anzahl von Mustern erhöht wird.
- Die Vorrichtung zum Erkennen eines Bildes bei der dreidimensionalen Meßvorrichtung gemäß einem Ausführungsbeispiel der Erfindung soll durch die Anwendung der unter Bezugnahme auf Fig. 10 beschriebenen Bildverarbeitung die Verarbeitung beschleunigen und die Speicherkapazität reduzieren.
- Die dreidimensionale Meßvorrichtung in Fig. 10 weist folgendes auf: einen Mehrfachschlitz-Projektor 101 zum Projizieren eines Mehrfachschlitz-Lichtmusters unter der Steuerung einer Blendenanordnung und eine Vorrichtung 108 zum Erkennen eines aufgenommenen Bildes. Die Vorrichtung 108 zum Erkennen eines aufgenommenen Bildes weist folgendes auf: eine Bildaufnahmeeinheit 102 zum Aufnehmen des auf ein zu messendes Objekt projizierten codierten Mehrfachschlitz- Lichtmusters, eine Binarisierungsschaltung 103 zum Binarisieren der Bildsignale von der Bildaufnahxneeinheit 102, eine Bild-Arithmetikeinheit 105, die eine dem binarisierten Bildsignal zugeordnete Gewichtung ändert, die durch die Binarisierungsschaltung 103 jedesmal umgewandelt wird, wenn das codierte Mehrfachschlitz-Lichtmuster geändert wird, und die letzten gewichteten binarisierten Bildsignale oder die Bildsignale der letzten Additionsergebnisse, die vom Bildspeicher 104 ausgelesen sind, und die neu gewichteten binarisierten Bildsignale aufsummiert, einen Speicher 106 für eine durch ein codiertes Muster bestrahlte Stelle zum Speichern der Koordinaten für die durch ein codiertes Muster bestrahlten Stellen des zu messenden Objekts entsprechend dem durch die schließlichen Operationsergebnisse der Bild- Arithmetikeinheit 105 decodierten Mehrfachschlitz-Licht, und eine Abstands-Berechnungseinheit 107 zum Berechnen der dreidimensionalen Position der durch ein codiertes Muster bestrahlten Stellen des zu messenden Objekts basierend auf den Koordinaten für die durch ein codiertes Muster bestrahlten Stellen, die im Speicher 106 für durch ein codiertes Muster bestrahlte Stellen gespeichert sind.
- Weiterhin sind der Mehrfachschlitz-Projektor 101 und die Bildaufnahmeeinheit 102 auf einer Oberfläche angeordnet, die jedes der Mehrfachschlitz-Lichter in einem rechten Winkel kreuzt, und sind derart angeordnet, daß sie dieselbe X-Achse haben, die sich parallel zur Richtung der Anordnung bzw. des Felds der Mehrfachschlitz-Lichter erstreckt. Die Abstands- Berechnungseinheit 107 ist durch einen Nurlesespeicher (ROM) ausgebildet, der die Daten der dreidimensionalen Position durch die Verwendung der Koordinaten der im Speicher 106 für eine durch ein codiertes Muster bestrahlten Stellen gespeicherten durch ein codiertes Muster bestrahlten Stellen als die Adressen auslesen kann.
- Der Mehrfachschlitz-Projektor 101 weist, wie es unter Bezugnahme auf Fig. 3 oder Fig. 4 beschrieben ist, einen Halbleiterlaser, ein erstes und ein zweites Beugungsgitter, eine zylindrische Linse und eine Blendenanordnung, die ein codiertes Mehrfachschlitz-Lichtmuster projiziert, auf.
- Die Bildaufnahmeeinheit 102 ist eine Fernsehkamera, die ein Bild eines zu messenden Objekts aufnimmt, das einem Mehrfachschlitz-Licht ausgesetzt wird, und die Bildsignale werden durch die Binarisierungsschaltung 103 binarisiert. Es ist alternativ dazu zu beachten, daß die Bildsignale nach einem Speichern von ihnen im Bildspeicher 104 durch die Binarisierungsschaltung 103 binarisiert werden können.
- Die Bild-Berechnungseinheit 105 ändert eine einem binarisierten Bildsignal zugeordnete Gewichtung jedesmal dann, wenn das codierte Mehrfachschlitz-Lichtmuster geändert wird, und summiert das letzte gewichtete binarisierte Bildsignal und ein neu gewichtetes binarisiertes Bildsignal auf oder summiert den Inhalt des Bildspeichers 104, der die letzten Additionsergebnisse speichert, und ein neu gewichtetes binarisiertes Bildsignal auf. Das bedeutet, daß dem ersten binarisierten Bildsignal im codierten Mehrfachschlitz-Lichtmuster eine Gewichtung 2&sup0; zugeordnet wird und im Bildspeicher 104 gespeichert wird, und dem zweiten binarisierten Bildsignal eine Gewichtung 2¹ zugeordnet wird. Das erste und das zweite binarisierte Bildsignal mit den Gewichtungen werden dann addiert und im Bildspeicher 104 gespeichert, eine Gewichtung 2² wird einem dritten binarisierten Bildsignal zugeordnet, und das dritte binarisierte Bildsignal mit der Gewichtung 2² und das zuvor addierte Ergebnis werden addiert und im Bildspeicher 104 gespeichert.
- Hierin nachfolgend werden auf dieselbe Weise für das Mehrfachschlitz-Licht, das aus "n" Schlitz-Lichtern besteht, "n" Arten von codierten Mehrfachschlitz-Lichtmustern aufeinanderfolgend projiziert, und dem i-ten binarisierten Bildsignal wird eine Gewichtung 2i-1 zugeordnet, und das gewichtete Bildsignal wird zum zuvor addierten Ergebnis addiert, und somit können dann, wenn die Mehrfachschlitz- Lichtmuster "n" mal projiziert sind und das schließliche Additionsergebnis erhalten wird, die codierten Schlitz- Lichter erhalten werden. Es ist zu beachten, daß anstelle der Gewichtung in der Bild-Arithmetikeinheit 105 eine Gewichtung für die binarisierten Bildsignale in der Binarisierungsschaltung 103 durchgeführt werden kann.
- In Entsprechung zu den so decodierten Schlitz-Lichtern werden die Koordinaten der durch ein codiertes Muster bestrahlten Stellen des durch Projizieren des Mehrfachschlitz-Lichts bestimmten gemessenen Objekts im Speicher 106 für eine durch ein codiertes Muster bestrahlte Stelle gespeichert, und basierend auf den Koordinaten der durch ein codiertes Muster bestrahlten Stellen wird die dreidimensionale Position durch die Abstands-Berechnungseinheit 107 bestimmt. Das bedeutet, daß die Positionskoordinaten der durch ein codiertes Muster bestrahlten Stellen durch eine Dreieckform berechnet werden.
- Ebenso wird es durch Anordnen des Mehrfachschlitz-Projektors 101 und der Bildaufnahmeeinheit 102 auf einer Oberfläche, die jedes der Mehrfachschlitz-Lichter in einem rechten Winkel kreuzt, und durch Anordnen von ihnen derart, daß sie dieselbe X-Achse haben, die sich parallel zur Richtung des Felds der Mehrfachschlitz-Lichter erstreckt, möglich, vorangehend die Koeffizienten bei der Abstandsberechnung zu bestimmen, wodurch es ermöglicht wird, den Nurlesespeicher (ROM) zum Auslesen der dreidimensionalen Position des zu messenden Objekts aus den im Speicher 106 für eine durch ein codiertes Muster bestrahlte Stelle gespeicherten Koordinaten zu verwenden.
- Fig. 11 ist ein Blockdiagramm, das das Ausführungsbeispiel der Fig. 10 detaillierter zeigt.
- In Fig. 11 bezeichnet ein Bezugszeichen 110 einen Bildprozessor, 111 einen Mehrfachschlitz-Projektor, 112 eine Bildaufnahmeeinheit, 113 eine Binarisierungsschaltung, 114 einen Bildspeicher, der aus Bereichen M1 bis M4 besteht, die jeweils eine Kapazität für einen Bildschirm von beispielsweise 8 Bits für jedes Pixel haben, 115 eine Bild- Arithmetikeinheit, 116 einen Speicher für eine durch ein codiertes Muster bestrahlte Stelle, 117 eine Abstands- Berechnungseinheit, 118 einen Prozessor (CPU) zum Steuern jeder Einheit, 119 einen Hauptspeicher, 120 eine Schnittstelleneinheit, 121 einen gemeinsamen Bus, 122 ein Mehrfachschlitz-Licht und 123 ein zu messendes Objekt.
- Der Mehrfachschlitz-Projektor 111 ist derselbe wie derjenige, der in Fig. 4 oder in Fig. 5 gezeigt ist. Die Bildaufnahmeeinheit 112 nimmt die Mehrfachschlitz-Lichter 122 auf, die auf das zu messende Objekt 123 projiziert sind, und das abgenommene Bildsignal wird durch die Binarisierungsschaltung 113 binarisiert und dann an die Bild- Arithmetikeinheit 115 oder den Bildspeicher 114 angelegt. Alternativ dazu kann das abgenommene Bildsignal im Bildspeicher 114 gespeichert werden und dann durch die Binarisierungsschaltung 113 binarisiert werden.
- Der Bildprozessor 110 enthält die Binarisierungsschaltung 113, den Bildspeicher 114, die Bild-Arithmetikeinheit 115 und einen Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle. Das binarisierte Bildsignal wird durch die Binarisierungsschaltung 113 oder die Bild-Arithmetikeinheit 115 gewichtet, und Steuerdaten zum Projizieren eines codierten Mehrfachschlitz-Lichtmusters vom Mehrfachschlitz- Projektor 111 werden vom Prozessor 118 zum Bildprozessor 110 transferiert. Die Gewichtung wird basierend auf den transferierten Steuerdaten gesteuert.
- Fig. 12 ist ein Ablaufdiagramm, das den Betrieb der in Fig. 11 gezeigten dreidimensionalen Meßvorrichtung erklärt, welcher Betrieb aus Schritten S1 bis S11 zusammengesetzt ist. Weiterhin ist Fig. 13 ein Diagramm, das auch den Betrieb der in Fig. 11 gezeigten Vorrichtung erklärt. Bei diesem Ausführungsbeispiel wird ein Mehrfachschlitz-Licht, das aus acht Schlitz-Lichtern besteht, projiziert. Natürlich sind Mehrfachschlitz-Lichter anwendbar, wenn es erforderlich ist.
- Gemäß den Fig. 11 bis 13 wird zuerst ein Muster A vom Mehrfachschlitz-Projektor 111 auf das zu messende Objekt 123 projiziert, und das durch die Bildaufnahmeeinheit 112 aufgenommene Bildsignal wird im Speicherbereich M1 im Bildspeicher 114 gespeichert (S1). Dieses Muster A ist aus abwechselnden Schlitz-Lichtern (die durch die durchgezogene Linie gezeigt sind) zusammengesetzt, wobei die gestrichelte Linie Lichter bezeichnet, die durch die Blendenanordnung blockiert sind. Die Schlitz-Lichter werden durch die Bildaufnahmeeinheit von einem Winkel aus aufgenommen, der unterschiedlich von dem Winkel ist, bei welchem das Mehrfachschlitz-Licht projiziert wird, und somit können sie in einem gebogenen oder gekrümmten Zustand entsprechend der Konfiguration des zu messenden Objekts 123 aufgenommen werden. Beispielsweise ist es dann, wenn ein jeweiliges Schlitz-Licht in der Form einer Linie aufgenommen wird, erwiesen, daß die Konfiguration eine Ebene ist.
- Als nächstes wird das Bildsignal des im Speicherbereich M1 gespeicherten Musters A durch die Binarisierungsschaltung 113 binarisiert und gewichtet und im Speicherbereich M2 gespeichert, was als Bildsignal IA bezeichnet ist (S2). In diesem Fall ist die Gewichtung derart zugeordnet, daß sie für den niedrigen Pegel "0" 0 ist, und ist derart zugeordnet, daß sie für den hohen Pegel "1" 2&sup0; = 1 (H = 2&sup0;) ist. Daher wird, wie es im Muster A in Fig. 13 gezeigt ist, das Bildsignal IA erhalten, das aus einem Mehrfachschlitz-Licht besteht, das durch einen Code "10101010" dargestellt wird.
- Darauffolgend wird ein Muster B projiziert, und das aufgenommene Bildsignal wird im Speicherbereich M3 gespeichert (S3). Dieses Muster B ist aus Schlitz-Lichtern zusammengesetzt, die als abwechselndes Paar von einem Schlitz-Lichtmuster angeordnet sind.
- Das im Speicherbereich M3 gespeicherte Bildsignal wird durch die Binarisierungsschaltung 113 binarisiert, und die Gewichtung wird durch die Binarisierungsschaltung 113 oder die Bild-Arithmetikeinheit 115 durchgeführt. Das binarisierte Bildsignal mit dem hohen Pegel "1" wird durch 2¹ = 2 (H = 2¹) gewichtet, im Speicherbereich M4 gespeichert und als ein Bildsignal IB bezeichnet (S4). Demgemäß wird, wie es im Muster B in Fig. 13 gezeigt ist, ein Bildsignal IB geliefert, das aus einem Mehrfachschlitz-Licht besteht, das durch einen Code "22002200" dargestellt wird.
- Das im Speicherbereich M2 gespeicherte Bildsignal IA und das im Speicherbereich M4 gespeicherte Bildsignal IB werden jeweils ausgelesen, durch die Bild-Arithmetikeinheit 115 miteinander summiert, und das Ergebnis wird im Speicherbereich M1 gespeichert, was als Bildsignal IS bezeichnet ist (S5). Folglich ist das Bildsignal IS, wie es in Fig. 13 gezeigt ist, aus dem Mehrfachschlitz-Licht gebildet, das durch einen Code "32103210" dargestellt wird.
- Dann wird ein Muster C projiziert, und das Bildaufnahmesignal wird im Speicherbereich M3 gespeichert (S6). Dieses Muster C ist aus Schlitz-Lichtern zusammengesetzt, die auf einem Lichtmuster aus abwechselnd benachbarten vier Schlitzen angeordnet sind.
- Das im Speicherbereich M3 gespeicherte Bildsignal wird durch die Binarisierungsschaltung 113 binarisiert und eine Gewichtung von 2² = 4 wird dem hohen Pegel "1" (H = 22) des binarisierten Bildsignals zugeordnet. Das gewichtete Signal wird dann im Speicherbereich M4 gespeichert und als ein Bildsignal IC bezeichnet (S7). Als Ergebnis wird, wie es im Muster C in Fig. 13 gezeigt ist, das Bildsignal IC erhalten, das aus einem Mehrfachschlitz-Licht zusammengesetzt ist, das durch einen Code "44 440000" dargestellt ist.
- Als nächstes werden das im Speicherbereich M1 gespeicherte Bildsignal IS und das im Speicherbereich M4 gespeicherte Bildsignal IC mit Hilfe der Bild-Arithmetikeinheit 115 summiert, und das addierte Ergebnis wird im Speicherbereich M2 gespeichert. Das gespeicherte Ergebnis wird als Bildsignal IS' bezeichnet (S8). In Folge wird, wie es in Fig. 13 gezeigt ist, als Ergebnis der Addition das Bildsignal IS' erhalten, das aus einem Mehrfachschlitz-Licht besteht, das durch einen Code "76543210" dargestellt ist, und somit wird das codierte Mehrfachschlitz-Licht decodiert. In diesem Fall basiert das Codieren auf der natürlichen Binärzahl, aber andere Codes, wie beispielsweise ein Gray-Code, sind auch anwendbar.
- Das im Speicherbereich M2 gespeicherte Bildsignal IS', das das decodierte Ergebnis zeigt, ist durch die Mehrfachzahl dargestellt, und es muß somit binarisiert werden, um die Koordinatenstellen mit einem Pegel, der höher als 2&sup0; ist, zum Speicher 16 für eine durch ein codiertes Muster bestrahlte Stelle zu speichern (S9). Dann wird der Inhalt des Speichers 116 für eine durch ein codiertes Muster bestrahlte Stelle ausgelesen (S10), und ein Abstand zwischen Koordinatenstellen wird durch die Abstands-Berechnungseinheit 117 berechnet (S11). In diesem Fall wird die Abstandsberechnung durch die Abstands-Berechnungseinheit 117 für einen speziellen Zweck ausgeführt, aber die Operationsfunktion des Prozessors 118 kann statt dessen verwendet werden. Wo verschiedene Parameter und ähnliches vorbestimmt sind, ist es auch möglich, einen Nurlesespeicher (ROM) als die Abstands-Berechnungseinheit 117 zu verwenden.
- Das Aussehen der Abstandsmessung wird unter Bezugnahme auf Fig. 14 beschrieben werden.
- Unter der Annahme, daß ein Kamerakoordinatensystem, dessen Ursprung in der Mitte von Linsen der Bildaufnahmeeinheit 12 angeordnet ist, O-XYZ ist, und ein Lichtquellenkoordinatensystem, dessen Ursprung in der Mitte einer Lichtquelle des Mehrfachschlitz-Projektors ist, o-xyz ist, wird die Beziehung zwischen den beiden ausgedrückt durch:
- wobei tij (i = 1 bis 3, j = 1 bis 4) eine Konstante ist, die durch den Aufbau zwischen dem Mehrfachschlitz-Projektor 111 und der Bildaufnahmeeinheit 112 bestimmt ist, welche durch Berechnung bestimmt werden kann.
- Der Mehrfachschlitz-Projektor sendet "m" Schlitz-Lichter aus, die um die y-Achse dispergiert sind, wobei die jeweiligen Schlitz-Lichtebenen πj als (j = 1 bis m) bezeichnet sind. Das "j"-te Schlitz-Licht erzeugt ein Projektionsbild P auf dem zu messenden Objekt, während sein aufgenommenes Bild I auf der Bildoberfläche π&sub1; der Bildaufnahmevorrichtung 112 ausgebildet wird. Zu dieser Zeit kann basierend auf dem Prinzip einer Dreieckform eine dreidimensionale Position einer Stelle Pk (Xk, Yk, Zk) auf dem Projektionsbild als Schnittstelle zwischen einer Sichtlinie Oik, die das Linsenzentrum O und eine Stelle Ik (xk, yk) auf der Bildebene verbindet, und der Schlitz-Lichtebene πj wie folgt berechnet werden.
- Xk = uxk
- Yk = uyk ] (2)
- Zk = uf (3)
- u = h/g
- g = (t&sub1;&sub1;xk + t&sub1;&sub2;yk + t&sub1;&sub3;f) cosθj - (t&sub3;&sub1;xk + t&sub3;&sub2;yk + t&sub3;&sub3;f) sinθj (4)
- h = t&sub3;&sub4; sinθj - t&sub1;&sub4; cosθj (5)
- wobei (xk, yk) die Position der Stelle Pk auf der Bildebene bezeichnet, θj einen Projektionswinkel der Schlitz-Lichtebene darstellt und "f" eine Brennweite bedeutet.
- Die Koordinaten (xk, yk) können als die im Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle gespeicherten Koordinaten bestimmt werden, und θj kann aus dem decodierten Schlitz-Licht Nr. j bestimmt werden. Das bedeutet, daß der Wert von "j" als, Graupegel erhalten werden kann, der im Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle gespeichert ist.
- Fig. 15 ist ein Blockdiagramm des Hauptteils der Abstands- Berechnungseinheit 117, wobei die Koordinaten xk und yk, die aus dem Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle ausgelesen sind, und die Brennweite f eingegeben werden, und Werte u(1) bis u(m) gemäß dem obigen Ausdruck (3) durch Berechnungseinheiten 151-1 bis 151-m berechnet werden, die den Schlitz-Lichtnummern (1) bis (m) entsprechen. Dann wird gemäß der Schlitz-Lichtnummer j, u(j) entsprechend einer der Schlitz-Lichtnummern (1) bis (m) an die Multiplikationsteile 153 bis 155 mit der Hilfe eines Selektors 152 angelegt, welche eine Multiplikation basierend auf dem Ausdruck (2) ausführen, um die dreidimensionalen Positionen Xk, Yk und Zk zu bestimmen.
- In diesem Fall wird durch Anordnen des Mehrfachschlitz- Projektors 111 und der Bildaufnahmeeinheit 112 auf eine Oberfläche, die jedes der Mehrfachschlitz-Lichter bei einem rechten Winkel kreuzt, und durch Anordnen von ihnen bei derselben X-Achse, die sich parallel zur Richtung der Anordnung bzw. des Felds der Mehrfachschlitz-Lichter erstreckt, "u" im Ausdruck (3) ausgedrückt wie folgt:
- u = α /(β + γ) (6)
- α = t&sub3;&sub4; sinθj - t&sub1;&sub4; cosθj (7)
- β = t&sub1;&sub1; cosθj + t&sub1;&sub3; sinθj (8)
- γ = t&sub1;&sub3; cosθj - t&sub1;&sub1; sinθj (9)
- Die Koeffizienten t&sub1;&sub1; bis t&sub1;&sub4; und t&sub3;&sub1; bis t&sub3;&sub4; können im voraus bestimmt werden, wie es oben beschrieben ist. Weiterhin ist es, obwohl θj "m" Arten von Werten gemäß den Schlitz- Lichtnummern (1) bis (m) haben kann, möglich, die Koeffizienten entsprechend dem Wert θj vorzubestimmen. Daher ist u eine Funktion von xk und θj. Als Ergebnis kann die dreidimensionale Position des zu messenden Objekts 123 ohne Verzögerung durch Speichern eines Werts von "u" oder von Werten von Xk, Yk und Zk zum Nurlesespeicher (ROM) erhalten werden.
- Fig. 16 stellt ein Beispiel des Betriebs einer Pipeline- Verarbeitung durch die in Fig. 11 gezeigte Meßvorrichtung dar. In Fig. 16 bezeichnen F1 bis F8 jeweils Rahmen bzw. Datenübertragungsblöcke der Bildsignale. Im Rahmen F1 wird das Muster A auf das zu messende Objekt 123 projiziert, und die durch die Bildaufnahmeeinheit 112 aufgenommenen Bildsignale werden im Speicherbereich M1 gespeichert. Als nächstes werden im Rahmen F2 die Bildsignale des Musters A im Speicherbereich M1 binarisiert und im Speicherbereich M2 als die Bildsignale IA gespeichert, und das Muster B wird auf das zu messende Objekt 123 projiziert, und die durch die Bildaufnahmeeinheit 112 aufgenommenen Bildsignale werden im Speicherbereich M3 gespeichert.
- Im nächsten Rahmen F3 werden die Bildsignale des Musters B im Speicherbereich M3 binarisiert und im Speicherbereich M4 als die Bildsignale IB gespeichert.
- Im nächsten Rahmen F4 werden die Inhalte der Speicherbereiche M2 und M4 addiert und im Speicherbereich M1 als Bildsignale IS gespeichert.
- Darauffolgend wird im Rahmen F5 das Muster C auf das zu messende Objekt 123 projiziert, und die durch die Bildaufnahmeeinheit aufgenommenen Bildsignale werden im Speicherbereich M3 gespeichert. Als nächstes werden im Rahmen S6 die Bildsignale des Musters C im Speicherbereich M3 binarisiert und in den Speicherbereich M4 als Bildsignale IC gespeichert.
- Als nächstes werden im Rahmen F7 die Inhalte der Speicherbereiche M1 und M4 aufsummiert und im Speicherbereich M2 in der Form von Bildsignalen IS' gespeichert, und somit wird das codierte Mehrfachschlitz-Licht decodiert.
- Schließlich werden im nächsten Rahmen F8 die Bildsignale IS' im Speicherbereich M2 binarisiert und im Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle gespeichert.
- Das Decodieren bei diesem Ausführungsbeispiel erfordert in dem Fall von acht Schlitz-Lichtern sieben Rahmenperioden. Für Mehrfachschlitz-Lichter ist es jedoch möglich, in dem Fall von 16 Schlitz-Lichtern durch neun Rahmenperioden zu decodieren, und in dem Fall von 32 Schlitz-Lichtern durch 11 Rahmenperioden. Das bedeutet, daß das Größerwerden der Anzahl von zusätzlichen Rahmen um so niedriger wird, je größer die Anzahl von Schlitz-Lichtern ist.
- Fig. 17 stellt ein weiteres Beispiel des Betriebs einer Pipeline-Verarbeitung in der in Fig. 11 gezeigten Vorrichtung dar. Bei diesem Ausführungsbeispiel wird im Rahmen F1 das Muster A projiziert, und die durch die Bildaufnahmeeinheit 112 aufgenommenen Bildsignale werden im Speicherbereich M1 gespeichert. Als nächstes werden im Rahmen F2 Bildsignale mit dem Muster A im Speicherbereich M binarisiert und im Speicherbereich M2 als die Bildsignale IA gespeichert, und das Muster B wird auf das zu messende Objekt 123 projiziert und die durch die Bildaufnahmeeinheit 112 aufgenommenen Bildsignale werden im Speicherbereich M3 gespeichert. Bis zu dieser Stelle sind die Prozeduren dieselben wie diejenigen bei dem in Fig. 16 gezeigten Ausführungsbeispiel. Im nächsten Rahmen F3 werden jedoch die Prozesse in den Rahmen F3, F4 und F5 in Fig. 16 gleichzeitig ausgeführt, d.h. das Muster C wird auf das zu messende Objekt 123 projiziert, die durch die Bildaufnahmeeinheit 112 abgenommenen Bildsignale werden im Speicherbereich M4 gespeichert, die Bildsignale des Musters B im Speicherbereich M3 werden binarisiert und die Bildsignale IA im Speicherbereich M2 werden ausgelesen, entsprechend der Binarisierungsverarbeitung verzögert, um die Addition durchzuführen, und im Speicherbereich M1 als die Bildsignale IS gespeichert.
- Darauffolgend werden im Rahmen F4 die Prozesse in den Rahmen F6 und F7 gleichzeitig durchgeführt, d.h. die Bildsignale des Musters C im Speicherbereich M4 werden binarisiert, die Bildsignale IS werden ausgelesen, entsprechend der Binarisierungsverarbeitung verzögert, um die Addition durchzuführen, und im Speicherbereich M2 als die Bildsignale IS' gespeichert, und somit wird das codierte Mehrfachschlitz- Licht decodiert. Im nächsten Rahmen F5, der gleich F8 in Fig. 16 ist, werden die Bildsignale IS' binarisiert und im Speicher 116 für eine durch ein codiertes Muster bestrahlte Stelle gespeichert. Es ist zu beachten, daß im Rahmen F5 ein Schritt zum Projizieren des Musters A für die Messung des nächsten zu messenden Objekts initiiert werden kann.
- Die aus den Speicherbereichen M2 und M1 in den vorgenannten Rahmen F3 und F4 ausgelesenen Bildsignale liefern gemeinsam Adressensignale für die Speicherbereiche M1 bis M4, was zu einer Verzögerung bei der Binarisierungsverarbeitung führt. Es ist auch möglich, die Ausleseadressen der Bildsignale IA und IS zu verzögern, um dadurch die Additionsverarbeitung zwischen den binarisierten Bildsignalen durchzuführen.
- Bei diesem Ausführungsbeispiel können die Binarisierung der Bildsignale, die Additionsverarbeitung zwischen den Bildern und die Projektion des codierten Mehrfachschlitz-Lichts gleichzeitig ausgeführt werden, wodurch das Decodieren in dem Fall von acht Schlitz-Lichtern durch vier Rahmen erreicht wird, wie es früher beschrieben ist, in dem Fall von sechzehn Schlitz-Lichtern durch fünf Rahmen und in dem Fall von zweiunddreißig Schlitz-Lichtern durch sechs Rahmen. Das bedeutet, daß im Vergleich mit dem in Fig. 16 gezeigten Ausführungsbeispiel sogar weniger Zeit zum Decodieren erforderlich ist.
- Gemäß den Ausführungsbeispielen der vorliegenden Erfindung, wie sie unter Bezugnahme auf die Fig. 10 bis 17 beschrieben sind, wird ein codiertes Mehrfachschlitz-Licht auf das zu messende Objekt vom Mehrfachschlitz-Projektor projiziert, werden die durch die Bildaufnahmeeinheit aufgenommenen bzw. abgenommenen Bildsignale durch die Binarisierungsschaltung binarisiert, jedesmal, wenn das Muster des codierten Mehrfachschlitz-Lichts geändert wird, wird die Gewichtung des binarisierten Bildsignals geändert, und die letzten binarisierten Bildsignale oder die Bildsignale der letzten Additionsergebnisse werden durch die Bildoperationseinheit summiert, um das codierte Mehrfachschlitz-Licht zu decodieren, wodurch, selbst wenn die Anzahl von Schlitz- Lichtern des Mehrfachschlitz-Lichts groß ist, die Kapazität des Bildspeichers beispielsweise in der Größenordnung von vier Bildschirmen sein kann, was in einer Miniaturisierung und einer Kosteneinsparung resultiert. Darüber hinaus kann eine Addition zwischen den Bildern durch den Bildprozessor oder ähnliches ausgeführt werden, um dadurch ein Decodieren hoher Geschwindigkeit des codierten Mehrfachschlitz-Lichts zu realisieren, was somit zum Beschleunigen der dreidimensionalen Meßverarbeitung führt.
- Weiterhin sind der Mehrfachschlitz-Projektor und die Bildaufnahmeeinheit auf einer Oberfläche angeordnet, die ein jeweiliges der Mehrfachschlitz-Lichter bei einem rechten Winkel kreuzt, und sind derart angeordnet, daß sie dieselbe X-Achse haben, die sich parallel zur Richtung des Felds der Mehrfachschlitz-Lichter erstreckt, wodurch es möglich ist, die Koeffizienten und ähnliches bei der Abstandsberechnung im voraus zu bestimmen, und somit kann der Nurlesespeicher zum Auslesen der dreidimensionalen Koordinaten verwendet werden, um folglich die Struktur zu vereinfachen und eine Verarbeitung hoher Geschwindigkeit zu erhalten.
- Bei den oben beschriebenen Ausführungsbeispielen sind als die codierten Mehrfachschlitz-Lichtmuster "n" Arten von Mustern für 2n Mehrfachschlitz-Lichter vorgesehen, um dadurch alle Schlitz-Lichter zu zählen. In diesem Fall wird das Bild des zu messenden Objekts durch die Bildaufnahmeeinheit, wie beispielsweise eine Fernsehkamera, jedesmal dann erhalten, wenn die "n" Arten von codierten Mehrfachschlitz-Lichtmustern für eine Projektion geändert werden, die Bildsignale für einen Bildschirm mit einer Mehrfach-Bit-Konfiguration für ein Pixel in den Bildspeichern gespeichert werden, die Bildsignale jeweils in den "n" Bildspeichern ausgelesen werden und die Schlitz-Lichter durch einen arithmetischen Prozeß bzw. Rechenprozeß zwischen den Bildsignalen für ein jeweiliges Schlitz-Licht gezählt werden.
- Daher wird bei den unter Bezugnahme auf die Fig. 10 bis 17 beschriebenen obigen Ausführungsbeispielen das codierte Mehrfachschlitz-Lichtmuster auf das zu messende Objekt projiziert, werden aufgenommene bzw. abgenommene Bildsignale in beispielsweise digitale Signale mit einer 8-Bit- Konfiguration für ein Pixel umgewandelt, um in Bildspeichern gespeichert zu werden, und werden die Bildsignale bei jeder Änderung des codierten Mehrfachschlitz-Lichtmusters in unterschiedliche Bildspeicher gespeichert, und demgemäß führt die Verwendung einer Mehrfachheit von Schlitz-Lichtern zu einer Erhöhung der Anzahl von Mustern, was eine Mehrfachheit von Bildspeichern erfordert, was somit in erhöhten Herstellungskosten resultiert. Weiterhin werden basierend auf den in einem jeweiligen Bildspeicher gespeicherten Bildsignalen die Sammelverarbeitung und ähnliches aufeinanderfolgend durch ein Schlitz-Licht durchgeführt, um dadurch die Anzahl von Schlitz-Lichtern zu erhöhen, und um somit die Verarbeitungszeit zu verlängern.
Claims (8)
1. Dreidimensionale Meßvorrichtung, die einen
Mehrfachschlitz-Projektor (101) zum Projizieren eines
codierten Mehrfachschlitz-Lichtmusters auf ein zu
messendes Objekt und eine Bilderkennungsvorrichtung
aufweist, wobei die Bilderkennungsvorrichtung folgendes
aufweist:
eine Bildaufnabmeeinheit (102) zum Aufnehmen des auf
das Objekt projizierten codierten Mehrfachschlitz-
Lichtmusters;
eine Binarisierungsschaltung (103) zum Binarisieren
von Bildsignalen von der Bildaufnahmeeinheit (102);
eine Bild-Arithmetikeinheit (105), um jedesmal dann,
wenn das codierte Mehrfachschlitz-Lichtmuster geändert
wird, Gewichtungen zu ändern, die den binarisierten
Bildsignalen zugeordnet sind, die durch die
Binarisierungsschaltung (103) erhalten werden, und um die
letzten gewichteten binarisierten Bildsignale oder die
Bildsignale der letzten addierten Ergebnisse, die aus
einem Bildspeicher (104) ausgelesen werden, mit neu
gewichteten binarisierten Bildsignalen zu summieren;
einen Speicher (106) für eine durch ein codiertes
Muster bestrahlte Stelle zum Speichern einer Koordinate
einer durch ein codiertes Muster bestrahlten Stelle des
Objekts, wobei die Koordinate dem Mehrfachschlitz-Licht
entspricht, das aus den schließlichen
Arithmetikergebnissen der Bild-Arithmetikeinheit (105)
decodiert wird; und
eine Abstands-Berechnungseinheit (107) zum Berechnen
einer dreidimensionalen Position der im Speicher (106)
für eine durch ein codiertes Muster bestrahlte Stelle
gespeicherten durch ein codiertes Muster bestrahlten
stellen.
2. Dreidimensionale Meßvorrichtung nach Anspruch 1, wobei
der Mehrfachschlitz-Projektor (101) und die
Bildaufnahmeeinheit (102) auf einer Oberfläche angeordnet
sind, die ein jeweiliges der Mehrfachschlitz-Lichter bei
einem rechten Winkel kreuzen, und die Bildaufnahmeeinheit
(102) derart angeordnet ist, daß sie dieselbe X-Achse
hat, die sich parallel zur Richtung des Felds der
Mehrfachschlitz-Lichter erstreckt, und die Abstands-
Berechnungseinheit einen Nurlesespeicher zum Speichern
von Koordinaten von dreidimensionalen Positionen des
Objekts aufweist, wobei die Koordinaten der
dreidimensionalen Positionen den Koordinaten der durch
ein codiertes Muster bestrahlten Stellen entsprechen.
3. Dreidimensionale Meßvorrichtung nach einem der
vorangehenden Ansprüche, wobei der Mehrfachschlitz-
Projektor folgendes aufweist:
eine Lichtquelle (41) zum Aussenden paralleler
Lichter;
ein erstes und ein zweites Beugungsgitter (42, 43) zum
Empfangen der parallelen Lichter von der Lichtquelle (41)
und zum Beugen der parallelen Lichter in
Beugungsrichtungen, die rechtwinklig zueinander sind;
eine zylindrische Linse (44), auf welcher durch das
erste und das zweite Beugungsgitter (42, 43) gebeugte
Ausgangslichter einfallen und die eine Vielzahl von
parallelen Schlitz-Lichtern erzeugt, die in der
Beugungsrichtung von entweder dem ersten oder dem zweiten
Beugungsgitter (42, 43) dispergiert sind; und
eine Blendenanordnung zum Blockieren vorbestimmter
Schlitz-Lichter unter den parallelen Schlitz-Lichtern von
der zylindrischen Linse (44), um dadurch einen Code zu
bilden; und
ein Stellglied (46) zum Versetzen einer Konfiguration
mit wenigstens einem von dem ersten und dem zweiten
Beugungsgitter (42, 43) um einen Abstand, der kleiner als
eine Teilung der Mehrfachschlitz-Lichter ist, in der
Richtung, die rechtwinklig sowohl zu der Richtung ist, in
welcher sich die parallelen Schlitz-Lichtet erstrecken,
als auch zu der Lichtemissionsrichtung von der
Lichtquelle.
4. Dreidimensionale Meßvorrichtung nach Anspruch 3, wobei
das Stellglied (46) eine Einrichtung zum Versetzen der
Konfiguration Schritt für Schritt aufweist.
5. Dreidimensionale Meßvorrichtung nach Anspruch 3, wobei
das Stellglied (46) eine Einrichtung zum kontinuierlichen
Versetzen der Konfiguration aufweist.
6. Dreidimensionale Meßvorrichtung nach Anspruch 3, wobei
das Stellglied (46) einen Schwingspulenmotor (20) und
eine Lagerungsfeder (18, 19), die durch den
Schwingspulenmotor (20) angetrieben wird, aufweist, wobei
die Lagerungsfeder wenigstens einem von dem ersten und
dem zweiten Beugungsgitter (42, 43) zugeordnet ist.
7. Dreidimensionale Meßvorrichtung nach Anspruch 3, wobei
das Stellglied (46) ein piezoelektrisches Element (25)
und eine durch das piezoelektrische Element (25)
angetriebene Lagerungsfeder (18, 19) aufweist, wobei die
Lagerungsfeder wenigstens einem von dem ersten und dem
zweiten Beugungsgitter (42, 43) zugeordnet ist.
8. Dreidimensionale Meßvorrichtung nach Anspruch 3, wobei
das Stellglied (46) einen Linearmotor (26) und eine durch
den Linearmotor (26) angetriebene Lagerungsfeder (18, 19)
aufweist, wobei die Lagerungsfeder bei wenigstens einem
von dem ersten und dem zweiten Beugungsgitter (42, 43)
zugeordnet ist.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15879990A JPH0451112A (ja) | 1990-06-19 | 1990-06-19 | マルチスリット投光器 |
JP2165560A JPH0820232B2 (ja) | 1990-06-26 | 1990-06-26 | 三次元計測装置 |
JP27766090A JP2864163B2 (ja) | 1990-10-18 | 1990-10-18 | 三次元計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69132853D1 DE69132853D1 (de) | 2002-01-17 |
DE69132853T2 true DE69132853T2 (de) | 2002-06-06 |
Family
ID=27321410
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69132853T Expired - Fee Related DE69132853T2 (de) | 1990-06-19 | 1991-06-19 | Dreidimensionales Messinstrument |
DE69133108T Expired - Fee Related DE69133108T2 (de) | 1990-06-19 | 1991-06-19 | Apparat zur dreidimensionalen Messung |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69133108T Expired - Fee Related DE69133108T2 (de) | 1990-06-19 | 1991-06-19 | Apparat zur dreidimensionalen Messung |
Country Status (4)
Country | Link |
---|---|
US (2) | US5307153A (de) |
EP (3) | EP0660079B1 (de) |
CA (1) | CA2044820C (de) |
DE (2) | DE69132853T2 (de) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2767340B2 (ja) * | 1991-12-26 | 1998-06-18 | ファナック株式会社 | 物体の3次元位置・姿勢計測方式 |
JP3242704B2 (ja) * | 1992-03-19 | 2001-12-25 | 宏介 佐藤 | 距離測定方法および装置 |
US5270795A (en) * | 1992-08-11 | 1993-12-14 | National Research Council Of Canada/Conseil National De Rechereches Du Canada | Validation of optical ranging of a target surface in a cluttered environment |
EP0642034B1 (de) * | 1993-09-06 | 1999-07-21 | Sony Corporation | Verfahren und Gerät zur Entfernungsmessung |
US5867604A (en) * | 1995-08-03 | 1999-02-02 | Ben-Levy; Meir | Imaging measurement system |
DE29515738U1 (de) * | 1995-10-04 | 1995-11-30 | Vosseler, Hans-Günther, 74613 Öhringen | Meßvorrichtung zur kontaktlosen Meßanalyse von Körpern oder Oberflächen |
US6044170A (en) * | 1996-03-21 | 2000-03-28 | Real-Time Geometry Corporation | System and method for rapid shape digitizing and adaptive mesh generation |
US5870220A (en) * | 1996-07-12 | 1999-02-09 | Real-Time Geometry Corporation | Portable 3-D scanning system and method for rapid shape digitizing and adaptive mesh generation |
AU3991799A (en) | 1998-05-14 | 1999-11-29 | Metacreations Corporation | Structured-light, triangulation-based three-dimensional digitizer |
US6731390B2 (en) * | 1999-07-01 | 2004-05-04 | Carl Zeiss Jena Gmbh | Process and apparatus for determining surface information using a projected structure with a periodically changing brightness curve |
US7065242B2 (en) * | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
US6754370B1 (en) * | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
US6618123B2 (en) * | 2000-10-20 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | Range-finder, three-dimensional measuring method and light source apparatus |
US8958654B1 (en) * | 2001-04-25 | 2015-02-17 | Lockheed Martin Corporation | Method and apparatus for enhancing three-dimensional imagery data |
DE10143504A1 (de) | 2001-09-05 | 2003-03-20 | Sick Ag | Überwachungsverfahren und optoelektronischer Sensor |
AU2002361572A1 (en) * | 2001-10-19 | 2003-04-28 | University Of North Carolina At Chape Hill | Methods and systems for dynamic virtual convergence and head mountable display |
US7385708B2 (en) * | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
JP2004037317A (ja) * | 2002-07-04 | 2004-02-05 | Murata Mfg Co Ltd | 三次元形状測定方法、三次元形状測定装置 |
DE10304111B4 (de) * | 2003-01-31 | 2011-04-28 | Sirona Dental Systems Gmbh | Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts |
GB0324179D0 (en) * | 2003-10-15 | 2003-11-19 | Isis Innovation | Device for scanning three-dimensional objects |
WO2005082075A2 (en) * | 2004-02-25 | 2005-09-09 | The University Of North Carolina At Chapel Hill | Systems and methods for imperceptibly embedding structured light patterns in projected color images |
WO2005096126A1 (ja) * | 2004-03-31 | 2005-10-13 | Brother Kogyo Kabushiki Kaisha | 画像入出力装置 |
WO2006020187A2 (en) * | 2004-07-16 | 2006-02-23 | The University Of North Carolina At Chapel Hill | Methods, systems and computer program products for full spectrum projection |
US7202956B2 (en) * | 2004-10-08 | 2007-04-10 | Asm Technology Singapore Pte Ltd. | Translation mechanism for opto-mechanical inspection |
DE102006022878B3 (de) * | 2006-05-15 | 2007-09-06 | Sartorius Biotech Gmbh | Verfahren und Detektionsvorrichtung zur bildgebenden Erfassung einer Probe |
US7957007B2 (en) * | 2006-05-17 | 2011-06-07 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for illuminating a scene with multiplexed illumination for motion capture |
US7584020B2 (en) * | 2006-07-05 | 2009-09-01 | Battelle Energy Alliance, Llc | Occupancy change detection system and method |
US7801644B2 (en) * | 2006-07-05 | 2010-09-21 | Battelle Energy Alliance, Llc | Generic robot architecture |
US8965578B2 (en) | 2006-07-05 | 2015-02-24 | Battelle Energy Alliance, Llc | Real time explosive hazard information sensing, processing, and communication for autonomous operation |
US8271132B2 (en) * | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
US7668621B2 (en) * | 2006-07-05 | 2010-02-23 | The United States Of America As Represented By The United States Department Of Energy | Robotic guarded motion system and method |
US7974738B2 (en) * | 2006-07-05 | 2011-07-05 | Battelle Energy Alliance, Llc | Robotics virtual rail system and method |
US8355818B2 (en) * | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
US7620477B2 (en) * | 2006-07-05 | 2009-11-17 | Battelle Energy Alliance, Llc | Robotic intelligence kernel |
US8073564B2 (en) * | 2006-07-05 | 2011-12-06 | Battelle Energy Alliance, Llc | Multi-robot control interface |
US7587260B2 (en) * | 2006-07-05 | 2009-09-08 | Battelle Energy Alliance, Llc | Autonomous navigation system and method |
US20110057930A1 (en) * | 2006-07-26 | 2011-03-10 | Inneroptic Technology Inc. | System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy |
US7728868B2 (en) | 2006-08-02 | 2010-06-01 | Inneroptic Technology, Inc. | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities |
DE102006036671A1 (de) * | 2006-08-03 | 2008-02-07 | Dürr Assembly Products GmbH | Verfahren zur Bestimmung der Achsgeometrie eines Fahrzeugs |
KR100791389B1 (ko) * | 2006-12-26 | 2008-01-07 | 삼성전자주식회사 | 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법 |
JP5041303B2 (ja) * | 2007-04-05 | 2012-10-03 | 株式会社ニコン | 形状測定装置及び形状測定方法 |
WO2009094646A2 (en) * | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
US8340379B2 (en) | 2008-03-07 | 2012-12-25 | Inneroptic Technology, Inc. | Systems and methods for displaying guidance data based on updated deformable imaging data |
US20090312629A1 (en) * | 2008-06-13 | 2009-12-17 | Inneroptic Technology Inc. | Correction of relative tracking errors based on a fiducial |
US8554307B2 (en) | 2010-04-12 | 2013-10-08 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
US8690776B2 (en) | 2009-02-17 | 2014-04-08 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image guided surgery |
US11464578B2 (en) | 2009-02-17 | 2022-10-11 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
US8641621B2 (en) | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
CA2753249A1 (en) * | 2009-02-27 | 2010-09-02 | Body Surface Translations, Inc. | Estimating physical parameters using three dimensional representations |
DE102009023896B4 (de) * | 2009-06-04 | 2015-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erfassen einer Pflanze |
ES2823456T3 (es) | 2009-06-25 | 2021-05-07 | Univ North Carolina Chapel Hill | Método y sistema para utilizar postes unidos a una superficie accionados para evaluar la reología de fluidos biológicos |
US20110043612A1 (en) * | 2009-07-31 | 2011-02-24 | Inneroptic Technology Inc. | Dual-tube stereoscope |
US20110082351A1 (en) * | 2009-10-07 | 2011-04-07 | Inneroptic Technology, Inc. | Representing measurement information during a medical procedure |
US9282947B2 (en) | 2009-12-01 | 2016-03-15 | Inneroptic Technology, Inc. | Imager focusing based on intraoperative data |
US9197881B2 (en) * | 2011-09-07 | 2015-11-24 | Intel Corporation | System and method for projection and binarization of coded light patterns |
TW201331547A (zh) * | 2011-11-01 | 2013-08-01 | 尼康股份有限公司 | 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、程式及記錄媒體 |
US8670816B2 (en) | 2012-01-30 | 2014-03-11 | Inneroptic Technology, Inc. | Multiple medical device guidance |
JP6119232B2 (ja) * | 2012-12-19 | 2017-04-26 | 株式会社ソシオネクスト | 距離測定装置、距離測定方法 |
JP2014119427A (ja) * | 2012-12-19 | 2014-06-30 | Fujitsu Semiconductor Ltd | スポット探索装置、スポット探索方法 |
US10314559B2 (en) | 2013-03-14 | 2019-06-11 | Inneroptic Technology, Inc. | Medical device guidance |
DE102013020498A1 (de) * | 2013-12-11 | 2015-06-11 | Api International Ag | Vorrichtung zur 3-D-Vermessung einer Oberfläche und Projektionseineit, sowie Verfahren zur 3-D-Vermessung |
JP6417099B2 (ja) * | 2014-03-13 | 2018-10-31 | キヤノン株式会社 | 計測装置、および物品の製造方法 |
US9901406B2 (en) | 2014-10-02 | 2018-02-27 | Inneroptic Technology, Inc. | Affected region display associated with a medical device |
US10188467B2 (en) | 2014-12-12 | 2019-01-29 | Inneroptic Technology, Inc. | Surgical guidance intersection display |
US9949700B2 (en) | 2015-07-22 | 2018-04-24 | Inneroptic Technology, Inc. | Medical device approaches |
US9587933B2 (en) * | 2015-08-07 | 2017-03-07 | General Electric Company | System and method for inspecting an object |
US9675319B1 (en) | 2016-02-17 | 2017-06-13 | Inneroptic Technology, Inc. | Loupe display |
DE102016004334A1 (de) * | 2016-04-13 | 2017-10-19 | Wabco Gmbh | Sensoreinrichtung zur Erfassung von Umgebungsinformationen und Verfahren zum Betreiben derselben |
US10278778B2 (en) | 2016-10-27 | 2019-05-07 | Inneroptic Technology, Inc. | Medical device navigation using a virtual 3D space |
US11259879B2 (en) | 2017-08-01 | 2022-03-01 | Inneroptic Technology, Inc. | Selective transparency to assist medical device navigation |
US11484365B2 (en) | 2018-01-23 | 2022-11-01 | Inneroptic Technology, Inc. | Medical image guidance |
KR102526929B1 (ko) * | 2018-04-04 | 2023-05-02 | 삼성전자 주식회사 | 메타 표면이 형성된 투명 부재를 포함하는 광원 모듈 및 이를 포함하는 전자 장치 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4508452A (en) * | 1975-08-27 | 1985-04-02 | Robotic Vision Systems, Inc. | Arrangement for sensing the characteristics of a surface and determining the position of points thereon |
US4212073A (en) * | 1978-12-13 | 1980-07-08 | Balasubramanian N | Method and system for surface contouring |
IL66382A (en) * | 1982-07-23 | 1988-04-29 | Israel Atomic Energy Comm | Method and apparatus for measuring linear distances using moire patterns |
US4634278A (en) * | 1984-02-06 | 1987-01-06 | Robotic Vision Systems, Inc. | Method of three-dimensional measurement with few projected patterns |
US4653104A (en) * | 1984-09-24 | 1987-03-24 | Westinghouse Electric Corp. | Optical three-dimensional digital data acquisition system |
JPH061164B2 (ja) * | 1985-01-31 | 1994-01-05 | 伍良 松本 | 立体形状測定装置 |
CA1266562A (en) * | 1986-09-24 | 1990-03-13 | Donald Stewart | Distance measuring apparatus |
FR2610821B1 (fr) * | 1987-02-13 | 1989-06-09 | Hennson Int | Procede de prise d'empreinte medicale et dispositif pour sa mise en oeuvre |
US4982438A (en) * | 1987-06-02 | 1991-01-01 | Hitachi, Ltd. | Apparatus and method for recognizing three-dimensional shape of object |
CA1313040C (en) * | 1988-03-31 | 1993-01-26 | Mitsuaki Uesugi | Method and apparatus for measuring a three-dimensional curved surface shape |
JP2771190B2 (ja) * | 1988-10-07 | 1998-07-02 | 株式会社日立製作所 | スルーホール充填状態検査方法およびその装置 |
JPH02253765A (ja) * | 1989-03-28 | 1990-10-12 | Toshiba Corp | 画像処理装置 |
US4988886A (en) * | 1989-04-06 | 1991-01-29 | Eastman Kodak Company | Moire distance measurement method and apparatus |
JPH0718692B2 (ja) * | 1989-06-16 | 1995-03-06 | 三菱電機株式会社 | 光切断法による物体の立体形状検知装置 |
US5129010A (en) * | 1989-12-15 | 1992-07-07 | Kabushiki Kaisha Toyoto Chuo Kenkyusho | System for measuring shapes and dimensions of gaps and flushnesses on three dimensional surfaces of objects |
-
1991
- 1991-06-17 CA CA002044820A patent/CA2044820C/en not_active Expired - Fee Related
- 1991-06-19 EP EP95103248A patent/EP0660079B1/de not_active Expired - Lifetime
- 1991-06-19 DE DE69132853T patent/DE69132853T2/de not_active Expired - Fee Related
- 1991-06-19 EP EP19910110071 patent/EP0462595A3/en not_active Ceased
- 1991-06-19 DE DE69133108T patent/DE69133108T2/de not_active Expired - Fee Related
- 1991-06-19 EP EP99122065A patent/EP0985903B1/de not_active Expired - Lifetime
-
1993
- 1993-08-31 US US08/113,745 patent/US5307153A/en not_active Expired - Fee Related
-
1994
- 1994-08-04 US US08/285,441 patent/US5509090A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0985903A3 (de) | 2000-04-19 |
US5307153A (en) | 1994-04-26 |
DE69133108D1 (de) | 2002-10-17 |
US5509090A (en) | 1996-04-16 |
EP0660079A2 (de) | 1995-06-28 |
EP0660079A3 (de) | 1998-07-08 |
CA2044820A1 (en) | 1991-12-20 |
EP0985903B1 (de) | 2002-09-11 |
DE69133108T2 (de) | 2003-04-17 |
EP0660079B1 (de) | 2001-12-05 |
EP0462595A2 (de) | 1991-12-27 |
EP0985903A2 (de) | 2000-03-15 |
DE69132853D1 (de) | 2002-01-17 |
EP0462595A3 (en) | 1992-09-02 |
CA2044820C (en) | 1998-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69132853T2 (de) | Dreidimensionales Messinstrument | |
DE2709353C2 (de) | Reproduktionseinrichtung zur Herstellung gerasterter Bilder | |
DE3650479T2 (de) | Vorrichtung zur Aussendung von Lichtflächen | |
DE3137031C2 (de) | Mehrfachstrahlenbündel-Abtastoptiksystem | |
DE2513027C2 (de) | Entfernungsmeßeinrichtung | |
DE3851610T2 (de) | Leser mit Lichtabtastung. | |
EP0449859B1 (de) | Verfahren und vorrichtung zur beobachtung von moiremustern von zu untersuchenden oberflächen unter anwendung des moireverfahrens mit phasenshiften | |
DE69021560T2 (de) | System zum plotten oder abtasten graphischer bilder. | |
DE3518608C2 (de) | ||
DE1774807A1 (de) | Verfahren und Vorrichtung zum Identifizieren von Mustern bzw. flaechigen Zeichen,wie z.B. Buchstaben,Ziffern od.dgl. | |
DE3116671A1 (de) | Instrument zum automatischen bestimmen der kennwerte eines optischen systems | |
DE19749435A1 (de) | Vorrichtung zur dreidimensionalen, flächenhaften, optischen Vermessung von Objekten | |
CH697319B1 (de) | Verfahren und Vorrichtung zum geometrischen Kalibrieren von optoelektronischen Messbildkameras. | |
DE10013299C2 (de) | Verfahren und Vorrichtung zur geometrischen Kalibrierung pixelorientierter photosensitiver Elemente | |
EP1477774A1 (de) | Positionsmesseinrichtung | |
DE3630739C1 (en) | Method for data pick-up by means of detector arrays and devices for carrying out the methods | |
EP0623884A2 (de) | Verfahren zur quantitativen Bestimmung der Verzerrungen von Röntgenaufnahmen und Anordnung zur Druchführung des Verfahrens | |
DE3213149C2 (de) | Optisches System zur Änderung der Bildstellung | |
DE1447286A1 (de) | Digitale Strahlablenkeinrichtung | |
DE2534082A1 (de) | Automatische fokussier-steuervorrichtung | |
DE2838121B2 (de) | Verfahren zur Scharfeinstellung einer Optik | |
DE19518714A1 (de) | Geber mit diffraktiven optischen Abbildungselementen | |
DE3934423C1 (en) | Camera photographing topography of test piece surface - produces Moire image using CCD sensors recording phase shift between object grating and camera reference grating | |
DE4227389C2 (de) | Vorrichtung zum Messen der exakten Winkelposition eines Schwingspiegels | |
EP0029036A1 (de) | Verfahren und schaltungsanordnung zur berührungslosen vermessung von körpern |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |