DE10124347A1

DE10124347A1 - Detecting patterns on object surface e.g. in warehouse, involves evaluating acquired images in computer so that 3D and 2D images can be detected with bright and dark field surface illumination respectively

Info

Publication number: DE10124347A1
Application number: DE10124347A
Authority: DE
Inventors: Harald Schmalfuss; Alexander Simon
Original assignee: LEWECKE MASCHINENBAU GmbH
Current assignee: LEWECKE MASCHINENBAU GmbH
Priority date: 2001-04-20
Filing date: 2001-05-18
Publication date: 2002-10-31

Abstract

The method involves alternately illuminating (4) the surface of the object (2) with bright field and dark field illumination, acquiring (1) at least one image with bright field illumination and/or with dark field illumination and evaluating the images in a computer (3) using neural network so that 3D and 2D images can be detected with the bright and dark field illumination respectively. AN Independent claim is also included for the following: an arrangement for detecting patterns on object surface.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes und insbesondere die Verwendung eines solchen Ver fahrens und einer solchen Vorrichtung in einem chaotischen Lager zur Überwachung der Be wegung von Lagergut und zur Aufzeichnung von Gegenständen, die aus dem Lager entfernt werden.The invention relates to a method and an apparatus for recognizing patterns a surface of an object and in particular the use of such a ver driving and such a device in a chaotic warehouse for monitoring the loading movement of stored goods and for recording objects that are removed from the warehouse become.

In einem chaotischen Lager, oder voll automatisierten, rechnergesteuerten Lager, werden die Lagergüter mittels automatischen Krananlagen oder anderen Hebe- und Fördereinrichtungen aus Lagerregalen entnommen und zu ihrem Bestimmungsort transportiert. Jede Lagerbewe gung wird in einem Rechner aufgezeichnet. Wenn z. B. ein Auftrag für die Entnahme eines Gegenstandes aus dem Lager eingeht, registriert der Rechner den Auftrag und löst die Ent nahme eines entsprechenden Gegenstand aus. Nach Abschluß des Auftrags wird der Gegen stand als entnommen aufzeichnet. Dies geht so lange gut, wie aus dem Lager tatsächlich die angeforderten Gegenstände entnommen werden und die Aufzeichnung im Rechner fehlerfrei ist. Dies wiederum ist nur gewährleistet, wenn die aus dem Lager entnommenen Gegenstände automatisch und richtig gefunden und erfaßt werden und der Rechner eine entsprechende Rückmeldung erhält.In a chaotic warehouse, or fully automated, computer controlled warehouse, the Storage goods using automatic crane systems or other lifting and conveying devices removed from storage racks and transported to their destination. Every stock move tion is recorded in a computer. If e.g. B. an order for the removal of a Incoming item from the warehouse, the computer registers the order and resolves the Ent exception of a corresponding item. After completion of the order, the counterparty stood as recorded. This works well as long as the warehouse actually does requested items are removed and the recording in the computer error-free is. This in turn is only guaranteed if the items removed from the warehouse can be found and recorded automatically and correctly and the computer a corresponding one Receives feedback.

Die WO 95/25315 beschreibt ein Identifikations- und Kontrollsystem für Verarbeitungs- und/oder Transportgut und spezieller ein Verfahren zur Überwachung und Steuerung eines Transport- oder Verarbeitungsablaufs an verschiedenen Stationen, bei dem vor dem Eintritt in den Verarbeitungsablauf von jedem Objekt mit einer elektronischen Kamera an einer Ein gangsstation ein digitales Bild aufgenommen wird, welches für die Identifizierung des Ob jekts charakteristische Merkmale aufweist, die Merkmale ermittelt und in einem Merk malscode zusammengefaßt werden. Im weiteren Verlauf wird an Kontrollstationen von dem jeweiligen Objekt mit weiteren Kameras jeweils ein digitales Bild aufgenommen, zur Identifi zierung des Objekts analysiert und mit dem gespeicherten Merkmalscode verglichen und das Objekt einem Zentralcomputer gemeldet. Das in der WO95/25315 beschriebene Verfahren eignet sich für solche Objekte, die sich in eindeutiger Weise anhand ihrer Gestalt, Form und Außenmaßen des Objekts kennzeichnen lassen. Um sehr ähnliche Gegenstände zuverlässig zu unterscheiden, ist jedoch ein erheblicher Rechenaufwand für die Bildverarbeitung notwendig. Es wird vorgeschlagen, zur Erkennung geringfügiger Veränderungen das aufgenommene Bild unschärfer zu machen.WO 95/25315 describes an identification and control system for processing and / or transported goods and more particularly a method for monitoring and controlling a Transport or processing sequence at various stations, in which before entering the processing flow of each object with an electronic camera on one a digital image is recorded, which is used to identify the ob jects characteristic features, the characteristics determined and in a memo Color code can be summarized. In the further course the control station digital object for each object with additional cameras, for identification ornamentation of the object analyzed and compared with the stored feature code and that Object reported to a central computer. The method described in WO95 / 25315 is suitable for objects that are unique in terms of their shape, shape and Mark the outside dimensions of the object. To reliably find very similar items distinguish, however, a considerable computing effort for image processing is necessary. It is proposed to use the captured image to detect minor changes to make it less clear.

Darüber hinaus ist es bekannt, zur Erfassung und Verfolgung von Gegenständen in einem Verarbeitungsablauf die Gegenstände mit einem Strichcode zu versehen, der beispielsweise jeweils an Eingangsstationen eines Verarbeitungsprozesses erfaßt werden kann. Dies macht es notwendig, an jedem Gegenstand ein Etikett mit einem Strichcode anzubringen oder den Strichcode auf die Gegenstände zu drucken, was nicht in jedem Anwendungsfall praktikabel ist.In addition, it is known to capture and track objects in one Processing sequence to provide the objects with a bar code, for example can be detected in each case at input stations of a processing process. It does it it is necessary to attach a barcode label to each item or the Barcode printing on the items, which is not practical in every application is.

Mit dem bekannten Verfahren ist es nicht möglich, beliebige flächige oder strukturierte Mu ster auf der Oberfläche verschiedener im wesentlichen flacher, gleichförmiger Gegenstände zuverlässig zu erkennen und zu unterscheiden. Wenn in einem vollständig rechnergesteuerten Lager die Erkennung das entnommene Lagergut nicht zuverlässig erkannt wird, hat dies zur Folge, daß nicht mit ausreichender Zuverlässigkeit die richtigen Gegenstände ausgegeben werden und daß der Lagerbestand in der Folge nicht mehr bekannt ist. Im schlimmsten Fall kann dies dazu führen, daß der gesamte Lagerbestand manuell neu aufgenommen werden muß.With the known method it is not possible to use any flat or structured mu most on the surface of various substantially flat, uniform objects to recognize and differentiate reliably. If in a fully computer-controlled Warehouse the detection of the removed storage goods is not reliably recognized, this has to Consequence that the right items are not issued with sufficient reliability and that the inventory is subsequently no longer known. In the worst case This can lead to the entire inventory being manually added again got to.

Der Erfindung liegt daher die Aufgabe zugrunde, ein neues Verfahren und eine Vorrichtung zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes anzugeben, welche zu verlässig sowohl dreidimensionale als auch zweidimensionale Muster auf der Oberfläche des Gegenstandes erkennen können. Diese Muster können dreidimensionale Strukturen, Farbflä chen und Flächentexturen, wie Wolkigkeit, Orangenhaut etc., in verschiedenen Kombinatio nen umfassen. Diese Oberflächenmerkmale sollen sowohl einzeln als auch in Kombination erfaßt werden können, um die Gegenstände eindeutig identifizieren zu können.The invention is therefore based on the object of a new method and a device to identify patterns on a surface of an object, which to reliable both three-dimensional and two-dimensional patterns on the surface of the Can recognize the object. These patterns can have three-dimensional structures, color surfaces areas and surface textures, such as cloudy, orange peel, etc., in various combinations include. These surface features should be used both individually and in combination can be detected in order to be able to clearly identify the objects.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen von Anspruch 1 sowie eine Vor richtung mit den Merkmalen von Anspruch 13 gelöst.This object is achieved by a method with the features of claim 1 and a direction solved with the features of claim 13.

Mit der erfindungsgemäßen Vorrichtung können die Oberflächen verschiedener Gegenstände klassifiziert werden, z. B. lackierte, eloxierte, strukturierte etc. Oberflächen von Platten oder anderen Werkstücken, wobei insbesondere auch subjektive Kriterien, wie Hell/Dunkel- Verteilung, Körnigkeit, Wolkigkeit etc., berücksichtigt werden können. Dies wird erreicht durch die zweifache Beleuchtung jedes Objekts mit diffusem und gerichtetem Licht, um zwei- und dreidimensionale Strukturen sowohl unabhängig voneinander als auch in Kombination zu erfassen. Durch Einstellen geeigneter Schwellwerte kann ferner festgelegt werden, ob eine bestimmte Oberfläche bei Abweichung von einem gelernten Muster noch als eine Oberfläche mit diesem Muster erkannt wird oder nicht.With the device according to the invention, the surfaces of various objects be classified, e.g. B. lacquered, anodized, structured etc. surfaces of plates or other workpieces, whereby subjective criteria such as light / dark Distribution, granularity, cloudiness, etc., can be taken into account. This is accomplished by illuminating each object twice with diffuse and directional light in order to and three-dimensional structures both independently and in combination to capture. By setting suitable threshold values, it can also be determined whether a certain surface still deviates from a learned pattern as a surface is recognized with this pattern or not.

Die Erfindung schlägt ein Verfahren zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes vor, bei dem die Oberfläche des Gegenstandes abwechseln mit einer Hellfeld beleuchtung und mit einer Dunkelfeldbeleuchtung bestrahlt wird und mit einer elektronischen Kamera wenigstens ein Bild der Oberfläche des Gegenstandes bei Hellfeldbeleuchtung und/oder wenigstens ein Bild der Oberfläche des Gegenstandes bei Dunkelfeldbeleuchtung aufgenommen wird und die Bilder in einer Recheneinrichtung derart ausgewertet werden, daß aufgrund des Bildes bei Hellfeldbeleuchtung im wesentlichen dreidimensionale Muster und aufgrund des Bildes bei Dunkelfeldbeleuchtung im wesentlichen zweidimensionale Muster auf der Oberfläche des Gegenstandes erkannt werden.The invention proposes a method for recognizing patterns on a surface of a Object in which the surface of the object alternates with a bright field lighting and is irradiated with dark field lighting and with an electronic Camera at least one image of the surface of the object in bright field lighting and / or at least an image of the surface of the object under dark field lighting is recorded and the images are evaluated in a computing device such that due to the image in bright field lighting essentially three-dimensional patterns and due to the image with dark field lighting essentially two-dimensional patterns can be recognized on the surface of the object.

Die Hellfeldbeleuchtung erzeugt einen gerichteten Lichtstrahl, der im wesentlichen senkrecht auf die Oberfläche des Gegenstandes gestrahlt wird. Dadurch kann ein konturenscharfes Bild zur Erkennung von dreidimensionalen Strukturen erzeugt werden. Erhebungen und Vertie fungen auf der Oberfläche des Gegenstandes werfen Schatten, so dass Schatten- und Lichtbe reiche als ein zweidimensionales Schwarzweiß-Bild erfaßt werden können, das weitgehend unabhängig von farbigen Flächen oder Flächen mit unterschiedlichem Helligkeitswert ist.The bright field illumination produces a directional light beam that is essentially vertical is blasted onto the surface of the object. This can create a crisp image to recognize three-dimensional structures. Elevations and Vertie Operations on the surface of the object cast shadows, leaving shadows and light rich can be captured as a two-dimensional black and white image that largely is independent of colored areas or areas with different brightness values.

Die Dunkelfeldbeleuchtung wird vorzugsweise durch eine ringförmige oder lineare Licht quelle gebildet und erzeugt eine diffuse Beleuchtung, welche in verschiedenen Winkeln auf die Oberfläche auftrifft und die Bildung von Schatten durch eine eventuell vorhandene drei dimensionale Struktur verhindert. Dadurch können die vorhandenen Farbflächen und Flä chentexturen besser erkannt werden, weil der Einfluß jeglicher dreidimensionaler Struktur eliminiert wird.The dark field lighting is preferably by an annular or linear light source formed and creates a diffuse lighting, which at different angles the surface strikes and the formation of shadows by a possible three dimensional structure prevented. This allows the existing color areas and areas Textures can be better recognized because of the influence of any three-dimensional structure is eliminated.

Um scharfe und reproduzierbare Aufnahmen von der Oberfläche zu erhalten, wird die Ober fläche des Gegenstandes vorzugsweise mit einem vorgegebenen Abstand im wesentlichen senkrecht zur Blickrichtung der Kamera gehalten. Hierzu kann die Kamera z. B. in eine Hebe vorrichtung zur Aufnahme des Gegenstandes integriert sein. To get sharp and reproducible images from the surface, the upper surface of the object preferably with a predetermined distance substantially held perpendicular to the viewing direction of the camera. For this, the camera can e.g. B. in a lift be integrated device for receiving the object.

Die Rechenvorrichtung weist vorzugsweise ein neuronales Netz zur Auswertung der Bilder auf. In einer Teach-in-Phase werden mehrere Bilder der Oberfläche des Gegenstandes bei Hellfeldbeleuchtung und mehrere Bilder der Oberfläche des Gegenstandes bei Dunkelfeldbe leuchtung aufgenommen werden und die zwei- und/oder dreidimensionalen Muster auf der Oberfläche des Gegenstandes gelernt und die resultierenden neuronalen Gewichtsfunktionen in einer Tabelle abgelegt. Vorzugsweise werden zweidimensionale Muster und dreidimensio nale Muster in der Tabelle getrennt aufgezeichnet, wobei die aufgezeichneten zweidimensio nalen Mustern und dreidimensionalen Mustern verknüpft werden können, um die Gegenstän de aufgrund von Merkmalskombinationen noch genauer identifizieren zu können. Zur Erken nung der Muster werden diese mit den in der Tabelle abgelegten Muster verglichen.The computing device preferably has a neural network for evaluating the images on. In a teach-in phase, several images of the surface of the object are added Bright field lighting and several pictures of the surface of the object at dark field lighting and the two- and / or three-dimensional patterns on the Surface of the object learned and the resulting neuronal weight functions filed in a table. Preferably two-dimensional patterns and three-dimensional nal patterns recorded separately in the table, the recorded two-dimensional nale patterns and three-dimensional patterns can be linked to the objects de to identify more precisely due to combinations of features. Erken The samples are compared with the samples stored in the table.

Das erfindungsgemäße Verfahren dient insbesondere zur Überwachung und/oder Steuerung der Bewegung von Gegenständen in einem Lager oder einem Verarbeitungsprozeß, bei dem ein Gegenstand aufgenommen wird und die Oberfläche des Gegenstandes erkannt wird, um zu überprüfen, ob es sich um den richtigen Gegenstand handelt. Noch spezieller dient das Verfahren zur Überwachung der Bewegung von Gegenständen in einem chaotischen Lager, bei dem ein Gegenstand von einer Hebeeinrichtung aufgenommen wird, in die eine elektroni sche Kamera integriert ist, und die Oberfläche des Gegenstandes erkannt wird, um zu über prüfen, ob es sich um den gesuchten Gegenstand handelt. Vorzugsweise wird eine Aufzeich nung der aus dem Lager entfernten Gegenstände gemacht wird.The method according to the invention is used in particular for monitoring and / or control the movement of items in a warehouse or processing operation in which an object is picked up and the surface of the object is recognized to to check whether it is the right item. This serves even more specifically Method for monitoring the movement of objects in a chaotic warehouse, in which an object is picked up by a lifting device into which an electroni cal camera is integrated, and the surface of the object is recognized to over check whether it is the item you are looking for. Preferably a record items removed from the warehouse.

Die Erfindung sieht auch eine Vorrichtung zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes vor, mit einer Hellfeldbeleuchtungsquelle zum Beleuchten der Oberfläche des Gegenstandes und einer Dunkelfeldbeleuchtungsquelle zum Beleuchten der Oberfläche des Gegenstandes und mit einer elektronischen Kamera, die so eingerichtet ist, daß sie wenig stens ein Bild der Oberfläche des Gegenstandes bei Hellfeldbeleuchtung und wenigstens ein Bild der Oberfläche des Gegenstandes bei Dunkelfeldbeleuchtung aufnimmt, und mit einer Recheneinrichtung zur Auswertung des Bildes bei Hellfeldbeleuchtung zur Erkennung eines im wesentlichen dreidimensionalen Musters auf der Oberfläche und zur Auswertung des Bil des bei Dunkelfeldbeleuchtung zur Erkennung eines im wesentlichen zweidimensionalen Musters auf der Oberfläche des Gegenstandes. Die erfindungsgemäße Vorrichtung wird vor zugsweise in einem rechnergesteuerten Lager eingesetzt, in dem Platten oder Bleche mit einer strukturierten, beschichteten, bedruckten, oder auf andere Weise gestalteten Oberfläche gela gert sind, die automatisch aus dem Lager entnommen werden. Zur Erkennung der Gegenstän de ist die Kamera vorzugsweise in ein Hebeeinrichtung integriert oder mit dieser so verbun den, dass der Gegenstand in einem festen Abstand zur Kamera gehalten wird.The invention also provides an apparatus for recognizing patterns on a surface an object in front, with a bright field illumination source for illuminating the surface the object and a dark field illumination source for illuminating the surface of the item and with an electronic camera that is set up to do little least an image of the surface of the object under bright field lighting and at least one Image of the surface of the object in dark field lighting, and with a Computing device for evaluating the image in bright field lighting to recognize a essentially three-dimensional pattern on the surface and for evaluating the image in dark field lighting to detect an essentially two-dimensional Pattern on the surface of the object. The device according to the invention is before preferably used in a computer-controlled warehouse in which plates or sheets with a structured, coated, printed, or otherwise designed surface gela are automatically removed from the warehouse. To recognize the objects de the camera is preferably integrated in a lifting device or connected to it that the object is held at a fixed distance from the camera.

Die Erfindung ist im folgenden anhand einer bevorzugten Ausführungsform mit Bezug auf die Zeichnungen näher erläutert. In den Figuren zeigenThe invention is based on a preferred embodiment with reference to the drawings explained in more detail. Show in the figures

Fig. 1 eine schematische Darstellung einer Vorrichtung zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes; und Figure 1 is a schematic representation of an apparatus for recognizing patterns on a surface of an object. and

Fig. 2 ein Blockschaltbild der erfindungsgemäßen Vorrichtung mit weiteren Einzelheiten. Fig. 2 is a block diagram of the device according to the invention with further details.

In Fig. 1 ist eine elektronische Kamera 1, z. B. eine CMOS-Kamera, dargestellt, die derart auf die Oberfläche eines Werkstücks 2 gerichtet ist, daß ihre Blickrichtung oder Achse senkrecht zur Oberfläche des Werkstücks steht. Hierzu weist die erfindungsgemäße Vorrichtung vor zugsweise eine Halteeinrichtung, beispielsweise einen Plattenhalter am Ende einer Hebeein richtung, auf, um die Oberfläche des Gegenstands in einer vorbestimmten Orientierung und mit vorgegebenem Abstand zur Kamera 1 zu halten.In Fig. 1, an electronic camera 1 , for. B. a CMOS camera, which is directed towards the surface of a workpiece 2 such that its line of sight or axis is perpendicular to the surface of the workpiece. For this purpose, the device according to the invention preferably has a holding device, for example a plate holder at the end of a lifting device, in order to hold the surface of the object in a predetermined orientation and at a predetermined distance from the camera 1 .

Die der Kamera 1 zugewandte Oberfläche des Gegenstandes 2, beispielsweise einer Platte, ist mit einem zweidimensionalen und/oder dreidimensionalen Muster versehen. Das Muster kann insbesondere in einer bestimmten Struktur, wie eine Holzmaserung, in einer Flächentextur, wie ein bestimmtes Erscheinungsbild von Lacken (Wolkigkeit, Orangenhaut etc.) oder in ne beneinander liegenden Farbflächen bestehen. Das Muster kann gedruckt, laminiert oder auf andere Weise auf die Oberfläche des Werkstücks aufgebracht sein.The surface of the object 2 , for example a plate, facing the camera 1 is provided with a two-dimensional and / or three-dimensional pattern. The pattern can consist in particular in a certain structure, such as a wood grain, in a surface texture, such as a certain appearance of lacquers (cloudy, orange peel, etc.) or in adjacent color areas. The pattern can be printed, laminated, or otherwise applied to the surface of the workpiece.

Die Kamera 1 ist mit einer Recheneinrichtung 3, insbesondere einem Industrie-PC, verbun den, in dem ein neuronales Netz (NN) installiert ist. Neuronale Netze als solche sind bekannt und kommerziell erhältlich. Sie können darauf "trainiert" werden, bestimmte Muster zu lernen und wiederzuerkennen. Mit Hilfe des neuronalen Musters körnen verschiedene zwei- und dreidimensionale Muster anhand der von der Kamera 1 gelieferten Bilder unterschieden wer den.The camera 1 is connected to a computing device 3 , in particular an industrial PC, in which a neural network (NN) is installed. As such, neural networks are known and commercially available. You can be "trained" to learn and recognize certain patterns. With the help of the neural pattern, different two- and three-dimensional patterns can be distinguished on the basis of the images supplied by the camera 1 .

Bei einer bevorzugten Ausführungsform der Erfindung werden zunächst die aufgenommenen digitalen Bilder vorklassifiziert, z. B. nach der Farbe, Helligkeit, Vorhandensein von dreidi mensionalen Strukturen oder anderem. Mit dieser Vorklassifikation werden die Bilder der Objekte anhand von Parametern, die auf einfache Weise ohne neuronale Netze bestimmt wer den können, vorsortiert. Abhängig von der ermittelten Klasse wird dann ein zugehöriges neu ronales Unternetz aufgerufen, das nur Bilder dieser Klasse lernt und erkennt. Dadurch wird erreicht, daß pro neuronales Netz weniger Muster gelernt werden müssen, wodurch Aufwand für die Realisierung des neuronales Netzes erheblich reduziert und die Berechnung der Er gebnisse schneller wird.In a preferred embodiment of the invention, the recorded ones are first pre-classified digital images, e.g. B. on the color, brightness, presence of dreidi dimensional structures or other. With this preclassification, the images of the Objects based on parameters that can be easily determined without neural networks that can, pre-sorted. Depending on the determined class, an associated one is then new called a ronal subnet that only learns and recognizes images in this class. This will achieves that fewer patterns have to be learned per neural network, which means effort for the realization of the neural network significantly reduced and the calculation of the Er results faster.

Eine Beleuchtungseinrichtung 4 ist in Fig. 1 lediglich schematisch dargestellt. Erfindungsge mäß umfaßt sie ein Hellfeldbeleuchtung und eine Dunkelfeldbeleuchtung, wie mit bezug auf Fig. 2 näher erläutert ist. Sie sorgt dafür, daß die Oberfläche der Platte 2 auf gewünschte Wei se ausgeleuchtet wird, d. h. insbesondere mit gerichtetem Licht zur Erkennung von dreidimen sionalen Strukturen oder mit diffusem Licht, das die Bildung von Schattenwürfen verhindert, um zweidimensionale Muster zu erkennen.An illumination device 4 is only shown schematically in FIG. 1. According to the invention, it comprises bright field lighting and dark field lighting, as explained in more detail with reference to FIG. 2. It ensures that the surface of the plate 2 is illuminated in the desired manner, ie in particular with directional light for the detection of three-dimensional structures or with diffuse light which prevents the formation of shadows in order to recognize two-dimensional patterns.

Das neuronale Netz wird trainiert, indem beispielsweise fünf unter gleichen Bedingungen aufgenommene Bilder einer Oberfläche des Werkstücks 2 gelernt und als ein zweidimensio nales oder dreidimensionales Muster in einer Tabelle (nicht gezeigt) abgelegt werden, die als ein Speicherbereich in dem Rechner 3 realisiert sein kann. Das neuronale Netz kann nach Ab schluß der Trainingsphase erkennen, ob das nachfolgend aufgenommene Bild einem Muster entspricht, auf dessen Erkennung es trainiert wurde, und gegebenenfalls welches von mehre ren gelernten Mustern vorliegt. Es erzeugt dementsprechend eine Meldung darüber, welches Muster erkannt wurde oder daß keines der gelernten Muster erkannt wurde. Diese Meldung kann auf einem Bildschirm angezeigt werden oder zur Steuerung eines Geräts, insbesondere einer Transportvorrichtung für den Gegenstand, verwendet werden. The neural network is trained, for example, by learning five images of a surface of the workpiece 2 recorded under the same conditions and storing them as a two-dimensional or three-dimensional pattern in a table (not shown), which can be implemented as a memory area in the computer 3 . After the end of the training phase, the neural network can recognize whether the image subsequently recorded corresponds to a pattern, the recognition of which it was trained for, and, if applicable, which of several patterns learned. Accordingly, it generates a message about which pattern was recognized or that none of the learned patterns was recognized. This message can be displayed on a screen or can be used to control a device, in particular a transport device for the object.

Fig. 2 zeigt in einem Blockdiagramm die erfindungsgemäße Vorrichtung mit weiteren Einzel heiten. Fig. 2 shows a block diagram of the device according to the invention with further details.

In Fig. 2 sind die Kamera 1, das Werkstück in Form einer Platte 2 und die Recheneinrichtung 3 schematisch als Blöcke dargestellt. Die Recheneinrichtung arbeitet auf der Grundlage eines neuronalen Netzes (N.N.).In Fig. 2 the camera 1 , the workpiece in the form of a plate 2 and the computing device 3 are shown schematically as blocks. The computing device works on the basis of a neural network (NN).

Die erfindungsgemäße Vorrichtung weist eine Dunkelfeldbeleuchtung 5 in Form eines Ring lichtes auf, das beispielsweise mittels weißer LEDs realisiert ist. Die Dunkelfeldbeleuchtung kann auch mit einer linearen Lichtquelle mit mattierter Scheibe realisiert werden. Das Ring licht 5 ist um ein Lichtaustritts- und Eintrittsfenster 6 angeordnet, das der Beleuchtungsein richtung und der Kamera 1 zugeordnet ist, und beleuchtet ein Meßfeld auf der Oberfläche des Gegenstandes 2 mit diffusem Licht. Der diffus reflektierte Teil des Lichtes wird von einem Objektiv 7 auf einen Kamerasensor 8 der Kamera 1 abgebildet. Mithilfe dieser diffusen Be leuchtung, oder Dunkelfeldbeleuchtung, werden Farbflächen und Flächentexturen auf der Oberfläche des Gegenstands 2 erfaßt.The device according to the invention has a dark field lighting 5 in the form of a ring light, which is realized for example by means of white LEDs. Dark field lighting can also be realized with a linear light source with a frosted pane. The ring light 5 is arranged around a light exit and entrance window 6 , which is assigned to the direction of lighting and the camera 1 , and illuminates a measuring field on the surface of the object 2 with diffuse light. The diffusely reflected part of the light is imaged by a lens 7 onto a camera sensor 8 of the camera 1 . With the help of this diffuse illumination, or dark field illumination, color areas and surface textures are detected on the surface of the object 2 .

Die Vorrichtung umfaßt ferner eine Hellfeldbeleuchtung 9, oder Planbeleuchtung, die eben falls mittels weißer LED realisiert werden kann, die gerichtete Lichtstrahlung erzeugen. Die gerichtete Lichtstrahlung wird auf einen teildurchlässigen Spiegel 10 gestrahlt, der die ge richtete Beleuchtung auf die Oberfläche des Gegenstands 2 lenkt. Das von der Oberfläche des Gegenstands 2 reflektierte Licht wird wiederum von dem Objektiv 7 auf den Kamerasensor 8 der Kamera 1 abgebildet. Diese gerichtete Beleuchtung, oder Hellfeldbeleuchtung, dient zur Aufnahme von dreidimensionalen Strukturen.The device also includes bright field lighting 9 , or plan lighting, which can also be realized by means of white LEDs that generate directed light radiation. The directional light radiation is radiated onto a semitransparent mirror 10 , which directs the directed lighting onto the surface of the object 2 . The light reflected from the surface of the object 2 is in turn imaged by the lens 7 onto the camera sensor 8 of the camera 1 . This directional lighting, or bright field lighting, is used to record three-dimensional structures.

Zwischen den zwei Beleuchtungsarten kann mittels Software über die Recheneinrichtung 3 umgeschaltet werden. Der Gegenstand 2 wird in einem vorgegebenen Abstand senkrecht zur Beleuchtungsrichtung gehalten. Das Meßfeld auf der Oberfläche des Gegenstands 2 wird ge gen Umgebungslicht vorzugsweise durch einen Faltenbalg oder dergleichen abgeschirmt.Software can be used to switch between the two types of lighting via the computing device 3 . The object 2 is held at a predetermined distance perpendicular to the direction of illumination. The measuring field on the surface of the object 2 is preferably shielded against ambient light by a bellows or the like.

Der Kamerasensor 8 ist vorzugsweise ein farbempfindliches 2-dimensionales CMOS-Array oder CCD-Array. Die Bilddaten werden über eine Schnittstelle, z. B. IEEE 1394, an die Re cheneinrichtung 3 weitergeleitet. Die Recheneinrichtung berechnet mittels des neuronalen Netzes für jedes der aufgenommenen Bilder und somit für jedes Muster entsprechende Kenn größen, die eine Wiedererkennung und Unterscheidung der verschiedenen Muster ermögli chen. Verfahren zur Berechnung solcher Kenngrößen mittels Musteranalyse, z. B. Kantenex traktion oder dergleichen, und Klassifizierung der extrahierten Merkmale sind dem Fachmann bekannt. Ein bekanntes Verfahren zur Mustererkennung ist beispielsweise beschrieben in der DE 198 37 004.The camera sensor 8 is preferably a color-sensitive 2-dimensional CMOS array or CCD array. The image data are transmitted via an interface, e.g. B. IEEE 1394, forwarded to the computing device 3 . The computing device uses the neural network to calculate corresponding parameters for each of the recorded images and thus for each pattern, which enable recognition and differentiation of the different patterns. Methods for calculating such parameters using sample analysis, e.g. B. edge extraction or the like, and classification of the extracted features are known to those skilled in the art. A known method for pattern recognition is described for example in DE 198 37 004.

Die Erfindung ist überall dort anwendbar, wo Muster auf Werkstücken erkannt werden müs sen, beispielsweise bei der Qualitätskontrolle, in Produktionsvorgängen oder in der Lager haltung, insbesondere bei ferngesteuerten Anlagen. Vorzugsweise wird die Erfindung in au tomatischen computergesteuerten Lagern eingesetzt, in denen beispielsweise Platten mit un terschiedlichen Dekoren und Strukturen, wie aufgedruckten Holzmuster, Farbmuster, geprägte Strukturen etc., gelagert sind. Die Erfindung eignet sich insbesondere für die Wiedererken nung von Platten mit unterschiedlichen Dekoren, in denen verschiedene zwei- und dreidimen sionale Muster beliebig kombiniert werden können.The invention can be used wherever patterns on workpieces have to be recognized for example in quality control, in production processes or in the warehouse attitude, especially in remote-controlled systems. Preferably, the invention is in au Tomatical computer-controlled bearings used in which, for example, plates with un Different decors and structures, such as printed wood patterns, color patterns, embossed Structures etc. are stored. The invention is particularly suitable for recoveries of panels with different decors, in which different two and three dimen sional patterns can be combined as desired.

Bei der bevorzugten Ausführungsform der Erfindung sind die Kamera und die Beleuchtungs einrichtung in einen Portalroboter oder eine andere Hebeeinrichtung integriert, welche denen Gegenstand 2 aufnehmen und beispielsweise durch Ansaugen oder andere Mittel in einem vorgegebenen Abstand zur Beleuchtungseinrichtung und zur Kamera halten kann. Dabei ist ein Grundgedanke der Erfindung, daß beliebige Objekte in ihrer natürlichen Umgebung au tomatisch erkannt werden, daß also die erfindungsgemäße Erkennungsvorrichtung, ein schließlich Kamera und Beleuchtungseinrichtung, zu den Objekten gebracht wird und nicht die Objekte zur Erkennung an eine bestimmte Stelle transportiert werden müssen. Die Identi fikation einzelner Objekte soll unabhängig von Position und Größe der aufgenommenen Bil der sein und insbesondere auch die Kombination verschiedener Merkmale zu komplexen Merkmalen berücksichtigen können. In the preferred embodiment of the invention, the camera and the lighting device are integrated in a gantry robot or another lifting device which can pick up the object 2 and hold it at a predetermined distance from the lighting device and the camera, for example by suction or other means. It is a basic idea of the invention that any objects are automatically recognized in their natural environment, that is to say that the recognition device according to the invention, including a camera and lighting device, is brought to the objects and the objects do not have to be transported to a specific location for recognition. The identification of individual objects should be independent of the position and size of the captured images and in particular should also be able to take into account the combination of different features to form complex features.

Die in der vorstehenden Beschreibung, den Ansprüchen und der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausgestaltungen von Bedeutung sein. Those disclosed in the foregoing description, claims and drawings Features can be used individually as well as in any combination for the realization of the invention in its various configurations.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Kamera
camera

22

Werkstück
workpiece

33

Recheneinrichtung
computing device

44

Beleuchtungseinrichtung
lighting device

55

Dunkelfeldbeleuchtung
Dark field illumination

66

Lichtaustritts- und Eintrittsfenster
Light exit and entry window

77

Objektiv
lens

88th

Kamerasensor
camera sensor

99

Hellfeldbeleuchtung
Bright field illumination

1010

Spiegel
mirror

Claims

1. Verfahren zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes (2), bei dem die Oberfläche des Gegenstandes (2) abwechseln mit einer Hellfeldbeleuch tung (9) und mit einer Dunkelfeldbeleuchtung (5) bestrahlt wird und mit einer elektro nischen Kamera (1) wenigstens ein Bild der Oberfläche des Gegenstandes (2) bei Hell feldbeleuchtung und/oder wenigstens ein Bild der Oberfläche des Gegenstandes (2) bei Dunkelfeldbeleuchtung aufgenommen wird und die Bilder in einer Rechenein richtung (3) derart ausgewertet werden, daß aufgrund des Bildes bei Hellfeldbeleuch tung im wesentlichen dreidimensionale Muster und aufgrund des Bildes bei Dunkel feldbeleuchtung im wesentlichen zweidimensionale Muster auf der Oberfläche des Gegenstandes (2) erkannt werden1. A method for recognizing patterns on a surface of an object ( 2 ), in which the surface of the object ( 2 ) alternate with a bright field lighting device ( 9 ) and with a dark field illumination ( 5 ) and is irradiated with an electronic camera ( 1 ) at least one image of the surface of the object ( 2 ) in bright field lighting and / or at least one image of the surface of the object ( 2 ) in dark field lighting is recorded and the images are evaluated in a computing device ( 3 ) in such a way that on the basis of the image Hellfeldbeleuch device essentially three-dimensional pattern and due to the image in dark field lighting essentially two-dimensional pattern on the surface of the object ( 2 ) can be recognized

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Bilder in einem neuro nalen Netz ausgewertet werden.2. The method according to claim 1, characterized in that the images in a neuro network can be evaluated.

3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Hellfeldbeleuchtung (9) durch wenigstens einen gerichteten Lichtstrahl erzeugt wird, der im wesentlichen senkrecht auf die Oberfläche des Gegenstandes (2) gestrahlt wird.3. The method according to any one of the preceding claims, characterized in that the bright field illumination ( 9 ) is generated by at least one directed light beam which is radiated substantially perpendicular to the surface of the object ( 2 ).

4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Dunkelfeldbeleuchtung (5) durch eine ringförmige oder lineare Lichtquelle erzeugt wird.4. The method according to any one of the preceding claims, characterized in that the dark field illumination ( 5 ) is generated by an annular or linear light source.

5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Oberfläche des Gegenstandes (2) mit einem vorgegebenen Abstand im wesentli chen senkrecht zur Blickrichtung der Kamera (1) gehalten wird.5. The method according to any one of the preceding claims, characterized in that the surface of the object ( 2 ) with a predetermined distance is held in wesentli Chen perpendicular to the viewing direction of the camera ( 1 ).

6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß in einer Teach-in-Phase mehrere Bilder der Oberfläche des Gegenstandes (2) bei Hell feldbeleuchtung und mehrere Bilder der Oberfläche des Gegenstandes (2) bei Dunkel feldbeleuchtung aufgenommen werden und die zwei- und/oder dreidimensionalen Mu ster auf der Oberfläche des Gegenstandes (2) gelernt und in einer Tabelle abgelegt werden.6. The method according to any one of the preceding claims, characterized in that in a teach-in phase, a plurality of images of the surface of the object ( 2 ) in bright field lighting and several images of the surface of the object ( 2 ) in dark field lighting are taken and the two - And / or three-dimensional pattern on the surface of the object ( 2 ) learned and stored in a table.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß zweidimensionale Muster und dreidimensionale Muster in der Tabelle getrennt aufgezeichnet werden. 7. The method according to claim 6, characterized in that two-dimensional pattern and three-dimensional patterns are recorded separately in the table.

8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß den in der Tabelle aufgezeichneten zweidimensionalen Mustern und dreidimensionalen Mustern Ver knüpfungen zugewiesen werden.8. The method according to claim 6 or 7, characterized in that in the table recorded two-dimensional patterns and three-dimensional patterns Ver links are assigned.

9. Verfahren nach einem der Ansprüche 6-8, dadurch gekennzeichnet, daß die Muster durch Vergleichen mit den in der Tabelle abgelegten Muster erkannt werden.9. The method according to any one of claims 6-8, characterized in that the pattern by comparison with the patterns stored in the table.

10. Verfahren zur Überwachung und/oder Steuerung der Bewegung von Gegenständen (2) in einem Lager oder einem Verarbeitungsprozeß, bei dem ein Gegenstand aufgenom men wird und die Oberfläche des Gegenstandes (2) mit dem Verfahren nach einem der vorangehenden Ansprüche erkannt wird, um zu überprüfen, ob es sich um den ge wünschten Gegenstand handelt.10. A method for monitoring and / or controlling the movement of objects ( 2 ) in a warehouse or a processing process in which an object is taken up and the surface of the object ( 2 ) is recognized by the method according to one of the preceding claims to check whether it is the desired item.

11. Verfahren zur Überwachung der Bewegung von Gegenständen in einem chaotischen Lager, bei dem ein Gegenstand (2) von einer Hebeeinrichtung aufgenommen wird, in die eine elektronische Kamera (1) integriert ist, und die Oberfläche des Gegenstandes (2) mit dem Verfahren nach einem der Ansprüche 1-9 erkannt wird, um zu überprüfen, ob es sich um den gesuchten Gegenstand handelt.11. A method for monitoring the movement of objects in a chaotic warehouse, in which an object ( 2 ) is picked up by a lifting device into which an electronic camera ( 1 ) is integrated, and the surface of the object ( 2 ) with the method according to one of claims 1-9 is recognized to check whether it is the object sought.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß eine Aufzeichnung der aus dem Lager entfernten Gegenstände (2) gemacht wird.12. The method according to claim 11, characterized in that a record of the items removed from the warehouse ( 2 ) is made.

13. Vorrichtung zur Erkennung von Mustern auf einer Oberfläche eines Gegenstandes (2), mit einer Hellfeldbeleuchtungsquelle (9) zum Beleuchten der Oberfläche des Gegen standes (2) und einer Dunkelfeldbeleuchtungsquelle (5) zum Beleuchten der Oberflä che des Gegenstandes (2) und mit einer elektronischen Kamera (1), die so eingerichtet ist, daß sie wenigstens ein Bild der Oberfläche des Gegenstandes (2) bei Hellfeldbe leuchtung und wenigstens ein Bild der Oberfläche des Gegenstandes (2) bei Dunkel feldbeleuchtung aufnimmt, und mit einer Recheneinrichtung (3) zur Auswertung des Bildes bei Hellfeldbeleuchtung zur Erkennung eines im wesentlichen dreidimensio nalen Musters auf der Oberfläche und zur Auswertung des Bildes bei Dunkelfeldbe leuchtung zur Erkennung eines im wesentlichen zweidimensionalen Musters auf der Oberfläche des Gegenstandes (2).13. Device for recognizing patterns on a surface of an object ( 2 ), with a bright field illumination source ( 9 ) for illuminating the surface of the object ( 2 ) and a dark field illumination source ( 5 ) for illuminating the surface of the object ( 2 ) and with an electronic camera ( 1 ) which is set up in such a way that it records at least one image of the surface of the object ( 2 ) in bright field lighting and at least one image of the surface of the object ( 2 ) in dark field lighting, and with a computing device ( 3 ) for evaluating the image in bright field illumination to detect an essentially three-dimensional pattern on the surface and for evaluating the image in dark field illumination for detecting an essentially two-dimensional pattern on the surface of the object ( 2 ).

14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß die Recheneinrichtung (3) ein neuronales Netz aufweist.14. The apparatus according to claim 13, characterized in that the computing device ( 3 ) has a neural network.

15. Vorrichtung nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, daß die Hellfeldbeleuchtungsquelle (9) einen gerichteten Lichtstrahl erzeugt, der im wesentli chen senkrecht auf die Oberfläche des Gegenstandes (2) gerichtet ist.15. Device according to one of claims 13 or 14, characterized in that the bright field illumination source ( 9 ) generates a directed light beam which is directed perpendicularly to the surface of the object ( 2 ) in wesentli Chen.

16. Vorrichtung nach einem der Ansprüche 13-15, dadurch gekennzeichnet, daß die Dun kelfeldbeleuchtungsquelle (5) eine ringförmige oder lineare Lichtquelle aufweist.16. The device according to any one of claims 13-15, characterized in that the Dun kelfeldbeluchtungsquelle ( 5 ) has an annular or linear light source.

17. Vorrichtung nach einem der Ansprüche 13-16, dadurch gekennzeichnet, daß die Ka mera (1) mit einer Haltevorrichtung für den Gegenstand (2) verbunden ist, welche den Gegenstand aufnimmt und die Oberfläche des Gegenstandes (2) mit einem vorgegebe nen Abstand im wesentlichen senkrecht zur Blickrichtung der Kamera (1) hält.17. The device according to any one of claims 13-16, characterized in that the Ka mera ( 1 ) is connected to a holding device for the object ( 2 ) which receives the object and the surface of the object ( 2 ) with a predetermined distance holds essentially perpendicular to the viewing direction of the camera ( 1 ).

18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, claß die Haltevorrichtung Teil eines Lastenkrans ist.18. The apparatus according to claim 17, characterized in class the holding device Is part of a cargo crane.

19. Vorrichtung nach einem der Ansprüche 13-17, dadurch gekennzeichnet, daß die Re cheneinrichtung (3) eine Tabelle aufweist, in der gelernte zwei- und/oder dreidimen sionale Muster der Oberfläche des Gegenstandes (2) gespeichert sind.19. Device according to one of claims 13-17, characterized in that the Re cheneinrichtung ( 3 ) has a table in which learned two and / or three-dimensional patterns of the surface of the object ( 2 ) are stored.

20. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, daß zweidimensionale Mu ster und dreidimensionale Muster in der Tabelle getrennt abgelegt sind.20. The apparatus according to claim 18, characterized in that two-dimensional Mu ster and three-dimensional patterns are stored separately in the table.

21. Vorrichtung nach Anspruch 18 oder 19, dadurch gekennzeichnet, daß den in der Ta belle aufgezeichneten zweidimensionalen Mustern und dreidimensionalen Mustern Verknüpfungen zugewiesen sind.21. The apparatus according to claim 18 or 19, characterized in that in the Ta belle recorded two-dimensional patterns and three-dimensional patterns Shortcuts are assigned.

22. Vorrichtung nach einem der Ansprüche 13-20, dadurch gekennzeichnet, daß die Ka mera (1) eine Videokamera, insbesondere eine CMOS-Kamera ist. 22. Device according to one of claims 13-20, characterized in that the Ka mera ( 1 ) is a video camera, in particular a CMOS camera.

23. Vorrichtung nach einem der Ansprüche 13-21, dadurch gekennzeichnet, daß der Ge genstand (2) eine Platte oder eine Blech mit einer strukturierten, beschichteten, be druckten, oder auf andere Weise gestalteten Oberfläche ist.23. Device according to one of claims 13-21, characterized in that the Ge object ( 2 ) is a plate or sheet with a structured, coated, printed, or otherwise designed surface.