DE4238193A1

DE4238193A1 - Method and device for identifying objects

Info

Publication number: DE4238193A1
Application number: DE4238193A
Authority: DE
Inventors: Klaus-Dieter Dr Ing Kuhnert; Joachim Dipl Phys Dr Beeck
Original assignee: Tzn Forschung & Entwicklung
Current assignee: Tzn Forschung & Entwicklung
Priority date: 1992-11-12
Filing date: 1992-11-12
Publication date: 1994-05-19
Also published as: DE59307541D1; EP0597178A3; EP0597178A2; EP0597178B1; ES2108780T3

Description

Die Erfindung betrifft ein Verfahren zur Identifizierung von Gegenständen, wie es im Oberbegriff des Anspruchs 1 näher definiert ist. Die Erfindung bezieht sich ferner auf Vorrich tungen zur Ausführung eines derartigen Verfahrens.The invention relates to a method for identifying Objects as described in the preamble of claim 1 is defined. The invention also relates to Vorrich to carry out such a method.

Aus der DE 35200486 C2 ist ein Verfahren zur Sortierung von Kunststoffhohlkörpern, insbesondere Hausmüll, mit Hilfe eines Bilderkennungssystems bekannt, bei dem die zu sortierenden Gegenstände mit einer Kamera aufgenommen, zwischengespeichert und nach Form und Farbe durch Vergleich mit entsprechenden gespeicherten Mustern analysiert werden.DE 35200486 C2 describes a method for sorting Plastic hollow bodies, especially household waste, with the help of a Image recognition system known in which the to be sorted Objects recorded with a camera, cached and by shape and color by comparison with corresponding ones stored patterns can be analyzed.

Nachteilig bei diesem bekannten Verfahren ist vor allem, daß bei einem Vergleich der gespeicherten Muster und der zu iden tifizierenden Gegenstände letztere häufig fehlerkannt werden, wenn diese deformiert und/oder stark verschmutzt sind.The main disadvantage of this known method is that when comparing the saved patterns and the iden the latter are often misdiagnosed, if they are deformed and / or very dirty.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie Vorrichtungen der eingangs erwähnten Art derart weiterzuentwickeln, daß auch deformierte und ver schmutzte Gegenstände in kurzer Zeit (wesentlich kürzer als 1 Sekunde) erkannt werden. The present invention is based on the object Methods and devices of the type mentioned in the introduction to develop in such a way that deformed and ver dirty objects in a short time (much shorter than 1 Second) can be recognized.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale des kennzeichnenden Teils des Anspruchs 1 gelöst.This object is achieved by the features of characterizing part of claim 1 solved.

Weitere besonders vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche.Further particularly advantageous embodiments of the invention result from the features of the subclaims.

Die Ansprüche 4 bis 6 offenbaren besonders vorteilhafte Vorrichtungen zur Durchführung des erfindungsgemäßen Verfahrens.Claims 4 to 6 disclose particularly advantageous Devices for performing the invention Procedure.

Der Erfindung liegt also im wesentlichen der Gedanke zugrun de, die aufgenommenen Bilder auf für den jeweiligen Gegen standstyp charakteristische deformationsinvariante Parameter durch Geometrie- und Transparenzmessungen zu analysieren und dann durch Vergleich mit entsprechenden gespeicherten Werten auf den Gegenstand zu schließen.The invention is essentially based on the idea de, the pictures taken for the respective counter Stand type characteristic deformation invariant parameters to analyze through geometry and transparency measurements and then by comparison with the corresponding stored values to infer the object.

Die deformationsinvarianten Parameter werden über einen Eich prozeß, der für jeden Gegenstandstyp unterschiedlich sein kann, bestimmt (z. B. kann aus dem näherungsweise ermittelten Dosenvolumen einer Aluminiumdose und dem Winkel, den der Bo den relativ zur Längsachse der Dose besitzt, auf den Durch messer des (runden) Bodens der Dose geschlossen werden, da sich bei Alu-Dosen die Böden praktisch nicht deformieren). Der Durchmesser des Dosenbodens und eventuell ergänzender Informationen (z. B. Farbe und Transparenz) definieren dann relativ gut den zu sortierenden Gegenstand.The deformation invariant parameters are measured using a calibration process that will be different for each type of object can, determined (e.g. can be determined from the approximate Can volume of an aluminum can and the angle that the Bo which has relative to the longitudinal axis of the can, on the through knife of the (round) bottom of the can be closed because the floors practically do not deform with aluminum cans). The diameter of the can base and possibly additional Then define information (e.g. color and transparency) the object to be sorted is relatively good.

Für die erfindungsgemäße Vorrichtung ist wesentlich, daß der zu identifizierende Gegenstand aus zwei (oder mehr), mög lichst orthogonalen Richtungen bei unterschiedlicher Beleuch tung erfaßt wird, um Transparenz und die diversen Geometrie daten, wie Länge, Breite, Winkel zwischen Boden und Seiten wand, Bodendurchmesser, Knickwinkel oder Volumen zu erhalten.It is essential for the device according to the invention that the Object to be identified from two (or more), possible As far as possible orthogonal directions with different lighting tion is captured to transparency and the diverse geometry data, such as length, width, angle between bottom and sides wall, bottom diameter, articulation angle or volume.

Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den nachfolgend mit Hilfe von Figuren beschriebenen Aus führungsbeispielen. Es zeigen:Further details and advantages of the invention emerge from the Aus described below with the help of figures leadership examples. Show it:

Fig. 1 schematisch ein erstes Ausführungsbeispiel der Erfin dung mit nur einem optischen Sensor; und Fig. 1 shows schematically a first embodiment of the inven tion with only one optical sensor; and

Fig. 2 ein weiteres Ausführungsbeispiel mit zwei optischen Sensoren. Fig. 2 shows another embodiment with two optical sensors.

In Fig. 1 ist mit 1 ein bildverarbeitendes System bezeichnet, mit dem Gegenstände 2, die beispielsweise auf einem Fließband 3 befördert werden, erkannt werden. Nach der Identifizierung der Gegenstände 2 können diese dann sortiert werden (zur Durchführung der Sortierung vgl. auch die obengenannte DE 35204866 C2).In Fig. 1, 1 denotes an image processing system with which objects 2 , which are conveyed, for example, on an assembly line 3 , are recognized. After the objects 2 have been identified, they can then be sorted (for the sorting, see also the above-mentioned DE 35204866 C2).

Das bildverarbeitende System 1 besteht im wesentlichen aus einem optischen Sensor 4, z. B. einer Farbbild-Zeilenkamera mit nachgeschalteter Elektronik 5, einer Lichtquelle 6 und einem Spiegel 7. Lichtquelle 6 und Spiegel 7 sind derart an geordnet, daß zwischen ihnen die zu identifizierenden Gegen stände 2 hindurchbewegt werden.The image processing system 1 consists essentially of an optical sensor 4 , for. B. a color image line camera with downstream electronics 5 , a light source 6 and a mirror 7th Light source 6 and mirror 7 are arranged in such a way that between them the objects 2 to be identified are moved through.

Die Elektronik 5 enthält beispielsweise einen Verstärker 8, dem ein Analog-/Digitalwandler 9 und eine Auswertevorrichtung 10 nachgeschaltet ist. Die Auswertevorrichtung 10, die einen Bildspeicher 11 und einen Prozessor 12 enthält, ist mit einer Anzeigenvorrichtung 13 verbunden. The electronics 5 contains, for example, an amplifier 8 , which is followed by an analog / digital converter 9 and an evaluation device 10 . The evaluation device 10 , which contains an image memory 11 and a processor 12 , is connected to a display device 13 .

Der optische Sensor 4 schaut von oben auf den mit Auflicht beleuchteten Gegenstand 2 (die entsprechende Lichtquelle wurde in Fig. 1 aus Gründen einer besseren Übersicht weggelas sen), so daß die an dem Gegenstand 2 gestreuten und reflek tierten Lichtstrahlen 14 in den Sensor 4 gelangen. Gleichzei tig wird der Gegenstand 2 seitlich mit der Lichtquelle 6 an gestrahlt, so daß die entsprechenden durch den Gegenstand 2 gelangenden Lichtstrahlen 15 über die Spiegel 7 als Licht strahlen 16 in das Bildfeld des Sensors 4 eingeblendet wer den.The optical sensor 4 looks from above onto the object 2 illuminated with incident light (the corresponding light source was omitted in FIG. 1 for reasons of a better overview), so that the light beams 14 scattered and reflected on the object 2 enter the sensor 4 . At the same time, the object 2 is radiated laterally with the light source 6 , so that the corresponding light rays 15 passing through the object 2 via the mirrors 7 radiate as light 16 into the image field of the sensor 4, who is shown.

Im folgenden wird näher auf die Funktionsweise der erfin dungsgemäßen Vorrichtung eingegangen:The following is a closer look at how the inventions work received device according to the invention:

Eichungcalibration

Der eigentlichen Echtzeiterkennung ist das Eichverfahren vor geschaltet. Dieses dient der Erfassung der systematischen Einflüsse des Deformations- und Bruchverhaltens auf die Form, Farbe und Transparenz eines Gegenstandes 2, wobei eine reprä sentative Stichprobe von deformierten Gegenständen 2 für die Eichung vorliegen muß.The actual real-time detection is preceded by the calibration method. This serves to record the systematic influences of the deformation and fracture behavior on the shape, color and transparency of an object 2 , whereby a representative sample of deformed objects 2 must be available for the calibration.

Generell besitzen alle zu untersuchenden Gegenstände 2 ein spezifisches Deformations- und Bruchverhalten. Das heißt, Böden, Deckel und durch Versteifungsrippen oder Waben gestärkte Oberflächenteile deformieren sich wenig, wohingegen an Knick kanten oder schwach gewölbten gleichmäßigen Flächen zuerst und gehäuft Deformationen auftreten. Ebenso bestimmt die Ela stizität des Materials den Verformungsverlauf. So entstehen bei verschiedenen Kunststoffen (z. B. Polypropylen bzw. Poly ethylen) gerade bzw. kurvige Risse beim Bruch. In general, all objects 2 to be examined have a specific deformation and breaking behavior. This means that floors, lids and parts of the surface strengthened by stiffening ribs or honeycombs are not deformed much, whereas even areas with kinked edges or slightly curved surfaces appear first and more frequently. The elasticity of the material also determines the course of the deformation. In the case of various plastics (e.g. polypropylene or polyethylene), straight or curved cracks develop when broken.

Die Gegenstände 2 werden manuell gemäß ihrem Deformationsgrad und Objekttyp sortiert und dann die auch im Echtzeitbetrieb ermittelten Größen (vergleiche unten) berechnet. Die Zuord nung zwischen Deformationsgrad bzw. Objekttyp und den gemes senen Parametern werden in der Auswertevorrichtung 10 gespei chert. Die entstehenden Zuordnungstabellen können interpo liert werden, um zur Speicherersparnis als geschlossene Funk tion abgelegt zu werden. In der Echtzeitphase werden in die Umkehrfunktionen die gemessenen Parameterwerte eingesetzt, um den Deformationsgrad und den Objekttyp zu bestimmen.The objects 2 are sorted manually according to their degree of deformation and object type and then the variables also determined in real time operation (see below) are calculated. The assignment between the degree of deformation or object type and the measured parameters are stored in the evaluation device 10 . The resulting assignment tables can be interpolated in order to be saved as a closed function to save memory. In the real-time phase, the measured parameter values are used in the reversing functions in order to determine the degree of deformation and the object type.

EchtzeitauswertungReal time evaluation

Alle Größen der Echtzeitauswertung werden sowohl für die Auf als auch für die Seitenansicht jeden Gegenstandes 2 berech net. Beide Ansichten können mit der in Fig. 1 dargestellten Sensoranordnung gleichzeitig gewonnen werden.All sizes of the real-time evaluation are calculated both for the up and for the side view of each object 2 . Both views can be obtained simultaneously with the sensor arrangement shown in FIG. 1.

Nach der Bildaufnahme werden im ersten Schritt durch passende Filterung in der Auswertevorrichtung 10 die Grauwertkanten bestimmt. Die Außenkontur und innerhalb der Kontur liegende Kanten werden dann getrennt verkettet. Zur Beschleunigung dieses Schrittes kann ein festverdrahtetes Rechenwerk der Auswertevorrichtung 10 verwendet werden.After the image acquisition, the gray value edges are determined in the first step by suitable filtering in the evaluation device 10 . The outer contour and edges lying within the contour are then chained separately. A hard-wired arithmetic unit of the evaluation device 10 can be used to accelerate this step.

Mit einem weiteren Rechenwerk der Auswertevorrichtung 10 werden die von der Farbkamera 4 stammenden Signale in eine HSI Darstellung transformiert und dann die Farbkanten ausge filtert und verkettet. Damit werden die Videodaten in Echt zeit auf ihre wesentlichen Anteile (Grauwert- und Farbkanten) reduziert. With a further arithmetic unit of the evaluation device 10 , the signals originating from the color camera 4 are transformed into an HSI representation and then the color edges are filtered out and chained. This reduces the video data in real time to its essential proportions (gray value and color edges).

Die einzelnen Kantenlisten werden dann über ein erstes Kommu nikationsnetzwerk an in der Auswertevorrichtung enthaltene Mikrorechner verteilt, von denen jeder nur wenige solcher Listen bearbeitet.The individual edge lists are then over a first commu nication network contained in the evaluation device Microcomputers distributed, each of which only a few such Edited lists.

Für jede Kante im Bild werden mindestens die folgenden Größen berechnet: Farbwert, Sättigung, eingeschlossene Fläche, Mo mente der eingeschlossenen Fläche, mittlere Krümmung, Länge, Drehlage, relative Lage zur Außenkontur. Bei offenen Kanten zügen werden je nach Bedarf nur die kantenbezogenen Größen berechnet oder sie werden (durch Verbindung von Anfangs- und Endpunkt) in geschlossene Kantenzüge überführt, um auch die flächenbezogenen Größen berechnen zu können.For each edge in the picture there will be at least the following sizes calculated: color value, saturation, enclosed area, mo elements of the enclosed area, average curvature, length, Rotational position, relative position to the outer contour. With open edges Only the edge-related sizes are pulled as required calculated or they are (by connecting the initial and End point) into closed edges to convert the to be able to calculate area-related sizes.

Innerhalb der Außenkontur wird näherungsweise das Volumen bestimmt durch Multiplikation der Grundflächentiefe mit der durch die Seitenansicht ermittelten Höhe. Die Transparenz wird aus dem durchgelassenen Lichtanteil der Seitenbeleuch tung bestimmt.The volume is approximately within the outer contour determined by multiplying the base depth by the height determined by the side view. The transparency becomes the side lighting from the transmitted light component determined.

Die ermittelten Größen werden über ein weiteres Kommunika tionsnetzwerk, das nicht notwendigerweise physikalisch vom ersten verschieden sein muß, einem zentralen Auswerteprozes sor 12 der Auswertevorrichtung 10 zugeleitet, der die bei der Eichung bestimmten Umkehrfunktionen berechnet und damit die Erkennung durchführt.The determined quantities are fed via a further communication network, which does not necessarily have to be physically different from the first, to a central evaluation processor 12 of the evaluation device 10 , which calculates the reversal functions determined during the calibration and thus carries out the detection.

Anstatt die Durchlicht- und Auflichtmessung mit nur einem optischen Sensor 4 durchzuführen, kann auch eine Vorrichtung mit zwei getrennten Sensoren verwendet werden. Dieses ist in Fig. 2 dargestellt, wobei der zu identifizierende Gegenstand 2 aus Gründen einer besseren Übersicht weggelassen ist: Instead of carrying out the transmitted light and incident light measurement with only one optical sensor 4 , a device with two separate sensors can also be used. This is shown in FIG. 2, the object 2 to be identified being omitted for the sake of a better overview:

Die Auflichtmessung erfolgt wiederum mit der Zeilenkamera 4. Für die Durchlichtmessung ist hingegen statt des in Fig. 1 vorgesehenen Spiegels ein separater optischer Sensor (Kamera) 17 vorgesehen. Die Sensorsignale werden einer Elektronik zugeführt, die im wesentlichen der in Fig. 1 mit 5 bezeichneten Elektronik entspricht. Lediglich die analogen Eingangssignale können separat verstärkt und in entsprechende digitale Werte umgewandelt werden. Die weitere Bearbeitung der Signale durch die Auswertevorrichtung 10 ist dann identisch wie oben beschrieben. The incident light measurement is again carried out with the line camera 4 . For the transmitted light measurement, however, a separate optical sensor (camera) 17 is provided instead of the mirror provided in FIG. 1. The sensor signals are supplied to electronics which essentially correspond to the electronics designated 5 in FIG. 1. Only the analog input signals can be amplified separately and converted into corresponding digital values. The further processing of the signals by the evaluation device 10 is then identical to that described above.

BezugszeichenlisteReference list

1 bildverarbeitendes System
2 Gegenstand
3 Fließband
4 optischer Sensor, Kamera
5 Elektronik
6 Lichtquelle
7 Spiegel
8 Verstärker
9 Analog-/Digitalwandler
10 Auswertevorrichtung
11 Bildspeicher
12 Prozessor
13 Anzeigenvorrichtung
14 Lichtstrahlen
15, 16 Lichtstrahlen
17 optischer Sensor, Kamera
18 Lichtquelle
19 Lichtstrahlen 1 image processing system
2 subject
3 assembly line
4 optical sensor, camera
5 electronics
6 light source
7 mirrors
8 amplifiers
9 analog / digital converters
10 evaluation device
11 image memories
12 processor
13 display device
14 rays of light
15, 16 light rays
17 optical sensor, camera
18 light source
19 rays of light

Claims

1. Verfahren zur Identifizierung von Gegenständen (2) mit Hilfe eines bildverarbeitenden Systems (1), wobei die Gegenstände (2) durch mindestens einen bildgebenden optischen Sensor (4, 17) erfaßt, die entsprechenden Sen sorsignale digitalisiert und die digitalen Signalwerte an eine elektronische Auswertevorrichtung (10) mit Bild speicher (11) und Prozessor (12) weitergeleitet werden, und wobei die gemessenen und weiterverarbeiteten Bild signale mit entsprechenden gespeicherten Signalwerten verglichen werden, dadurch gekennzeichnet, daß von den Gegenständen (2) jeweils mindestens eine Auflicht- und eine Durchlichtmessung aus unterschiedlichen Richtungen vorgenommen wird, daß aus den entsprechenden Bildsignal werten die Transparenz der Gegenstände (2) und charak teristische geometrische Daten, wie Länge, Breite, Vo lumen, Knickwinkel etc., ermittelt werden, und daß aus diesen Werten für die Gegenstände (2) charakteristische deformationsinvariante Größen bestimmt und mit den auf grund einer Eichmessung bestimmten und gespeicherten Werten verglichen werden.1. A method for identifying objects ( 2 ) with the aid of an image processing system ( 1 ), the objects ( 2 ) being detected by at least one imaging optical sensor ( 4 , 17 ), the corresponding sensor signals being digitized and the digital signal values being sent to an electronic one Evaluation device ( 10 ) with image memory ( 11 ) and processor ( 12 ) are forwarded, and the measured and processed image signals are compared with corresponding stored signal values, characterized in that each of the objects ( 2 ) has at least one incident light and one Transmitted light measurement is carried out from different directions, that the transparency of the objects ( 2 ) and characteristic geometric data, such as length, width, volume, bending angle, etc., are determined from the corresponding image signal, and that these values for the objects ( 2 ) characteristic deformation invariant sizes determined and compared with the values determined and stored on the basis of a calibration measurement.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Ermittlung der deformationsinvarianten Größen zusätzlich zur Transparenz und den charakteristischen geometrischen Daten auch die Farbe der Gegenstände (2) herangezogen wird. 2. The method according to claim 1, characterized in that in addition to the transparency and the characteristic geometric data, the color of the objects ( 2 ) is used to determine the deformation invariant sizes.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich net, daß die Messungen mit einem einzigen optischen Sen sor (2) durchgeführt werden.3. The method according to claim 1 or 2, characterized in that the measurements are carried out with a single optical sensor ( 2 ).

4. Vorrichtung zur Durchführung des Verfahrens nach einem oder mehreren der Ansprüche 1 bis 3, gekennzeichnet durch die Merkmale:

a) das bildverarbeitende System (1) weist lediglich einen optischen Sensor (4) auf;
b) als optischer Sensor (4) ist eine Farbbildkamera vorgesehen, die den Gegenstand (2) in Auflicht betrach tet;
c) es ist eine Lichtquelle (6) und ein Spiegel (7) vor gesehen, zwischen denen sich der zu identifizierende Gegenstand (2) befindet;
d) der Spiegel (7) ist in bezug auf den optischen Sensor (4) derart angeordnet, daß die durch den Gegenstand (2) hindurchgehenden Lichtstrahlen (15) der Lichtquelle (6) in das Bildfeld des optischen Sensors (4) eingeblendet werden.

4. Device for performing the method according to one or more of claims 1 to 3, characterized by the features:

a) the image processing system ( 1 ) has only one optical sensor ( 4 );
b) as an optical sensor ( 4 ), a color image camera is provided, the object ( 2 ) in reflected light tet;
c) a light source ( 6 ) and a mirror ( 7 ) are seen before, between which the object ( 2 ) to be identified is located;
d) the mirror ( 7 ) is arranged in relation to the optical sensor ( 4 ) such that the light rays ( 15 ) of the light source ( 6 ) passing through the object ( 2 ) are faded into the image field of the optical sensor ( 4 ).

5. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß zur Auflichtmessung ein erster opti scher Sensor (4) und zur Durchlichtmessung ein zweiter optischer Sensor (17) vorgesehen ist, der etwa senkrecht zum ersten optischen Sensor (4) angeordnet ist, und daß sich der zu bestimmende Gegenstand (2) zwischen dem zweiten optischen Sensor (17) und der Lichtquelle (6) befindet. 5. Device according to one of claims 1 to 3, characterized in that a first optical sensor ( 4 ) for incident light measurement and a second optical sensor ( 17 ) is provided for transmitted light measurement, which is arranged approximately perpendicular to the first optical sensor ( 4 ) , and that the object to be determined ( 2 ) is located between the second optical sensor ( 17 ) and the light source ( 6 ).

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß der erste optische Sensor (4) eine Farbbildkamera ist.6. The device according to claim 5, characterized in that the first optical sensor ( 4 ) is a color camera.