DE10345581B4 - Detection method and detection device - Google Patents

Abstract

Erfassungsvorrichtung mit
– eine Zeilenkamera (16) zur Aufnahme zeilenförmiger Bilder mindestens eines Objekts (14), das sich relativ zur Zeilenkamera (16) bewegt, wobei die Zeilenkamera (16) ein Bildsignal (S) mit einer Anzahl von Bildpunkten in zeilenweise aufeinanderfolgender Anordnung liefert,
– einer ersten Verarbeitungseinheit (36) zur Verarbeitung des Bildsignals (S), wobei aus dem Bildsignal (S) Merkmale (32, 34) extrahiert werden,
– und einer zweiten Verarbeitungseinheit (38) zur gleichzeitigen Verarbeitung des Bildsignals (S), wobei von dem Bildsignal (S) nur ein oder mehrere Teilbilder (28a, 28b, 42) verarbeitet, angezeigt und/oder gespeichert werden,
– wobei ein Teilbild (28a, 28b, 42) einen zusammenhängenden flächigen Bereich von Zeilen (Z0, Z1, Z2) und Bildpunkten innerhalb dieser Zeilen (Z0, Z1, Z2) umfaßt,
– und wobei bei Erkennung eines Startmerkmals (32) in der ersten Verarbeitungseinheit (36) die Lage des Teilbildes (42) relativ zur Lage des Startmerkmals (32) festgelegt wird, indem Grenzwerte (X_max, x_min, Y_max,...Detection device with
A line scan camera (16) for capturing line-shaped images of at least one object (14) moving relative to the line scan camera (16), the line scan camera (16) providing an image signal (S) having a number of pixels in line-wise successive order,
A first processing unit (36) for processing the image signal (S), wherein features (32, 34) are extracted from the image signal (S),
And a second processing unit (38) for simultaneously processing the image signal (S), wherein only one or more sub-images (28a, 28b, 42) of the image signal (S) are processed, displayed and / or stored,
- wherein a partial image (28a, 28b, 42) comprises a contiguous area of lines (Z0, Z1, Z2) and pixels within these lines (Z0, Z1, Z2),
- and wherein upon detection of a start feature (32) in the first processing unit (36) the position of the sub-image (42) relative to the position of the starting feature (32) is determined by limiting values (X _max , x _min , Y _max , ...

Description

Die Erfindung betrifft ein Erfassungsverfahren und eine Erfassungsvorrichtung.The The invention relates to a detection method and a detection device.

Es ist bspw. in der Automobilindustrie bekannt, Werkstücke durch optische Abtastung mit Kameras zu beobachten. Hierbei werden bspw. flächige Werkstücke wie PKW-Seitenteile, die auf einem Förderband bewegt werden, beobachtet und durch Bildverarbeitungsmethoden (Merkmalsextraktion) Objekte der Werkstücke – bspw. Löcher und Kanten – erkannt und vermessen. So ist eine genaue Kontrolle des Werkstücks möglich.It is known, for example, in the automotive industry, workpieces by to observe optical scanning with cameras. Here are, for example. flat workpieces such as Car side panels, on a conveyor belt be moved, observed and through image processing methods (feature extraction) Objects of workpieces - eg. holes and edges - detected and measure. This allows precise control of the workpiece.

Es existieren für Zwecke der Bildverarbeitung eine breite Palette an Kamerasystemen. Man unterscheidet grundsätzlich Flächenkameras und Zeilenkameras. Beide Systeme haben Vor- und Nachteile für verschiedene Einsatzzwecke. Während Flächenkameras über einen flächigen Sensor verfügen, umfassen Zeilenkameras einen zeilenförmigen Sensor aus lichtempfindlichen Elementen. Hochgeschwindigkeits-Zeilenkameras liefern die Helligkeitswerte der Zeile mit hohem Pixeltakt von bspw. 50 MHz. Zeilenkameras bieten eine sehr hohe Auflösung und Geschwindigkeit, und sie bieten darüber hinaus die Möglichkeit, theoretisch "unendlich" lange Werkstücke zu erfassen.It exist for For image processing purposes, a wide range of camera systems. One basically differentiates area cameras and line scan cameras. Both systems have advantages and disadvantages for different ones Applications. While area cameras over a flat Sensor, Line scan cameras include a line-shaped sensor of photosensitive Elements. High-speed line scan cameras provide the brightness values the line with a high pixel clock of, for example, 50 MHz. Line scan cameras offer a very high resolution and speed, and they also offer the option theoretically "infinitely" to capture long workpieces.

Flächenkameras bieten ein dem Sehen vertrautes Aufnahmebild und damit verbunden eine für den Benutzer verständlichere Anzeige und Auswertung.area cameras offer a familiar image and associated image one for the User more understandable Display and evaluation.

Die von einer Kamera, speziell von einer Hochgeschwindigkeits-Kamera gelieferten Datenmengen sind sehr hoch. Die Speicherung des anfallenden Datenstroms hat sich als aufwendig und teuer erwiesen. Zudem stellen die bei der Merkmalsextraktion notwendigen umfangreichen Berechnungen hohe Anforderungen an die Verarbeitungseinheit.The from a camera, especially from a high-speed camera supplied data volumes are very high. The storage of accumulating Data stream has proven to be expensive and expensive. In addition, ask the extensive calculations required in the feature extraction high Requirements for the processing unit.

Es existieren bereits Verfahren, um mit dem stetigen Datenstrom einer Zeilenkamera eine Auswertung in Echtzeit durchzuführen, so dass die immensen Datenmengen nicht gespeichert werden müssen, sondern nur die gefundenen Auswerteergebnisse.It There are already methods to deal with the steady stream of a Line scan to perform an evaluation in real time, so that the immense amounts of data do not need to be stored, but only the evaluation results found.

Bei der Beobachtung der Werkstücke kommt es vor, daß bestimmte Bereiche des Werk stücks von besonderem Interesse sind. Sollen auf grossen Werkstücken einzelne Gebiete herausgehoben, d.h. besonders betrachtet werden, so kann dies durch die Montage mehrerer einzelner Flächenkameras erfolgen, die auf verschiedene Gebiete desselben Werkstückes gerichtet sind. Deren Einzeldaten müssen dann aber wieder mit zum Teil hohem logistischen Aufwand geeignet zusammengeführt werden.at the observation of the workpieces it happens that certain Areas of the work piece are of particular interest. Should individual work on large workpieces Areas are highlighted, i. can be considered special, so can this is done by mounting several single area cameras on top of each other different areas of the same workpiece are directed. their Individual data must then but again be combined with partly high logistical effort suitable.

In der DE-A-196 16 176 sind ein Verfahren und eine Vorrichtung zur Erkennung von Eigenschaften bewegter Objekte beschrieben. Eine Vorrichtung zum Sortieren von Bauschutt umfaßt einen Detektorarray (CCD-Kamera, Zeilenkamera) an dem auf einem Transportband Objekte vorbeibewegt werden. Die Beobachtung erfolgt durch wellenlängenselektive Filter, deren spektrale Durchlasskurven entsprechend den spektralen Eigenschaften der verschiedenen zu sortierenden Materialien gewählt sind. Eine Auswerteinheit erkennt unterschiedliche Materialien und gibt abhängig von dem Ergebnis über einen Steuerausgang entsprechende Signale an Trennvorrichtungen.In DE-A-196 16 176 discloses a method and an apparatus for Detection of properties of moving objects described. A device for Sorting rubble covers a detector array (CCD camera, line scan camera) on the one on Conveyor belt objects are moved past. The observation is done through wavelength-selective filters, their spectral transmission curves according to the spectral properties the different materials to be sorted are selected. An evaluation unit recognizes different materials and gives dependent from the result over a control output corresponding signals to separation devices.

In der JP-A-08255248 ist eine Vorrichtung zur Identifikation eines Objekts beschrieben. Mit der Vorrichtung wird ein Siegel, dessen Anordnung in Drehrichtung nicht bekannt ist, bei hoher Geschwindigkeit durch Mustererkennung identifiziert. Ein Zeilen-Sensor übergibt ein Bild an eine Erkennungseinrichtung, die die Koordinatendaten der Mitte des zu identfizierenden Objekts ermittelt. Ausgehend von der Mittelposition wird eine Winkelposition ermittelt. Eine Merkmalsextraktion liefert Merkmale, die mit dem gesuchten Objekt verglichen werden.In JP-A-08255248 is an apparatus for identifying a Object described. With the device becomes a seal, whose Arrangement in the direction of rotation is not known, at high speed identified by pattern recognition. A line sensor passes an image to a detection device, the coordinate data of the center of the object to be identified determined. Starting from the middle position becomes an angular position determined. Feature extraction provides features associated with the sought object to be compared.

Es ist Aufgabe der Erfindung, ein Erfassungsverfahren und eine Erfassungsvorrichtung anzugeben, mit denen Bereiche des Werkstücks besonders gut beobachtet werden können.It Object of the invention, a detection method and a detection device indicate areas of the workpiece are particularly well observed can be.

Diese Aufgabe wird gelöst durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 8. Abhängige Ansprüche beziehen sich auf vorteilhafte Ausführungsformen der Erfindung.These Task is solved by a device according to claim 1 and a method according to claim 8. Addicts claims refer to advantageous embodiments of the invention.

Der Erfindung liegt der Gedanke zugrunde, eine Zeilenkamera als Bilderfassungselement zu benutzen und das gelieferte Bildsignal einerseits vollständig in der von der Kamera gelieferten Form einer Merkmalsextraktion zuzuführen und andererseits aus dem Gesamtbild einzelne, flächige Teilgebiete herauszugreifen und separat zu verarbeiten oder zu speichern. Die Erfindung kombiniert die Vorteile von Zeilenkameras mit den Vorteilen der flächenbezogenen Auswertung.Of the The invention is based on the idea of a line scan camera as image capture element to use and the supplied image signal on the one hand completely in supply the form of feature extraction provided by the camera and on the other hand, to pick out individual, planar subregions from the overall picture and to process or store separately. The invention combines the benefits of line scan cameras with the benefits of area related Evaluation.

Erfindungsgemäß weist die Erfassungsvorrichtung eine erste und eine zweite Verarbeitungseinheit auf. Es sei darauf hingewiesen, daß es sich bei diesen Begriffen um rein funktionale Bezeichnungen handelt. Es ist zwar bevorzugt, die Einheiten als separate Baugruppen der Erfassungsvorrichtung vorzusehen, dies ist aber nicht notwendig. Die erste und zweite Verarbeitungseinheit können auch z. T. oder sogar vollständig dieselben Bauteile der Erfassungsvorrichtung umfassen. Insbesondere ist es möglich, daß die in beiden Verarbeitungseinheiten geleistete Verarbeitungsfunktion teilweise oder vollständig in Software realisiert ist, wobei die Anweisungen für beide Verarbeitungsfunktionen auch auf derselben Zentraleinheit ausgeführt werden können.According to the invention, the detection device has a first and a second processing unit. It should be noted that these terms are purely functional terms. While it is preferred to provide the units as separate assemblies of the detection device, this is not necessary. The first and second processing unit can also z. T. or even completely the same components of the detection device. In particular, it is possible that the processing function performed in both processing units is partially or completely implemented in software, wherein the instructions for both processing functions can also be executed on the same central processing unit.

Die erste Verarbeitungseinheit verarbeitet das gelieferte Bildsignal der Zeilenkamera vollständig und extrahiert darin enthaltene Merkmale. Diese Merkmale können bspw. linien- oder punktförmige Strukturen sein. So kann bspw. die Kontur eines von der Zei lenkamera aufgenommenen Objekts als linienförmiges Merkmal extrahiert werden. Ein solches Merkmal kann bspw. vektoriell beschrieben werden (z. B. eine Strecke durch Anfangs- und Endpunkt, eine Kreislinie durch Mittelpunkt und Radius, oder eine Kurvenlinie durch Koordinaten von Stützstellen, etc.). Derartige merkmalsbeschreibende Daten sind von weitaus geringerem Umfang als das rohe Bildsignal und können daher mit deutlich weniger Aufwand gespeichert oder unter Echtzeitbedingungen weiterverarbeitet werden.The first processing unit processes the supplied image signal the line scan camera completely and extracts features contained therein. These features may, for example. line or punctiform structures be. Thus, for example, the contour of one of the Zei steering camera recorded Object as a linear Feature to be extracted. Such a feature can, for example, vectorially described (eg a route through start and end points, a Circular line through center point and radius, or a curved line through Coordinates of interpolation points, etc.). Such descriptive data is much less Scope as the raw image signal, and therefore can with significantly less Effort saved or further processed under real-time conditions become.

Die zweite Verarbeitungseinheit verarbeitet nicht das gesamte Bildsignal. Statt dessen wird von dem Bildsignal nur mindestens ein Teilbild verarbeitet oder gespeichert. Bei dem Teilbild handelt es sich um einen zusammenhängenden, flächigen Bereich, der sich über eine Anzahl von aufeinanderfolgenden Zeilen und innerhalb dieser Zeilen über eine Anzahl von zusammenhängenden Bildpunkten erstreckt. Der Bereich ist bevorzugt bezüglich des Zeilen/Punkte-Musters rechteckig, dies ist aber nicht zwingend.The second processing unit does not process the entire image signal. Instead, only at least one field of the image signal processed or stored. The drawing file is a coherent, flat Area that is about a number of consecutive lines and within these Lines over a number of related Extends pixels. The range is preferred with respect to Rectangle lines / dots pattern, but this is not mandatory.

Das Teilbild umfaßt eine deutlich geringere Anzahl von Bildpunkten als das gesamte von der Zeilenkamera gelieferte Bildsignal. So kann aus einer Bildzeile bspw. nur die Hälfte, ein Viertel oder sogar noch weniger der gesamten gelieferten Bildpunkte herausgegriffen werden. Durch diese Reduktion der Datenmenge ist es möglich, im Rahmen der Echtzeitverarbeitung des Bildsignals in der zweiten Verarbeitungseinheit komplexere Bildverarbeitungen durchzuführen, als in der ersten Verarbeitungseinheit. Während bspw. zur Merkmalsextraktion unter Echtzeitbedingungen bevorzugt wenig rechenaufwendige Algorithmen verwendet werden, die bspw. Differenzwerte der Helligkeitswerte zwischen benachbarten Bildpunkten bilden um Kontraste zu erkennen, so können bezüglich der reduzierten Datenmenge des Teilbildes auch unter Echtzeitbedingungen erheblich komplexere Algorithmen wie bspw. die Bildung von Durchschnittswerten über einen Bereich mehrere Bildpunkte, oder sogar eine Betrachtung mittels einer FFT durchgeführt werden. Als Maß für die Komplexität eines Algorithmus kann die Anzahl der hierfür notwendigen Elementar-Rechenoperationen (Grundrechenarten) je Bildpunkt angesehen werden. Alternativ oder ergänzend hierzu ist es auch möglich, daß von den als binäre Werte gelieferten Bildpunkten bei der Verarbeitung in der ersten Verarbeitungseinheit nur eine reduzierte Bitzahl verwendet wird (höchstwertige Bits), während die Verarbeitung in er zweiten Verarbeitungseinheit eine höhere Bitzahl oder sogar die gesamte Auflösung berücksichtigt.The Partial image includes a significantly smaller number of pixels than the whole of the line camera supplied image signal. So can from a picture line for example, only half, a quarter or even less of the total delivered pixels picked out become. By this reduction of the data amount it is possible in the Frame of real-time processing of the image signal in the second processing unit perform more complex image processing than in the first processing unit. While, for example. for feature extraction under real-time conditions preferably little computation-intensive algorithms are used, which, for example, difference values the brightness values between adjacent pixels form around To recognize contrasts, you can in terms of the reduced amount of data of the field even under real-time conditions much more complex algorithms such as the formation of averages over a Area multiple pixels, or even a viewing means an FFT performed become. As a measure of the complexity of a Algorithm can be the number of elementary arithmetic operations required for this (Basic operations) per pixel. Alternatively or additional this is also possible that of as a binary Values supplied pixels during processing in the first Processing unit only a reduced number of bits is used (most While) the processing in the second processing unit has a higher bit number or even the entire resolution considered.

Erfindungsgemäß erfolgt die Verarbeitung in der ersten und zweiten Verarbeitungseinheit gleichzeitig, bevorzugt unter Echtzeitbedingungen, d. h., daß die gelieferten Daten – ggf. unter Zwischenschaltung eines Puffers – mit derselben Rate gelieferte wie verarbeitet werden.According to the invention the processing in the first and second processing units simultaneously, preferably under real-time conditions, d. h., that the delivered Data - if necessary with the interposition of a buffer - delivered at the same rate how to be processed.

Die Erfindung kombiniert die Vorteile heute verfügbarer, hochauflösender Zeilenkameras mit der Möglichkeit einer (für das Teilbild) komplexen Bildverarbeitung unter Echtzeitbedingungen. Zeilenkameras bieten gegenüber Flächenkameras eine unerreicht hohe Auflösung und werden deshalb in der Meßtechnik bevorzugt eingesetzt. Für das Aufnehmen besonders großer oder langer Werkstücke, oder für eine Folge von Werkstükken, die auf einer Transportvorrichtung, bspw. einem Transportband, an der Zeilenkamera vorbei transportiert werden, ist die Aufnahme eines "unendlichen" Bildes möglich.The Invention combines the advantages of today available, high-resolution line scan cameras with the possibility one (for the field) complex image processing under real-time conditions. Line scan cameras offer opposite area cameras an unequaled high resolution and are therefore used in measuring technology preferably used. For recording especially large or long workpieces, or for a sequence of workpieces, on a transport device, for example. A conveyor belt, to the line camera are transported past, the inclusion of an "infinite" image is possible.

Das Teilbild umfaßt einen flächigen Bereich und kann daher wie von Flächenkameras aufgenommen als flächiges Bild bearbeitet, dargestellt oder gespeichert werden. Das Teilbild kann bspw. verwendet werden, um auf großen betrachteten Objekten einzelne Gebiete zur besonderen Betrachtung herauszuheben.The Partial image includes a flat Range and therefore can be as recorded by area cameras as flat Image edited, displayed or saved. The drawing file can be used, for example, to single on large objects considered To highlight areas for special consideration.

Werden in der zweiten Verarbeitungseinheit mehrere Teilbilder verarbeitet, so ist eine Kombination der Bilddaten erheblich leichter, als bei der separaten Aufnahme durch mehrere Flächenkameras. Aufgrund der Aufnahme als einheitlicher Datenstrom und der klaren Adressierung über Zeilen/Bildpunkte liegt die relative Lage mehrere Teilbilder zueinander fest.Become processing multiple fields in the second processing unit, so a combination of image data is much easier than with the separate recording by multiple area cameras. Because of the recording as a uniform data stream and the clear addressing over lines / pixels the relative position several partial images fixed to each other.

Erfindungsgemäß ist vorgesehen, daß die Lage des Teilbildes relativ zu einem von der ersten Verarbeitungseinheit erkannten Startmerkmal festgelegt wird. Von den Merkmalen, die von dem dargestellten Objekt bspw. seine Kontur, Oberflächenstruktur oder interessante Bereiche wie Löcher oder Ausschnitte beschreiben, und die aus dem Bildsignal extrahiert werden, kann eines oder mehrere als Startmerkmale definiert werden. Wird bei der Verarbeitung ein Startmerkmal erkannt, so wird ausgehend von der Lage dieses Startmerkmals dann die Lage des Teilbildes festgelegt. Dies ist besonders für die Erfassung zur Prüfung von Werkstücken vorteilhaf. Als Startmerkmal kann bspw. die jeweilige Vorderkante von an der Zeilenkamera vorbei bewegten Werkstücken definiert werden. Es kann dann bspw. festgelegt sein, daß als zu verarbeitendes Teilbild ein Bereich in der Mitte des Werkstücks, in einem festgelegten Abstand (Anzahl Zeilen) von der Vorderkante herausgegriffen wird.According to the invention, it is provided that the position of the partial image is determined relative to a starting feature recognized by the first processing unit. Of the features that describe, for example, its contour, surface structure or interesting areas such as holes or sections of the represented object, and which are extracted from the image signal, one or more can be defined as start features. If a start feature is detected during processing, then the position of the partial image is determined based on the position of this start feature. This is particularly advantageous for the detection of workpieces. As a starting feature can, for example, the respective front edge of moving past the line camera moving workpieces are defined. It may then be determined, for example, that as the partial image to be processed, a region in the middle of the workpiece, at a predetermined distance (number of lines), is picked out from the leading edge.

Besonders vorteilhaft ist diese relative, dynamische Festlegung des Teilbildes für die genauere Beobachtung der Bildstrukturen, die den erkannten Merkmalen entsprechen. Wird als Startmerkmal bspw. eine Bohrung des Werkstücks festgelegt, so kann das entsprechende Teilbild so gewählt werden, daß es den Ort des Startmerkmals, hier die interessierende Bohrung, mit umfaßt. Um auch den Bereich "vor" dem erkannten Merkmal mit im Teilbild aufzunehmen, kann die Zwischenspeicherung einer Anzahl Zeilen des Bildsignals in einem Pufferspeicher, bevorzugt einem FIFO-Puffer, vorgesehen sein.Especially This relative, dynamic definition of the partial image is advantageous for the closer observation of the image structures, the recognized features correspond. If, for example, a bore of the workpiece is defined as the starting feature, so the corresponding field can be chosen so that it Location of the start feature, here the hole of interest, with included. Too too the area "before" the recognized feature with the sub-picture, the caching of a Number of lines of the image signal in a buffer memory, preferably a FIFO buffer, be provided.

Nachfolgend wird eine Ausführungsform der Erfindung anhand von Zeichnungen näher beschrieben. In den Zeichnungen zeigen:following becomes an embodiment the invention described in more detail with reference to drawings. In the drawings demonstrate:

1 eine perspektivische Ansicht einer Erfassungsvorrichtung; 1 a perspective view of a detection device;

2 eine symbolische Darstellung eines von einer Zeilenkamera aufgenommenen Werkstücks; 2 a symbolic representation of a recorded by a line camera workpiece;

3 eine symbolische Darstellung der Signalverarbeitung in einem Erfassungssystem; 3 a symbolic representation of the signal processing in a detection system;

3a eine flächige Anordnung von Bildzeilen aus 3; 3a a flat arrangement of image lines 3 ;

4 eine schematische Darstellung von Elementen des Erfassungssystems. 4 a schematic representation of elements of the detection system.

1 zeigt in schematischer Darstellung ein Erfassungssystem 10. Auf einem Förderband 12 werden Werkstücke 14 in Pfeilrichtung (X) transportiert. Über dem Förderband 12 ist eine Zeilenkamera 16 angebracht, die den Bereich des Förderbandes 12 und das durchlaufende Werkstück 14 zeilenweise aufnimmt. Das Bild der Zeilenkamera 16 wird pixelweise zu einer Auswerteeinheit 18 übertragen und dort verarbeitet. 1 shows a schematic representation of a detection system 10 , On a conveyor belt 12 become workpieces 14 transported in the direction of the arrow (X). Above the conveyor belt 12 is a line scan camera 16 attached to the area of the conveyor belt 12 and the continuous workpiece 14 takes up line by line. The image of the line camera 16 becomes pixel-wise an evaluation unit 18 transferred and processed there.

Im dargestellten Beispiel liefert die Zeilenkamera 16 4.000 Bildpunkte pro Zeile, die mit einem Pixeltakt von 50 MHz sequentiell zeilenweise ausgelesen und durch einen A/D-Wandler in 8-Bit-Digitalwerte überführt werden. Die Erfassungsvorrichtung 10 wird in dem Beispiel verwendet, um PKW-Seitenteile, die mit einem Takt von 3 Sekunden auf dem Band 12 angeliefert werden, zu erfassen und die Bilddaten in Echtzeit auszuwerten. Hierbei werden die Konturen der Werkstücke sowie einige Bohrungen jeweils als Merkmale erkannt.In the example shown, the line scan camera delivers 16 4,000 pixels per line, which are read sequentially line by line with a pixel clock of 50 MHz and converted by an A / D converter into 8-bit digital values. The detection device 10 is used in the example to create car-side parts with a clock of 3 Seconds on the tape 12 be delivered, and to evaluate the image data in real time. Here, the contours of the workpieces and some holes are each recognized as features.

Die von der Zeilenkamera 16 aufgenommenen Bilder des Werkstücks 14 sind in 2 noch einmal dargestellt. Es werden jeweils Zeilen 20 aufgenommen, die in der Bewegungsrichtung X nebeneinander angeordnet sind. Insgesamt geben die Zeilen 20 so ein Bild des Werkstücks 14 mit seiner Konturlinie 22 und den Bohrungen 24, 26 wieder.The of the line camera 16 taken pictures of the workpiece 14 are in 2 shown again. There will be lines each 20 taken, which are arranged side by side in the direction of movement X. Overall, give the lines 20 such an image of the workpiece 14 with its contour line 22 and the holes 24 . 26 again.

Der Ablauf der Signalverarbeitung ist hierbei in 3 dargestellt. Das von der Zeilenkamera 16 gelieferte und in einem A/D-Wandler 30 digitalisierte Pixel-Signal enthält sukzessive die Bildpunkte aufeinanderfolgender Zeilen Z0, Z1, Z2.... In der Darstellung in 3 wird lediglich zwischen hellen Bildpunkten (leere Quadrate) und dunklen Bildpunkten (schraffierte Quadrate) unterschieden. Im dargestellten Beispiel wird das Bild einer Bohrung 32 und einer schräg zur Richtung X laufenden Linie 34 aufgenommen.The sequence of the signal processing is in this case 3 shown. That of the line scan camera 16 delivered and in an A / D converter 30 Digitized pixel signal contains successively the pixels of successive lines Z0, Z1, Z2 .... In the illustration in 3 is distinguished only between bright pixels (empty squares) and dark pixels (hatched squares). In the example shown, the image of a hole 32 and a line running obliquely to the direction X. 34 added.

Das entsprechende Pixel-Bild ist in 3a dargestellt. Wie gezeigt enthalten die Pixelzeilen Z0, Z1, Z2 das Bild der Objekte 32, 34.The corresponding pixel image is in 3a shown. As shown, the pixel lines Z0, Z1, Z2 contain the image of the objects 32 . 34 ,

Die gelieferten Pixeldaten stellen das zu verarbeitende Bildsignal S dar. Dieses Signal wird nun parallel einer ersten Verarbeitungseinheit 36 und über einen Pufferspeicher 40 auch einer zweiten Verarbeitungseinheit 38 zugeführt.The supplied pixel data represent the image signal S to be processed. This signal now becomes parallel to a first processing unit 36 and a cache 40 also a second processing unit 38 fed.

Die ersten Verarbeitungseinheit 36 verarbeitet das Bildsignal S zeilenweise. Hierbei werden mit einfachen Bildverarbeitungsalgorithmen Merkmale aus dem Bildsignal S extrahiert.The first processing unit 36 processes the image signal S line by line. In this case, features are extracted from the image signal S with simple image processing algorithms.

Die Merkmalsextraktion umfaßt eine Kontrasterkennung, bei der eine Differenz der Helligkeitswerte benachbarter Bildpunkte errechnet wird. Liegt die errechnete Differenz oberhalb einer festgelegten Schwelle, so wird davon ausgegangen, daß eine Kante eines Bildobjektes gefunden wurde. Durch weitere Verarbeitung der in derselben Zeile benachbarten Punkte sowie durch Verarbeitung auch der in X-Richtung benachbarten Punkte durch Verarbeitung der vorhergehenden und nachfolgenden Zeilen, wird die Art des erkannten Bildobjekts (bspw. linienförmig, flächig, punktförmig) sowie seine Größe und Lage ermittelt. Ein so erkanntes Bildobjekt kann dann durch geometrische Merkmale beschrieben werden. Diese Merkmale können bspw. den Objekttyp und mehrere Maßparameter umfassen, z. B. "Objekttyp: Linie, Startpunkt: (Zeile#Z1, Punkt#P1), Endpunkt: (Zeile#Z2, Punkt#P2)". Oder für eine erkannte kreisförmige Bohrung "Objekttyp: Kreis, Mittelpunkt: (Zeile#Z3, Punkt#P3), Radius: 10 Pixel".The Feature extraction a contrast detection, in which a difference of the brightness values neighboring pixels is calculated. Is the calculated difference above a specified threshold, it is understood that that one edge a picture object was found. By further processing of in the same line adjacent points as well as by processing also the points adjacent in the X direction by processing the previous and subsequent lines, the type of recognized Image object (for example, linear, planar, point-shaped) and its size and location determined. An image object recognized in this way can then be characterized by geometric Characteristics are described. These features can, for example, the object type and several dimensional parameters include, for. B. "Object Type: Line, starting point: (line # Z1, point # P1), endpoint: (line # Z2, point # P2) "Or for a recognized circular Bore "Object Type: Circle, center: (line # Z3, point # P3), radius: 10 pixels ".

Die erste Verarbeitungseinheit 36 liefert eine Beschreibung der erkannten Merkmale als Merkmals-Datenstrom M. Im in 3 dargestellten Beispiel umfaßt der Datenstrom M die erkannten Objekte (Loch 32, Linie 34). Gegenüber dem verarbeiteten Datenstrom S aus "rohen" Bilddaten, umfaßt der Merkmals-Datenstrom M nur sehr wenige Daten. Im gezeigten Beispiel werden die Bilddaten mit 50 MB/s geliefert, während der Datenstrom M nur wenige kB/s umfaßt.The first processing unit 36 provides a description of the recognized features as a marker mals data stream M. Im in 3 illustrated example, the data stream M comprises the detected objects (hole 32 , Line 34 ). Compared with the processed data stream S from "raw" image data, the feature data stream M comprises only very few data. In the example shown, the image data is supplied at 50 MB / s, while the data stream M comprises only a few kB / s.

In der bevorzugte Ausführungsform ist die erste Verarbeitungseinheit 36 als separate elektronische Schaltung realisiert, die den Datenstrom S in Echtzeit verarbeitet.In the preferred embodiment, the first processing unit 36 implemented as a separate electronic circuit that processes the data stream S in real time.

Das Bildsignal S wird parallel auch in der zweiten Verarbeitungseinheit 38 verarbeitet. Die zweite Verarbeitungseinheit 38 verarbeitet das Bildsignal S ebenfalls in Echtzeit. Hierbei erhält sie das Bildsignal S gegenüber der ersten Verarbeitungseinheit 36 zeitverzögert, wobei mehrere Bildzeilen, im dargestellten Beispiel drei Bildzeilen, im Pufferspeicher 40 zwischengespeichert werden.The image signal S is also in parallel in the second processing unit 38 processed. The second processing unit 38 also processes the image signal S in real time. In this case, it receives the image signal S in relation to the first processing unit 36 delayed, with several image lines, in the example shown three image lines, in the buffer memory 40 be cached.

In der zweiten Verarbeitungseinheit 38 wird das Bildsignal S selektiv verarbeitet. Aus den gesamten gelieferten Bilddaten wird ein Teilbild 42 herausgegriffen. Die Größe und Lage des Teilbildes ist durch dessen Zeilen/Pixel-Koordinaten festgelegt.In the second processing unit 38 the image signal S is selectively processed. All of the supplied image data becomes a partial image 42 singled out. The size and location of the tile is determined by its line / pixel coordinates.

In dem in 3 dargestellten vereinfachten Beispiel umfaßt das Teilbild 42 jeweils die Pixel 7, 8, 9 der Zeilen Z0, Z1, Z2 (siehe 3a). Das Teilbild 42 ist ein flächiges Bild, das Teile von mehreren der gelieferten Bildzeilen Z0, Z1, Z2 enthält.In the in 3 illustrated simplified example includes the field 42 in each case the pixels 7, 8, 9 of the lines Z0, Z1, Z2 (see 3a ). The drawing file 42 is a two-dimensional image that contains parts of several of the supplied image lines Z0, Z1, Z2.

Die zweite Verarbeitungseinheit 38 wählt aus dem Bilddatenstrom S das Teilbild 42 nach vorgegebenen X- und Y-Grenzwerten aus. Mit der X-Koordinate werden hierbei, übereinstimmend mit der Bewegungsrichtung X, die Zeilen gezählt. Mit der Y- Koordinate werden die Punkte innerhalb einer Zeile gezählt. Für die Auswahl des Teilbildes 42 werden feste Grenzen vorgegeben für Xmin, Xmax, Ymin, Ymax. Im vorliegenden Beispiel ist Xmin = 0, Xmax = 2, Ymin = 7 und Ymax = 9. Mit Hilfe zweier Komparatoren (für X und Y) wird während der Lieferung des Bilddatenstroms S überprüft, ob die Zählerstände X und Y der Bedingung genügen: Xmin ≤ Zählerstand X ≤ Xmax und Ymin ≤ Zählerstand Y ≤ Ymax. The second processing unit 38 selects the partial image from the image data stream S. 42 according to specified X and Y limits. With the X coordinate, the lines are counted in accordance with the direction of movement X. The Y coordinate counts the points within a line. For the selection of the drawing file 42 fixed limits are given for Xmin, Xmax, Ymin, Ymax. In the present example, Xmin = 0, Xmax = 2, Ymin = 7 and Ymax = 9. With the aid of two comparators (for X and Y) it is checked during the delivery of the image data stream S whether the counter readings X and Y satisfy the condition: Xmin ≤ count X ≤ Xmax and Ymin ≤ count Y ≤ Ymax.

Ist diese Bedingung erfüllt, werden die aufgenommenen Bildpunkte in einen separaten Speicher für das Teilbild 42 abgelegt.If this condition is met, the captured pixels are stored in a separate memory for the field 42 stored.

Während es grundsätzlich möglich ist, die Grenzwerte Xmax, Ymax, Xmin, Ymin von extern vorzugeben, ist bei der gezeigten Ausführungsform vorgesehen, daß die Lage des Teilbildes 42 nach Erkennung eines Startmerkmals durch die ersten Verarbeitungseinheit 36 relativ zur Position des Startmerkmals festgelegt wird. Der entsprechende Ablauf der Verarbeitung ist in 4 wiedergegeben. Die von der Kamera gelieferten digitalen Daten werden einerseits in der Verarbeitungseinheit 36 einer Zeilendaten-Verarbeitung und Objekt-Extraktion (Merkmalserkennung) unterworfen. Während die erkannten Objektdaten einer separaten Objekt-Verarbeitung unterzogen werden können, wird für den Fall der Erkennung eines vordefinierten Startobjektes ein objektabhängiger Trigger ausgelöst, der für die zweite Verarbeitungseinheit 38 die X- und Y-Grenzwerte festlegt.While it is basically possible to specify the limit values Xmax, Ymax, Xmin, Ymin from the outside, it is provided in the embodiment shown that the position of the partial image 42 after recognition of a start feature by the first processing unit 36 is determined relative to the position of the start feature. The corresponding process of processing is in 4 played. The digital data supplied by the camera are on the one hand in the processing unit 36 a line data processing and object extraction (feature recognition) subjected. While the detected object data can be subjected to a separate object processing, in the case of the recognition of a predefined start object, an object-dependent trigger is triggered, which for the second processing unit 38 sets the X and Y limits.

Im Beispiel von 3 ist als Startmerkmal das Loch 32 definiert. Sobald das entsprechende Objekt von der ersten Verarbeitungseinheit 36 erkannt wird, werden die X- und Y-Grenzwerte für die zweite Verarbeitungseinheit 38 festgelegt. Im vorliegenden Beispiel liegt der Mittelpunkt des Loches bei X = 1, Y = 8. Der Radius beträgt 1 Pixel. Daher wird der rechteckige Bereich Xmin = 0, Xmax = 2, Ymin = 7, Ymax – 9 als Teilbild ausgewählt, der das dem erkannten Merkmal (Loch 32) zugeordnete Bild enthält.In the example of 3 is the starting point of the hole 32 Are defined. Once the corresponding object from the first processing unit 36 is detected, the X and Y limits for the second processing unit 38 established. In the present example, the center of the hole is at X = 1, Y = 8. The radius is 1 pixel. Therefore, the rectangular area Xmin = 0, Xmax = 2, Ymin = 7, Ymax-9 is selected as the field corresponding to the detected feature (hole 32 ) associated image contains.

Allerdings ist die Erkennung des Merkmals 32 erst am Ende der Zeile Z2 möglich, da erst dann das vollständige Bild vorliegt. In einer tatsächlichen Anwendung wäre es voraussichtlich sogar vorgesehen, noch die nachfolgende Zeile zu betrachten, um sicherzu stellen, daß das entsprechende Bild des Merkmals 32 tatsächlich abgeschlossen ist (helle Bildpunkte 7, 8, 9). Darüber hinaus ist auch für die schnelle Echtzeit-Merkmalserkennung in der ersten Verarbeitungseinheit (36) eine Verarbeitungszeit von bspw. 50 ns erforderlich. Entsprechend liegend die Initialisierungs-Werte (X/Y-Grenzwerte) für die zweite Verarbeitungseinheit 38 erst zu einem Zeitpunkt vor, zu dem der dem gesuchten Teilbild 42 entsprechende Bilddatenstrom S bereits verarbeitet ist. Aus diesem Grund ist der Pufferspeicher 40 vorgesehen, in dem die Pixeldaten mehrere Zeilen zwischengespeichert sind. Enthält der Pufferspeicher 40 im Beispiel von 3 mindestens drei Zeilen, so kann die zweite Verarbeitungseinheit 38 rechtzeitig initialisiert werden, um das Teilbild 42 aus dem Bilddatenstrom S zu extrahieren.However, the recognition of the feature 32 only possible at the end of line Z2, as only then is the complete picture available. In an actual application, it would probably even be considered to look at the following line to make sure that the corresponding image of the feature 32 is actually completed (bright pixels 7 . 8th . 9 ). In addition, for fast real-time feature recognition in the first processing unit ( 36 ) requires a processing time of, for example, 50 ns. Accordingly, the initialization values (X / Y limits) are for the second processing unit 38 only at a time before, at which the sought field 42 corresponding image data stream S is already processed. Because of this, the cache is 40 provided in which the pixel data is cached several lines. Contains the buffer memory 40 in the example of 3 At least three lines, so can the second processing unit 38 be initialized in time to the partial image 42 to extract from the image data stream S.

Im vorliegenden Beispiel wird das Teilbild 42 durch die zweite Verarbeitungseinheit 38 lediglich in einen zweiseitig schreib- und lesbaren Speicher (Dual Ported Memory) abgespeichert. Die Auswertung der Daten kann bei einem solchen Speicher zeitgleich zum Einlesen erfolgen. Die Verarbeitung kann bspw. umfassen, daß die Bilddaten des Bildes 42 auf einem Bildschirm angezeigt werden, damit ein menschlicher Benutzer das Bild überprüfen kann. So kann bspw. für die Bohrung 32 festgestellt werden, ob die Bohrungskanten sauber oder möglicherweise ausgefranst sind.In the present example, the field is 42 through the second processing unit 38 stored only in a two-sided read-write memory (dual-ported memory). The evaluation of the data can be done at the same time to read in such a memory. The processing may include, for example, that the image data of the image 42 be displayed on a screen so that a human user can check the image. For example, for drilling 32 determine whether the hole edges are clean or possibly frayed.

Alternativ kann das Teilbild 42 auch mit Bildverarbeitungsalgorithmen weiterverarbeitet werden. Aufgrund des erheblich reduzierten Datenstroms ist es auch unter Echtzeitbedingungen möglich, komplexe Algorithmen auf das Teilbild 42 anzuwenden und hierbei die von der Zeilenkamera gelieferten 8-Bit-Daten in voller Bit-Auflösung zu verarbeiten.Alternatively, the partial image 42 be further processed with image processing algorithms. Due to the considerably reduced data stream, it is also possible under real-time conditions to apply complex algorithms to the field 42 to process the 8-bit data supplied by the line scan camera in full bit resolution.

Zurück in 2 soll nun die Anwendung der Bildverarbeitung mit der der ersten und zweiten Verarbeitungseinheit 36, 38 auf die Werkstückkontrolle dargestellt werden. Das in 2 dargestellte Werkstück 14 wird zeilenweise aufgenommen. Während in der ersten Verarbeitungseinheit 36 seine Merkmale – Konturlinie 22 und Bohrungen 24, 26 – erkannt werden, wird durch die Erkennung des als Startmerkmal festgelegten Lochs 24 ein Teilbild 28a festgelegt. Das Teilbild 28a umfaßt ein Gebiet von 640 × 480 Bildpunkten (VGA-Standard), die aus den 4.000 Pixeln jeder Zeile ausgewählt werden. Als Startpunkt in X- und Y-Richtung wird das erkannte Merkmal 24 verwendet.Back in 2 Now, the application of image processing with that of the first and second processing unit 36 . 38 be displayed on the workpiece control. This in 2 represented workpiece 14 is recorded line by line. While in the first processing unit 36 its characteristics - contour line 22 and drilling 24 . 26 - are detected by the detection of the hole specified as the starting point 24 a drawing file 28a established. The drawing file 28a includes an area of 640 × 480 pixels (VGA standard), which are selected from the 4,000 pixels of each line. The starting point in the X and Y direction is the recognized feature 24 used.

Zusätzlich sind feste Werte Xmin, Xmax, Ymin, Ymax angegeben, die ein zweites Teilbild 28b, in diesem Fall unabhängig von einem bestimmten Startmerkmal festlegen.In addition, fixed values Xmin, Xmax, Ymin, Ymax are given, which are a second field 28b , in this case, set independently of a specific start feature.

Claims (7)

Erfassungsvorrichtung mit – eine Zeilenkamera (16) zur Aufnahme zeilenförmiger Bilder mindestens eines Objekts (14), das sich relativ zur Zeilenkamera (16) bewegt, wobei die Zeilenkamera (16) ein Bildsignal (S) mit einer Anzahl von Bildpunkten in zeilenweise aufeinanderfolgender Anordnung liefert, – einer ersten Verarbeitungseinheit (36) zur Verarbeitung des Bildsignals (S), wobei aus dem Bildsignal (S) Merkmale (32, 34) extrahiert werden, – und einer zweiten Verarbeitungseinheit (38) zur gleichzeitigen Verarbeitung des Bildsignals (S), wobei von dem Bildsignal (S) nur ein oder mehrere Teilbilder (28a, 28b, 42) verarbeitet, angezeigt und/oder gespeichert werden, – wobei ein Teilbild (28a, 28b, 42) einen zusammenhängenden flächigen Bereich von Zeilen (Z0, Z1, Z2) und Bildpunkten innerhalb dieser Zeilen (Z0, Z1, Z2) umfaßt, – und wobei bei Erkennung eines Startmerkmals (32) in der ersten Verarbeitungseinheit (36) die Lage des Teilbildes (42) relativ zur Lage des Startmerkmals (32) festgelegt wird, indem Grenzwerte (X_max, x_min, Y_max, Y_min) der zum Teilbild (42) gehörenden Zeilen (Z0, Z1, Z2) und Bildpunkte innerhalb dieser Zeilen festgelegt werden.Detection device with - a line camera ( 16 ) for recording line-shaped images of at least one object ( 14 ), which is relative to the line camera ( 16 ), whereby the line camera ( 16 ) supplies an image signal (S) with a number of pixels in a row-by-row successive arrangement, - a first processing unit ( 36 ) for processing the image signal (S), wherein from the image signal (S) features ( 32 . 34 ), and a second processing unit ( 38 ) for the simultaneous processing of the image signal (S), wherein of the image signal (S) only one or more partial images ( 28a . 28b . 42 ) are processed, displayed and / or stored, 28a . 28b . 42 ) comprises a contiguous area of lines (Z0, Z1, Z2) and pixels within these lines (Z0, Z1, Z2), and wherein upon recognition of a start feature ( 32 ) in the first processing unit ( 36 ) the position of the partial image ( 42 ) relative to the location of the start feature ( 32 ) is determined by limiting values (X _max , x _min , Y _max , Y _min ) of the partial image ( 42 ) belonging lines (Z0, Z1, Z2) and pixels are set within these lines. Vorrichtung nach Anspruch 1, bei der – das Teilbild (42) die Bildpunkte einschließt, aus denen das Startmerkmal (32) erkannt wurde, – wobei ein Pufferspeicher (40) zur Zwischenspeicherung des Bildsignals (S) vor der Verarbeitung in der zweiten Verarbeitungseinheit (38) vorgesehen ist.Device according to claim 1, in which - the partial image ( 42 ) includes the pixels from which the start feature ( 32 ), wherein a buffer memory ( 40 ) for buffering the image signal (S) before processing in the second processing unit ( 38 ) is provided. Vorrichtung nach einem der vorangehenden Ansprüche, bei der – die erste Verarbeitungseinheit (36) Mittel zum Vergleich von Bildpunkten umfaßt, und die extrahierten Merkmale linien- oder punktförmige Strukturen des Objektes oder seiner Oberfläche umfassen, insbesondere Konturen, Kanten oder Löcher.Device according to one of the preceding claims, in which - the first processing unit ( 36 ) Comprises means for comparing pixels, and the extracted features comprise linear or punctiform structures of the object or its surface, in particular contours, edges or holes. Vorrichtung nach einem der vorangehenden Ansprüche, bei der – die Bildpunkte als binäre Werte geliefert werden, – wobei in der ersten Verarbeitungseinheit (36) von den Werten nur eine erste, – reduzierte Bitzahl verarbeitet wird, – und wobei in der zweiten Verarbeitungseinheit (38) von den dem Teilbild (42) entsprechenden Werten eine Bitzahl verarbeitet wird, die höher ist als die erste Bitzahl.Device according to one of the preceding claims, wherein - the pixels are supplied as binary values, - wherein in the first processing unit ( 36 ) of the values only a first, - reduced number of bits is processed, and wherein in the second processing unit ( 38 ) of the partial image ( 42 ) a number of bits is processed that is higher than the first bit number. Vorrichtung nach einem der vorangehenden Ansprüche, bei der – in der ersten Verarbeitungseinheit (36) die Merkmalsextraktion mit einem ersten Algorithmus erfolgt, – und in der zweiten Verarbeitungseinheit (38) die Verarbeitung des Teilbildes (42) mit einem zweiten Algorithmus erfolgt, – wobei der Rechenaufwand, gemessen in Elementar-Rechenoperationen je Bildpunkt bei dem zweiten Algorithmus höher ist als bei dem ersten Algorithmus.Device according to one of the preceding claims, in which - in the first processing unit ( 36 ) the feature extraction is performed with a first algorithm, - and in the second processing unit ( 38 ) the processing of the partial image ( 42 ) is performed with a second algorithm, - wherein the computational effort, measured in elementary arithmetic operations per pixel in the second algorithm is higher than in the first algorithm. Vorrichtung zur Werkstückkontrolle mit – einer Transportvorrichtung (12) für Werkstücke (14), – und einer Erfassungsvorrichtung nach einem der vorangehenden Ansprüche zur Erfassung der Werkstücke (14).Device for workpiece control with a transport device ( 12 ) for workpieces ( 14 ), And a detection device according to one of the preceding claims for detecting the workpieces ( 14 ). Bilderfassungsverfahren, bei dem – mit einer Zeilenkamera (16) zeilenförmige Bilder mindestens eines Objekts (14), das sich relativ zur Zeilenkamera (16) bewegt, aufgenommen werden, wobei die Zeilenkamera (16) ein Bildsignal (S) mit einer Anzahl von Bildpunkten in zeilenweise aufeinanderfolgender Anordnung liefert, – das Bildsignal (S) einer ersten Verarbeitung unterworfen wird, bei der aus dem Bildsignal (S) Merkmale (32, 34) extrahiert werden, – und das Bildsignal (S) gleichzeitig einer zweiten Verarbeitung unterworfen wird, bei der von dem Bildsignal (S) nur ein oder mehrere Teilbilder (28a, 28b, 42) verarbeitet, angezeigt und/oder gespeichert werden, wobei ein Teilbild (28a, 28b, 42) mindestens einen zusammenhängenden Bereich von Zeilen (Z0, Z1, Z2) und Bildpunkten innerhalb dieser Zeilen (Z0, Z1, Z2) umfaßt, – wobei bei Erkennung eines Startmerkmals (32) in der ersten Verarbeitungseinheit (36) die Lage des Teilbildes (42) relativ zur Lage des Startmerkmals (32) festgelegt wird, indem Grenzwerte (X_max, x_min, Y_max, Y_min) der zum Teilbild (42) gehörenden Zeilen (Z0, Z1, Z2) und Bildpunkte innerhalb dieser Zeilen festgelegt werden.Image acquisition method in which - with a line scan camera ( 16 ) line-shaped images of at least one object ( 14 ), which is relative to the line camera ( 16 ), with the line camera ( 16 ) supplies an image signal (S) having a number of pixels in a row-by-row successive arrangement, - the image signal (S) is subjected to a first processing in which the image signal (S) features ( 32 . 34 ) and the image signal (S) is simultaneously subjected to a second processing, in which only one or more partial images of the image signal (S) ( 28a . 28b . 42 ) are processed, displayed and / or stored, whereby a partial image ( 28a . 28b . 42 ) comprises at least one contiguous region of lines (Z0, Z1, Z2) and pixels within these lines (Z0, Z1, Z2), - whereby upon detection of a start feature ( 32 ) in the first processing unit ( 36 ) the position of the partial image ( 42 ) relative to the location of the start feature ( 32 ) is determined by limiting values (X _max , x _min , Y _max , Y _min ) of the partial image ( 42 ) belonging lines (Z0, Z1, Z2) and pixels are set within these lines.