EP4075394B1

EP4075394B1 - Detecting moving flows of objects

Info

Publication number: EP4075394B1
Application number: EP22163079.1A
Authority: EP
Inventors: Romain Müller; Dirk Strohmeier
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2021-04-12
Filing date: 2022-03-18
Publication date: 2023-09-20
Anticipated expiration: 2042-03-18
Also published as: JP7350924B2; CN115209047A; DE102021109078B3; JP2022162529A; EP4075394A1; US20220327798A1; EP4075394C0

Description

Die Erfindung betrifft eine Kameravorrichtung und ein Verfahren zur Erfassung eines bewegten Stromes von Objekten nach dem Oberbegriff von Anspruch 1 beziehungsweise 15.The invention relates to a camera device and a method for detecting a moving stream of objects according to the preamble of claims 1 and 15, respectively.

In industriellen Anwendungen werden Kameras in vielfältiger Weise eingesetzt, um Objekteigenschaften automatisch zu erfassen, beispielsweise zur Inspektion oder Vermessung von Objekten. Dabei werden Bilder des Objekts aufgenommen und entsprechend der Aufgabe durch Bildverarbeitungsverfahren ausgewertet. Eine weitere Anwendung von Kameras ist das Lesen von Codes. Mit Hilfe eines Bildsensors werden Objekte mit den darauf befindlichen Codes aufgenommen, in den Bildern die Codebereiche identifiziert und dann dekodiert. Kamerabasierte Codeleser kommen problemlos auch mit anderen Codearten als eindimensionalen Strichcodes zurecht, die wie ein Matrixcode auch zweidimensional aufgebaut sind und mehr Informationen zur Verfügung stellen. Auch die automatische Texterfassung von gedruckten Adressen (OCR, Optical Character Recognition) oder Handschriften ist im Prinzip ein Lesen von Codes. Typische Anwendungsgebiete von Codelesern sind Supermarktkassen, die automatische Paketidentifikation, Sortierung von Postsendungen, die Gepäckabfertigung in Flughäfen und andere Logistikanwendungen.In industrial applications, cameras are used in a variety of ways to automatically record object properties, for example for inspecting or measuring objects. Images of the object are taken and evaluated according to the task using image processing methods. Another application of cameras is reading codes. With the help of an image sensor, objects with the codes on them are recorded, the code areas are identified in the images and then decoded. Camera-based code readers can easily handle code types other than one-dimensional barcodes, which, like a matrix code, are also two-dimensional and provide more information. The automatic text capture of printed addresses (OCR, Optical Character Recognition) or handwriting is, in principle, a reading of codes. Typical areas of application for code readers include supermarket checkouts, automatic package identification, sorting of mail, baggage handling in airports and other logistics applications.

Eine häufige Erfassungssituation ist die Montage der Kamera über einem Förderband. Die Kamera nimmt während der Relativbewegung des Objektstroms auf dem Förderband Bilder auf und leitet in Abhängigkeit der gewonnenen Objekteigenschaften weitere Bearbeitungsschritte ein. Solche Bearbeitungsschritte bestehen beispielsweise in der an das konkrete Objekt angepassten Weiterverarbeitung an einer Maschine, die auf geförderte Objekte einwirkt, oder in einer Veränderung des Objektstroms, indem bestimmte Objekte im Rahmen einer Qualitätskontrolle aus dem Objektstrom ausgeschleust werden oder der Objektstrom in mehrere Teilobjektströme sortiert wird. Wenn die Kamera ein kamerabasierter Codeleser ist, werden die Objekte für eine korrekte Sortierung oder ähnliche Bearbeitungsschritte anhand der angebrachten Codes identifiziert.A common capture situation is mounting the camera above a conveyor belt. The camera records images during the relative movement of the object stream on the conveyor belt and initiates further processing steps depending on the object properties obtained. Such processing steps consist, for example, in further processing adapted to the specific object on a machine that acts on conveyed objects, or in a change in the flow of objects by certain Objects are removed from the object stream as part of a quality control or the object stream is sorted into several sub-object streams. If the camera is a camera-based code reader, the objects are identified by the attached codes for correct sorting or similar processing steps.

Es stehen zunehmend leistungsfähigere Bildsensoren zur Verfügung, so dass mit wenigen Kameras ein großer Bereich beispielsweise der Breite eines Förderbandes abgedeckt werden kann. Bei unterschiedlichen Objekthöhen kommt es jedoch immer wieder zu Situationen, in denen der Tiefenschärfenbereich nicht ausreicht, alle Objekte im Sichtfeld mit ausreichender Schärfe aufzunehmen. Prinzipiell bietet hier eine Fokusverstellung einen Ausweg. Dazu ist jedoch eine schnelle Abfolge von Aufnahmen erforderlich, da ansonsten das aufzunehmende Objekt nicht mehr oder jedenfalls nicht mehr in der richtigen Perspektive erfasst wird. Die erforderliche hohe Aufnahmefrequenz ist bei einem großen Bildsensor nicht zu leisten, da mehr Daten erzeugt werden, als zwischen zwei Aufnahmen verarbeitet werden können. Kleinere Bildsensoren würden in dieser Beziehung weiterhelfen, aber dadurch würde der angestrebte Vorteil der Abdeckung eines großen Bereichs mit wenigen oder im Idealfall einer einzigen Kamera aufgegeben.More and more powerful image sensors are becoming available, so that a large area, for example the width of a conveyor belt, can be covered with just a few cameras. However, with different object heights, situations often arise in which the depth of field is not sufficient to record all objects in the field of view with sufficient sharpness. In principle, adjusting the focus offers a way out. However, this requires a quick sequence of recordings, otherwise the object to be recorded will no longer be captured or at least no longer captured in the correct perspective. The required high recording frequency cannot be achieved with a large image sensor because more data is generated than can be processed between two recordings. Smaller image sensors would help in this regard, but this would sacrifice the desired advantage of covering a large area with a few or, ideally, a single camera.

Der Tiefenschärfenbereich lässt sich prinzipiell mit einer kleinen Blende und zusätzlicher Beleuchtung erweitern, um den Lichtverlust und damit ein schlechteres Signal-RauschVerhältnis auszugleichen. Die ohnehin schon leistungsfähige Beleuchtung würde dadurch aber noch kostenträchtiger. Außerdem reduziert das die Datenlast nicht. Denkbar wäre weiterhin die Verwendung eines Bildsensors mit einem überbreiten Aspektverhältnis, mit dem das Förderband überdeckt werden könnte, ohne die Datenmenge allzu sehr in die Höhe zu treiben. Derart exotische Bildsensoren sind aber nicht erhältlich oder würden zumindest die Auswahl hinsichtlich anderer für die Bildsensoren maßgeblicher Faktoren erheblich einschränken. Außerdem hat ein großer Sichtbereich auch in Förderrichtung durchaus seine Vorteile, die mit dem überbreiten Bildsensor verloren gingen.In principle, the depth of field can be expanded with a small aperture and additional lighting to compensate for the loss of light and thus a poorer signal-to-noise ratio. However, this would make the already efficient lighting even more expensive. Furthermore, this does not reduce the data load. It would also be conceivable to use an image sensor with an extra-wide aspect ratio that could be used to cover the conveyor belt without increasing the amount of data too much. However, such exotic image sensors are not available or would at least significantly limit the selection with regard to other factors that are important for the image sensors. In addition, a large viewing area also has its advantages in the conveying direction, which were lost with the overly wide image sensor.

Die EP 1 645 838 B1 und die EP 1 645 839 B1 offenbaren jeweils eine Vorrichtung zur Überwachung von bewegten Objekten an einem Förderband. Ein Entfernungsmesser oder Laserscanner ist einer Kamera vorgelagert, und mit dessen Daten werden interessierende Bereiche bestimmt (ROI, region of interest), auf die sich die spätere Auswertung der Bilddaten beschränkt. Dabei wird eine Zeilenkamera eingesetzt, deren Bildzeilen zu einem Bild zusammengesetzt werden. Sämtliche Bilddaten fallen folglich zunächst an und werden erst im Nachhinein reduziert. Eine Matrixkamera ist lediglich nebenbei erwähnt, ohne zu erklären, wie mit deren Bilddaten umgegangen werden soll. In dieser Form verschärft eine Matrixkamera nur das Problem der Datenmengen gegenüber einer Zeilenkamera, da die Bildzeilen sogar vielfach redundant erfasst werden.The EP 1 645 838 B1 and the EP 1 645 839 B1 each disclose a device for monitoring moving objects on a conveyor belt. A range finder or laser scanner is located in front of a camera, and its data is used to determine areas of interest (ROI, region of interest), to which the later evaluation of the image data is limited. A line camera is used, the image lines of which are put together to form an image. All image data is therefore initially generated and is only reduced afterwards. A matrix camera is just incidental mentioned without explaining how their image data should be handled. In this form, a matrix camera only exacerbates the problem of data volumes compared to a line scan camera, since the image lines are recorded redundantly in many cases.

In der DE 20 2006 020 599 U1 werden vorab gemessene Geometriedaten verwendet, um interessierende Bereiche zu bestimmen und dann mit einer höheren Auflösung zu erfassen als nicht interessierende Bereiche. Der Unterschied besteht in einer Ausführungsform darin, dass Bilddaten in den interessierenden Bereichen vollständiger ausgewertet werden als in den nicht interessierenden Bereichen, was dann nur eine weitere Variante von EP 1 645 838 B1 und EP 1 645 839 B1 ergibt. Alternativ wird in den nicht interessierenden Bereichen beispielsweise nur jede dritte oder zehnte Zeile ausgewertet. Weniger Daten fallen somit nur in den Zeiten an, in denen das gesamte Sichtfeld der Zeilenkamera einheitlich ein nicht interessierender Bereich ist. Zudem wäre das Vorgehen auf eine Matrixkamera gar nicht übertragbar.In the DE 20 2006 020 599 U1 Pre-measured geometry data is used to determine regions of interest and then captured at a higher resolution than regions of no interest. The difference in one embodiment is that image data in the areas of interest are evaluated more completely than in the areas of no interest, which is then just another variant of EP 1 645 838 B1 and EP 1 645 839 B1 results. Alternatively, in the areas that are not of interest, only every third or tenth line is evaluated. Less data is therefore only generated at times when the entire field of view of the line camera is uniformly an area of no interest. In addition, the procedure would not be transferable to a matrix camera.

Die EP 2 693 363 A1 beschreibt ein Kamerasystem, dass vorab erfasste Geometriedaten ausnutzt, um mehrere Kameras komplementär zu fokussieren. Das basiert auf der redundanten Erfassung der Objekte in mehreren Kameras und ist daher für ein System ungeeignet, in dem möglichst nur eine Kamera die gesamte Breite des zu erfassenden Objektstroms abdeckt. Außerdem wird durch die Redundanz die Gesamtdatenmenge sogar nochmals vervielfacht.The EP 2 693 363 A1 describes a camera system that uses previously recorded geometry data to focus multiple cameras in a complementary manner. This is based on the redundant detection of objects in several cameras and is therefore unsuitable for a system in which, if possible, only one camera covers the entire width of the object stream to be detected. In addition, the redundancy actually multiplies the total amount of data.

Aus der EP 3 537 339 A2 ist eine Kamera bekannt, in die ein optoelektronischer Abstandssensor nach dem Prinzip des Lichtlaufverfahrens integriert ist. Dessen Daten werden für eine Vielzahl von Funktionen genutzt, wozu auch die Festlegung interessierender Bereiche anhand eines aus den Abstandswerten gewonnenen Höhenprofils zählt. Die interessierenden Bereiche werden jedoch als eine Zusatzinformation behandelt, oder das Bild wird in einem möglichen Verarbeitungsschritt auf einen interessierenden Bereich zugeschnitten. Damit werden die zu verarbeitenden Daten entweder gar nicht oder erst in einem späteren Verarbeitungsschritt reduziert.From the EP 3 537 339 A2 A camera is known in which an optoelectronic distance sensor is integrated based on the principle of the light path method. Its data is used for a variety of functions, including determining areas of interest based on a height profile obtained from the distance values. However, the areas of interest are treated as additional information, or the image is cropped to an area of interest in a possible processing step. This means that the data to be processed is either not reduced at all or is only reduced in a later processing step.

Die US 9 237 286 B2 stellt einen Bildsensor vor, der das energieeffiziente Auslesen von Unterbildern erlaubt. Dabei wird einleitend der Begriff interessierender Bereich (ROI) erwähnt, aber die Schrift befasst sich nicht mit der Anwendung, sondern der Erläuterung des Bildsensors auf Hardwareebene.The US 9,237,286 B2 presents an image sensor that allows energy-efficient reading of sub-images. The term region of interest (ROI) is mentioned in the introduction, but the document does not deal with the application, but with the explanation of the image sensor at the hardware level.

Die WO2019/092161 A1 offenbart eine Bilderfassung durch einen Bildsensor und einen Entfernungssensor. Anhand einer Tiefenkarte des Entfernungssensors werden interessierende Bereiche identifiziert, um selektiv nur daraus Bildinformationen auszulesen. Dafür kann der Bildsensor entsprechend konfiguriert werden.The WO2019/092161 A1 discloses image capture by an image sensor and a distance sensor. Using a depth map of the distance sensor, areas of interest are identified in order to selectively read out image information only from them. The image sensor can be configured accordingly.

Es ist daher Aufgabe der Erfindung, die Erfassung eines bewegten Stroms von Objekten weiter zu verbessern.It is therefore the object of the invention to further improve the detection of a moving stream of objects.

Diese Aufgabe wird durch eine Kameravorrichtung und ein Verfahren zur Erfassung eines bewegten Stromes von Objekten nach Anspruch 1 beziehungsweise 15 gelöst. Die Kameravorrichtung nimmt mit einem Bildsensor Bilddaten der dazu relativ bewegten Objekte auf. Der Bildsensor überdeckt vorzugsweise einen großen Teil oder die gesamte Breite, aus einer Draufsicht gedacht, beziehungsweise bei seitlicher Perspektive der Höhe des Stroms sowie eine gewisse Länge in Bewegungsrichtung und weist demzufolge bevorzugt eine Vielzahl von Lichtempfangselementen oder Pixeln in einer Matrixanordnung einer Auflösung von typischerweise mehreren Megapixeln auf. Ein Geometrieerfassungssensor vermisst die Objektgeometrie. Dazu eignet sich insbesondere ein Abstandssensor, der den jeweiligen Abstand zu den Objekten misst. Daraus kann in Kenntnis von Position und Pose des Geometrieerfassungssensors im Verlauf der Relativbewegung eine Höhenkontur in Bewegungsrichtung und vorzugsweise auch quer dazu erzeugt werden.This task is achieved by a camera device and a method for detecting a moving stream of objects according to claims 1 and 15, respectively. The camera device uses an image sensor to record image data of the objects that are moving relative to it. The image sensor preferably covers a large part or the entire width, viewed from a top view, or in the case of a side perspective, the height of the current as well as a certain length in the direction of movement and therefore preferably has a large number of light receiving elements or pixels in a matrix arrangement with a resolution of typically several megapixels on. A geometry capture sensor measures the object geometry. A distance sensor that measures the respective distance to the objects is particularly suitable for this. From this, knowing the position and pose of the geometry detection sensor in the course of the relative movement, a height contour can be generated in the direction of movement and preferably also transversely to it.

Eine Steuer- und Auswertungseinheit nutzt die Messdaten des Geometrieerfassungssensors, um mindestens einen interessierenden Bereich beispielsweise mit einem Objekt, einer Objektfläche oder einer sonstigen für die Kameravorrichtung relevanten Struktur zu bestimmen. Die weitere Auswertung der Bilddaten ist dann auf die interessierenden Bereiche begrenzt ("Cropping"). Enthalten die Messdaten eine Intensitäts- oder Farbinformation, so können alternativ oder ergänzend nicht rein geometrische Informationen wie Helligkeiten, Farben oder Kontraste für die Bestimmung der interessierenden Bereiche herangezogen werden. Um interessierende Bereiche in der Ebene des Bildsensors anhand von Geometriedaten zu bestimmen, sind Bildsensor und Geometrieerfassungssensor vorzugsweise zueinander kalibriert, und es findet eine entsprechende Transformation statt.A control and evaluation unit uses the measurement data from the geometry detection sensor to determine at least one region of interest, for example with an object, an object surface or another structure relevant to the camera device. Further evaluation of the image data is then limited to the areas of interest (“cropping”). If the measurement data contains intensity or color information, non-purely geometric information such as brightness, colors or contrasts can alternatively or additionally be used to determine the areas of interest. In order to determine regions of interest in the plane of the image sensor based on geometry data, the image sensor and geometry detection sensor are preferably calibrated to one another and a corresponding transformation takes place.

Die Erfindung geht von dem Grundgedanken aus, die Bilddaten direkt an der Quelle im Bildsensor auf den mindestens einen interessierenden Bereich zu beschränken. Der Bildsensor verfügt über eine Konfigurationseinheit und bietet so eine Konfigurationsmöglichkeit, um nur einen einstellbaren Teil oder Teilbereich der Bilddaten auslesen zu lassen. Die Steuer- und Auswertungseinheit nutzt diese Konfigurationsmöglichkeit, um den auszulesenden Teil der Bilddaten an den mindestens einen interessierenden Bereich anzupassen. Insbesondere werden genau diejenigen Pixel oder Pixelzeilen ausgelesen, die einen interessierenden Bereich bilden. Das stimmt aber nur vorzugsweise pixelgenau überein, Pufferzonen oder abgeschnittene Teilbereiche eines interessierenden Bereichs sind denkbar, ebenso wie eingeschränkte Konfigurationsmöglichkeiten, die den Zugriff auf gewisse Pixelgruppen nur gemeinsam zulässt oder einschränkt. Bilddaten ohne Bezug zu einem interessierenden Bereich müssen gar nicht erst ausgelesen werden.The invention is based on the basic idea of limiting the image data directly at the source in the image sensor to the at least one area of interest. The Image sensor has a configuration unit and thus offers a configuration option in order to only have an adjustable part or partial area of the image data read out. The control and evaluation unit uses this configuration option to adapt the part of the image data to be read out to the at least one area of interest. In particular, exactly those pixels or lines of pixels are read out which form an area of interest. However, this only preferably matches pixel-perfectly; buffer zones or cut-off areas of an area of interest are conceivable, as are limited configuration options that only allow or restrict access to certain groups of pixels together. Image data without reference to an area of interest does not even have to be read out.

Die Erfindung hat den Vorteil, dass die Bilddaten von Anfang an auf das Wesentliche reduziert werden. Das hat an vielen Stellen der Bildverarbeitungskette große Vorteile. Es werden Bandbreiten für Datenübertragung, Speicher- und Rechenressourcen sowie Verarbeitungszeit eingespart. Ein Qualitätsverlust ist damit nicht verbunden, denn die nicht interessierenden Bereiche enthalten ohnehin keine für die Anwendung relevante Information. Die einleitend geschilderten Nachteile weniger oder nur einer einzigen Kamera, die die gesamte Breite beziehungsweise Höhe des Stromes der Objekte abdeckt, sind damit überwunden. In Kombination mit einer Fokusverstellung kann sichergestellt werden, dass sämtliche interessierenden Bereiche in mindestens einer Aufnahme scharf abgebildet werden.The invention has the advantage that the image data is reduced to the essentials right from the start. This has great advantages at many points in the image processing chain. Data transmission bandwidth, storage and computing resources, and processing time are saved. There is no loss of quality associated with this because the areas that are not of interest do not contain any information relevant to the application anyway. The disadvantages described in the introduction of having a few or just a single camera that covers the entire width or height of the stream of objects are thus overcome. In combination with a focus adjustment, it can be ensured that all areas of interest are imaged sharply in at least one shot.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, den mindestens einen interessierenden Bereich und/oder den ausgelesenen Teil der Bilddaten zwischen den Aufnahmen anzupassen. Die Objekte mit den interessierenden Strukturen befinden sich in einer Relativbewegung zu der Kameravorrichtung, so dass sich die Lage der interessierenden Bereiche in der Ebene des Bildsensors ständig ändert. Außerdem verlassen Objekte den Sichtbereich, und neue Objekte treten ein. Dem wird durch die Anpassung Rechnung getragen. Der Bildsensor beziehungsweise dessen Konfigurationseinheit bietet daher vorzugsweise die Möglichkeit einer dynamischen Rekonfiguration vorzugsweise mit kurzer Ansprechzeit unterhalb der Aufnahmeperiode. Die Anpassung kann, muss aber nicht zwingend nach jeder einzelnen Aufnahme erfolgen. Außerdem kann die Steuer- und Auswertungseinheit bei der Anpassung zu dem Schluss kommen, dass die bisherige Konfiguration für die nächste Aufnahme weiterhin angemessen ist, insbesondere indem interessierende Bereiche mit einem gewissen Puffer bestimmt und ausgelesen werden, der für eine kurze Zeitspanne zwischen zwei oder einigen Aufnahmen ausreicht.The control and evaluation unit is preferably designed to adapt the at least one region of interest and/or the read part of the image data between the recordings. The objects with the structures of interest are in a relative movement to the camera device, so that the position of the regions of interest in the plane of the image sensor constantly changes. In addition, objects leave the field of view and new objects enter. This is taken into account by the adjustment. The image sensor or its configuration unit therefore preferably offers the possibility of dynamic reconfiguration, preferably with a short response time below the recording period. The adjustment can, but does not necessarily have to, take place after each individual recording. In addition, during the adjustment, the control and evaluation unit can come to the conclusion that the previous configuration is still appropriate for the next recording, in particular by determining and reading out regions of interest with a certain buffer that lasts for a short period of time between two or several recordings is sufficient.

Die Steuer- und Auswertungseinheit weist eine Vorverarbeitungseinheit auf, um Bilddaten aus dem Bildsensor auszulesen und vorzuverarbeiten, wobei die Vorverarbeitungseinheit derart ausgelegt ist, dass das Auslesen und Vorverarbeiten der vollständigen Bilddaten einer Aufnahme des Bildsensors eine vollständige Vorverarbeitungszeit benötigen würde, und wobei der Bildsensor mit einer Aufnahmefrequenz betrieben ist, die zwischen zwei Aufnahmen weniger Zeit lässt als die vollständige Vorverarbeitungszeit, insbesondere einer flexiblen Aufnahmefrequenz. Die Vorverarbeitungseinheit umfasst vorzugsweise mindestens ein FPGA (Field Programmable Gate Array), mindestens einen DSP (Digital Signal Processor), mindestens ein ASIC (Application-Specific Integrated Circuit), mindestens eine VPU (Video Processing Unit) oder mindestens einen Neural Processor und leistet Vorverarbeitungsschritte wie eine Entzerrung, eine Helligkeitsanpassung, eine Binarisierung, eine Segmentierung, das Auffinden von Codebereichen und dergleichen. Für das Auslesen und Vorverarbeiten eines vollständigen Bildes des Bildsensors würde die Vorverarbeitungseinheit eine vollständige Verarbeitungszeit benötigen, für die rein zum Verständnis 25 ms ein Zahlenbeispiel ist. Das wird im Konjunktiv ausgedrückt, weil ja erfindungsgemäß die vollständigen Bilddaten nicht ausgelesen werden. Trotzdem beschreibt das die Hardwareressourcen der Vorverarbeitungseinheit, wie Bandbreite der Datenübertragung, Rechenkapazität oder Speicherkapazität.The control and evaluation unit has a pre-processing unit in order to read out and pre-process image data from the image sensor, the pre-processing unit being designed in such a way that the read out and pre-processing of the complete image data of a recording of the image sensor would require a complete pre-processing time, and the image sensor with a Recording frequency is operated, which leaves less time between two recordings than the full pre-processing time, in particular a flexible recording frequency. The preprocessing unit preferably comprises at least one FPGA (Field Programmable Gate Array), at least one DSP (Digital Signal Processor), at least one ASIC (Application-Specific Integrated Circuit), at least one VPU (Video Processing Unit) or at least one Neural Processor and carries out preprocessing steps such as equalization, brightness adjustment, binarization, segmentation, finding code areas and the like. To read out and pre-process a complete image from the image sensor, the pre-processing unit would require a complete processing time, for which 25 ms is a numerical example purely for understanding. This is expressed in the subjunctive because, according to the invention, the complete image data is not read out. Nevertheless, this describes the hardware resources of the preprocessing unit, such as data transmission bandwidth, computing capacity or storage capacity.

Die Aufnahmeperiode des Bildsensors wird vorzugsweise kürzer gesetzt als die vollständige Vorverarbeitungszeit. Mit anderen Worten ist die Aufnahmefrequenz so hoch, dass die Vorverarbeitungseinheit mit den vollständigen Bilddaten nicht mehr umgehen könnte. Im Beispiel einer vollständigen Vorverarbeitungszeit von 25 ms wäre die höchstens noch verkraftete Aufnahmefrequenz 40 Hz, aber der Bildsensor wird mit einer höheren Frequenz von beispielsweise 50-100 Hz oder mehr betrieben. Der Vorverarbeitung können weitere Bildbearbeitungsschritte wie ein Codelesen folgen, die selbst im Falle einer Pipelinestruktur für sich noch mehr Zeit beanspruchen. Das erhöht noch den Vorteil des spezifischen Auslesens nur von Bilddaten, die mit interessierenden Bereichen verknüpft sind. Die Aufnahmefrequenz kann flexibel sein. Sobald die konfigurierten Teile der Bilddaten ausgelesen sind, kann das nächste Bild aufgenommen werden, und die dafür erforderliche Zeit hängt mit der Größe der aktuell bestimmten interessierenden Bereiche zusammen. Eine flexible Aufnahmefrequenz bleibt dabei höher als diejenige Aufnahmefrequenz, die der vollständigen Vorverarbeitungszeit entsprechen würde.The recording period of the image sensor is preferably set shorter than the complete pre-processing time. In other words, the recording frequency is so high that the pre-processing unit could no longer handle the complete image data. In the example of a complete pre-processing time of 25 ms, the maximum recording frequency that can be tolerated would be 40 Hz, but the image sensor is operated at a higher frequency of, for example, 50-100 Hz or more. The preprocessing can be followed by further image processing steps such as code reading, which take even more time in the case of a pipeline structure. This further increases the advantage of specifically reading out only image data that is linked to areas of interest. The recording frequency can be flexible. Once the configured portions of the image data have been read, the next image can be captured, and the time required depends on the size of the currently determined areas of interest. A flexible recording frequency remains higher than the recording frequency that would correspond to the complete pre-processing time.

Die Konfigurationseinheit ist vorzugsweise für eine Auswahl von Bildzeilen ausgebildet. Dadurch sind die ausgelesenen Bilddaten nicht ganz passgenau zu interessierenden Bereichen, die nur einen Teil der Breite der Zeilen ausnutzen. Dafür ist die Hardware des Bildsensors und dessen Ansteuerung zum Auslesen vereinfacht. Die Bearbeitungszeit in der gesamten Bildverarbeitungskette ab dem Auslesen reduziert sich linear mit den nicht ausgewählten Bildzeilen. Dabei wird ohne Beschränkung der Allgemeinheit angenommen, dass der Bildsensor mit seiner Zeilenrichtung quer zur Förderrichtung angeordnet ist. Eine Alternative, in der die Spalten die Rolle von Zeilen einnehmen und umgekehrt, wäre ebenso denkbar, dies soll sprachlich nicht mehr eigens unterschieden werden.The configuration unit is preferably designed for a selection of image lines. As a result, the image data read out does not fit exactly into the areas of interest, which only use part of the width of the lines. The hardware of the image sensor and its control for reading out are simplified. The processing time in the entire image processing chain from reading out reduces linearly with the unselected image lines. Without limiting generality, it is assumed that the image sensor is arranged with its line direction transverse to the conveying direction. An alternative in which the columns take on the role of rows and vice versa would also be conceivable; this should no longer be specifically distinguished in the language.

Die Konfigurationseinheit ist bevorzugt für die Auswahl eines rechteckigen Teilbereichs ausgebildet. Damit können nicht nur ganze Zeilen ausgeschlossen werden, sondern auch in Zeilenrichtung ist ein Zurechtschneiden auf die interessierenden Bereiche schon direkt an der Quelle in dem Bildsensor möglich. Die Hardwarestruktur und Ansteuerung des Bildsensors wird etwas aufwändiger, dafür sind die ausgelesenen und zu verarbeitenden Bilddaten noch passgenauer reduziert.The configuration unit is preferably designed for selecting a rectangular partial area. Not only can entire lines be excluded, but cropping to the areas of interest in the line direction is also possible directly at the source in the image sensor. The hardware structure and control of the image sensor becomes somewhat more complex, but the image data read and processed is reduced even more precisely.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, nur den Teil der Bilddaten aus dem Bildsensor auszulesen, die anhand eines interessierenden Bereiches innerhalb eines Tiefenschärfenbereichs des Bildsensors aufgenommen sind. Nur mit scharf aufgenommenen Bilddaten bestehen gute Aussichten, dass die weitere Bildverarbeitungskette ihre Funktionen erfüllen wird. Es kann mindestens einen weiteren interessierenden Bereich geben, der außerhalb des Tiefenschärfenbereichs liegt und dessen Bilddaten gar nicht erst ausgelesen werden. Hier würde voraussichtlich durch weitere Verarbeitungsschritte, insbesondere den Versuch des Decodierens von Codes, nur Zeit verlorengehen, ohne zu dem gewünschten Ergebnis zu gelangen. Vorzugsweise sorgt eine Fokusverstellung dafür, dass sich ein interessierender Bereich im Tiefenschärfenbereich befindet. Das allein löst aber das Problem noch nicht, da sich mehrere Objekte im Sichtbereich befinden können, deren Höhenunterschied Teile des Sichtfeldes außerhalb jedes Tiefenschärfenbereichs zwingen. Dann resultiert trotz der Fokusverstellung ein unscharf aufgenommener interessierender Bereich.The control and evaluation unit is preferably designed to read out from the image sensor only that part of the image data that is recorded based on an area of interest within a depth of field area of the image sensor. Only with sharply recorded image data are there good prospects that the further image processing chain will fulfill its functions. There may be at least one other area of interest that lies outside the depth of field and whose image data is not even read out. Here, further processing steps, in particular attempting to decode codes, would probably only waste time without achieving the desired result. Preferably, a focus adjustment ensures that an area of interest is in the depth of field. However, this alone does not solve the problem, as there can be several objects in the field of view, the difference in height of which forces parts of the field of view outside of each depth of field area. This then results in an out-of-focus area of interest despite the focus adjustment.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, für einen interessierenden Bereich außerhalb des Tiefenschärfenbereichs einen passenden Tiefenschärfenbereich zu bestimmen und für eine folgende Aufnahme auf den passenden Tiefenschärfenbereich zu refokussieren. Müssen also die Bilddaten eines interessierenden Bereichs ignoriert beziehungsweise gar nicht erst ausgelesen werden, weil sie unscharf wären, so besteht die Möglichkeit einer raschen Kompensation. Dafür wird mit einer der folgenden Aufnahmen, vorzugsweise der direkt nachfolgenden Aufnahme, nach einer Refokussierung ein zuvor ignorierter interessierender Bereich nun im Tiefenschärfenbereich erneut aufgenommen und dann auch ausgelesen. Sollten selbst zwei unterschiedliche Tiefenschärfenbereiche noch nicht ausreichen, um alle interessierenden Bereiche scharf aufzunehmen, so kann das Vorgehen iteriert werden. Dank der reduzierten Bilddaten durch gezieltes Auslesen nur interessierender Bereiche, insbesondere sogar nur scharf aufgenommener interessierender Bereiche, ist eine viel höhere Aufnahmefrequenz möglich. Die weitere Aufnahme erfolgt daher rechtzeitig bei kaum veränderter Szenerie, jedenfalls ehe das Objekt den Sichtbereich verlassen hat. Aufgrund der Messdaten des Geometrieerfassungssensors kann die Abfolge der Fokuslagen im Übrigen rechtzeitig geplant werden, um jeden interessierenden Bereich ausreichend oft scharf aufzunehmen. Ist beispielsweise noch genug Zeit, wie im Falle von zwei Objekten unterschiedlicher Höhe, die nicht ganz dicht aufeinanderfolgen, so wäre noch mindestens eine weitere Aufnahme in der gegenwärtigen Fokuslage denkbar, ehe dann für das andere Objekt und einen darauf bezogenen interessierenden Bereich die Fokuslage umgestellt wird.The control and evaluation unit is preferably designed to provide a suitable depth of field for an area of interest outside the depth of field to determine and refocus to the appropriate depth of field for a subsequent recording. If the image data of an area of interest has to be ignored or not even read out because it would be blurry, there is the possibility of rapid compensation. For this purpose, with one of the following recordings, preferably the immediately following recording, after refocusing, a previously ignored region of interest is now recorded again in the depth of field and then read out. If even two different depth of field areas are not enough to capture all areas of interest in sharp focus, the procedure can be iterated. Thanks to the reduced image data through targeted reading of only areas of interest, in particular only areas of interest that are sharply recorded, a much higher recording frequency is possible. The further recording is therefore carried out in good time when the scenery has hardly changed, at least before the object has left the field of view. Based on the measurement data from the geometry detection sensor, the sequence of focus positions can also be planned in good time in order to capture each area of interest in focus sufficiently often. For example, if there is still enough time, as in the case of two objects of different heights that are not very close to each other, then at least one more recording in the current focus position would be conceivable before the focus position is changed for the other object and an area of interest related to it .

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, den mindestens einen interessierenden Bereich anhand eines Tiefenschärfenbereichs des Bildsensors zu bestimmen. Das ist in gewisser Weise eine Umkehrung des zuletzt erläuterten Vorgehens. Es wird nicht unter nach sonstigen Kriterien gefundenen interessierenden Bereichen anhand der Fokuslage gewählt, sondern die Fokuslage definiert selbst die interessierenden Bereiche auf eine sehr einfache Weise. Alles, was scharf genug aufgenommen werden konnte, wird ausgelesen, so dass verwertbare Bilddaten keinesfalls zu früh verworfen werden. Eine mögliche spezifischere Bestimmung interessierender Bereiche nach komplexeren Kriterien wie Kanten, Kontrasten oder Objektflächen erfolgt dann erst nachgelagert. Wenn vorzugsweise der Tiefenschärfenbereich noch variiert wird, wie bei einer schwingenden Fokuslage, so ist stets gewährleistet, dass jede Struktur in kurzen Zyklen mindestens einmal scharf aufgenommen und ausgelesen wurde.The control and evaluation unit is preferably designed to determine the at least one region of interest based on a depth of field area of the image sensor. This is, in a sense, a reversal of the procedure explained last. The focus position is not used to select areas of interest found according to other criteria based on the focus position, but rather the focus position itself defines the areas of interest in a very simple way. Everything that could be captured sharply enough is read out so that usable image data is never discarded too early. A possible more specific determination of areas of interest according to more complex criteria such as edges, contrasts or object surfaces then takes place later. If the depth of field is preferably varied, as with an oscillating focus position, this always ensures that each structure has been sharply recorded and read out at least once in short cycles.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, in den Bilddaten Codebereiche zu identifizieren und deren Codeinhalt auszulesen. Damit wird die Kameravorrichtung zu einem kamerabasierten Codeleser für Barcodes und/oder 2D-Codes nach diversen Standards, gegebenenfalls auch für eine Texterkennung (OCR, Optical Character Reading). Bei Codeleseanwendungen ist besonders wichtig, dass sämtliche Codebereiche scharf genug aufgenommen werden. Zugleich nehmen die Codebereiche nur einen kleinen Teil der Gesamtfläche ein. Eine frühzeitige Beschneidung der Bilddaten auf Codebereiche oder wenigstens die potentiell codetragenden Objekte ist daher besonders wirkungsvoll.The control and evaluation unit is preferably designed to identify code areas in the image data and to read out their code content. The camera device thus becomes a camera-based code reader for barcodes and/or 2D codes according to various standards, possibly also for text recognition (OCR, optical character reading). In code reading applications, it is particularly important that all code areas are recorded sharply enough. At the same time, the code areas only take up a small part of the total area. An early clipping of the image data to code areas or at least the potentially code-bearing objects is therefore particularly effective.

Der Geometrieerfassungssensor ist bevorzugt als Abstandssensor, insbesondere als optoelektronischer Abstandssensor nach dem Prinzip des Lichtlaufzeitverfahrens ausgebildet. Der Abstandssensor misst den Abstand der Objekte zunächst zu dem Geometriesensor, was sich aber in Kenntnis der Position und Pose des Abstandssensors in eine Höhe des Objekts beispielsweise über einem Förderband umrechnen lässt. Somit resultiert eine Höhenkontur zumindest in Bewegungsrichtung. Sofern der Abstandssensor ortsauflösend ist, wird auch quer zu der Bewegungsrichtung eine Höhenkontur erfasst. Der Begriff Höhenkontur lehnt sich an eine Draufsicht des Bildsensors an, aus anderer Perspektive wird sinngemäß eine entsprechende Kontur erfasst. Zur Abstandsmessung in einem Kamerasystem eignet sich ein optisches Prinzip, insbesondere ein Lichtlaufzeitverfahren.The geometry detection sensor is preferably designed as a distance sensor, in particular as an optoelectronic distance sensor based on the principle of the time-of-flight method. The distance sensor first measures the distance of the objects from the geometry sensor, but this can be converted into a height of the object, for example above a conveyor belt, knowing the position and pose of the distance sensor. This results in a height contour at least in the direction of movement. If the distance sensor has spatial resolution, a height contour is also recorded transversely to the direction of movement. The term height contour is based on a top view of the image sensor; from a different perspective, a corresponding contour is recorded. An optical principle, in particular a time-of-flight method, is suitable for measuring distance in a camera system.

Der Geometrieerfassungssensor ist bevorzugt mit dem Bildsensor in eine Kamera integriert. Das ergibt ein besonders kompaktes System, und die Messdaten des Geometrieerfassungssensors sind unmittelbar aus einer zu den Bilddaten vergleichbaren Perspektive erfasst. Alternativ ist der Geometrieerfassungssensor extern und dem Bildsensor entgegen dem Strom vorgelagert angeordnet, um die Objekte vor der Aufnahme der Bilddaten zu vermessen. Dabei handelt es sich beispielsweise um einen entfernungsmessenden Laserscanner.The geometry detection sensor is preferably integrated into a camera with the image sensor. This results in a particularly compact system, and the measurement data from the geometry detection sensor is recorded directly from a perspective comparable to the image data. Alternatively, the geometry detection sensor is arranged externally and upstream of the image sensor against the current in order to measure the objects before recording the image data. This is, for example, a distance-measuring laser scanner.

Die Kameravorrichtung weist bevorzugt einen Geschwindigkeitssensor für eine Bestimmung der Geschwindigkeit des Stromes auf. Das ist beispielsweise ein Encoder an einem Förderband. Vorzugsweise ist die Steuer- und Auswertungseinheit dafür ausgebildet, anhand der Messdaten des Geometrieerfassungssensors und/oder der Bilddaten die Geschwindigkeit des Stromes zu bestimmen. Dazu wird beispielsweise eine bestimmte Struktur, wie eine Objektkante, über die Zeit verfolgt. Der Verschiebevektor kann auf die Zeitdifferenz bezogen werden, um die Geschwindigkeit zu schätzen. Der optische Fluss lässt sich durch zusätzliche Korrelationen bis hin zur gesamten Höhenkontur beziehungsweise ganzer Bildbereiche genauer bestimmen. Dann ist ein zusätzlicher Geschwindigkeitssensor nicht erforderlich oder wird ergänzt. Mit der Geschwindigkeitsinformation sind Positionen in Bewegungsrichtung des Stromes umrechenbar, insbesondere können Messdaten eines vorgelagerten Geometrieerfassungssensors auf die Position des Bildsensors bezogen werdenThe camera device preferably has a speed sensor for determining the speed of the stream. This is, for example, an encoder on a conveyor belt. The control and evaluation unit is preferably designed to determine the speed of the current based on the measurement data from the geometry detection sensor and/or the image data. For example, a specific structure, such as an object edge, is tracked over time. The displacement vector can can be related to the time difference to estimate the speed. The optical flow can be determined more precisely through additional correlations down to the entire height contour or entire image areas. Then an additional speed sensor is not required or is added. With the speed information, positions in the direction of movement of the stream can be converted; in particular, measurement data from an upstream geometry detection sensor can be related to the position of the image sensor

Die Kameravorrichtung ist bevorzugt stationär an einer Fördereinrichtung montiert, die die Objekte in einer Förderrichtung fördert. Dies ist eine sehr häufige industrielle Anwendung einer Kamera. Rahmendaten des Stromes der Objekte sind bekannt und vereinfachen die Bildverarbeitung, wie die Förderrichtung und zumindest in einem erwartbaren Intervall auch die Geschwindigkeit und oft auch die Art und grobe Geometrie der zu erfassenden Objekte.The camera device is preferably mounted in a stationary manner on a conveyor device which conveys the objects in a conveying direction. This is a very common industrial application of a camera. Framework data for the flow of objects are known and simplify image processing, such as the conveying direction and, at least within an expected interval, the speed and often also the type and rough geometry of the objects to be captured.

Die Kameravorrichtung weist bevorzugt mindestens einen Bildsensor für eine Aufnahme des Stromes von oben und/oder mindestens einen Bildsensor für eine Aufnahme des Stromes von der Seite auf. Die Erfassung von oben ist in dieser Beschreibung oft die leitende Vorstellung, aber es besteht eine vergleichbare Situation auch bei einer Erfassung von der Seite, wo der Objektabstand nun nicht aufgrund der Objekthöhe, sondern der lateralen Positionierung der Objekte variiert. Beschreibungen, die sich auf die Perspektive von oben beziehen, sind daher überall sinngemäß auf eine andere Perspektive zu lesen. Besonders bevorzugt werden Objekte mit mehreren Bildsensoren aus mehreren Perspektiven erfasst, insbesondere beim Codelesen, wo nicht immer garantiert werden kann, dass der Code sich auf der Oberseite oder überhaupt einer bestimmten Seite befindet. Hier werden manchmal die Begriffe Top-Lesung, Seitenlesung und Bottom-Lesung verwendet. Letzteres allerdings verursacht hinsichtlich des Tiefenschärfenbereichs keine Probleme. Stattdessen muss beispielsweise ein Fenster oder eine Lücke im Förderband geschaffen werden, um die Objekte überhaupt wahrnehmen zu können. Die Perspektiven sind im Übrigen häufig Mischformen, d.h. keine direkte Draufsicht oder Seitensicht, sondern mit einer schrägen Komponente, wie seitlich-frontal, seitlich-rückwärtig, vorne-oben oder hinten-oben. Je Perspektive ist vorzugsweise nur ein Bildsensor vorgesehen, der entsprechend die Höhe oder Breite des Objektstroms allein abdeckt.The camera device preferably has at least one image sensor for recording the current from above and/or at least one image sensor for recording the current from the side. Capturing from above is often the guiding idea in this description, but a comparable situation also exists when capturing from the side, where the object distance now varies not due to the object height, but rather to the lateral positioning of the objects. Descriptions that refer to the perspective from above can therefore be read as referring to a different perspective everywhere. It is particularly preferred to capture objects with multiple image sensors from multiple perspectives, especially when reading code, where it cannot always be guaranteed that the code is on the top side or even on a specific page. The terms top reading, side reading and bottom reading are sometimes used here. The latter, however, does not cause any problems with regard to the depth of field. Instead, for example, a window or a gap in the conveyor belt must be created in order to be able to perceive the objects. Incidentally, the perspectives are often mixed forms, i.e. not a direct top view or side view, but with an oblique component, such as side-front, side-back, front-top or back-top. For each perspective, only one image sensor is preferably provided, which accordingly covers the height or width of the object stream alone.

Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.The method according to the invention can be developed in a similar way and shows similar advantages. Such advantageous features are exemplary, but not conclusively described in the subclaims following the independent claims.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

Fig. 1: eine schematische Schnittdarstellung einer Kamera mit einem integrierten Abstandssensor;
Fig. 2: eine dreidimensionale Ansicht einer beispielhaften Anwendung der Kamera in Montage an einem Förderband;
Fig. 3: eine dreidimensionale Ansicht einer alternativen Ausführungsform mit Montage einer Kamera und eines externen Abstandssensors an einem Förderband;
Fig. 4: eine schematische Schnittdarstellung von Sichtbereichen des Abstandssensors und der Kamera;
Fig. 5: eine schematische Darstellung eines Bildsensors mit zum Auslesen konfigurierten Bildzeilen entsprechend einem interessierenden Bereich;
Fig. 6: eine schematische Darstellung ähnlich Figur 5 mit zusätzlicher Konfiguration auszulesender Pixel auch innerhalb von Bildzeilen;
Fig. 7: eine schematische Schnittdarstellung der Erfassung zweier Objekte bei begrenztem Tiefenschärfenbereich;
Fig. 8: eine schematische Darstellung eines Bildsensors mit einem zum Auslesen konfigurierten Teilbereich entsprechend einem interessierenden Bereich im Tiefenschärfenbereich gemäß Figur 7;
Fig. 9: eine schematische Schnittdarstellung der Erfassung zweier Objekte bei gegenüber Figur 7 verändertem Tiefenschärfenbereich; und
Fig. 10: eine schematische Darstellung ähnlich Figur 8, nun jedoch mit konfiguriertem Teilbereich entsprechend dem in Figur 9 im Tiefenschärfenbereich liegenden interessierenden Bereichs.

The invention will be explained in more detail below with regard to further features and advantages using exemplary embodiments and with reference to the accompanying drawing. The illustrations in the drawing show:

Fig. 1: a schematic sectional view of a camera with an integrated distance sensor;
Fig. 2: a three-dimensional view of an exemplary application of the camera mounted on a conveyor belt;
Fig. 3: a three-dimensional view of an alternative embodiment with mounting a camera and an external distance sensor on a conveyor belt;
Fig. 4: a schematic sectional view of viewing areas of the distance sensor and the camera;
Fig. 5: a schematic representation of an image sensor with image lines configured for reading corresponding to an area of interest;
Fig. 6: a schematic representation similar Figure 5 with additional configuration of pixels to be read out even within image lines;
Fig. 7: a schematic sectional view of the detection of two objects with a limited depth of field;
Fig. 8: a schematic representation of an image sensor with a partial area configured for reading corresponding to an area of interest in the depth of field Figure 7 ;
Fig. 9: a schematic sectional view of the detection of two objects opposite Figure 7 changed depth of field; and
Fig. 10: a schematic representation similar Figure 8 , but now with a configured sub-area according to the in Figure 9 area of interest lying in the depth of field.

Figur 1 zeigt eine schematische Schnittdarstellung einer Kamera 10. Empfangslicht 12 aus einem Erfassungsbereich 14 trifft auf eine Empfangsoptik 16 mit einer Fokusverstellung 18, die das Empfangslicht 12 auf einen Bildsensor 20 führt. Die optischen Elemente der Empfangsoptik 16 sind vorzugsweise als Objektiv aus mehreren Linsen und anderen optischen Elementen wie Blenden, Prismen und dergleichen ausgestaltet, hier aber vereinfachend nur durch eine Linse repräsentiert. Die Fokusverstellung 18 ist nur rein schematisch dargestellt und kann beispielsweise durch mechanisches Bewegen von Elementen der Empfangsoptik 16 oder des Bildsensors 20, einen bewegten Umlenkspiegel oder eine Flüssiglinse umgesetzt sein. Eine Aktorik basiert beispielsweise auf einem Motor, einer Tauchspule oder einem Piezoelement. Der Bildsensor 20 weist vorzugsweise eine Matrixanordnung von Pixelelementen mit einer hohen Auflösung in der Größenordnung von Megapixel auf, beispielsweise zwölf Megapixel. Eine Konfigurationseinheit 22 ermöglicht eine Konfiguration der Ausleselogik des Bildsensors 20 und damit eine dynamisch einstellbare Auswahl von Pixelzeilen oder Pixelbereichen, die aus dem Bildsensor 20 ausgelesen werden. Figure 1 shows a schematic sectional view of a camera 10. Received light 12 from a detection area 14 strikes receiving optics 16 with a focus adjustment 18, which guides the received light 12 onto an image sensor 20. The optical elements of the receiving optics 16 are preferably designed as a lens made up of several lenses and other optical elements such as apertures, prisms and the like, but are represented here by only one lens for simplicity. The focus adjustment 18 is only purely schematic shown and can be implemented, for example, by mechanically moving elements of the receiving optics 16 or the image sensor 20, a moving deflection mirror or a liquid lens. An actuator is based, for example, on a motor, a moving coil or a piezo element. The image sensor 20 preferably has a matrix arrangement of pixel elements with a high resolution on the order of megapixels, for example twelve megapixels. A configuration unit 22 enables the readout logic of the image sensor 20 to be configured and thus a dynamically adjustable selection of pixel rows or pixel areas that are read out of the image sensor 20.

Um den Erfassungsbereich 14 während einer Aufnahme der Kamera 10 mit Sendelicht 24 auszuleuchten, umfasst die Kamera 10 eine optionale Beleuchtungseinheit 26, die in Figur 1 in Form einer einfachen Lichtquelle und ohne Sendeoptik dargestellt ist. In anderen Ausführungsformen sind mehrere Lichtquellen, wie LEDs oder Laserdioden, beispielsweise ringförmig um den Empfangspfad angeordnet, die auch mehrfarbig und gruppenweise oder einzeln ansteuerbar sein können, um Parameter der Beleuchtungseinheit 26 wie deren Farbe, Intensität und Richtung anzupassen.In order to illuminate the detection area 14 with transmitted light 24 during a recording by the camera 10, the camera 10 includes an optional lighting unit 26, which is in Figure 1 is shown in the form of a simple light source and without transmitting optics. In other embodiments, several light sources, such as LEDs or laser diodes, are arranged, for example, in a ring around the reception path, which can also be multicolored and can be controlled in groups or individually in order to adjust parameters of the lighting unit 26 such as its color, intensity and direction.

Zusätzlich zu dem eigentlichen Bildsensor 20 zur Erfassung von Bilddaten weist die Kamera 10 einen optoelektronischen Abstandssensor 28 auf, der mit einem Lichtlaufzeitverfahren (ToF, Time of Flight) Abstände zu Objekten in dem Erfassungsbereich 14 misst. Der Abstandssensor 28 umfasst einen TOF-Lichtsender 30 mit TOF-Sendeoptik 32 sowie einen TOF-Lichtempfänger 34 mit TOF-Empfangsoptik 36. Damit wird ein TOF-Lichtsignal 38 ausgesandt und wieder empfangen. Eine Lichtlaufzeitmesseinheit 40 bestimmt die Laufzeit des TOF-Lichtsignals 38 und daraus den Abstand zu einem Objekt, an dem das TOF-Lichtsignal 38 zurückgeworfen wurde.In addition to the actual image sensor 20 for capturing image data, the camera 10 has an optoelectronic distance sensor 28, which uses a time-of-flight (ToF) method to measure distances to objects in the detection area 14. The distance sensor 28 includes a TOF light transmitter 30 with TOF transmission optics 32 and a TOF light receiver 34 with TOF reception optics 36. A TOF light signal 38 is thus transmitted and received again. A light transit time measuring unit 40 determines the transit time of the TOF light signal 38 and from this the distance to an object at which the TOF light signal 38 was reflected.

Der TOF-Lichtempfänger 34 weist vorzugsweise mehrere Lichtempfangselemente 34a oder Pixel auf und ist dann ortsaufgelöst. Es wird so nicht nur ein einzelner Abstandswert erfasst, sondern ein ortsaufgelöstes Höhenprofil (Tiefenkarte, 3D-Bild). Dabei ist bevorzugt nur eine relativ geringe Anzahl von Lichtempfangselementen 34a und damit eine kleine laterale Auflösung des Höhenprofils vorgesehen. Es können bereits 2x2 Pixel oder sogar nur 1x2 Pixel ausreichen. Ein höher lateral aufgelöstes Höhenprofil mit nxm Pixeln, n,m > 2 lässt selbstverständlich komplexere und genauere Auswertungen zu. Die Pixelanzahl des TOF-Lichtempfängers 34 bleibt aber vergleichsweise gering mit beispielsweise einigen zehn, hundert oder tausend Pixeln beziehungsweise n,m ≤ 10, n,m ≤ 20, n,m ≤ 50 oder n,m ≤ 100, weit entfernt von üblichen Megapixelauflösungen des Bildsensors 20.The TOF light receiver 34 preferably has a plurality of light receiving elements 34a or pixels and is then spatially resolved. Not only a single distance value is recorded, but also a spatially resolved height profile (depth map, 3D image). In this case, only a relatively small number of light receiving elements 34a and thus a small lateral resolution of the height profile are preferably provided. 2x2 pixels or even just 1x2 pixels can be enough. A higher lateral resolution height profile with nxm pixels, n,m > 2 obviously allows for more complex and precise evaluations. However, the number of pixels of the TOF light receiver 34 remains comparatively small, for example a few tens, hundreds or thousands of pixels or n,m ≤ 10, n,m ≤ 20, n,m ≤ 50 or n,m ≤ 100, far removed from the usual megapixel resolutions of the image sensor 20.

Aufbau und Technologie des Abstandssensors 28 sind rein beispielhaft. In der weiteren Beschreibung wird der Abstandssensor 28 als gekapseltes Modul zur Geometrievermessung behandelt, das beispielsweise zyklisch, bei Erfassen eines Objekts oder auf Anfrage Messdaten wie einen Abstandswert oder ein Höhenprofil bereitstellt. Dabei sind weitere Messdaten vorstellbar, insbesondere eine Messung der Intensität. Die optoelektronische Entfernungsmessung mittels Lichtlaufzeitverfahren ist bekannt und wird daher nicht im Einzelnen erläutert. Zwei beispielhafte Messverfahren sind Photomischdetektion mit einem periodisch modulierten TOF-Lichtsignal 38 und Pulslaufzeitmessung mit einem pulsmodulierten TOF-Lichtsignal 38. Dabei gibt es auch hochintegrierte Lösungen, in denen der TOF-Lichtempfänger 34 mit der Lichtlaufzeitmesseinheit 40 oder zumindest Teilen davon, etwa TDCs (Time-to-Digital-Converter) für Laufzeitmessungen, auf einem gemeinsamen Chip untergebracht ist. Dazu eignet sich insbesondere ein TOF-Lichtempfänger 34, der als Matrix von SPAD-Lichtempfangselementen 34a aufgebaut ist (Single-Photon Avalanche Diode). Die TOF-Optiken 32, 36 sind nur symbolhaft als jeweilige Einzellinsen stellvertretend für beliebige Optiken wie beispielsweise ein Mikrolinsenfeld gezeigt.The structure and technology of the distance sensor 28 are purely exemplary. In the further description, the distance sensor 28 is treated as an encapsulated module for geometry measurement, which, for example, provides measurement data such as a distance value or a height profile cyclically, when an object is detected or upon request. Further measurement data is conceivable, in particular a measurement of intensity. The optoelectronic distance measurement using the time-of-flight method is known and is therefore not explained in detail. Two exemplary measurement methods are photomix detection with a periodically modulated TOF light signal 38 and pulse transit time measurement with a pulse modulated TOF light signal 38. There are also highly integrated solutions in which the TOF light receiver 34 with the light transit time measuring unit 40 or at least parts thereof, such as TDCs (Time -to-digital converter) for transit time measurements, is housed on a common chip. A TOF light receiver 34, which is constructed as a matrix of SPAD light receiving elements 34a (single-photon avalanche diode), is particularly suitable for this. The TOF optics 32, 36 are shown only symbolically as respective individual lenses, representative of any optics such as a microlens field.

Eine Steuer- und Auswertungseinheit 42 ist mit der Fokusverstellung 18, dem Bildsensor 20 und dessen Konfigurationseinheit 22, der Beleuchtungseinheit 26 sowie dem Abstandssensor 28 verbunden und für die Steuerungs-, Auswertungs- und sonstigen Koordinierungsaufgaben in der Kamera 10 zuständig. Sie bestimmt anhand der Messdaten des Abstandssensors 28 interessierende Bereiche und konfiguriert entsprechend den interessierenden Bereichen den Bildsensor 20 über dessen Konfigurationseinheit 22. Sie liest Bilddaten der so konfigurierten Teilbereiche aus dem Bildsensor 20 aus und unterzieht sie weiteren Bildverarbeitungsschritten. Vorzugsweise ist die Steuer- und Auswertungseinheit 42 in der Lage, Codebereiche in den Bilddaten aufzufinden und zu decodieren, womit die Kamera 10 zu einem kamerabasierten Codeleser wird.A control and evaluation unit 42 is connected to the focus adjustment 18, the image sensor 20 and its configuration unit 22, the lighting unit 26 and the distance sensor 28 and is responsible for the control, evaluation and other coordination tasks in the camera 10. It determines areas of interest based on the measurement data from the distance sensor 28 and configures the image sensor 20 via its configuration unit 22 in accordance with the areas of interest. It reads image data of the sub-areas configured in this way from the image sensor 20 and subjects them to further image processing steps. Preferably, the control and evaluation unit 42 is able to locate and decode code areas in the image data, making the camera 10 a camera-based code reader.

Das Auslesen und erste vorverarbeitende Schritte, wie ein Entzerren, Segmentieren, Binarisieren und dergleichen, erfolgt vorzugsweise in einer Vorverarbeitungseinheit 44, die beispielsweise mindestens ein FPGA umfasst (Field Programmable Gate Array). Alternativ werden die vorzugsweise zumindest vorverarbeiteten Bilddaten über eine Schnittstelle 46 ausgegeben, und die weiteren Bildverarbeitungsschritte erfolgen in einer übergeordneten Steuer- und Auswertungseinheit, wobei praktisch beliebige Arbeitsverteilungen vorstellbar sind. Anhand der Messdaten des Abstandssensors 28 können weitere Funktionen gesteuert werden, insbesondere eine gewünschte Fokuslage für die Fokusverstellung 18 oder ein Auslösezeitpunkt für die Bildaufnahme abgeleitet werden.The readout and first pre-processing steps, such as equalization, segmentation, binarization and the like, are preferably carried out in a pre-processing unit 44, which includes, for example, at least one FPGA (Field Programmable Gate Array). Alternatively, the preferably at least pre-processed image data is sent via an interface 46 is output, and the further image processing steps take place in a higher-level control and evaluation unit, with practically any work distribution being conceivable. Based on the measurement data from the distance sensor 28, further functions can be controlled, in particular a desired focus position for the focus adjustment 18 or a trigger time for the image recording can be derived.

Die Kamera 10 wird durch ein Gehäuse 48 geschützt, das im vorderen Bereich, wo das Empfangslicht 12 einfällt, durch eine Frontscheibe 50 abgeschlossen ist.The camera 10 is protected by a housing 48, which is closed off by a front window 50 in the front area, where the receiving light 12 is incident.

Figur 2 zeigt eine mögliche Anwendung der Kamera 10 in Montage an einem Förderband 52. Die Kamera 10 wird hier und im Folgenden nur noch als Symbol und nicht mehr mit ihrem bereits anhand der Figur 1 erläuterten Aufbau gezeigt, lediglich der Abstandssensor 28 wird noch als Funktionsblock dargestellt. Das Förderband 52 fördert Objekte 54, wie durch den Pfeil 56 angedeutet, durch den Erfassungsbereich 14 der Kamera 10. Die Objekte 54 können an ihren Außenflächen Codebereiche 58 tragen. Aufgabe der Kamera 10 ist, Eigenschaften der Objekte 54 zu erfassen und in einem bevorzugten Einsatz als Codeleser die Codebereiche 58 zu erkennen, die dort angebrachten Codes auszulesen, zu dekodieren und dem jeweils zugehörigen Objekt 54 zuzuordnen. Figure 2 shows a possible application of the camera 10 in assembly on a conveyor belt 52. The camera 10 is used here and below only as a symbol and no longer with its already based on the Figure 1 The structure explained is shown, only the distance sensor 28 is still shown as a functional block. The conveyor belt 52 conveys objects 54, as indicated by the arrow 56, through the detection area 14 of the camera 10. The objects 54 can carry code areas 58 on their outer surfaces. The task of the camera 10 is to record properties of the objects 54 and, in a preferred use as a code reader, to recognize the code areas 58, to read out the codes attached there, to decode them and to assign them to the associated object 54.

Das Sichtfeld der Kamera 10 überdeckt vorzugsweise den Strom der Objekte 54 in voller Breite sowie über eine gewisse Länge. Alternativ werden zusätzliche Kameras 10 eingesetzt, die einander mit ihren Sichtbereichen ergänzen, um die volle Breite zu erreichen. Dabei ist vorzugsweise allenfalls ein kleiner Überlapp vorgesehen. Die dargestellte Perspektive von oben ist in vielen Fällen besonders geeignet. Alternativ, oder um die Objektseiten und insbesondere seitlich angebrachte Codebereiche 60 besser zu erfassen, werden vorzugsweise zusätzliche, nicht dargestellte Kameras 10 aus unterschiedlicher Perspektive eingesetzt. Dabei sind seitliche, aber auch Mischperspektiven schräg von oben oder von der Seite möglich.The field of view of the camera 10 preferably covers the stream of objects 54 in its full width and over a certain length. Alternatively, additional cameras 10 are used, which complement each other with their viewing areas in order to achieve the full width. Preferably at most a small overlap is provided. The perspective shown from above is particularly suitable in many cases. Alternatively, or in order to better capture the object sides and in particular laterally attached code areas 60, additional cameras 10, not shown, are preferably used from different perspectives. Lateral, but also mixed perspectives from above or from the side are possible.

An dem Förderband 52 kann ein nicht dargestellter Encoder zur Bestimmung des Vorschubs beziehungsweise der Geschwindigkeit vorgesehen sein. Alternativ bewegt sich das Förderband zuverlässig mit einem bekannten Bewegungsprofil, entsprechende Informationen werden von einer übergeordneten Steuerung übergeben, oder die Steuer- und Auswertungseinheit bestimmt sich die Geschwindigkeit selbst durch Verfolgen bestimmter geometrischer Strukturen oder Bildmerkmale. Mit der Geschwindigkeitsinformation können zu verschiedenen Zeitpunkten und in verschiedenen Förderpositionen aufgenommene Geometrieinformationen beziehungsweise Bilddaten in Förderrichtung zusammengesetzt und einander zugeordnet werden. Insbesondere erfolgt so vorzugsweise auch eine Zuordnung zwischen gelesenen Codeinformationen und den zugehörigen Code 58, 60 tragendem Objekt 54.An encoder (not shown) for determining the feed or speed can be provided on the conveyor belt 52. Alternatively, the conveyor belt moves reliably with a known movement profile, corresponding information is transferred from a higher-level controller, or the control and evaluation unit determines the speed itself by tracking certain geometric structures or image features. The speed information can be used at different times and in different conveying positions recorded geometric information or image data are put together in the conveying direction and assigned to one another. In particular, an association between read code information and the object 54 carrying the associated code 58, 60 preferably also takes place.

Figur 3 zeigt eine dreidimensionale Ansicht einer alternativen Ausführungsform einer Vorrichtung mit der Kamera 10 an einem Förderband 52. Statt eines internen Abstandssensors 28, oder in Ergänzung dazu, ist hier ein gegen die Förderrichtung vorgelagerter externer Geometrieerfassungssensor 62 vorgesehen, beispielsweise ein Laserscanner. Wie soeben erläutert, sind auf Basis einer Geschwindigkeitsinformation die Messdaten des Geometrieerfassungssensors 62 auf die Position der Kamera 10 umrechenbar. Die nun folgende Beschreibung anhand eines internen Abstandssensors 28 ist daher auf die Situation mit einem externen Geometrieerfassungssensor 62 übertragbar, ohne diesen noch eigens zu erwähnen. Figure 3 shows a three-dimensional view of an alternative embodiment of a device with the camera 10 on a conveyor belt 52. Instead of an internal distance sensor 28, or in addition to it, an external geometry detection sensor 62, for example a laser scanner, is provided here upstream against the conveying direction. As just explained, the measurement data from the geometry detection sensor 62 can be converted to the position of the camera 10 based on speed information. The following description based on an internal distance sensor 28 can therefore be transferred to the situation with an external geometry detection sensor 62 without mentioning it specifically.

Figur 4 zeigt eine schematische Schnittansicht der Kamera 10 über einem Objektstrom, der hier nur von einem einzigen Objekt 54 repräsentiert ist. Die optische Achse 64 des Abstandssensors 28 steht in einem Winkel zu der optischen Achse 66 der Kamera 10. Das Sichtfeld 68 des Abstandssensors 28 ist deshalb dem Sichtfeld oder Erfassungsbereich 14 der Kamera 10 vorgelagert. Somit nimmt der Abstandssensor 28 die Objekte 54 etwas früher wahr, und dessen Messdaten sind bei der Aufnahme schon verfügbar. Figure 4 shows a schematic sectional view of the camera 10 over an object stream, which is represented here by only a single object 54. The optical axis 64 of the distance sensor 28 is at an angle to the optical axis 66 of the camera 10. The field of view 68 of the distance sensor 28 is therefore in front of the field of view or detection area 14 of the camera 10. The distance sensor 28 thus perceives the objects 54 a little earlier, and their measurement data is already available when the recording is taken.

Um die zu verarbeitenden Bilddaten von Anfang an zu reduzieren, unterteilt die Steuer- und Auswertungseinheit 42 ihren Erfassungsbereich 14 und korrespondierend dazu Bereiche des Bildsensors 20 anhand der Messdaten des Abstandssensors 28 in relevante und nicht relevante Teile. Ein relevanter Teil entspricht einem interessierenden Bereich (ROI, region of interest). In Figur 4 sind dazu unterschiedlich schattierte Teilsichtfelder 70, 72 gezeigt, ein dunkleres relevantes Teilsichtfeld 70 mit dem Objekt 54 und ein in sich nochmals zweiteiliges helleres nicht relevantes Teilsichtfeld 72 ohne Objekt 54.In order to reduce the image data to be processed right from the start, the control and evaluation unit 42 divides its detection area 14 and corresponding areas of the image sensor 20 into relevant and non-relevant parts based on the measurement data from the distance sensor 28. A relevant part corresponds to a region of interest (ROI). In Figure 4 Differently shaded partial fields of view 70, 72 are shown, a darker relevant partial field of view 70 with the object 54 and a lighter, non-relevant partial field of view 72 with two parts without object 54.

Figur 5 zeigt die zugehörige Unterteilung in einer schematischen Draufsicht auf den Bildsensor 20. Die Pixel in den dick umrahmten Zeilen des interessierenden Bereichs 74 entsprechen dem relevanten Teilsichtfeld 70, die übrigen Pixel nicht interessierender Bereiche 76 dem nicht relevanten Teilsichtfeld 72. Die zu dem interessierenden Bereich 74 gehörigen Zeilen werden von der Steuer- und Auswertungseinheit 42 über die Konfigurationseinheit 22 ausgewählt, und nur die Bilddaten dieser Pixel werden ausgelesen und weiterverarbeitet. Figure 5 shows the associated subdivision in a schematic top view of the image sensor 20. The pixels in the thickly framed lines of the area of interest 74 correspond to the relevant partial field of view 70, the remaining pixels of non-interesting areas 76 correspond to the non-relevant partial field of view 72. Those to the area of interest Lines belonging to 74 are selected by the control and evaluation unit 42 via the configuration unit 22, and only the image data of these pixels are read out and further processed.

Eine beispielhafte Auswertung, mit der die Pixel des interessierenden Bereichs 74 aus den Messdaten des Abstandssensors 28 aufgefunden werden, wird wiederum unter Bezugnahme auf die Figur 4 erläutert. Der Abstandssensor 28 erfasst zu einem Zeitpunkt t erstmals das Objekt 54 mit Höhe h. Es wird anhand der relativen Lage und Pose des Abstandssensors 28 zu dem Bildsensor 20 sowie der Fördergeschwindigkeit ein Auslösezeitpunkt t1 bestimmt, zu dem sich das Objekt 54 in den Erfassungsbereich 14 bewegt haben wird. Bis zu dem Zeitpunkt t1 wird aus den Messdaten des Abstandssensors 28 die Länge des Objekts 54 bestimmt. Beispielsweise wird der Abstandssensor 28 mit einer Wiederholungsrate f betrieben. Die Länge des Objekts 54 entspricht der Anzahl Erfassungen mit dieser Wiederholungsrate. Es sei daran erinnert, dass über die Fördergeschwindigkeit Positionen und Längen in Förderrichtung direkt in Zeiten umgerechnet werden können. Somit lässt sich in Kenntnis der jeweiligen Positionen und Posen von Kamera 10 und Abstandssensor 28 beziehungsweise externem Geometrieerfassungssensor 62 die mittels Abstandssensor 28 bestimmte Objektlänge unter Beachtung der Objekthöhe trigonometrisch in zugehörige Bildzeilen auf dem Bildsensor 20 überführen.An exemplary evaluation with which the pixels of the region of interest 74 are found from the measurement data of the distance sensor 28 is again described with reference to Figure 4 explained. The distance sensor 28 detects the object 54 with height h for the first time at a time t. Based on the relative position and pose of the distance sensor 28 to the image sensor 20 and the conveying speed, a trigger time t1 is determined at which the object 54 will have moved into the detection area 14. Up to the time t1, the length of the object 54 is determined from the measurement data of the distance sensor 28. For example, the distance sensor 28 is operated with a repetition rate f. The length of the object 54 corresponds to the number of acquisitions at this repetition rate. It should be remembered that positions and lengths in the conveying direction can be converted directly into times using the conveying speed. Thus, knowing the respective positions and poses of camera 10 and distance sensor 28 or external geometry detection sensor 62, the object length determined by means of distance sensor 28 can be trigonometrically converted into associated image lines on image sensor 20, taking into account the object height.

Im Laufe der Förderbewegung verschiebt sich der relevante Teilbereich 70 gemäß Figur 4 gegen die Förderrichtung beziehungsweise der interessierende Bereich 74 auf dem Bildsensor 20 in Figur 5 nach unten. Eine erste Bildauslösung kann zeitlich so abgestimmt werden, dass die Vorderkante des Objekts 54 an dem Rand des Erfassungsbereichs 14 und somit in der obersten Zeile des Bildsensors 20 liegt. Der Bildsensor 20 kann wiederholt dynamisch rekonfiguriert werden, um das Objekt 54 oder eine sonstige interessierende Struktur, wie einen Codebereich 58, 60 auf dem Objekt, mehrfach aufzunehmen.In the course of the conveying movement, the relevant sub-area 70 shifts accordingly Figure 4 against the conveying direction or the area of interest 74 on the image sensor 20 in Figure 5 downward. A first image triggering can be timed so that the front edge of the object 54 lies on the edge of the detection area 14 and thus in the top line of the image sensor 20. The image sensor 20 can be repeatedly dynamically reconfigured to capture the object 54 or other structure of interest, such as a code area 58, 60 on the object, multiple times.

Figur 6 zeigt eine alternative Unterteilung der Pixel des Bildsensors 20 in auszulesende und nicht auszulesende Bereiche. Im Gegensatz zu Figur 5 entfällt hier die Randbedingung, dass der interessierende Bereich 74 nur ganze Zeilen umfassen darf. Dadurch werden die auszulesenden und zu verarbeitenden Bilddaten noch weiter reduziert. Die Konfigurationseinheit 22 ist dementsprechend flexibler und erlaubt auch den Ausschluss von Pixeln innerhalb der Zeilen. Das bedeutet vorzugsweise immer noch keine individuelle Pixelwahl, die einen zu hohen Schaltungsaufwand nach sich ziehen würde, jedoch die Auswahlmöglichkeit rechteckiger Teilbereiche wie dargestellt. Um eine sinnvolle Auswahl von Pixeln innerhalb der Zeile und damit quer zum Strom der Objekte 54 treffen zu können, sollte der Abstandssensor 28 vorzugsweise eine laterale Auflösung bieten, so dass sukzessive eine in Förderrichtung und quer dazu aufgelöste Kontur der Objekte 54 zur Verfügung steht. Figure 6 shows an alternative division of the pixels of the image sensor 20 into areas that are to be read out and areas that are not to be read out. As opposed to Figure 5 The boundary condition that the area of interest 74 may only include entire lines is omitted here. This further reduces the amount of image data to be read and processed. The configuration unit 22 is accordingly more flexible and also allows the exclusion of pixels within the lines. However, this preferably still does not mean an individual pixel selection, which would entail too much circuit complexity the option to select rectangular sections as shown. In order to be able to make a sensible selection of pixels within the line and thus across the stream of objects 54, the distance sensor 28 should preferably offer a lateral resolution, so that a contour of the objects 54 resolved in the conveying direction and transversely thereto is successively available.

Figur 7 zeigt in einer schematischen Schnittdarstellung eine Situation, in der sich zwei Objekte 54a-b unterschiedlicher Höhe im Erfassungsbereich 14 befinden. Durch Einstellen der Fokuslage 78 mittels der Fokusverstellung 18 lässt sich ein durch eine obere und untere DOF-Grenze 80a-b (DOF, Depth of Field) eingeschlossener Tiefenschärfenbereich verschieben. Der Tiefenschärfenbereich in der jeweiligen Fokuslage 78 hängt von verschiedenen Faktoren ab, insbesondere der Empfangsoptik 16, aber auch beispielsweise dem Decodierverfahren, denn maßgeblich für ausreichende Bildschärfe beim Codelesen ist, ob der Code lesbar ist. Die Steuer- und Auswertungseinheit 42 kann beispielsweise auf eine Nachschlagtabelle mit vorab durch Simulation, Modellierung oder empirisch bestimmten Tiefenschärfenbereichen zugreifen. Figure 7 shows a schematic sectional view of a situation in which two objects 54a-b of different heights are located in the detection area 14. By adjusting the focus position 78 using the focus adjustment 18, a depth of field area enclosed by an upper and lower DOF limit 80a-b (DOF, Depth of Field) can be shifted. The depth of field in the respective focus position 78 depends on various factors, in particular the receiving optics 16, but also, for example, the decoding method, because the decisive factor for sufficient image sharpness when reading the code is whether the code is readable. The control and evaluation unit 42 can, for example, access a lookup table with depth of field areas determined in advance through simulation, modeling or empirically.

Somit ist der Steuer- und Auswertungseinheit 42 aufgrund der Messdaten des Abstandssensors 28 und der Informationen über den Tiefenschärfenbereich bei einer Fokuslage 78 bekannt, wie die Fokuslage 78 verändert werden muss, um eines der Objekte 54a-b scharf aufzunehmen. Solange es eine Fokuslage 78 mit Tiefenschärfenbereich passend für alle Objekte 54a-b gibt, kann für zwei oder mehr Objekte 54 mittels der Konfigurationseinheit 22 die Anzahl auszulesender Zeilen vergrößert oder ein weiterer auszulesender interessierender Bereich 74 auf dem Bildsensor 20 geschaffen werden. Dann genügt womöglich eine einzige Aufnahme für mehrere Objekte 54a-b, wobei eine wiederholte Aufnahme möglich bleibt, ebenso wie getrennte Aufnahmen für jedes Objekt 54a-b.Thus, based on the measurement data from the distance sensor 28 and the information about the depth of field at a focus position 78, the control and evaluation unit 42 knows how the focus position 78 must be changed in order to sharply capture one of the objects 54a-b. As long as there is a focus position 78 with a depth of field suitable for all objects 54a-b, the number of lines to be read out can be increased for two or more objects 54 using the configuration unit 22 or a further region of interest 74 to be read out can be created on the image sensor 20. Then a single recording may be sufficient for several objects 54a-b, with repeated recordings remaining possible, as well as separate recordings for each object 54a-b.

In der Situation der Figur 7 jedoch ist die Höhe der Objekte 54a-b zu unterschiedlich, es gibt keine Fokuslage 78, bei der beide Objekte 54a-b innerhalb des Tiefenschärfenbereichs liegen würden. Die Steuer- und Auswertungseinheit 42 muss sich entscheiden und stellt zunächst auf das höhere Objekt 54b scharf.In the situation of Figure 7 However, the height of the objects 54a-b is too different; there is no focus position 78 in which both objects 54a-b would lie within the depth of field. The control and evaluation unit 42 has to decide and first focuses on the higher object 54b.

Figur 8 zeigt eine schematische Draufsicht auf den für diese Situation mittels der Konfigurationseinheit 22 eingestellten Bildsensor 20. Ausgelesen wird nur der interessierende Bereich 74 entsprechend dem höheren, scharf aufgenommenen Objekt 54b. Alternativ zu einem rechteckigen Teilbereich könnten die gesamten nach rechts und links erweiterten Bildzeilen konfiguriert und ausgelesen werden. An sich gibt es einen weiteren interessierenden Bereich 82 entsprechend dem niedrigeren Objekt 54a, und dies ist der Steuer- und Auswertungseinheit 42 durch Auswertung der Messdaten des Abstandssensors 28 bekannt. Da aber in dem weiteren interessierenden Bereich 82 ohnehin keine ausreichend scharfen Bilddaten zu erwarten sind, werden sie wie nicht interessierende Bereiche 76 behandelt und nicht ausgelesen. Bei einem geringeren Höhenunterschied, mit dem das niedrigere Objekt 54a noch im Tiefenschärfenbereich liegt, könnten zwei interessierende Bereiche 74, 82 konfiguriert und ausgelesen werden, sofern die Konfigurationseinheit 22 diese Funktion bietet, oder beide interessierenden Bereiche 74, 82 mit einem gemeinsamen interessierenden Bereich umhüllt werden. Figure 8 shows a schematic top view of the image sensor 20 set for this situation using the configuration unit 22. Only the area of interest 74 corresponding to the higher, sharply recorded object 54b is read out. Alternatively The entire image lines extended to the right and left could be configured and read out to form a rectangular subarea. There is actually a further region of interest 82 corresponding to the lower object 54a, and this is known to the control and evaluation unit 42 by evaluating the measurement data from the distance sensor 28. However, since sufficiently sharp image data cannot be expected in the other region of interest 82 anyway, they are treated like regions 76 of no interest and are not read out. With a smaller height difference, with which the lower object 54a is still in the depth of field, two regions of interest 74, 82 could be configured and read out, provided that the configuration unit 22 offers this function, or both regions of interest 74, 82 could be enveloped with a common region of interest .

Die Figuren 9 und 10 zeigen eine zu den Figuren 7 und 8 komplementäre Situation. Die Fokuslage 78 und der zugehörige Tiefenschärfenbereich sind nun auf das niedrigere Objekt 54a eingestellt. Dementsprechend werden dessen Bilddaten ausgelesen und diejenigen des höheren Objekts 54b zusammen mit den Bereichen zwischen und neben den Objekten 54a-b direkt im Bildsensor 20 verworfen.The Figures 9 and 10 show one to the Figures 7 and 8 complementary situation. The focus position 78 and the associated depth of field are now set to the lower object 54a. Accordingly, its image data is read out and those of the higher object 54b are discarded directly in the image sensor 20 together with the areas between and next to the objects 54a-b.

Somit ist es möglich, eine erste Aufnahme mit einer Fokuslage 78 für das höhere Objekt 54b und unmittelbar danach, jedenfalls solange sich das niedrigere Objekt 54a noch im Erfassungsbereich 14 befindet, eine zweite Aufnahme nach Refokussierung und damit Anpassung der Fokuslage 78 auf das niedrigere Objekte 54a zu erzeugen. Die Steuer- und Auswertungseinheit 42 ist sogar aufgrund der Messdaten des Abstandssensors 28 rechtzeitig über die geschilderte Konfliktsituation informiert und kann vorausplanen.It is therefore possible to take a first recording with a focus position 78 for the higher object 54b and immediately afterwards, at least as long as the lower object 54a is still in the detection area 14, a second recording after refocusing and thus adapting the focus position 78 to the lower object 54a to create. The control and evaluation unit 42 is even informed in good time about the conflict situation described based on the measurement data from the distance sensor 28 and can plan ahead.

In einer alternativen Ausführungsform, die nicht Teil der Erfindung ist, wird die Fokuslage 78 zyklisch verändert, beispielsweise durch eine Schrittfunktion oder eine Schwingung. Es werden mehrere Aufnahmen erzeugt, so dass die Tiefenschärfenbereiche insgesamt den gesamten möglichen Abstandsbereich abdecken, vorzugsweise unter Ausschluss der Förderebene selbst, sofern nicht auch ganz flache Objekte 54 zu erwarten sind. Anhand der Messdaten des Abstandssensors 28 werden jeweils interessierende Bereiche 74 konfiguriert, die in der aktuellen Fokuslage 78 scharf aufgenommen werden. Somit bestimmt jeweils die Fokuslage 78 die interessierenden Bereiche 74. Es ist gewährleistet, dass jede Struktur scharf aufgenommen wird und unscharfe Bilddaten gar nicht erst ausgelesen werden.In an alternative embodiment, which is not part of the invention, the focus position 78 is changed cyclically, for example by a step function or an oscillation. Several recordings are created so that the depth of field areas cover the entire possible distance range, preferably excluding the conveying plane itself, unless completely flat objects 54 are to be expected. Based on the measurement data from the distance sensor 28, regions of interest 74 are configured, which are recorded sharply in the current focus position 78. The focus position 78 thus determines the areas of interest 74. It is guaranteed that every structure is captured sharply and blurred image data is not even read out.

Erfindungsgemäß werden somit die Vorteile eines großen Bildsensors 20 verwirklicht, ohne damit eine nicht mehr handhabbare Datenflut auszulösen. Zugleich wird das Problem unscharfer Bilddaten mehrerer aufeinanderfolgender Objekte 54a-b stark unterschiedlicher Höhen in einer einzigen großen Aufnahme gelöst. Es wird damit möglich, mit einem Bildsensor 20 jedenfalls bezüglich dessen Perspektive, etwa von oben oder von der Seite, den Strom der Objekte 54 allein abzudecken, oder jedenfalls einen möglichst großen Anteil davon.According to the invention, the advantages of a large image sensor 20 are thus realized without triggering a flood of data that can no longer be handled. At the same time, the problem of blurry image data from several successive objects 54a-b of very different heights is solved in a single large image. This makes it possible to use an image sensor 20 to cover the stream of objects 54 alone, or at least as large a proportion as possible, with one image sensor 20, at least with regard to its perspective, for example from above or from the side.

Herkömmlich hingegen müsste die Vorverarbeitungseinheit sämtliche Bilddaten auslesen, um erst dann gegebenenfalls Bilddaten außerhalb von interessierenden Bereichen zu verwerfen. Das Vorverarbeiten erfolgt schon herkömmlich on-the-fly in einer Pipelinestruktur während des Auslesens, so dass Auslesen und Vorverarbeiten in den Zeitanforderungen praktisch nicht unterschiedlich zu betrachten sind. Für einen Bildsensor 20 hoher Auflösung erfordert dies eine Verarbeitungszeit von beispielsweise 25 ms und limitiert damit die Aufnahmefrequenz oder Framerate auf 40 Hz. Durch komplexere Bildverarbeitungsschritte wie das Decodieren verschärft sich das noch, die mögliche Aufnahmefrequenz sinkt weiter ab. Folgen nun zwei Objekte sehr unterschiedlicher Höhe dicht aufeinander, so kommt womöglich eine zweite Aufnahme nach Refokussieren zu spät. Erfindungsgemäß dagegen wird von Anfang an die Bilddatenmenge reduziert, um nur relevante Bildbereiche auszulesen. Die verringerte Datenlast ist schon in sich ein Vorteil, da damit Ressourcen geschont beziehungsweise gezielter eingesetzt werden. Die Kamera 10 wird so wahlweise kostengünstiger oder leistungsfähiger. Außerdem entfällt die strenge Begrenzung der Aufnahmefrequenz entsprechend einer Verarbeitungszeit für vollständige Bilder. Die Aufnahmefrequenz kann also insgesamt oder sogar von Fall zu Fall flexibel erhöht werden. Damit wird auch in der Situation zweier dicht aufeinanderfolgender Objekte 54a-b stark unterschiedlicher Höhe eine rechtzeitige zweite Aufnahme nach Refokussieren möglich, wie zu den Figuren 7-10 erläutert.Conventionally, however, the preprocessing unit would have to read out all image data and only then discard image data outside of areas of interest if necessary. Pre-processing is traditionally done on-the-fly in a pipeline structure during readout, so that readout and preprocessing practically do not differ in terms of time requirements. For a high-resolution image sensor 20, this requires a processing time of, for example, 25 ms and thus limits the recording frequency or frame rate to 40 Hz. This is made even worse by more complex image processing steps such as decoding, and the possible recording frequency drops further. If two objects of very different heights are close together, a second shot after refocusing may come too late. According to the invention, however, the amount of image data is reduced from the start in order to read out only relevant image areas. The reduced data load is an advantage in itself, as it saves resources or uses them more specifically. The camera 10 becomes either more cost-effective or more powerful. In addition, the strict limitation of the recording frequency corresponding to a processing time for complete images is eliminated. The recording frequency can therefore be flexibly increased overall or even from case to case. This means that even in the situation of two closely spaced objects 54a-b of very different heights, a timely second recording after refocusing is possible, as in the case of Figures 7-10 explained.

Claims

A camera device (10) for detecting a stream of objects (54) moving relative to the camera device (10), the camera device (10) comprising an image sensor (20) having a plurality of light-receiving elements in a matrix arrangement for recording image data of the objects (54), a geometry detection sensor (28, 62) for measuring the objects (54), and a control and evaluation unit (42) configured to determine at least one region of interest (74) on the basis of measurement data from the geometry detection sensor (28, 62) in order to limit the evaluation of the image data to the region of interest (74),
characterized in that the image sensor (20) comprises a configuration unit (22) to configure the reading logic of the image sensor in order to enable the reading out of only an adjustable part (70, 74) of the respectively recorded image data, in that the control and evaluation unit (42) is configured to read out from the image sensor (20) only a part of the image data determined on the basis of the region of interest (70, 74), and in that the control and evaluation unit (42) comprises a preprocessing unit (44) in order to read out and preprocess image data from the image sensor (20), wherein the preprocessing unit (44) is configured so that reading out and preprocessing the complete image data of one recording of the image sensor (20) would require a complete preprocessing time, and in that the image sensor (20) is operated at a recording frequency that leaves less time between two recordings for the preprocessing than the complete preprocessing time.
The camera device (10) according to claim 1,
wherein the control and evaluation unit (42) is configured to adjust the at least one region of interest (70, 74) and/or the read-out portion of the image data between recordings.
The camera device (10) according to claim 1 or 2,
wherein the recording frequency is a flexible recording frequency.
The camera device (10) according to any of the preceding claims,
wherein the configuration unit (22) is configured for a selection of image lines.
The camera device (10) according to any of the preceding claims,
wherein the configuration unit (22) is configured for the selection of a rectangular sub-area.
The camera device (10) according to any of the preceding claims,
wherein the control and evaluation unit (42) is configured to read out from the image sensor (20) only that part of the image data that is recorded on the basis of an area of interest (70, 74) within a depth of field range (78, 80) of the image sensor (20).
The camera device (10) according to any of the preceding claims,
wherein the control and evaluation unit (42) is configured to determine a matching depth of field region (78, 80) for a region of interest (82) outside the depth of field region (78, 80) and to refocus on the matching depth of field region (78, 80) for a subsequent recording.
The camera device (10) according to any of the preceding claims,
wherein the control and evaluation unit (42) is configured to determine the at least one region of interest (70, 74) based on a depth of field range of the image sensor (20).
The camera device (10) according to any of the preceding claims,
wherein the control and evaluation unit (42) is configured to identify code areas (58, 60) in the image data and to read out the code content thereof.
The camera device (10) according to any of the preceding claims,
wherein the geometry detection sensor (28, 62) is configured as a distance sensor, in particular as an optoelectronic distance sensor according to the principle of the time-of-flight method.
The camera device (10) according to any of the preceding claims,
wherein the geometry detection sensor (28) is integrated with the image sensor (20) in a camera (10) in order to measure the objects (54) prior to recording the image data.
The camera device (10) according to any of the preceding claims,
comprising a velocity sensor for determining the velocity of the stream and/or wherein the control and evaluation unit (42) is configured to determine the velocity of the stream on the basis of the measurement data of the geometry detection sensor (28, 62) and/or the image data.
The camera device (10) according to any of the preceding claims,
that is stationarily mounted on a conveyor device (52) conveying the objects (54) in a conveying direction (56).
The camera device (10) according to any of the preceding claims,
comprising at least one image sensor (20) for recording the stream from above and/or at least one image sensor (20) for recording the stream from the side.
A method for detecting a moving stream of objects (54), wherein image data of the objects (54) are recorded by an image sensor (20) having a plurality of light-receiving elements in a matrix arrangement, the objects (54) are measured with a geometry detection sensor (28, 62) and at least one region of interest (70, 74) is determined on the basis of measurement data of the geometry detection sensor (28, 62) in order to limit the evaluation of the image data to the region of interest (70, 74), 62), and at least one region of interest (70, 74) is determined on the basis of measurement data from the geometry detection sensor (28, 62) in order to limit the evaluation of the image data to the region of interest (70, 74),
characterized in that the image sensor (20) is configured in order to read out only a part of the image data from the image sensor (20) that is determined on the basis of the region of interest (70, 74), in that a preprocessing unit (44) reads out and preprocesses image data from the image sensor (20), wherein the preprocessing unit (42) is configured so that reading out and preprocessing the complete image data of a recording of the image sensor (20) would require a complete preprocessing time, and in that the image sensor (20) is operated with a recording frequency that leaves less time between two recordings for the preprocessing than the complete preprocessing time.