WO2008107150A1 - Monitoring system, in particular for analyzing the fill level of shelves - Google Patents

Abstract

The invention relates to an optical monitoring device, in particular for monitoring inventories. The monitoring device comprises a plurality of interconnected digital image processing devices, said image processing devices each having one or more image sensors and one or more segmentation units, and wherein said image processing devices are interconnected to a first processing unit. The segmentation units conduct a preprocessing of the image information, with the vectorized information calculated by the segmentation units, in particular object graphics, being transmitted to the processing unit.

Description

Überwachungssystem, insbesondere zur Analyse des Füllstands von Regalen Monitoring system, in particular for analyzing the level of shelves

Beschreibungdescription

Die Erfindung betrifft allgemein optische Überwachungssysteme. Insbesondere betrifft die Erfindung ein optisches System zur Überwachung von Lagerbeständen.The invention relates generally to optical monitoring systems. In particular, the invention relates to an optical system for monitoring inventories.

Die Überwachung von großen Volumina wird nach dem Stand der Technik vielfach mit Videoüberwachungssystemen realisiert, die aus Kamerasystemen mit Schwenk/Neigeköpfen, steuerbaren Zoomobjektiven sowie Multiplexern bestehen. Zunehmend besteht dabei die Forderung nach Automatisierung in den Bereichen Sicherheit, Point of SaIe und anderen.The monitoring of large volumes is often realized in the prior art with video surveillance systems consisting of camera systems with pan / tilt heads, controllable zoom lenses and multiplexers. There is an increasing demand for automation in the areas of security, point of sale and others.

Aus der WO 2007/006587 sind ein Warenregal, Warenbehälter und Verfahren zur Kontrolle der Entnahme von Waren bekannt. Mit einem Lichtsensor wird die Menge des Lichts in einem Warendisplay oder Warenbehälter gemessen. Eine an den Lichtsensor angeschlossene Auswerteelektronik bestimmt die Änderung der Lichtmenge. Wird Ware entnommen, ändert sich die detektierte Lichtmenge. Wird bei einem Diebstahl beispielsweise der gesamte Inhalt eines Warenbehälters entnommen, ist eine deutliche Änderung der Lichtmenge festzustellen und es wird ein Alarm ausgelöst. Eine quantitative Analyse des Füllstands erlaubt dieses System jedoch nicht.From WO 2007/006587 a goods shelf, goods containers and methods for controlling the removal of goods are known. With a light sensor, the amount of light in a goods display or goods container is measured. An evaluation electronics connected to the light sensor determines the change in the amount of light. If goods are removed, the detected amount of light changes. If, for example, the entire contents of a goods container are removed during a theft, a significant change in the amount of light is detected and an alarm is triggered. However, a quantitative level analysis does not allow this system.

Eine andere Ausführungsform des Überwachungssystems basiert auf einer Infrarot-LED-Matrix. Die Leuchtdioden werden sukzessive angesteuert und das zugehörige Lichtsignal detektiert. Der Lagerbestand kann hier anhand der Feststellung analysiert werden, ob eine Ware den Strahlengang zwischen einer LED und dem Detektor unterbricht .Another embodiment of the monitoring system is based on an infrared LED matrix. The light-emitting diodes are activated successively and the associated light signal is detected. Inventory can be analyzed by determining if a product interrupts the beam path between an LED and the detector.

Bei beiden Anordnungen sind spezielle Regalsysteme notwendig. Soll das System in einer Einzelhandels- Verkaufsstelle eingeführt werden, ist demgemäß eine Umrüstung der Regalsysteme erforderlich.Both arrangements require special shelving systems. If the system is to be introduced in a retail outlets, a conversion of the shelving systems is required accordingly.

Die DE 100 13 092 Al offenbart weiterhin ein Lagerregal mit einer Vielzahl von übereinander angeordneten Trägerstützen zur Abstützung von Lagergutträgern, die mittels einer automatischen Beschickungs- und Entnahmevorrichtung förderbar sind. Es ist mindestens eine Digitalkamera vorgesehen, die das in den Lagergutträgern aufgenommene Lagergut erfasst und die digitalen Informationen in einem Rechner abspeichert. Die Bildinformation kann dann auf einem Monitor dargestellt werden.DE 100 13 092 A1 further discloses a storage rack with a multiplicity of carrier supports arranged one above the other for supporting load-carriers, which can be conveyed by means of an automatic loading and unloading device. At least one digital camera is provided, which records the stored goods received in the storage goods carriers and stores the digital information in a computer. The image information can then be displayed on a monitor.

Um hier eine Übersicht über den Lagerbestand zu erhalten, ist eine visuelle Inspektion der Regale durch Betrachtung des Monitorbilds vorgesehen.To get an overview of the inventory here, a visual inspection of the shelves by viewing the monitor image is provided.

Wünschenswert wäre es demgegenüber, Aussagen über den Lagerbestand zumindest teilweise zu automatisieren, ohne daß ein aufwändiger Umbau der Regalsysteme erforderlich ist. Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den jeweiligen abhängigen Ansprüchen angegeben. Mit der Erfindung wird ein leicht zu installierendes oder nachzurüstendes System geschaffen. Ein Gedanke dazu ist, ein vernetztes System mit Bildsensoren einzusetzen, bei welchem eine Datenreduktion durch Vorerkennung in Sensornähe erfolgt.On the other hand, it would be desirable to at least partially automate statements about the inventory without the need for a complex conversion of the shelving systems. This object is solved by the subject matter of the independent claims. Advantageous embodiments and further developments of the invention are specified in the respective dependent claims. The invention provides an easy-to-install or retrofit system. One idea is to use a networked system with image sensors, in which a data reduction by pre-detection takes place near the sensor.

Gemäß einem ersten Aspekt der Erfindung ist hierzu ein Überwachungssystem, beziehungsweise eine Überwachungsvorrichtung vorgesehen, die zumindest ein, vorzugsweise mehrere digitale Bildverarbeitungssysteme, beziehungsweise Bildverarbeitungsvorrichtungen aufweist. Die Bildverarbeitungsvorrichtungen enthalten jeweils einen oder mehrere Bildsensoren und eine oder mehrere Segmentierungseinheiten. Die eine oder die mehreren Bildverarbeitungsvorrichtungen sind mit einer erstenAccording to a first aspect of the invention, a monitoring system or a monitoring device is provided for this purpose, which has at least one, preferably a plurality of digital image processing systems or image processing devices. The image processing devices each include one or more image sensors and one or more segmentation units. The one or more image processing devices are associated with a first one

Recheneinrichtung, die vorzugsweise einen Zentralrechner und/oder mehrere wiederum miteinander vernetzte Rechner umfasst, vernetzt. In dezentralen Recheneinrichtungen, insbesondere den Segmentierungseinheiten wird eine Vorverarbeitung der Bildinformation durchgeführt, so daß nicht mehr die vollständigen Bilddaten, sondern vor allem vektorisierte Information, wie insbesondere Objektgraphen an die Recheneinrichtung übertragen wird. Selbstverständlich kann aber zusätzlich auch noch eine Bildübertragung von vollständigen oder auch von Teilbildern vorgesehen werden, etwa auf Anforderung der Recheneinrichtung, falls diese Daten benötigt werden. Als minimale Vorverarbeitung kann hierbei zumindest die Erkennung von Konturpunkten dezentral vorgenommen werden. Vorzugsweise werden aber noch weitere Schritte der Bildverarbeitung von den mit der Recheneinrichtung vernetzten Bildverarbeitungsvorrichtungen durchgeführt. Besonders geeignet für eine dezentrale Berechnung ist insbesondere auch die Verbindung von Konturpunkten zu Konturen. Die Daten dieser Konturen können dann über das Netz übertragen werden, wodurch bereits eine sehr erhebliche Reduktion des Datenstroms erzielt wird.Computing device, which preferably comprises a central computer and / or several in turn networked computers networked. In decentralized computing devices, in particular the segmentation units, a preprocessing of the image information is carried out, so that it is no longer the complete image data but, above all, vectorized information, such as in particular object graphs, being transmitted to the computing device. Of course, in addition, an image transfer of complete or partial images can also be provided, for example at the request of the computing device, if this data is required. As minimum preprocessing, at least the recognition of contour points can be performed decentrally here. Preferably, however, further steps of the image processing are carried out by the image processing devices networked with the computing device. Particularly suitable for a decentralized calculation is in particular the connection of contour points to contours. The data of these contours can then be read via the Network are transmitted, which already a very significant reduction of the data stream is achieved.

Die Übertragung der Informationen zwischen den Bildverarbeitungsvorrichtungen und der Recheneinrichtung kann durch ein Funknetz, LAN, oder optisches Netz erfolgen.The transmission of information between the image processing devices and the computing device can be done by a radio network, LAN, or optical network.

Das entsprechende Verfahren zur Überwachung von Verkaufs- Lager- oder Ablageflächen, welches mittels dieser Überwachungsvorrichtung durchführbar ist basiert darauf, daß mehrere vernetzte digitaleThe corresponding method for monitoring sales or storage areas, which is feasible by means of this monitoring device based on the fact that several networked digital

Bildverarbeitungsvorrichtungen jeweils mit einem oder mehreren Bildsensoren Bilder des Überwachungsbereichs aufnehmen, wobei die Bildverarbeitungsvorrichtungen jeweils eine oder mehrere Segmentierungseinheiten enthalten, und über ein Netz mit der ersten Recheneinrichtung kommunizieren, und wobei die Segmentierungseinheiten eine Vorverarbeitung der Bildinformation vornehmen, und wobei die Bildverarbeitungsvorrichtungen die von den Segmentierungseinheiten errechnete vektorisierte Information, insbesondere Objektgraphen an die Recheneinrichtung über das Netz übertragen.Image processing devices each with one or more image sensors record images of the surveillance area, the image processing devices each containing one or more segmentation units, and communicate with the first computing device via a network, and wherein the segmentation perform a preprocessing of the image information, and wherein the image processing devices from the Segmentierungseinheiten calculated vectorized information, in particular object graphs transmitted to the computing device via the network.

Insbesondere können die Bildverarbeitungsvorrichtungen auch weiterhin dazu eingerichtet sein, jeweils einen fest programmierten oder einen von der Recheneinrichtung übertragenen Suchauftrags-Datensatz zu verarbeiten, und anschließend Bildausschnitte mit Objekten lokal zu speichern und abschließend einen Objektgraphen zu errechnen und diesen an die erste Recheneinrichtung, wie beispielsweise einen Zentralrechner zu übertragen. Der Suchauftrags-Datensatz umfasst gemäß einer Weiterbildung erstens Regionen mit vorgegebener Bildstatistik, zweitens eine geometrische Beschreibung der Schwerpunkte der Regionen und drittens eine Prioritätsbeschreibung. Als Bildstatistik-Werte eignen sich insbesondere Werte für zumindest eines der Attribute Farbe, Grauwertvarianz, Richtungen, Fläche, Konturen und Konturmerkmale, wie Krümmungsradien, Konturlängen, etc..In particular, the image processing devices can also be set up to process a fixed-programmed or a search request data set transmitted by the computing device, and then store image sections locally with objects and finally calculate an object graph and send it to the first computing device, such as a Central computer to transfer. According to a further development, the search order data record comprises, first, regions with predetermined image statistics, second, a geometric description of the focal points of the regions, and third, a priority description. When Image statistics values are particularly suitable values for at least one of the attributes color, gray value variance, directions, area, contours and contour features, such as radii of curvature, contour lengths, etc.

Gemäß einem weiteren Aspekt der Erfindung ist eine Bildverarbeitungsvorrichtung zur Analyse des Lagerbestands oder Füllstands von Lagersystemen vorgesehen, welche zumindest eine Kamera und eine Recheneinrichtung zur Auswertung der Bilddaten der Kamera umfasst, wobei dieAccording to a further aspect of the invention, an image processing device is provided for analyzing the stock or level of storage systems, which comprises at least one camera and a computing device for evaluating the image data of the camera, wherein the

Recheneinrichtung eine Segmentierungseinrichtung mittels welcher ein attributiertes Konturbild erzeugt wird, wobei die Recheneinrichtung dazu eingerichtet ist, im Konturbild eine Suche nach digitalen Strecken durchzuführen, welche die Begrenzungen von Lagerflächen bilden, und wobei die Recheneinrichtung weiter dazu eingerichtet ist, an eine oder mehrere Begrenzungen angrenzende Flächen, welche freie Lagerflächen repräsentieren, zu bestimmen. Die Suche nach den Strecken kann vorzugsweise dezentral in den Bildverarbeitungsvorrichtungen, alternativ aber auch in der zentralen Recheneinrichtung erfolgen.Computing means a segmentation device by means of which an attributed contour image is generated, wherein the computing device is adapted to perform in the contour image, a search for digital routes that form the boundaries of storage areas, and wherein the computing device is further adapted to one or more boundaries adjacent areas , which represent free storage areas to determine. The search for the routes can preferably be done decentrally in the image processing devices, but alternatively also in the central computing device.

Die Bestimmung der an die Konturen der Kanten der Auflageflächen angrenzenden Flächen kann in einfacher Weise anhand der Farbe der Bildpunkte oder anhand der Homogenität der Grau- oder Farbwerte der Flächen erfolgen.The determination of the surfaces adjacent to the contours of the edges of the bearing surfaces can be carried out in a simple manner on the basis of the color of the pixels or on the basis of the homogeneity of the gray or color values of the surfaces.

Um die Anzahl der erforderlichen Kameras für die Erfassung des relevanten Bereichs zu reduzieren, kann eine Schwenk- oder Dreheinrichtung zum Schwenken oder Drehen einer Kamera vorgesehen werden, um sukzessive mehrere Regalbereiche mit der Kamera zu erfassen.In order to reduce the number of required cameras for the detection of the relevant area, a pan or rotating device for panning or rotating a camera may be provided to successively detect a plurality of shelf areas with the camera.

Alternativ oder zusätzlich zu einer Schwenkeinrichtung kann auch ein Multiplexer vorgesehen sein, um zwischen eine Anzahl fest installierter Kameras umzuschalten. In beiden Fällen ist vorzugsweise eine Recheneinrichtung vorgesehen, welche zur Bestimmung von Konturen für jedes Bild aus der Lage langer annähernd paralleler digitaler Strecken und den Positionen von detektierten Labein, wie Preisschildern, ein Raster bildet und die Rasterinformationen benachbarter Bilder zu einem Gesamtraster zusammensetzt. Dann kann die Länge frei sichtbarer Lagerflächen bestimmt und hieraus den Füllstand einer Warenposition berechnet werden.Alternatively or in addition to a pivoting device, a multiplexer can also be provided to switch between one Switch number of permanently installed cameras. In both cases, a computing device is preferably provided which forms a grid for determining contours for each image from the position of long approximately parallel digital stretches and the positions of detected labellas price tags, and composes the grid information of adjacent images into a total grid. Then the length of freely visible storage areas can be determined and from this the level of a goods item can be calculated.

Generell ist es günstig, den Überwachungsbereich einer der Bildverarbeitungsvorrichtungen in Aufnahmen mehrerer, räumlich unterschiedlicher Bereiche zu untergliedern. Insbesondere bei Positionen des oder der Sensoren oberhalb der zu beobachtenden Bereiche würde eine Erfassung mit einer einzelnen Aufnahme zu grossen perspektivischen Verzerrungen führen, welche die Erkennung der Strukturen des Lagersystems erschweren.In general, it is favorable to subdivide the monitoring area of one of the image processing devices into recordings of several, spatially different areas. In particular, in the case of positions of the sensor or sensors above the areas to be observed, a recording with a single image would lead to large perspective distortions, which make the recognition of the structures of the storage system more difficult.

Weisen die Bildverarbeitungsvorrichtungen mehrereDo the image processing devices have more than one

Bildaufnahmesensoren auf, wird zur Aufnahme des gesamten von den Sensoren erfassten Überwachungsbereichs vorzugsweise eine Ansteuerung der Sensoren im Zeitmultiplex durchgeführt. Auf diese Weise können bestimmte Verarbeitungsschritte, wie etwa die Bestimmung der Konturpunkte bereits erfolgen, während Bilder des Überwachungsbereichs durch weitere Sensoren aufgenommen werden. Zudem ist ein zeitlich gemultiplexter Betrieb sehr günstig, da weniger Speicher benötigt wird.Imaging sensors on, is preferably carried out to record the entire monitored by the sensors monitoring area control of the sensors in time division. In this way, certain processing steps, such as the determination of the contour points already take place, while images of the monitoring area are recorded by other sensors. In addition, a time-multiplexed operation is very low, since less memory is needed.

Das System ist aufgrund der lokalen Vorverarbeitung in den Bildverarbeitungsvorrichtungen auch sehr energieeffizient. Die Geräte können daher auch durch lokale Energieversorgungen verfügen. Die Bildverarbeitungsvorrichtungen können dabei zusätzlich eine Ressourcenoptimierung ausführen, sowie ein Powermanagement enthalten. Lokale, insbesondere netzunabhängige Energieversorgungen bieten den Vorteil einer besonders einfachen Nachrüstbarkeit bereits bestehender Lagersysteme, da die Verlegung von Versorgungskabeln zu den einzelnen dezentralen Einrichtungen entfallen kann. Besonders wartungsfrei sind solche Energieversorgungen, welche eigenständig ihren Versorgungsstrom erzeugen können. Gedacht ist hier unter anderem an Stromversorgungen mit Solarzellen. Mit einem Powermanagement können dann in Ruhezeiten Akkumulatoren geladen werden, welche die Stromversorgung während des Betriebs derThe system is also very energy efficient due to the local preprocessing in the image processing devices. The devices can therefore also have local power supplies. The image processing devices can additionally a Perform resource optimization, as well as a power management included. Local, especially off-grid power supplies offer the advantage of a particularly simple retrofitting of existing storage systems, since the installation of supply cables to the individual decentralized facilities can be omitted. Particularly maintenance-free are such power supplies, which can independently generate their supply current. Among other things, this is intended to include power supplies with solar cells. With a power management, rechargeable batteries can then be charged during idle periods, which supply the power during operation of the battery

Bildverarbeitungsvorrichtungen bereitstellen oder zumindest unterstützen.Provide or at least support image processing devices.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, daß die Recheneinrichtung eine Einrichtung zur Ermittlung von Konturen umfasst, welche Konturpunkte mit Subpixel- Genauigkeit aus den Bilddaten errechnet. Die Errechnung mit Subpixel-Genauigkeit erfolgt durch Verrechnung der Farboder Grauwerte mehrerer benachbarter Bildpunkte und anhand dessen einer Bestimmung der Lage eines Konturpunkts. Auf diese Weise werden Quantisierungsfehler verringert. Ansonsten würde eine an sich gerade Kontur bedingt durch das Raster der Bildpunkte als Zickzacklinie repräsentiert werden. Durch die Verwendung eines Subpixel-Rasters kann dies in einfacher Weise vermieden werden, was gerade die Erkennung gerader Konturen, wie sie typischerweise in einem Bild eines Regals vorhanden sind, erleichtert.According to one embodiment of the invention, it is provided that the computing device comprises a device for determining contours, which calculates contour points with subpixel accuracy from the image data. The calculation with subpixel accuracy is performed by calculating the color or gray values of several adjacent pixels and by means of a determination of the position of a contour point. In this way, quantization errors are reduced. Otherwise, a straight contour would be represented by the grid of pixels as a zigzag line. By using a sub-pixel grid, this can be easily avoided, which makes it easier to detect straight contours that are typically present in an image of a shelf.

Um die Konturpunkte aus den Bilddaten herauszufiltern, ist vorzugsweise eine Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten vorgesehen, welche zumindest eine integrierte Hardwareeinheit umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel- Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen. Aus einer Menge von Konturpunkten kann dann eine Kontur gebildet werden. Mit anderen Worten werden die zu einer Kontur gehörenden Konturpunkte erkannt und zusammengefasst . Dazu kann besonders bevorzugt eine Recheneinheit vorgesehen sein, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und wobei in der integrierten Bildverarbeitungsvorrichtung zumindest ein Klassifikator vorgesehen ist, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen. Diese Erkennung und Zusammenfassung von Konturen ist besonders einfach und kann daher auch gut rein Hardware-gestützt, beispielsweise in einem FPGA- oder ASIC- Bauelement durchgeführt werden.In order to filter out the contour points from the image data, a device for determining and processing contour points is preferably provided, which comprises at least one integrated hardware unit that is set up to store the data of an image file stored in the image memory Scanning digital image and contour points with subpixel accuracy to determine and store as a continuous list data in a memory. From a set of contour points, a contour can then be formed. In other words, the contour points belonging to a contour are detected and combined. For this purpose, an arithmetic unit may be provided which is set up to determine the connection probabilities between each two contour points from the list data stored in the memory using at least one calculation unit, and at least one classifier is provided in the integrated image processing apparatus. which selects, from sets of calculated connection probabilities, subsets with at least three connection probabilities for possible connections between at least three adjacent contour points, one of which is a previously determined central contour point, and for each subset, sorts out the contour point adjacent to the central contour point, which is a possible connection with the lowest connection probability to an adjacent contour point, unless the connection connects two points adjacent to the central point and in Ansc It then enters into a contour point list the non-sorted contour points with connectors, which identify the remaining connections to the central point. This recognition and summary of contours is particularly simple and therefore can also be performed well purely hardware-based, for example, in an FPGA or ASIC device.

Sind die Konturen ermittelt, können dann mittels der Recheneinrichtung anhand von aus den Bilddaten bestimmten Konturen solche Konturen, vorzugsweise anhand ihrer Länge und Form, sowie zu diesen Konturen senkrecht verlaufende Konturen herausgefiltert werden, welche Auflageflächen, beziehungsweise deren Kanten und Kanten vertikaler Strukturen des Regals repräsentieren. Mittels der Recheneinrichtung kann dann die Übereinstimmung eines mit diesen Konturen gebildeten Rasters mit einem digitalen Modell des Regals geprüft werden.If the contours are determined, then by means of the computing device on the basis of contours determined from the image data such contours, preferably on the basis of their length and form, as well as to these contours perpendicular contours are filtered out which support surfaces, or their edges and edges represent vertical structures of the shelf. By means of the computing device, the correspondence of a grid formed with these contours can then be checked with a digital model of the shelf.

Um eine Zuordnung der verschiedenen Lagerflächen eines Lagersystems, wie etwa eines Verkaufsregals, oder auchTo an assignment of the different storage areas of a storage system, such as a sales shelf, or also

Gepäckablageflächen auf einem Flugplatz zu bestimmten dort gelagerten Artikeln vornehmen zu können, ist ein Einrichtung zum Lesen von Barcode- oder OCR Informationen auf Labein und einer Recheneinrichtung zum Zuordnen der Information der Label zu einem ermittelten Raster eines überwachten Lagers günstig. Label können dabei beispielsweise die Preis- und Produktschilder an der Frontseite eines Ladenregals sein. Wird diese Information hinzugezogen, kann dann eine vollautomatische Zuordnung eines Füllstands einer Lagerfläche zu einem bestimmten, dort gelagerten oder zu lagernden Artikel getroffen werden. Ist das Raster des Lagersystems ermittelt und eine Zuordnung zum Inhalt der Label auf dem Lagersystem erfolgt, können die Fächer, oder allgemein die Ablageorte des Lagersystems den verschiedenen Waren oder allgemein gelagerten Gegenständen zugeordnet werden. Die Information über den Füllstand ermöglicht dann eine Bestimmung oder zumindest eine Schätzung der WarenmengeTo make luggage storage areas on an aerodrome for certain articles stored there, a device for reading bar code or OCR information on labein and a computing device for assigning the information of the label to a determined grid of a monitored warehouse is favorable. Label can be, for example, the price and product labels on the front of a store shelf. If this information is consulted, then a fully automatic assignment of a filling level of a storage area to a specific, stored there or to be stored article can be made. If the grid of the storage system has been determined and an assignment to the content of the labels on the storage system has taken place, the compartments or, in general, the storage locations of the storage system can be assigned to the various goods or items stored in general. The information on the level then allows a determination or at least an estimate of the amount of goods

Anhand der von der Überwachungsvorrichtung erfassbarenBased on the detectable by the monitoring device

Änderungen des Lagerbestands können bei Anwendungen im POS- Bereich auch Kundenstrom-Kenngrössen ermittelt werden. Damit lässt sich auch die Positionierung der Waren innerhalb des Ladenlokals optimieren. Die Erfindung wird nachfolgend genauer anhand von Ausführungsbeispielen und unter Bezugnahme auf die beigeschlossenen Zeichnungen näher erläutert. Dabei verweisen gleiche Bezugszeichen auf gleiche oder ähnliche Teile. Es zeigen:Changes to the inventory can also be determined for customer applications in the POS area. This also optimizes the positioning of goods within the shop. The invention will be explained in more detail below with reference to embodiments and with reference to the accompanying drawings. The same reference numbers refer to the same or similar parts. Show it:

Fig. 1 ein Schema eines Ausführungsbeispiels der Systemarchitektur einer erfindungsgemäßen ÜberwachungsVorrichtung,1 is a diagram of an embodiment of the system architecture of a monitoring device according to the invention,

Fig. 2 eine Ansicht einer Bildverarbeitungsvorrichtung,2 is a view of an image processing apparatus,

Fig. 3 eine Aufnahme eines Regals,3 shows a picture of a shelf,

Fig. 4 ein Konturpunktbild der in Fig. 3 gezeigten Aufnahme,FIG. 4 is a contour point image of the photograph shown in FIG. 3; FIG.

Fig. 5 das Konturpunktbild mit dem ermittelten Raster des Regals,5 shows the contour point image with the determined grid of the shelf,

Fig. 6 ein Schema der Klassifizierung von Leerflächen, und6 is a diagram of the classification of empty areas, and

Fig. 7 ein Schema der Systemarchitektur eines weiteren Ausführungsbeispiels einer Überwachungsvorrichtung.7 is a schematic of the system architecture of another embodiment of a monitoring device.

Durch Anordnung von mehreren Kameras ist es möglich, ohne mechanisch bewegte Teile durch elektronisches Multiplexen der Sensorchips einen vergrößerten Abtastbereich zu erreichen. Hierbei verfügt jeder Chip über ein eigenes, in den meisten Fällen preisgünstiges Objektiv, z.B. auf der Basis von DOE (diffractive optical elements) . Nach dem Multiplexen entstehen mehrere Bilder, die jedoch nicht ausgerichtet sind, d.h. die Bilder lassen sich nicht ohne größeren Aufwand zu einem großen Bild zusammensetzen. Ein weiteres Problem besteht im hohen Verdrahtungsaufwand.By arranging several cameras, it is possible to achieve an increased scanning range without mechanically moving parts by means of electronic multiplexing of the sensor chips. In this case, each chip has its own, in most cases low-cost lens, for example based on DOE (diffractive optical elements). After multiplexing, several images are created, but they are not aligned, ie the images can not be combined to form a large image without much effort. Another problem is the high wiring costs.

Die Lösung besteht nun darin, eine Datenreduktion durch Vorerkennung in Sensornähe durchzuführen. Hierbei entstehen zunächst Konturen von Objekten, die anschließend klassifiziert werden. Hiermit ist z.B. möglich, die abgestellte Gepäckstücke auf Flughäfen innerhalb jedes Kamerabilds zu detektieren. Ein Beispiel für eine mögliche Systemarchitektur einer als Ganzes mit dem Bezugszeichen 1 bezeichneten Überwachungsvorrichtung ist dazu in Fig. 1 gezeigt. Die Überwachungsvorrichtung 1 untergliedert sich in eine Recheneinrichtung, hier in Form eines Zentralrechners 10, an welchem mehrere Bildverarbeitungsvorrichtungen 3 angeschlossen ist. Zum Zwecke der Übersichtlichkeit ist in Fig. 1 nur eine einzelne Bildverarbeitungsvorrichtung 3 dargestellt.The solution now is to perform a data reduction by pre-detection near the sensor. This initially creates contours of objects, which are then classified. This is e.g. it is possible to detect the parked baggage at airports within each camera image. An example of a possible system architecture of a monitoring device designated as a whole by the reference numeral 1 is shown in FIG. 1 for this purpose. The monitoring device 1 is subdivided into a computing device, here in the form of a central computer 10, to which several image processing devices 3 are connected. For the sake of clarity, only a single image processing device 3 is shown in FIG.

Die Bildverarbeitungssystem werden vernetzt. Hierzu stehen sowohl Video-, als auch LAN- Technologien und/oder optische Technologien zur Verfügung. Demgemäß sind dieThe image processing systems are networked. For this purpose, both video and LAN technologies and / or optical technologies are available. Accordingly, the

Bildverarbeitungsvorrichtungen 3 mit dem Zentralrechner 10 über Netzwerkverbindungen 9 verbunden. Diese Netzwerkverbindungen 9 können optische Datenverbindungen, Funkverbindungen, beispielsweise über ein WLAN, oder auch verdrahtete Verbindungen eines LAN sein. Besonders vorteilhaft ist die Vernetzung über drahtlose Netze, wie Funknetze, z.B. Blue Tooth.Image processing devices 3 connected to the central computer 10 via network connections 9. These network connections 9 can be optical data connections, radio connections, for example via a WLAN, or even wired connections of a LAN. Particularly advantageous is the networking via wireless networks, such as radio networks, e.g. Blue tooth.

Die Kommunikation kann mit bekannten Netzwerkprotokollen erfolgen. Gedacht ist hier unter anderem an TCP/IP. DieThe communication can be done with known network protocols. Among other things, this is intended for TCP / IP. The

Kommunikation der Bildverarbeitungsvorrichtungen 3 mit dem Zentralrechner 10 wird mittels eines Netzwerk-Controllers 7 durchgeführt .Communication of the image processing devices 3 with the central computer 10 is performed by means of a network controller 7.

Die Bildverarbeitungsvorrichtung 3 umfasst eine Bildsensoreinheit 4 mit mehreren Bildsensoren, beispielsweise CMOS-Sensoren. Die Sensorchips der Bildsensoreinheit 4 werden zeitlich versetzt durch einen Multiplexer angesteuert und nehmen damit sukzessive Bilder verschiedener, insbesondere überlappender Bereiche des von der Bildverarbeitungsvorrichtung 4 erfassbaren Teil des Überwachungsbereichs auf. Die Bilddaten der Bildsensoreinheit 4 werden einer Bildsegmentierungseinheit 6 zugeführt. In dieser vorzugsweise mit FPGAs und/oder DSPs realisierten Bildsegmentierungseinheit werden Konturpunkte bestimmt und die zu einer Kontur gehörenden Konturpunkte in Datensätze in vektorisierter Form zusammengefasst . Die Konturpunkte werden dabei anhand der Gradienten der Farboder Grauwertverläufe erkannt. Die Positionszuordnung erfolgt dabei mit Subpixel-Genauigkeit . Dies ist möglich, da zur Bestimmung eines Konturpunktes mehrere benachbarte Bildpunkte zu bewerten sind. Die Lage der Kante ergibt sich aufgrund der Einbeziehung mehrerer Punkte mit einer Genauigkeit, die im allgemeinen höher ist, als die Genauigkeit des Rasters der Bildpunkte. Die Erkennung, welche Konturpunkte zu einer gemeinsamen Kontur gehören, erfolgt nach einem sehr einfachen und effektiven Algorithmus, der sich leicht in einem FPGA oder ASIC ohne Softwareunterstützung realisieren lässt. Dazu werden die Konturpunkte als fortlaufende Listendaten zunächst in einem Speicher abgelegt, Aus den im Speicher abgelegten Listendaten werden dann die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander ermittelt, wobei die Verbindungswahrscheinlichkeit mit steigendem Abstand geringer wird. Es können dabei noch zusätzliche Parameter, wie etwa die den Konturpunkten zugeordnete Richtung des Kontrasts und/oder die Farbe der Punkte berücksichtigt werden. Mittels eines Klassifikators werden dann aus einer Menge von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest dreiThe image processing apparatus 3 includes a Image sensor unit 4 with a plurality of image sensors, for example CMOS sensors. The sensor chips of the image sensor unit 4 are actuated offset in time by a multiplexer and thus take successively images of different, in particular overlapping areas of the part of the monitoring area detectable by the image processing device 4. The image data of the image sensor unit 4 is supplied to an image segmentation unit 6. In this image segmentation unit, which is preferably realized with FPGAs and / or DSPs, contour points are determined and the contour points belonging to a contour are combined into data sets in vectored form. The contour points are thereby recognized on the basis of the gradients of the color or gray scale gradients. The position assignment is done with subpixel accuracy. This is possible because several adjacent pixels are to be evaluated to determine a contour point. The location of the edge is due to the inclusion of multiple points with an accuracy that is generally higher than the accuracy of the raster of pixels. Recognizing which contour points belong to a common contour is based on a very simple and effective algorithm that can be easily implemented in an FPGA or ASIC without software support. For this purpose, the contour points are first stored in a memory as continuous list data. The connection probabilities between two contour points are then determined from the list data stored in the memory, taking into account the distance of the points from one another, wherein the connection probability decreases with increasing distance. Additional parameters, such as the direction of the contrast assigned to the contour points and / or the color of the points, can also be taken into account. By means of a classifier then a set of calculated connection probabilities Subsets with at least three

Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten gebildet, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist.Connection probabilities for possible connections formed between at least three adjacent contour points, one of which is a previously determined central contour point.

Für jede der Teilmenge wird jeweils derjenige zum zentralen Konturpunkt benachbarte Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbartenFor each of the subset, the contour point adjacent to the central contour point is sorted out, which indicates a possible connection with the lowest connection probability to an adjacent contour point

Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet. Die verbleibenden Konturpunkte werden im Anschluß daran in eine Konturpunktliste mit Konnektoren eingetragen, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen.Contour point has, if the connection does not connect two points adjacent to the central point. The remaining contour points are then entered in a contour point list with connectors that mark the remaining connections to the central point.

Die zu suchenden Objekte werden dabei durch einen Suchauftrag beschrieben. Dieser enthält z.B. Angaben über die Objektgröße, Farbe, Formmerkmale. Der Suchauftrag wird auf jedes Bildverarbeitungssystem als Modell geladen.The objects to be searched are described by a search request. This contains e.g. Information about the object size, color, shape characteristics. The search job is loaded onto each image processing system as a model.

Für POS- Anwendungen kann ein sinnvoller Suchauftrag darin bestehen, zunächst eine Rastererkennung durchzuführen, indem die Regalböden als lange parallele digitale Strecken detektiert werden.For POS applications, a meaningful search job may be to first perform raster detection by detecting the shelves as long parallel digital links.

Anschließend werden die Label erkannt, hier durch das Formmerkmal "Rechteck einer bestimmten Farbe" mit OCR (Preis) . Durch die Lage dieser Objekte wird das gelabelte Raster eines gefüllten Regals dargestellt. In einem dritten Schritt wird der Abstand der Ware von der Vorderkante des Regals und der damit der Füllstand bestimmt. Hierzu können weitere a-priori-Informationen über den Zentralrechner 10 angefordert und verwendet werden, da Rasterlage und Preis bekannt sind. Gemäß einer Ausführungsform der Erfindung erzeugt jedes Bildverarbeitunssystem in definierten Zeitabständen (Abtastung) oder gesteuert durch eine von der Recheneinheit, insbesondere des Zentralrechners oder vernetzten Rechnerverbunds gesendete Anforderung jeweils einen Datensatz, der den Zustand der inspizierten Umgebung beschreibt. Diese Datensätze werden von einem Zentralrechner erfasst und zu einer Gesamtaussage verarbeitet. Eine Anforderung zum Erstellen einesSubsequently, the labels are recognized, here by the feature "rectangle of a certain color" with OCR (price). The location of these objects shows the labeled grid of a filled shelf. In a third step, the distance of the goods from the front edge of the shelf and thus determines the level. For this purpose, further a-priori information about the central computer 10 can be requested and used, since grid position and price are known. According to one embodiment of the invention, each image processing system generates at defined time intervals (sampling) or controlled by a request sent by the computing unit, in particular the central computer or networked computer network, a data record which describes the state of the environment being inspected. These data records are recorded by a central computer and processed into a complete statement. A request to create a

Datensatzes kann durch verschiedene Ereignisse ausgelöst werden. Insbesondere kann das Aufnehmen des Überwachungsbereichs in vorbestimmten Zeitabständen und/oder auf eine Anforderung hin erfolgen, wobei die Anforderung durch ein von der Überwachungsvorrichtung erkanntes Ereignis ausgelöst wird. Ein solches Ereignis kann entweder durch eine oder mehrere derRecord can be triggered by various events. In particular, the recording of the monitoring area can take place at predetermined time intervals and / or on request, wherein the request is triggered by an event detected by the monitoring device. Such an event can be triggered either by one or more of the

Bildverarbeitungsvorrichtungen selbständig, und/oder durch die Recheneinrichtung erkannt werden. Durch das Ereignis ausgelöst kann dann ein Suchauftrag von einer oder mehreren der Bildverarbeitungsvorrichtungen ausgeführt werden. Im einfachsten Fall sind die Ereignisse vorbestimmte Zeitpunkte, so daß wie oben beschrieben in definierten Zeitabständen abgetastet wird. Es sind alternativ oder zusätzlich aber auch andere Ereignisse, wie etwa dasImage processing devices independently, and / or recognized by the computing device. Triggered by the event, a search job may then be executed by one or more of the image processing devices. In the simplest case, the events are predetermined times, so that is scanned at defined intervals as described above. There are alternatively or additionally but other events, such as

Einliefern von Waren möglich. Wird eine Warenlieferung von der Recheneinrichtung und/oder zumindest einer der Bildverarbeitungsvorrichtungen registriert, können dann Anforderungen oder Suchaufträge an die Bildverarbeitungsvorrichtungen über das Netz versandt, oder selbständig aufgrund des Ereignisses von den Bildverarbeitungsvorrichtungen ausgeführt werden. Noch ein weiteres mögliches Ereignis ist ein prognostizierter Zeitpunkt. So kann anhand der von der Recheneinrichtung und/oder den Bildverarbeitungsvorrichtungen erfassten Änderungen im Lagerbestand eine Prognose erstellt werden, wann ein bestimmter Lagerposten voraussichtlich fehlen wird oder aufzufüllen ist. Zum prognostizierten Zeitpunkt oder zu einem anderen Zeitpunkt in vordefinierten Zeitabstand zum prognostizierten Zeitpunkt kann dann die Anfrage zur Erstellung eines Datensatzes, beziehungsweise ein Suchauftrag von der Recheneinrichtung an die Bildverarbeitungsvorrichtungen abgesendet werden. Ist beispielsweise das Fehlen eines Lagerpostens für einen bestimmten Zeitpunkt prognostiziert, kann eine Anfrage einige Stunden oder Tage vor diesem Zeitpunkt abgesendet werden, so daß die Möglichkeit besteht, das Lager, wie etwa ein Regal in einem Ladenlokal rechtzeitig aufzufüllen.Delivery of goods possible. If a delivery of goods is registered by the computing device and / or at least one of the image processing devices, then requests or requisitions may be sent to the image processing devices via the network, or independently executed by the image processing devices due to the event. Yet another possible event is a predicted time. Thus, on the basis of the detected by the computing device and / or the image processing devices Changes in inventory create a forecast when a particular stock item is likely to be missing or replenished. At the predicted time or at another time in predefined time interval to the predicted time then the request for creating a record, or a search order from the computing device to the image processing devices are sent. For example, if the absence of a stock item is predicted for a particular time, a request may be dispatched a few hours or days prior to that time, allowing for the opportunity to replenish the stock in a timely manner, such as a shelf in a store.

Für einige der Anwendungen, die Aussagen in relativ großem Zeitabstand benötigen, z.B. im POS- Bereich, ist es ferner besonders vorteilhaft, wenn das Bildverarbeitungssystem ein Powermangementsystem enthält. Das Powermanagement kann beispielsweise auch vom Netzwerk-Controller 7 übernommen werden. Das Powermangementsystem akkumuliert Energie während der Ruhephase (z.B. Solarenergie) und startet dann eine Verarbeitungsprozedur, die z.B. im Abstand einer Stunde für ca. I s läuft. Dadurch kann besonders kostengünstig die gesamte Verkabelung eingespart werden.For some of the applications requiring statements at relatively large intervals, e.g. in the POS area, it is furthermore particularly advantageous if the image processing system contains a power management system. The power management can for example also be taken over by the network controller 7. The power management system accumulates energy during the rest phase (e.g., solar energy) and then starts a processing procedure, e.g. at intervals of one hour for about 1 s. As a result, the entire wiring can be saved particularly cost-effective.

Fig. 2 zeigt ein Ausführungsbeispiel einer Ansicht einer Bildverarbeitungsvorrichtung 3. DieFig. 2 shows an embodiment of a view of an image processing apparatus 3. The

Bildverarbeitungsvorrichtung 3 ist in einem Gehäuse 13 untergebracht, das beispielsweise, wie in Fig. 2 gezeigt, kugelförmig sein kann, das Gehäuse in dieser oder ähnlicher Form kann dann besonders vorteihaft zusätzlich als Werbefläche verwendet werden.Image processing device 3 is housed in a housing 13 which, for example, as shown in Fig. 2, may be spherical, the housing in this or similar form can then be particularly vorteihaft additionally used as an advertising space.

Das Gehäuse 13 wird mittels einer Aufhängung 11 an der Decke des Lagergebäudes befestigt. Im oberen Teil des Gehäuses 13 sind Solarzellen 12 angebracht, welche die Energie für die netzunabhängige Stromversorgung der Bildverarbeitungsvorrichtung 3 erzeugen. Im unteren Teil sind die Kameras 14 so angeordnet, daß sie jeweils unterschiedliche, aber insgesamt überlappende Umgebungsbereiche erfassen. Als Kameras können beispielsweise CMOS-Sensoren mit diffraktiv optischen Linsen oder anderen einfachen Objektiven eingesetzt werden.The housing 13 is fastened by means of a suspension 11 to the ceiling of the storage building. In the upper part of the Housing 13 solar cells 12 are mounted, which generate the power for the mains-independent power supply of the image processing device 3. In the lower part of the cameras 14 are arranged so that they each detect different, but total overlapping surrounding areas. For example, CMOS sensors with diffractive optical lenses or other simple objectives can be used as cameras.

Da durch die dezentrale Vorverarbeitung der Bilddaten ein Energieverbrauch von im allgemeinen höchstens 1 Joule, vorzugsweise lediglich 0.5 Joule pro Bildaufnahme und der Bearbeitung in der Bildverarbeitungsvorrichtung 3 anfällt, ist eine externe Stromversorgung über Solarzellen selbst in geschlossenen Lagerräumen, wie etwa im Inneren einesSince the decentralized preprocessing of the image data results in an energy consumption of generally at most 1 joule, preferably only 0.5 joules per image acquisition and processing in the image processing device 3, an external power supply via solar cells is even in closed storage spaces, such as inside a

Ladenlokals möglich. Würden demgegenüber die Bilddaten vollständig übertragen, so würde alleine durch die Netzwerkschnittstelle ein deutlich höherer Energieverbrauch erzeugt .Shop local possible. On the other hand, if the image data were to be completely transmitted, the network interface alone would generate a significantly higher energy consumption.

Nachfolgend wird die Bestimmung des Füllstands von Regalen näher beschrieben. Dieses Verfahren kann auch auf andere Lagerverwaltungssysteme, wie beispielsweise die Gepäckoder Paketaufbewahrung und -beförderung auf Flughäfen und in Logistikunternehmen entsprechend angewendet werden.The determination of the filling level of shelves will be described in more detail below. This method may also be applied to other warehouse management systems, such as baggage or package storage and transportation at airports and in logistics companies.

Zur Bestimmung des Füllstands von Regalen in Kaufhallen, Supermärkten, Lagern und weiteren Einrichtungen wird mit dem System zur Analyse des Füllstands von Regalen die Entnahme von Produkten durch Kameras aufgezeichnet und mit Bildverarbeitungsmitteln ausgewertet. Als Kameras werden vorzugsweise digitale Farbkameras eingesetzt.To determine the level of shelves in shops, supermarkets, warehouses and other facilities, the system for analyzing the level of shelves records the removal of products by cameras and evaluates them with image processing equipment. The cameras used are preferably digital color cameras.

Hierzu werden an einem oder mehreren Punkten, vorzugsweise an der Decke einer Halle, Kameras installiert, die mechanisch bewegt werden oder die Umgebung wie bei dem in Fig. 2 gezeigten Beispiel mit mehreren Bildsensoren abtasten.For this purpose, cameras are installed at one or more points, preferably on the ceiling of a hall, the be mechanically moved or scan the environment as in the example shown in Fig. 2 with multiple image sensors.

Jede der Kameras kann beispielsweise kontinuierlich geneigt und gedreht werden, so dass eine vollständige Bildfolge des zu inspizierenden Bereiches erfolgt. Ferner wird das Objektiv jeder Kamera zwischen mehreren Positionen hin- und herbewegt. Am Ausgang jeder Kamera entsteht somit für jede Position eine digitale Bildfolge mit unterschiedlicherFor example, each of the cameras may be continuously tilted and rotated to provide a complete image sequence of the area to be inspected. Further, the lens of each camera is reciprocated between multiple positions. At the output of each camera thus arises for each position a digital image sequence with different

Zoomstellung und/oder Fokussierung. Ein Einzelbild eines Regals in einem Verkaufsraum, wie es mit einer Kamera der Bildverarbeitungsvorrichtung aufgenommen wird, zeigt Fig. 3. Das Regal weist Lagerflächen auf, von denen insbesondere die horizontal verlaufenden Vorderkanten 16 sichtbar sind. Von den Trägern des Regals sind vertikal verlaufende KantenZoom position and / or focus. A single image of a shelf in a sales room, as it is taken with a camera of the image processing apparatus, Fig. 3. The shelf has bearing surfaces, of which in particular the horizontally extending leading edges 16 are visible. Of the straps of the shelf are vertical edges

18 in der Aufnahme zu erkennen. An den Kanten 16 sind Label18 to recognize in the recording. At the edges 16 are labels

19 angebracht, welche die Waren der einzelnen Fächer des Regals kennzeichnen. Auf den Ablageflächen des Regals sind Waren 22 angeordnet. An einigen Stellen des Regals sind aufgrund eines nicht vollständigen Füllstands Leerflächen 20, 21 zu erkennen.19 attached, which identify the goods of the individual compartments of the shelf. On the shelves of the shelf goods 22 are arranged. In some places of the shelf are due to an incomplete level empty spaces 20, 21 can be seen.

Die Digitalbildfolge mit einem wie in Fig. 3 gezeigten Bild wird nun mit einem hardwaregestütztenThe digital image sequence with an image as shown in FIG. 3 will now be supported by a hardware

Bildverarbeitungsgerät so verarbeitet, dass ein vorzugsweise subpixelinterpoliertes und attributiertes Konturbild entsteht. Insbesondere kann diese Verarbeitung in der Bildsegmentierungseinheit 6 der Bildverarbeitungsvorrichtung 3 gemäß Fig. 1 erfolgen. Das aus der in Fig. 3 gezeigten Aufnahme erzeugte Konturbild mit Konturen 15 ist in Fig. 4 dargestellt. In diesem Konturbild erfolgt zunächst eine allgemeine Suche nach digitalen Strecken deren Neigung zur Horizontalen innerhalb eines vorbestimmten Schwellwertbereiches liegt. Besonders lange, annähernd waagerechte Linien repräsentieren Auflageflächen in den Regalen, beziehungsweise deren vordere Kanten, dazu existieren ebenfalls lange senkrechte Linien. Die Zusammenfassung dieser Linien bildet ein Raster 23, welches in Fig. 5 mit dicken Linien dargestellt ist. Dieses Raster wird mit einem digitalen Modell des Regals gematcht, so dass nur die relevanten Konturen verbleiben.Image processing device processed so that a preferably subpixelinterpoliertes and attributed contour image is formed. In particular, this processing can take place in the image segmentation unit 6 of the image processing apparatus 3 according to FIG. The contour image with contours 15 generated from the photograph shown in FIG. 3 is shown in FIG. 4. In this contour image, a general search is first made for digital paths whose inclination to the horizontal is within a predetermined threshold range. Especially long, approximately horizontal lines represent bearing surfaces in the shelves, or their front edges, to which also long vertical lines exist. The summary of these lines forms a grid 23, which is shown in FIG. 5 with thick lines. This grid is matched with a digital model of the shelf so that only the relevant contours remain.

Falls keine Rasterstrukturen entsprechend einem oder mehreren vordefinierten Modellen gefunden werden, dann wird das jeweilige Bild verworfen. Dies ist insbesondere dann der Fall, wenn die Aufnahmeparameter ungünstig fokussiert sind, oder wenn sich kein geeignetes Objekt im Gesichtsfeld befindet.If no raster structures corresponding to one or more predefined models are found, then the respective image is discarded. This is especially the case when the acquisition parameters are unfavorably focused or when there is no suitable object in the field of view.

Die Rasterelemente werden, wie in Fig. 5 gezeigt, zweidimensional nummeriert, z.B. zeigen AO, Al, A2, A3,..., Bl, B2, B3, ... horizontale Rasterelemente. Die Teilung mit vertikalen Rasterelementen erfolgt jeweils durch digitale Strecken zwischen zwei benachbarten horizontalen Rasterelementen. Für die Trennung der Fächer wird die Position der durch den Suchauftrag beschriebenen Label 19, typischerweise durch Preise gekennzeichnet, verwendet. Wie anhand von Fig. 5 zu erkennen ist, repräsentieren die Rasterelemente einzelne Ablagen oder Fächer des Regals.The raster elements are numbered two-dimensionally, as shown in Fig. 5, e.g. show AO, Al, A2, A3, ..., Bl, B2, B3, ... horizontal raster elements. The division with vertical raster elements takes place in each case by digital links between two adjacent horizontal raster elements. For the separation of the trays, the position of the label 19 described by the search order, typically indicated by prices, is used. As can be seen from FIG. 5, the grid elements represent individual shelves or compartments of the shelf.

Die Bilder weisen einen Überlappungsbereich auf. Wenn ein Zusammenhang zwischen zwei aufeinanderfolgenden Bildern, z.B. durch Korrelationsrechnung inklusive einerThe images have an overlap area. If a relationship between two consecutive images, e.g. by correlation calculation including one

Masstabskorrektur, festgestellt wird, erfolgt eine Vererbung der Nummerierung. Nach Bearbeitung einer Bildfolge, die ein vollständiges Regal oder eine Regalgruppe beschreibt, liegt nach diesem Verarbeitungsschritt ein einheitliches Raster vor. Das Raster liegt auf einer durch die Regalform festgelegten Oberfläche, damit ist dem Bildverarbeitungssystem eine Liste von exakt definierten Passpunkten (z.B. durch Länge und Höhe des Regals, Abstand der Regalböden, OCR- Schriftgröße etc.) bekannt. Durch Auswertung der Passpunkte wird die für jedes Fach unterschiedliche Parallaxe rechnerisch korrigiert, so dass normierte Messwerte für den Füllstand der Fächer, wie z.B. die freie Frontfläche (Fig.5) ermittelt werden können.Measure is corrected, there is an inheritance of the numbering. After processing an image sequence which describes a complete shelf or a shelf group, there is a uniform grid after this processing step. The Raster lies on a surface defined by the shelf shape, so the image processing system is a list of exactly defined control points known (eg, by length and height of the shelf, distance of the shelves, OCR font size, etc.). By evaluating the control points, the parallax, which is different for each compartment, is computationally corrected, so that normalized measured values for the level of the compartments, such as the free front surface (FIG. 5), can be determined.

Von jedem Raster ausgehend werden frei stehende Flächen 25, 26 in der Nähe der Rasterkontur gesucht, Fig. 4 und 5, die der Farbe der Regalflächen entsprechen. Die Flächen zeichnen sich auch durch eine vergleichsweise homogene Färb- oder Grauwertverteilung aus, so daß innerhalb der Flächen 25, 26 keine oder nur wenige Konturen gefunden werden. Diese Flächen 25, 26 werden als Lücken bezeichnet. Die Flächen werden dann durch ihre umschreibenden Konturen und Zuordnung zur Rasterposition dargestellt. Als Zusatzinformation kann der Abstand zum nächstliegenden vertikalen Regalträger angegeben werden.Starting from each grid, free-standing surfaces 25, 26 are searched in the vicinity of the grid contour, FIGS. 4 and 5, which correspond to the color of the shelf surfaces. The surfaces are also characterized by a comparatively homogeneous color or gray scale distribution, so that within the surfaces 25, 26 no or only a few contours are found. These surfaces 25, 26 are referred to as gaps. The surfaces are then represented by their circumscribing contours and assignment to the grid position. As additional information, the distance to the nearest vertical shelf support can be specified.

Die Konturinformationen der Lücken 25, 26 werden dann nach Bedarf klassifiziert, von besonderer Bedeutung sind das Flächenmerkmal sowie die Breite der Lücke.The contour information of the gaps 25, 26 are then classified as needed, of particular importance are the area feature and the width of the gap.

Fig. 6 zeigt ein Schema einer Klassifizierung für die beiden in Fig. 4 und 5 gezeigten Flächen 25, 26. Den beiden Flächen 25, 26 wird ein Aufnahmezeitpunkt, hier beispielhaft 11:37 zugeordnet. Zudem wird eine Zuordnung zu den Rasterelementen vorgenommen. Demgemäß gehört die Fläche 25 zum Rasterelement AO und die Fläche 26 zum Rasterelement BO. Außerdem werden Koordinaten der Flächen ermittelt. Dazu können Ortskoordinaten und der Flächeninhalt gehören. Die Bearbeitung bis zu diesem Punkt kann, wie in Fig. 6 dargestellt, innerhalb der dezentralenFIG. 6 shows a scheme of a classification for the two surfaces 25, 26 shown in FIGS. 4 and 5. The two surfaces 25, 26 are assigned a recording time, in this example 11:37. In addition, an assignment to the grid elements is made. Accordingly, the surface 25 belongs to the grid element AO and the surface 26 to the grid element BO. In addition, coordinates of the surfaces are determined. This may include location coordinates and area. The processing up to this point can, as in Fig. 6 represented within the decentralized

Bildverarbeitungsvorrichtung 3 erfolgen. Die dergestalt vektorisierten Daten werden dann über die Netzwerkverbindung 9 weitergegeben. In der Recheneinrichtung, hier wieder beispielhaft einImage processing device 3 done. The vectorized data is then passed through the network connection 9. In the computing device, here again exemplary

Zentralrechner 10 erfolgt dann eine Weiterverarbeitung. Hierbei kann weitere Information über das Lager ("POS Know How") , sowie statistische Information einbezogen werden, die eine Identifizierung der Leerflächen erleichtert. Relevante Bilder können angefordert und gefiltert werden.Central computer 10 is then a further processing. In this case, further information about the warehouse ("POS Know How"), as well as statistical information can be included, which facilitates the identification of empty spaces. Relevant pictures can be requested and filtered.

Ein weiteres Ausführungsbeispiel der Struktur einer erfindungsgemäßen Überwachungseinrichtung ist in Fig. 7 gezeigt. Die von einer digitalen Farbkamera 14 mit Linse 17 gelieferten Daten werden von einem Konturpunktprozessor FEX der Bildsegmentierungseinheit 6 verarbeitet und anschließend zu verketteten Konturen verknüpft. Die so generierten Konturen werden vorzugsweise durch die Hardware des FEX, beziehungsweise der Bildsegmentierungseinheit 6 mit einer Krümmungsanalyse (Curvature analysis) vektorisiert . Es entsteht vom gesamten Bild eine Liste mit digitalen Strecken- und Kreiselementen. Diese Liste wird auf annähernd waagerechte, lange Linien sowie lange annähernd vertikale Linien durchsucht.Another embodiment of the structure of a monitoring device according to the invention is shown in FIG. The data supplied by a digital color camera 14 with lens 17 are processed by a contour point processor FEX of the image segmentation unit 6 and then linked to linked contours. The contours generated in this way are preferably vectorized by the hardware of the FEX or the image segmentation unit 6 with a curvature analysis. The result is a list of digital route and circle elements from the entire picture. This list is searched for approximately horizontal, long lines and long lines approximately vertical.

Anschließend erfolgt im integrierten Rechner der Bildsegmentierungseinheit 6 der Vergleich der extrahierten langen Linien mit dem Regalmodell und den Projektionsbedingungen, so dass real zueinander parallel bzw. senkrecht stehende Konturen, die mit dem Regalmodell korrespondieren, gefunden werden. Anschließend erfolgt durch Konturverarbeitung die Detektion der Label 19, indem in der Liste der Linien und Kreissegmente entsprechend dem Suchauftrag z.B. nach kleineren Rechtecken einer vorbestimmten Größe und Farbe sowie nach Ziffern, in einer durch den Suchauftrag vorbestimmten Region (diese sind beispielsweise je nach Regal immer in der Nähe der Regalböden) relativ zum Regalraster gesucht wird. Zusätzlich können die Lücken zwischen den Objekten direkt erkannt werden, wenn ein ausreichender Objektabstand vorhanden ist.Subsequently, in the integrated computer of the image segmentation unit 6, the comparison of the extracted long lines with the shelf model and the projection conditions is performed, so that real mutually parallel or perpendicular contours corresponding to the shelf model are found. Subsequently, by contour processing, the detection of the label 19, by in the list of lines and circle segments corresponding to the search order, for example, smaller rectangles of a predetermined size and color as well as numbers in a by the search order predetermined region (these are, for example, depending on the shelf always in the vicinity of the shelves) is searched relative to the shelf grid. In addition, the gaps between the objects can be recognized directly if there is sufficient object distance.

Wenn eine ausreichende Übereinstimmung mit dem Regalmodell gefunden wird, dann erfolgt die Indizierung bzw. Nummerierung des Rasters in zwei Koordinaten sowie der zugeordneten Lücken, andernfalls wird das Bild verworfen.If a sufficient match is found with the shelf model, then the indexing or numbering of the grid takes place in two coordinates and the associated gaps, otherwise the image is discarded.

Die Liste der gefunden Lücken und der Regalindizes (Nummern) wird fortlaufend an einen Zentralrechner (nicht in Fig. 7 gezeigt) über ein lokales Rechnernetzwerk 90 (LAN, drahtlose, drahtgebundene und/oder optische Übertragung) übertragen. In diesem Rechner werden sämtliche Daten von Kameras des Gesamtsystems, zu welchem noch zumindest eine weitere über das lokale Rechnernetzwerk 90 kommunizierende Bildverarbeitungseinrichtung 30 gehören kann, erfasst und zum Gesamtbild der Verkaufseinrichtung zusammengesetzt. Vorzugsweise werden die Daten in einem in der Frontansicht der Regale innerhalb des Suchauftrags definierten Koordinatensystem übertragen. Ein Datensatz eines Faches enthält vorzugsweise die Lage des Labels, ausgedrückt durch die Koordinaten im Raster (z.B. KameraNr., AO, Fach 5 , OCR=35.76 EUR, Lage der Lücken, freie Kontur, time stamp) , den soweit gefordert, gelesenem Inhalt des Labels (z.B. Preis), die Lage der Lücken und der Konturen der freien Regalfläche 25, 26, Fig. 5, und kann durch weitere Informationen nach Suchauftrag ergänzt werden.The list of found gaps and shelf indices (numbers) is continuously transmitted to a central computer (not shown in FIG. 7) via a local area computer network 90 (LAN, wireless, wired and / or optical transmission). In this computer, all the data from cameras of the overall system, to which at least one further image processing device 30 communicating via the local computer network 90 may belong, are detected and combined to form the overall image of the sales device. Preferably, the data is transmitted in a coordinate system defined in the front view of the shelves within the search job. A data record of a subject preferably contains the position of the label, expressed by the coordinates in the grid (eg camera no., AO, subject 5, OCR = 35.76 EUR, position of the gaps, free contour, time stamp), the contents of the read as far as required Labels (eg price), the location of the gaps and the contours of the free shelf space 25, 26, Fig. 5, and can be supplemented by further information by search order.

Die Zuordnung der Regalpositionen zum Lagerverwaltungssystem der Einrichtung erfolgt vorzugsweise durch teach-in. Hierzu werden die in jedem Regal vorhandenen gedruckten und gut lesbaren Preise auf den Labein verwendet. Diese Liste der so ermittelten Preise wird interaktiv mit dem Lagerverwaltungssystem auf dem Zentralrechner abgeglichen, so dass eine Korrespondenzliste der Artikelnummern und logische Regalpositionen entsteht, die bei Mehrdeutigkeiten durch Zusatzinformationen gegebenenfalls interaktiv ergänzt wird.The assignment of the shelf positions to the warehouse management system of the device is preferably carried out through teach-in. For this purpose, the printed and easy-to-read prices on each lab are used on the lab. This list of prices determined in this way is interactively reconciled with the warehouse management system on the central computer so that a correspondence list of the article numbers and logical shelf positions is created, which, if necessary, is supplemented interactively with ambiguity through additional information.

Die so verarbeiteten Informationen werden in einemThe information processed in this way will be in one

Regallayout grafisch dargestellt und an ein übergeordnetes Leitsystem ausgegeben, so dass eine Information über aktuelle Warenbewegungen entsteht und die Äquivalenz der im Warenwirtschaftssystem eingegebenen und tatsächlich ausgezeichneten Preise geprüft werden kann. Regallayout graphically displayed and output to a higher-level control system, so that information about current movements of goods arises and the equivalence of entered in the merchandise information system and actually priced awards can be checked.

Claims

Patentansprüche claims

1. Überwachungsvorrichtung, umfassend zumindest eine digitale Bildverarbeitungsvorrichtung, wobei dieA monitoring device comprising at least one digital image processing device, wherein the

Bildverarbeitungsvorrichtung einen oder mehrere Bildsensoren und eine oder mehrere Segmentierungseinheiten enthält, und wobei diese Bildverarbeitungsvorrichtung mit einer ersten Recheneinrichtung vernetzt ist, und wobei die Segmentierungseinheit zur Vorverarbeitung der Bildinformation eingerichtet ist, und wobei die Bildverarbeitungsvorrichtung eingerichtet ist, von der Segmentierungseinheit errechnete vektorisierte Information, insbesondere Objektgraphen an die Recheneinrichtung zu übertragen.Image processing device containing one or more image sensors and one or more segmentation units, and wherein this image processing device is networked with a first computing device, and wherein the segmentation unit is configured for preprocessing the image information, and wherein the image processing device is set, from the segmentation unit calculated vectorized information, in particular object graphs to transmit to the computing device.

2. Überwachungsvorrichtung gemäß dem vorstehenden Anspruch, dadurch gekennzeichnet, daß die Bildverarbeitungsvorrichtung eingerichtet ist, jeweils einen fest programmierten oder einen von der ersten Recheneinrichtung übertragenen Suchauftrags-Datensatz, umfassend erstens Regionen mit vorgegebener Bildstatistik, zweitens eine geometrische Beschreibung der Schwerpunkte der Regionen und drittens eine2. Monitoring device according to the preceding claim, characterized in that the image processing device is set up, each one permanently programmed or transmitted by the first computing requisition data set, comprising first regions with predetermined image statistics, secondly a geometric description of the centers of gravity of the regions and thirdly a

Prioritätsbeschreibung zu verarbeiten, und anschließend Bildausschnitte mit Objekten lokal zu speichern und abschließend einen Objektgraphen zu errechnen und diesen an die erste Recheneinrichtung zu übertragen.Priority description to process, and then to save image detail with objects locally and finally calculate an object graph and to transfer this to the first computing device.

3. Überwachungsvorrichtung gemäß dem vorstehenden Anspruch, dadurch gekennzeichnet, daß die Recheneinrichtung einen Zentralrechner oder mehrere miteinander vernetzte Rechner umfasst. 3. Monitoring device according to the preceding claim, characterized in that the computing device comprises a central computer or more interconnected computer.

4. Überwachungsvorrichtung gemäß einem der beiden vorstehenden Ansprüche, dadurch gekennzeichnet, daß der Suchauftrags-Datensatz Bildstatistik-Werte für zumindest eines der Attribute Farbe, Grauwertvarianz, Richtungen, Fläche enthält.4. Monitoring device according to one of the two preceding claims, characterized in that the search order record contains image statistics values for at least one of the attributes color, gray scale variance, directions, area.

5. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildverarbeitungsvorrichtung dazu eingerichtet ist, die Objektgraphen ergänzt durch Werte zu den5. Monitoring device according to one of the preceding claims, characterized in that the image processing device is adapted to the object graphs supplemented by values to the

Aufnahmebedingungen, Merkmalsvektoren, oder dem Aufnahmezeitpunkt an die erste Recheneinrichtung zu übertragen.Receive conditions, feature vectors, or the recording time to transmit to the first computing device.

6. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnnet durch ein Funknetz, LAN, oder optisches Netz zur Informationsübertragung zwischen der Bildverarbeitungsvorrichtung und der Recheneinrichtung .6. Monitoring device according to one of the preceding claims, characterized by a radio network, LAN, or optical network for information transmission between the image processing device and the computing device.

7. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, insbesondere zur Analyse des Lagerbestands oder Füllstands von Lagersystemen, umfassend zumindest eine Kamera mit einer zweiten Recheneinrichtung zur Auswertung der Bilddaten der Kamera, wobei die Recheneinrichtung mittels einer7. Monitoring device according to one of the preceding claims, in particular for analyzing the stock or level of storage systems, comprising at least one camera with a second computing device for evaluating the image data of the camera, wherein the computing means by means of a

Segmentierungseinrichtung ein attributiertes Konturbild erzeugt, und wobei die Recheneinrichtung dazu eingerichtet ist, im Konturbild eine Suche nach digitalen Strecken durchzuführen, welche dieSegmentierungseinrichtung generates an attributed contour image, and wherein the computing device is adapted to perform in the contour image, a search for digital routes, which the

Begrenzungen von Lagerflächen bilden, und wobei die Recheneinrichtung weiter dazu eingerichtet ist, an eine oder mehrere Begrenzungen angrenzende homogene Flächen, welche freie Lagerflächen repräsentieren, zu bestimmen. Forming boundaries of storage areas, and wherein the computing device is further configured to determine adjacent to one or more boundaries, homogeneous surfaces, which represent free storage areas.

8. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Schwenk- oder Dreheinrichtung zum Schwenken oder Drehen einer Kamera zur sukzessiven Erfassung mehrerer Umgebungsbereiche oder einen Multiplexer zum Umschalten einer Anzahl fest installierter Kameras, wobei eine Recheneinrichtung vorgesehen ist, welche zur Bestimmung von Konturen für jedes Bild aus der Lage langer annähernd paralleler digitaler Strecken und den Positionen von detektierten Labein, wie Preisschildern, ein Raster bildet und die Rasterinformationen benachbarter Bilder zu einem Gesamtraster zusammensetzt sowie die Länge frei sichtbaren Lagerflächen bestimmt und hieraus den Füllstand einer Warenposition berechnet.8. Monitoring device according to one of the preceding claims, characterized by a pivoting or rotating device for pivoting or rotating a camera for successively detecting a plurality of surrounding areas or a multiplexer for switching a number of permanently installed cameras, wherein a computing device is provided, which for determining contours for each image from the position of long approximately parallel digital stretches and the positions of detected labell such as price tags, forms a grid and the grid information of adjacent images to a total grid and determines the length of freely visible storage areas and calculates the level of a commodity position.

9. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die zumindest eine Bildverarbeitungsvorrichtung mehrere Bildaufnahmesensoren aufweist, die im Zeitmultiplex angesteuert werden.9. Monitoring device according to one of the preceding claims, characterized in that the at least one image processing device comprises a plurality of image sensor sensors which are driven in time division multiplex.

10. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildverarbeitungsvorrichtung lokale, insbesondere netzunabhängige Energieversorgungen, vorzugsweise mit Solarzellen aufweist.10. Monitoring device according to one of the preceding claims, characterized in that the image processing device has local, in particular network-independent power supplies, preferably with solar cells.

11. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Recheneinrichtung mit einer Einrichtung zur Ermittlung von Konturen, welche Konturpunkte mit Subpixel-Genauigkeit aus den Bilddaten errechnet.11. Monitoring device according to one of the preceding claims, characterized by a computing device with a device for determining contours, which calculates contour points with subpixel accuracy from the image data.

12. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten, welche zumindest eine integrierte Hardwareeinheit umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, und wobei die Bildverarbeitungsvorrichtung eine Recheneinheit aufweist, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und wobei in der integrierten Hardwareeinheit zumindest ein Klassifikator vorgesehen ist, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten12. Monitoring device according to one of the preceding claims, characterized by a device for Determination and processing of contour points, which comprises at least one integrated hardware unit configured to scan the data stored in the image memory of a digital image and to determine contour points with subpixel accuracy and store them as continuous list data in a memory, and wherein the image processing device has a computing unit, which is set up from the list data stored in the memory by means of an arithmetic unit to determine the connection probabilities between in each case two contour points taking into account the distance of the points from one another, and wherein at least one classifier is provided in the integrated hardware unit, which subset of at least amounts of calculated connection probabilities three connection probabilities for possible connections between at least three adjacent contour points, one of which is a previously determined central contour point, selects and f r each subset sorted those adjacent to the central contour point contour point of a possible link with the lowest

Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen.Has connection probability to an adjacent contour point, unless the connection connects two points adjacent to the central point and then enters the non-sorted contour points with connectors in a contour point list, which identify the remaining connections to the central point.

13. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Recheneinrichtung, welche dazu eingerichtet ist, anhand von aus den Bilddaten bestimmten Konturen solche Konturen, vorzugsweise anhand ihrer Länge, sowie zu diesen Konturen senkrecht verlaufende Konturen herauszufiltern, welche Auflageflächen, beziehungsweise deren Kanten und Kanten vertikaler Strukturen eines Regals repräsentieren, und wobei die Recheneinrichtung dazu eingerichtet ist, die Übereinstimmung eines mit diesen Konturen gebildeten Rasters mit einem digitalen Modell des Regals zu prüfen.13. Monitoring device according to one of the preceding claims, characterized by a computing device, which is set up on the basis of contours determined from the image data such contours, preferably on the basis of their length, as well as to these Contours out vertically extending contours, which support surfaces, or their edges and edges represent vertical structures of a shelf, and wherein the computing device is adapted to check the consistency of a grid formed with these contours with a digital model of the shelf.

14. Überwachungsvorrichtung gemäß dem vorstehenden Anspruch, dadurch gekennzeichnet, daß die an die14. Monitoring device according to the preceding claim, characterized in that the to the

Konturen der Kanten der Auflageflächen angrenzenden Flächen anhand der Farbe der Bildpunkte oder anhand der Homogenität der Grau- oder Farbwerte der Flächen von der Recheneinrichtung erkannt werden.Contours of the edges of the bearing surfaces adjacent surfaces on the basis of the color of the pixels or based on the homogeneity of the gray or color values of the surfaces are recognized by the computing device.

15. Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Einrichtung zum Lesen von Barcode- oder OCR Informationen auf Labein und einer Recheneinrichtung zum Zuordnen der Information der Label zu einem ermittelten Raster eines überwachten Lagers.15. Monitoring device according to one of the preceding claims, characterized by means for reading bar code or OCR information on Labein and a computing device for assigning the information of the label to a determined grid of a monitored warehouse.

16. Verfahren zur Überwachung von Verkaufs- Lager- oder Ablageflächen, durchführbar mittels einer Überwachungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welchem zumindest eine digitale Bildverarbeitungsvorrichtung mit einem oder mehreren Bildsensoren Bilder des Überwachungsbereichs aufnimmt, wobei die Bildverarbeitungsvorrichtung einen oder mehrere Segmentierungseinheiten enthält, und über ein Netz mit einer ersten Recheneinrichtung kommuniziert, und wobei die Segmentierungseinheit eine Vorverarbeitung der Bildinformation vornimmt, und wobei die Bildverarbeitungsvorrichtung die von den Segmentierungseinheiten errechnete vektorisierte Information, insbesondere Objektgraphen an die Recheneinrichtung über das Netz überträgt.16. A method for monitoring sales or storage areas, feasible by means of a monitoring device according to one of the preceding claims, in which at least one digital image processing device with one or more image sensors takes pictures of the monitored area, wherein the image processing device includes one or more segmentation units, and a network communicates with a first computing device, and wherein the segmentation unit performs a preprocessing of the image information, and wherein the image processing device calculates the vectorized ones calculated by the segmentation units Information, in particular object graphs to the computing device via the network transmits.

17. Verfahren gemäß dem vorstehenden Anspruch, bei welchem das Aufnehmen des Überwachungsbereichs in vorbestimmten Zeitabständen, zu einem durch eine Prognose bestimmten Zeitpunkt, oder auf eine Anforderung hin erfolgt, wobei die Anforderung durch ein von der Überwachungsvorrichtung erkanntes Ereignis ausgelöst wird. 17. A method according to the preceding claim, wherein the recording of the surveillance area occurs at predetermined time intervals, at a time determined by a prediction, or upon a request, wherein the request is triggered by an event detected by the monitoring device.