DE102018100187A1 - Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes - Google Patents

Abstract

Es wird ein Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen angegeben, das die nachfolgenden Schritte umfasst. Es wird eine Sequenz aus Bilddaten erzeugt, anschließend werden innerhalb dieser Sequenz aus Bilddaten Personen erkannt, daraufhin wird von diesen Personen jeweils ein ortsaufgelöstes Personengittermodell erzeugt, wobei jedem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet ist, anschließend wird anhand des ortsaufgelösten Personengittermodells ein Lagerungsprozess abgeleitet und zuletzt dieser Lagerungsprozess bewertet, wobei im Falle eines Fehllagerungsprozesses eine Signalisierung erfolgt.

A method is provided for monitoring store shelves on shelves for detecting mislaid processes, which comprises the following steps. It is generated a sequence of image data, then within this sequence of image data persons recognized, then each of these persons a spatially resolved person grid model is generated, each grid point of the person grid model is assigned a spatial coordinate, then using the spatially resolved person grid model derived a storage process and last this storage process is evaluated, with signaling being provided in the event of a mis-storage process.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen.The invention relates to a method and a device for monitoring storage work on shelves on work surfaces for detecting misalignment processes.

Wie aus dem allgemeinen Stand der Technik bekannt ist, werden im Rahmen der industriellen Fertigung beispielsweise in der Automobilindustrie in Logistikhallen, Teilelagern und Montagehallen Tätigkeiten durchgeführt, die im Wesentlichen auf die Entgegennahme von Waren, die Ein- und Auslagerung von Waren, die Kommissionierung von Waren sowie Versand bzw. weitere Verwendung von Waren umfassen.As is known from the general state of the art, in the industrial production, for example in the automotive industry, in logistics halls, parts warehouses and assembly halls, activities are carried out which are essentially based on the receipt of goods, the storage and retrieval of goods, the picking of goods as well as shipping or further use of goods.

Um einem Lagerist oder einem Werker die Auswahl an Teilen, die er zu einer Kommission zusammenzufassen hat, mitzuteilen, haben sich unterschiedliche Konzepte durchgesetzt. Häufig wird das sogenannte Pick by Voice- bzw. Put by Voice-Verfahren angewendet, bei dem dem Kommissionierenden über einen Kopfhörer Informationen zu den Lagerorten der zu entnehmenden oder der abzulegenden Teile sowie zu den Teilen selbst übermittelt werden. Da es sich bei diesem Verfahren um eine sogenannte beleglose Technik handelt, hat der Kommissionierer beide Hände für die Warenentnahme oder Warenzuführung frei. Daneben wird häufig das sogenannte Pick by Light-Verfahren bzw. Put to Light-Verfahren verwendet, das ebenfalls eine beleglose Kommissionierung ermöglicht, indem sie dem Beschäftigten über die an jedem Lagerfach angebrachten Lichtquellen den Entnahme- oder Zuführort des Artikels für den jeweiligen Auftrag anzeigt.To communicate to a warehouse operator or a worker the selection of parts that he has to combine into a commission, different concepts have prevailed. Frequently, the so-called pick by voice or put by voice method is used, in which the picking about a headphone information about the storage locations of the parts to be removed or to be transferred and the parts themselves are transmitted. Since this method is a so-called paperless technique, the order picker has both hands free for goods removal or goods delivery. In addition, the so-called pick-by-light method or put-to-light method is frequently used, which also enables paperless picking by indicating to the employee via the light sources attached to each storage compartment the removal or feed location of the article for the respective order.

Lagerarbeiten an Regalen, wie die Entnahme oder das Zuführen von Teilen in Regallagerplätze, sind hierbei nicht vollständig automatisierbar, so dass Bedienfehler durch das Personal entstehen können. Jeder Fehler bei der Durchführung von Lagerarbeiten, wie der Entnahme von falschen oder zu vielen Gegenständen oder der Zuführung von falschen oder zu vielen Teilen, führt zur einer fehlerhafter Auftragsausführung, was nachfolgend weitere Kosten verursachen kann.Storage work on shelves, such as the removal or feeding of parts in rack storage bins, can not be completely automated, so that operator errors may occur. Any mistakes made in carrying out warehouse operations, such as the removal of wrong or too many items, or the delivery of wrong or too many parts, will lead to a faulty order execution, which may subsequently result in additional costs.

Um sicherzustellen, dass ein Auftrag, also die Entnahme oder Zuführung eines Gegenstandes bearbeitet wurde, sind bereits mehrere Lösungsansätze vorgeschlagen worden.To ensure that an order, ie the removal or supply of an item has been processed, several solutions have already been proposed.

So zeigt die DE 10 2013 212 333 A1 ein Verfahren zur Überwachung einer Teileentnahme aus einem eine Vielzahl von Teileablageorten aufweisenden Teilebereitstellungssystems durch eine Bedienperson. Die Teileentnahme wird überwacht, indem mittels einer optischen oder sensorischen Abtasteinheit eine Handposition vor einem Teilebereitstellungssystem erkannt wird, und diese Handposition einem speziellen Teileablageort zugeordnet wird. Die Abtasteinheit ist zum Zwecke der Handerkennung und der gleichzeitigen Zuordnung zu einem Teileablageort oberhalb bzw. vor dem Teilebereitstellungssystem angeordnet.That's how it shows DE 10 2013 212 333 A1 a method for monitoring part removal from a part delivery system having a plurality of parts depositing places by an operator. The part removal is monitored by detecting a hand position in front of a parts delivery system by means of an optical or sensory scanning unit, and assigning that hand position to a particular parts depository. The scanning unit is arranged for the purpose of hand recognition and the simultaneous assignment to a part location above or before the parts delivery system.

Eine weitere Lösung mit der das Verhalten von Personen im Bereich von mit Gegenständen bestückten Regalen sowie die Entnahme von Gegenständen erkannt werden kann, wird in der DE 10 2005 011 523 A1 beschrieben. Das dort gezeigte Verfahren sieht vor, den horizontalen Bereich eines Regals mit einer Kamera, welche regelmäßig Bilder aufzeichnet, zu überwachen und Änderungen der Regalbefüllung zu erkennen. Demnach muss die Regalbefüllung durch die Kamera zu erkennen sein.Another solution for detecting the behavior of persons in the area of shelves equipped with objects and the removal of objects is described in US Pat DE 10 2005 011 523 A1 described. The method shown there provides for monitoring the horizontal area of a shelf with a camera, which regularly records images, and to detect changes to the shelf filling. Accordingly, the shelf filling must be recognized by the camera.

Eine Lösung, bei der jedes Fach eines Regals einzeln überwacht wird, ist in der US 8,073,562 B2 gezeigt. Das dort vorgeschlagene System sieht vor, dass ein Eingriff in ein Fach mit einem passiven Wärmesensor oder durch die Änderung eines Magnetfeldes im Bereich eines Fachs erkannt wird. Neben der Detektionsfunktion umfasst das System eine Anzeigefunktion, mittels derer ein Fach angezeigt wird, aus welchem ein Kommissionierer einen Gegenstand zu entnehmen hat. Ferner umfasst das System eine Rückmeldungseinrichtung, die dem Kommissionierer signalisiert, ob er in das richtige oder in das falsche Fach eingegriffen hat.One solution in which each compartment of a shelf is individually monitored is in the US 8,073,562 B2 shown. The proposed system provides that an intervention in a compartment with a passive thermal sensor or by the change of a magnetic field in the area of a compartment is detected. In addition to the detection function, the system includes a display function, by means of which a compartment is displayed from which a picker has to take an item. Furthermore, the system includes a feedback device that signals to the order picker, whether he has intervened in the right or in the wrong subject.

Ausgehend von diesem Stand der Technik hat sich der Erfinder nun die Aufgabe gestellt, ein Verfahren anzugeben, mit dem es möglich ist, eine Überwachung von Lagerarbeiten, wie die Entnahme oder die Zuführung von Gegenständen in Regale weiter zu verbessern.Based on this prior art, the inventor has now taken on the task of providing a method with which it is possible to improve monitoring of storage operations, such as the removal or the supply of items in shelves on.

Diese Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der Unteransprüche. Diese können in technologisch sinnvoller Weise miteinander kombiniert werden. Die Beschreibung, insbesondere im Zusammenhang mit der Zeichnung, charakterisiert und spezifiziert die Erfindung zusätzlich.This object is solved by the features of claim 1. Further advantageous embodiments of the invention are each the subject of the dependent claims. These can be combined in a technologically meaningful way. The description, in particular in conjunction with the drawing, additionally characterizes and specifies the invention.

Gemäß der Erfindung wird ein Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen angegeben, das die nachfolgenden Schritte umfasst. Es wird eine Sequenz aus Bilddaten erzeugt, anschließend werden innerhalb dieser Sequenz aus Bilddaten Personen erkannt, daraufhin wird von diesen Personen jeweils ein ortsaufgelöstes Personengittermodell erzeugt, wobei jedem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet ist, anschließend wird anhand des ortsaufgelösten Personengittermodells ein Lagerungsprozess abgeleitet und zuletzt dieser Lagerungsprozess bewertet, wobei im Falle eines Fehllagerungsprozesses eine Signalisierung erfolgt.According to the invention, a method is provided for monitoring storage work on shelves on working surfaces for detecting mis-storage processes, which comprises the subsequent steps. It is generated a sequence of image data, then within this sequence of image data persons recognized, then each of these persons a spatially resolved person grid model is generated, each grid point of the person grid model is assigned a spatial coordinate, then using the spatially resolved person grid model Derived storage process and last evaluated this storage process, which is in the case of a misplace process signaling.

Lagerarbeiten sind beispielsweise Kommissionieren, Verteilen, Umlagern, Einlagern oder Auslagern. Lagerprozesse sind in diesem Zusammenhang die Entnahme oder das Zuführen von Gegenständen in Regale bzw. in Fächer von Regalen. Die Beschreibung eines Regals steht an dieser Stelle stellvertretend für jedwede Lagermöglichkeit, beispielsweise Karussell-Lager, Fachbodenregale, Schränke, Schubladen, Doppelregal- oder Bodenplätze. Arbeitsflächen sind im Sinne dieser Erfindung beispielsweise an Montagelinien innerhalb von Fertigungshallen angrenzende Kleinteilelager, aus denen ein Werker Teile für eine Montage entnimmt, oder aber auch Logistikhallen sowie Versandhallen. Um einen Fehllagerungsprozess im Sinne dieser Anmeldung handelt es sich dann, wenn entweder ein falsches Teil einem Regal zugeführt wird oder aus einem Regal entnommen wird, oder ein Teil einem falschen Regal oder einem falschen Fach eines Regals entnommen oder zugeführt wird. Allgemeiner formuliert handelt es sich also dann um einen Fehllagerungsprozess, wenn Teil und Ort des Teils nicht zusammenpassen, wobei sich korrekte Kombinationen aus Teil und Ort aus einem Auftrag ergeben, der beispielsweise einer Lagerverwaltungssoftware entstammen kann. Die Bilddatensequenz kann entweder eine schnelle jedoch für einen menschlichen Betrachter nicht fließende Abfolge von Einzelbildern oder aber eine Filmsequenz sein.Warehouse operations include, for example, picking, distributing, repositioning, storing or retrieving. Warehousing processes in this context are the removal or feeding of objects in shelves or shelves of shelves. The description of a shelf at this point is representative of any storage facility, such as carousel storage, shelving shelves, cabinets, drawers, double shelf or ground seats. Working surfaces are within the meaning of this invention, for example, on assembly lines within production halls adjacent small parts warehouse, from which a worker removes parts for assembly, or even logistics halls and mailing halls. A mis-storage process in the sense of this application is when either a wrong part is supplied to a rack or taken from a shelf, or a part is removed or fed to a false shelf or a wrong compartment of a shelf. More generally, this is a misplace process if part and location of the part do not match, resulting in correct combinations of part and location from an order, such as may come from warehouse management software. The image data sequence may be either a fast sequence of still images not flowing to a human observer, or a movie sequence.

Die Erkennung von Personen innerhalb der Sequenz aus Bilddaten erfolgt anhand der typischen Körpermerkmale eines Menschen, wie beispielsweise Rumpf, Arme, Beine und Kopf. Ferner ist es möglich, einen Menschen dadurch zu erkennen, dass dieser sich auf der Arbeitsfläche bewegt, während der Hintergrund statisch bleibt. Darüber hinaus kann ein Mensch beispielsweise mittels einer Infrarotsignatur, also durch die Aufnahme von Bildsequenzen mit nicht für das menschliche Auge sichtbaren Wellenlängen, erkannt werden. Hilfreich ist es, bei der Erkennung von Personen auf den Bildern, wenn diese sich durch die Farbe ihrer Kleidung von der Umgebung bzw. dem Hintergrund möglichst stark unterscheiden. Diese Vorgehensweise ist an sich aus dem Stand der Technik bekannt.Recognizing people within the sequence of image data is based on the typical body features of a human, such as the trunk, arms, legs and head. Furthermore, it is possible to recognize a person by moving on the work surface while the background remains static. In addition, a person can be detected, for example, by means of an infrared signature, that is to say by recording image sequences with wavelengths that are not visible to the human eye. It is helpful in recognizing people in the pictures, if they differ as much as possible from the environment or the background by the color of their clothing. This procedure is known per se from the prior art.

Nachdem eine oder mehrere Personen auf den Bildern erkannt wurden, wird ein ortsaufgelöstes Gittermodell jeweils einer Person erstellt. Das Gittermodell kann beispielsweise so angelegt werden, dass Gelenke des menschlichen Körpers, wie Schulter, Ellenbogen, Hüfte, Knie oder Sprunggelenk jeweils einen Gitterpunkt darstellen, wobei die Gitterpunkte mit Kanten verbunden sein können, sodass diese als zusammenhängend bzw. benachbart liegend dargestellt werden können. Möglich ist es jedoch auch, weitere Gitterpunkte, die nicht mit Gelenken assoziiert sind, zu erzeugen, um ein möglichst detailgetreues Abbild einer Person zu erzeugen. In jedem Falle ist einem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet. Die Raumkoordinate beschreibt dabei die Position eines einzelnen Gitterpunktes im Raum, vorzugsweise in drei Dimensionen. Da aus den Bilddaten für jeweils eine Person ein eigenes Gittermodell angelegt wird, handelt es sich bei den Gittermodellen mehrerer Personen um disjunkte Punktmengen. Die Ortsauflösung des Personengittermodells bezieht sich einerseits darauf, dass jedem Gitterpunkt eine Raumkoordinate zugeordnet ist, aber auch darauf, dass die Position einer Person anhand des Personengittermodells im Raum bestimmbar ist.After one or more people have been recognized on the images, a spatially resolved grid model is created for each person. For example, the grid model may be designed such that joints of the human body, such as shoulder, elbow, hip, knee or ankle, each represent a grid point, the grid points may be connected with edges, so that they can be represented as contiguous. However, it is also possible to generate additional grid points that are not associated with joints in order to produce the most detailed image possible of a person. In any case, a space coordinate is assigned to a grid point of the person grid model. The spatial coordinate describes the position of a single grid point in space, preferably in three dimensions. Since a separate grid model is created for each person from the image data, the grid models of several persons are disjoint sets of points. On the one hand, the spatial resolution of the person grid model relates to the fact that each grid point is assigned a spatial coordinate, but also that the position of a person can be determined using the person grid model in the room.

Die Ableitung eines Lagerungsprozesses kann nun erfindungsgemäß dadurch erfolgen, dass erkannt wird, dass sich eine Person besonders nahe an einem Regal befindet. Ebenso kann ein Lagerungsprozess, also das Einlagern oder Entnehmen von Gegenständen, an der Körperhaltung der Person abgeleitet werden. Soll z. B. ein Teil aus einem Fach entnommen werden, das sich über der Kopfhöhe der Person befindet, so kann anhand des nach oben Streckens der Arme, bzw. auf das Gittermodell übertragen, daran, dass sich die Gitterpunkte des Arms oberhalb des Gitterpunktes des Kopfes befinden, ein Lagerungsprozess abgeleitet werden.The derivation of a storage process can now be carried out according to the invention by recognizing that a person is particularly close to a shelf. Likewise, a storage process, ie the storage or removal of objects, can be derived from the posture of the person. Should z. For example, if a part is removed from a bin that is above the person's head height, it may be that the lattice points of the arm are above the lattice point of the head, based on the upward stretching of the arms, or on the lattice model to derive a storage process.

Bei der Bewertung des Lagerungsprozesses wird ermittelt, ob ein Lagerungsprozess an einem vorgesehenen Ort, also beispielsweise an einem vorgesehenen Fach, erfolgte. Sollte die Bewertung des Lagerungsprozesses ergeben, dass in ein falsches Regal eingegriffen wurde, so kann dieser Fehllagerungsprozess beispielsweise optisch mit einer Anzeigeeinheit oder einem Blinklicht oder akustisch mittels eines Horns oder aber auch haptisch mittels eines vibrierenden Armbandes signalisiert werden. Im Falle eines Fehllagerungsprozesses kann die Person aufgefordert werden, den Fehler zu korrigieren, was mittels eines Gittermodells der ganzen Person verfolgt werden kann. Insgesamt erfolgt die Überwachung von Lagerarbeiten anhand eines ortsaufgelösten Personengittermodells, sodass insbesondere zwischen unterschiedlichen Personen, die ihre Lagerarbeiten an gleichen Regalen oder gleichen Arbeitsflächen vollziehen, unterschieden werden kann.The assessment of the storage process determines whether a storage process took place at a designated location, such as a designated bin. If the evaluation of the storage process revealed that intervention in a wrong shelf, so this misplacement process can be signaled, for example, visually with a display unit or a flashing light or acoustically by means of a horn or haptically by means of a vibrating bracelet. In the case of a misplacement process, the person may be asked to correct the error, which can be tracked by a lattice model of the whole person. Overall, the monitoring of warehouse work is carried out using a spatially resolved person grid model, so that in particular between different people who perform their storage work on the same shelves or the same work surfaces, can be distinguished.

Demnach ist es möglich, Fehllagerungsprozesse genau einzelnen Kommissionieraufträgen zuzuordnen. Fehllagerungsprozesse verzögern die Kommissionierfolge dadurch, dass die Fehllagerung von einer Person, die den Fehler begangen hat, rückgängig gemacht werden muss. Bei einem automatisierten System, in dem mit dem Eingriff in ein Regal der Vollzug eines einzelnen Kommissionierauftrages verbunden ist, müssten also im Falle mehrerer Kommissionierer, die den gleichen Gegenstand zu entnehmen haben, alle einen Zeitaufschub für die Behebung der Fehlkommissionierung erhalten, wenn diese nicht einer einzelnen Person zugeordnet werden kann. Um in den Bilddaten herauszufinden, welche Person welchen Kommissionierauftrag bearbeitet, ist es möglich, die Personen initial diejenigen Gegenstände aus einem Regal entnehmen oder ablegen zu lassen, die einzigartig für einen jeweiligen Kommissionierauftrag sind.Accordingly, it is possible to assign misplacement processes to individual picking orders. Misplacement processes delay the picking sequence by having the misappropriation be reversed by a person who committed the error. In an automated system, in which the intervention in a shelf, the completion of a single order picking In the case of several order pickers, who have to remove the same item, all of them would then have to be given a time-out to rectify the miscounting, if this can not be assigned to a single person. In order to find out in the image data which person is processing which picking order, it is possible for the persons to initially remove or deposit those objects from a shelf which are unique to a respective picking order.

Gemäß einer Ausführungsform des Verfahrens wird der Lagerungsprozess mittels der Raumkoordinaten derjenigen Gitterpunkte eines Personengittermodells abgeleitet, die der Hand der Person entsprechen, von der das Personengittermodell erzeugt wurde.According to one embodiment of the method, the storage process is derived by means of the spatial coordinates of those grid points of a person grid model corresponding to the hand of the person from which the person grid model was created.

Demnach dient insbesondere die Handposition der Person, von der ein Personengittermodell erstellt wurde, dem Ableiten eines Lagerungsprozesses. Würde sich eine Person beispielsweise rückwärts gegen ein Regal lehnen und die Arme vor dem Körper verschränken, so wäre es anhand der Handposition der Person ausgeschlossen, dass diese eine Lagerarbeit durchführt. Außerdem ist es aufgrund des Personengittermodells von gesamten Personen möglich, beide Hände einer Person zu erkennen, sodass der gleichzeitige Eingriff in mehrere Lagerstätten erkannt werden kann. Abermals liegt der Vorteil des Gittermodells einer ganzen Person darin, dass bei zwei Personen, die nebeneinander vor einem Regal stehen und in dieses eingreifen, erkannt werden kann, welche Person in welches Fach eingreift, da das Gittermodell der Hand über Kanten mit dem Gittermodell der ganzen Person verbunden sein kann.Accordingly, in particular, the hand position of the person from whom a person grid model was created serves to derive a storage process. If, for example, a person were leaning backwards against a shelf and folding his arms in front of his body, it would have been ruled out on the basis of the person's hand position that he was carrying out a warehouse job. In addition, due to the personal grid model of all persons, it is possible to recognize both hands of one person, so that the simultaneous intervention in several deposits can be recognized. Again, the advantage of the lattice model of a whole person is that when two people standing side by side in front of a shelf and intervene in this, it can be recognized which person intervenes in which compartment, as the grid model of the hand over edges with the grid model of the whole Person can be connected.

Gemäß einer weiteren Ausführungsform des Verfahrens erfolgt die Bewertung des Lagerungsprozesses anhand der Raumkoordinaten der Gitterpunkte relativ zu einem Regal sowie anhand der relativen Lager der Gitterpunkte untereinander.According to a further embodiment of the method, the evaluation of the storage process takes place on the basis of the spatial coordinates of the grid points relative to a shelf and on the basis of the relative bearings of the grid points with one another.

Demnach erfolgt die Bewertung des Lagerungsprozesses zum einen dadurch, dass der Abstand zwischen einem Regal und den Gitterpunkten einer Person bestimmt werden kann und zum anderen dadurch, dass mittels der relativen Lage der Gitterpunkte untereinander anatomisch mögliche Bewegungen des Menschen abgebildet werden können. Beispielsweise kann sich aus der Lage der Gitterpunkte zu einem Regal und der relativen Lage der Gitterpunkte untereinander ergeben, dass ein bestimmtes Fach eines Regals aufgrund der sogenannten Greifgrenze nicht mehr erreicht werden kann und somit eine Entnahme von Gegenständen aus diesem Fach oder das Zuführen von Gegenständen in dieses Fach nicht möglich ist. Bei der Greifgrenze handelt es sich um die äußerste Stelle, die ein Mensch ohne Verrenkung erreichen kann, um einen Gegenstand zu greifen.Accordingly, the evaluation of the storage process takes place, on the one hand, in that the distance between a shelf and the grid points of a person can be determined, and, on the other hand, that anatomically possible movements of the person can be imaged by means of the relative position of the grid points. For example, from the position of the grid points to a shelf and the relative position of the grid points with each other result that a particular shelf of a shelf due to the so-called gripping limit can not be achieved and thus a removal of items from this compartment or the feeding of objects in this subject is not possible. The grip limit is the outermost point that a person can reach without dislocation to grasp an object.

Gemäß einer Ausführungsform der Erfindung umfasst das Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen zusätzlich neben Personen auch Objekte zu erkennen.According to one embodiment of the invention, the method for monitoring storage work on shelves on work surfaces for the detection of mis-storage processes additionally comprises not only persons but also objects.

Anhand eines Gesamtgittermodells ist es möglich, Lagerungsprozesse abzuleiten sowie diese zu bewerten. Demnach resultiert die Information, welches Objekt einem Regal entnommen oder zugeführt wurde nicht allein daraus, dass Lagerort und Objekt bereits vorher verknüpft sind, sondern auch aus der Erkennung des Objektes innerhalb der Bilddaten. Zusätzlich ermöglicht die Objekterkennung, dass auch die Anzahl der aus einem Regal entnommenen oder einem Regal zugeführten Objekten erkannt werden kann. Somit sind Fehllagerungsprozesse aufgrund zu vieler oder zu weniger zugeführter oder entnommener Teile ebenfalls ausgeschlossen. Zur genaueren Erkennung von Objekten, insbesondere dann, wenn diese klein sind, kann eine lagerstättenbezogene Objektgeometriedatenbank hinterlegt sein. Bei ähnlich großen sowie ähnlich geformten Gegenständen können also anhand des Ortes an dem der Gegenstand entnommen wurde, Teile die nicht an diesem Ort lagern, ausgeschlossen werden.Using an overall grid model, it is possible to derive storage processes as well as to evaluate them. Thus, the information as to which object was taken from a shelf or supplied is not due solely to the fact that the storage location and the object are already linked before, but also to the recognition of the object within the image data. In addition, the object recognition enables the number of objects removed from a shelf or supplied to a shelf to be detected. Thus, misalignment processes due to too many or less supplied or removed parts are also excluded. For a more accurate recognition of objects, in particular if they are small, a location-related object geometry database can be stored. In the case of similarly sized and similarly shaped objects, it is thus possible to exclude parts which are not stored at this location from the location at which the object was removed.

Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Bewertung des Lagerungsprozesses die nachfolgend aufgeführten Schritte. Zunächst wird ein Lagerungsauftrag, umfassend Informationen über einen Teileort, an dem ein Sollobjekt dem Lagerungsprozess zu unterziehen ist, empfangen, anschließend wird die Übereinstimmungswahrscheinlichkeit dafür bestimmt, dass der Ort eines erkannten Lagerungsprozesses mit dem beauftragten Teileort des den Lagerungsprozess zu unterziehenden Sollobjekts übereinstimmt und zuletzt wird ein Fehllagerungsprozess dann signalisiert, wenn die Übereinstimmungswahrscheinlichkeit von einem Bediener festlegbaren Schwellenwert unterschreitet.According to a further embodiment of the method, the evaluation of the storage process comprises the steps listed below. First, a storage job comprising information about a part location where a solar object is to be subjected to the storage process is received, then the match probability is determined that the location of a recognized storage process coincides with the ordered part location of the solar object to be subjected to the storage process and becomes last a misposition process is signaled when the match probability falls below an operator definable threshold.

Demnach ist aufgrund eines Lagerungsauftrages, der beispielsweise enthalten könnte, dass Teil A dem Fach B von Regal C zu entnehmen ist, bekannt, an welchem Ort genau ein Teil, das sogenannte Sollobjekt einem Lagerungsprozess zu unterziehen ist. Stimmt während eines erkannten Lagerungsprozesses der Ort an dem der Lagerungsprozess erkannt wurde nicht mit dem Ort überein, an dem laut Auftrag der Lagerungsprozess durchzuführen ist, erfolgt eine Signalisierung. Da es sich besonders bei engen Lagerflächen oder bei Regalen mit sehr schmalen Fächern häufig nicht eindeutig unterscheiden lässt, wo exakt der Lagerungsprozess durchgeführt wird, wird die Übereinstimmung als Wahrscheinlichkeit behandelt. Das bedeutet beispielsweise, dass wenn eine Person direkt vor einem Regal steht, die Durchführung eines Lagerungsprozesses bei denjenigen Fächern, die von der Standposition der Person aus erreichbar sind, eine Wahrscheinlichkeit >0 besitzt. Wird unter Bezugnahme auf eine vorgenannte Ausführungsform beispielsweise die Hand einer Person direkt vor einem Fach A erkannt und lässt es die relative Lage der Hand zu den anderen Gitterpunkten der Person zu, dass ein Eingriff in Fach A erfolgt und ist Fach A auch der laut Lagerungsauftrag vorgesehene Teileort, an dem ein Soll-Objekt den Lagerungsprozess zu unterziehen ist, so ist die Übereinstimmungswahrscheinlichkeit hoch. Lässt aber die relative Lage der Hand zu anderen Gitterpunkten derselben Person zu, dass diese statt in Fach A auch in ein anderes Fach eingreifen könnte, so ist die Übereinstimmungswahrscheinlichkeit niedriger. Der Schwellenwert könnte von einem Bediener, welcher beispielsweise der Leiter eines Logistikbereichs oder der Schichtführer einer Montagestraße sein könnte, anhand der ortsabhängigen Erfahrungswerte festgelegt werden. Stellt man beispielsweise fest, dass aufgrund der Geometrie eines Regals die Übereinstimmungswahrscheinlichkeit nur schwach differenziert ist, also eine Unterscheidung zwischen verschiedenen Fächern häufig fehl schlägt, so kann der Schwellenwert herabgesetzt werden, sodass Signalisierungen seltener und nur bei einer stärkeren Abweichung erfolgen.Thus, due to a storage order, which might include, for example, that part A the subject B from shelf C it can be seen, at which location exactly one part, the so-called solar object is to undergo a storage process. If, during a recognized storage process, the location at which the storage process was detected does not coincide with the location at which the storage process is to be carried out according to the order, signaling takes place. Since it is often not clearly distinguishable, especially in narrow storage areas or in shelves with very narrow compartments, exactly where the storage process is carried out, the match is treated as a probability. This means, for example, that if a person stands directly in front of a shelf, performing a storage process on those trays that are reachable from the person's standing position has a probability> 0. For example, referring to an aforementioned embodiment, a person's hand is directly in front of a subject A It recognizes and allows the relative position of the hand to the other lattice points of the person to be an intervention in subject A done and is tray A Also, according to the storage order provided part location at which a target object is to undergo the storage process, so the match probability is high. But allows the relative position of the hand to other lattice points of the same person that this instead of in subject A could intervene in another subject, the likelihood of matching is lower. The threshold value could be determined by an operator, who could be, for example, the manager of a logistics area or the shift operator of an assembly line, based on the location-dependent empirical values. For example, if one notes that due to the geometry of a shelf, the match probability is only weakly differentiated, ie a distinction between different subjects often fails, the threshold value can be lowered so that signaling occurs less frequently and only with a greater deviation.

Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Bewertung des Lagerungsprozesses zusätzlich die nachfolgenden Schritte. Zunächst wird ein Lagerungsauftrag umfassend Informationen über die Geometrie eines dem Lagerungsprozess zu unterziehenden Sollobjekts empfangen, anschließend wird die Übereinstimmungswahrscheinlichkeit dafür bestimmt, dass die Geometrie des Sollobjekts mit dem Istobjektgittermodell eines bei einem Lagerungsprozess erkannten Istobjekts übereinstimmt und zuletzt wird ein Fehllagerungsprozess signalisiert, wenn die Übereinstimmungswahrscheinlichkeit einen von einem Bediener festlegbaren Schwellenwert unterschreitet.According to a further embodiment of the method, the evaluation of the storage process additionally comprises the subsequent steps. First, a storage job is received including information about the geometry of a solar object to be subjected to the storage process, then the match probability is determined to match the geometry of the solar object with the actual object grid model of an actual object detected in a storage process, and finally a misposition process is signaled if the match probability is one falls below an operator definable threshold.

Demnach wird die Übereinstimmung zwischen der Geometrie eines Sollobjektes und dem Istgittermodell eines Objektes als Wahrscheinlichkeit behandelt. Stimmen diese in Form und Größe überein, so ist die Wahrscheinlichkeit dafür, dass es sich um das gemäß Lagerungsauftrag richtige Objekt handelt, hoch. Ferner kann unter Bezugnahme auf die vorgenannte Ausführungsform nicht nur die Wahrscheinlichkeit dafür bestimmt werden, dass ein Lagerungsprozess am richtigen Ort durchgeführt wird, sondern auch dafür, dass er bezogen auf das richtige Objekt, durchgeführt wird. Dies ist besonders dann vorteilhaft, wenn in einem Regalfach mehrere unterschiedliche Gegenstände lagern. Lagern unterschiedliche Gegenstände aber in unterschiedlichen Regalen, dann kann, wie bereits erwähnt, für einen entsprechenden Ort eine entsprechende Liste an Geometrien von Objekten bereitgestellt werden, sodass der Abgleich zwischen erkanntem Istobjekt und Sollobjekt aus einer kleineren Auswahl und somit effizienter stattfindet.Accordingly, the correspondence between the geometry of a sol object and the lattice model of an object is treated as a probability. If these match in shape and size, then the probability that this is the correct object according to the storage order is high. Further, referring to the aforementioned embodiment, not only the likelihood that a storage process is performed at the correct location but also that it is performed with respect to the correct object can be determined. This is particularly advantageous if stored in a shelf several different items. If different objects are stored on different shelves, then, as already mentioned, a corresponding list of geometries of objects can be provided for a corresponding location, so that the comparison between the recognized actual object and the solobject takes place from a smaller selection and thus more efficiently.

Gemäß einer weiteren Ausführungsform des Verfahrens kann aus der Sequenz von Bilddaten die Trajektorie einer Person auf der Arbeitsfläche ermittelt werden und anhand der Trajektorie ein bevorstehender Lagerungsprozess ermittelt werden.According to a further embodiment of the method, the trajectory of a person on the work surface can be determined from the sequence of image data, and an imminent storage process can be determined on the basis of the trajectory.

Einerseits steigert diese Ausführungsform die Genauigkeit bei der Ableitung von Lagerungsprozessen, da beispielsweise bereits anhand der Bewegung einer Person in Richtung eines Regals erkannt wird, dass ein Lagerungsprozess bevorsteht, andererseits ist aufgrund der Trajektorie der Person bekannt, wohin ein beispielsweise zuvor entnommenes Teil aus einem Regal gebracht wurde. So kann an Montagestraßen erkannt werden, ob die einen Montageauftrag entsprechenden Teile zum einen korrekt entnommen wurden und zum anderen, ob diese Teile dann auch an die entsprechende Montagestelle gebracht wurden. Darüber hinaus handelt es sich bei der Trajektorie um eine zusammenhängende Linie, die jeweils einer Person zugeordnet ist, sodass die Unterscheidung verschiedener Personen auf der Arbeitsfläche auch anhand der Trajektorie erfolgen kann.On the one hand, this embodiment increases the accuracy in the derivation of storage processes, since, for example, already recognized by the movement of a person in the direction of a shelf that a storage process is imminent, on the other hand is known due to the trajectory of the person, where, for example, previously removed part of a shelf was brought. Thus, it can be recognized on assembly lines whether the parts corresponding to an assembly order were correctly removed on the one hand and, on the other hand, whether these parts were then also brought to the corresponding mounting location. In addition, the trajectory is a connected line, which is assigned to a person, so that the differentiation of different people on the work surface can also be based on the trajectory.

Gemäß einer weiteren Ausführungsform des Verfahrens basiert die Erkennung von Personen und Objekten innerhalb der Sequenz aus Bilddaten und die Erkennung sowie Bewertung von Lagerungsprozessen auf einem maschinellen Lernverfahren, bei welchem durch einen Bediener während einer Lernsequenz bewusst korrekte Lagerungsprozesse sowie Fehllagerungsprozesse durchgeführt werden.According to a further embodiment of the method, the recognition of persons and objects within the sequence of image data and the recognition and evaluation of storage processes is based on a machine learning method in which an operator during a learning sequence consciously correct storage processes and misappropriation processes are performed.

Bei diesem auch als Labelungsprozess bekannten Verfahren, wir also zunächst eine Lernsequenz initiiert. Die Lernsequenz beinhaltet Anweisungen, die von einem Bediener an vorgegebenen Orten auf vorgegebene Art und Weise mit vorgegebenen Gegenständen durchzuführen sind. Beispielsweise könnte eine Anweisung an einen Bediener während des maschinellen Lernverfahrens lauten, dass der Bediener den Gegenstand A in das am weitesten links gelegene Fach eines Regales einzuräumen hat. Auf diese Weise würde erkannt werden, welche Geometrie der Gegenstand A aufweist, wo im Raum sich das am weitesten links gelegene Fach des Regals befindet, auf welchem Weg eine Person zu diesem Fach A kommt und welche Körperhaltung, also welche Form das Gittermodell der Person einnimmt. Unter Bezugnahme auf vorgenannten Ausführungsformen, kann der Lernprozess auch beinhalten, dass eine Person mit ihrer Hand beispielsweise die Grenzen eines Regalfachs abfährt, sodass bei der späteren Erkennung eines Lagerungsprozesses die Wahrscheinlichkeit dafür bestimmt werden kann, dass ein Gegenstand in das zuvor vermessene Fach abgelegt wird.In this method, also known as the labeling process, we therefore first initiate a learning sequence. The learning sequence includes instructions to be performed by an operator at predetermined locations in a predetermined manner with predetermined objects. For example, an instruction to an operator during the machine learning procedure could be that the operator is viewing the item A in the leftmost compartment of a shelf. In this way it would be recognized which geometry of the object A where in the room is the leftmost compartment of the shelf, on which way a person to this compartment A comes and what posture, so what shape the grid model of the person occupies. With reference to the aforementioned embodiments, the learning process may also include that a person with their hand, for example, the Limits of a shelf drains, so that the later detection of a storage process, the probability can be determined that an object is placed in the previously measured compartment.

Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von einer bestimmbaren Position der Arbeitsfläche aus erzeugt, sodass die aus den Bildern erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells Absolutkoordinaten sind.According to a further embodiment of the method, the sequence of image data is generated from a determinable position of the work surface so that the spatial coordinates of the grid points of the grid model generated from the images are absolute coordinates.

Dementsprechend ist der Punkt von dem aus die Sequenz von Bilddaten erzeugt wird, bekannt, sodass ein beliebiger anderer Punkt des Raumes als Koordinatenursprung angegeben werden kann. Die Erfassung der Raumkoordinaten der Gitterpunkte als Absolutkoordinaten ist besonders in Bereichen, deren Aufteilung sich nicht ändert, sinnvoll. Eine bestimmbare Position im Sinne dieser Erfindung zeichnet sich dadurch aus, dass die Position, von der aus die Bildsequenz generiert wurde, bekannt ist. Beispielsweise kann die Position, von der aus eine Bildsequenz erzeugt wird, einmalig erfasst und dauerhaft hinterlegt werden oder die Position, von der aus die Bilddaten generiert werden, ändert sich stetig, sodass diese Position stets neu bestimmt werden muss. Demnach ist es möglich, die Raumkoordinaten der Gitterpunkte des Gittermodells auch dann als Absolutkoordinaten anzugeben, wenn sich die Position, von der aus eine Sequenz von Bildern erzeugt wurde, während einer Sequenz oder zwischen mehreren Sequenzen geändert hat.Accordingly, the point from which the sequence of image data is generated is known, so that any other point in the space can be given as the coordinate origin. The acquisition of the spatial coordinates of the grid points as absolute coordinates is particularly useful in areas whose distribution does not change. A determinable position in the sense of this invention is characterized in that the position from which the image sequence was generated is known. For example, the position from which an image sequence is generated can be recorded once and stored permanently, or the position from which the image data is generated changes constantly, so that this position must always be redetermined. Accordingly, it is possible to specify the spatial coordinates of the grid points of the grid model as absolute coordinates even if the position from which a sequence of images was generated has changed during one sequence or between several sequences.

Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von einer nicht bestimmbaren Position der Arbeitsfläche aus erzeugt, sodass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodels Relativkoordinaten sind.According to a further embodiment of the method, the sequence of image data is generated from an indeterminable position of the work surface so that the spatial coordinates of the grid points of the grid model generated from the image data are relative coordinates.

Gegenüber der vorher genannten Ausführungsform des Verfahrens kann also für einen bestimmten Punkt im Raum nicht seine absolute Position in Absolutkoordinaten angegeben werden, sondern es ist nun möglich, die Position relativ zu dem Punkt, von dem aus die Sequenz von Bilddaten erzeugt wurde, anzugeben. Diese Ausführungsform eignet sich besonders dann, wenn der Punkt, von dem aus die Sequenz von Bilddaten erzeugt wird, in Bewegung ist, aber zwischen dem Punkt, von dem aus die Bilddaten erzeugt werden und einem zu überwachenden Bereich ein festes räumliches Verhältnis besteht, beispielsweise bei einem fahrbaren Regal.Compared with the aforementioned embodiment of the method, its absolute position in absolute coordinates can not therefore be specified for a specific point in space, but it is now possible to specify the position relative to the point from which the sequence of image data was generated. This embodiment is particularly suitable when the point from which the sequence of image data is generated is in motion, but between the point from which the image data is generated and a region to be monitored has a fixed spatial relationship, for example a mobile shelf.

In Gegenüberstellung der beiden zuletzt genannten Ausführungsformen des Verfahrens folgen nun zwei Ausführungsbeispiele. Für einen Kommissionierzug, der zwischen zwei Regalen eines Hochregallagers hin- und herfährt, wobei die Regale aus Sicht des Kommissionierzuges links und rechts raumhohe Abschlüsse bilden, sind die Positionen entlang der Hochregale aufgrund ihrer Symmetrie nicht, oder zumindest kaum, zu unterscheiden. Ebenfalls ist in einem solchen Szenario nicht zu unterscheiden, zwischen welchen beiden Hochregalen man sich befindet, also in welchem Gang.In comparison of the two last-mentioned embodiments of the method now follow two embodiments. For a picking train, which moves back and forth between two shelves of a high-bay warehouse, the shelves forming left and right floor-to-ceiling closures from the point of view of the picking train, the positions along the high shelves can not be distinguished, or at least hardly, due to their symmetry. Likewise, in such a scenario, it is indistinguishable between which two high shelves one is in, that is, in what gear.

Wird die Sequenz von Bilddaten von einem Punkt des Kommissionierzuges aus erzeugt, so bietet sich in diesem Szenario an, dass die aus den Bilddaten erzeugen Raumkoordinaten der Gitterpunkte des Gittermodells als Absolutkoordinaten angegeben werden. Folglich muss der Punkt im Raum, von dem aus die Sequenz von Bilddaten aufgezeichnet wurde, bekannt sein. Aufgrund der Ortsauflösung der erzeugten Gittermodelle, lassen sich dann alle weiteren Punkte des Raumes, die in der Sequenz von Bilddaten enthalten sind, ebenfalls in Absolutkoordinaten angeben.If the sequence of image data is generated from a point of the picking train, then it is appropriate in this scenario that the spatial coordinates of the grid points of the grid model that are generated from the image data are specified as absolute coordinates. Consequently, the point in the space from which the sequence of image data has been recorded must be known. Due to the spatial resolution of the generated grid models, then all other points of the space contained in the sequence of image data can also be given in absolute coordinates.

Handelt es sich nun, wie im folgenden zweiten Beispiel beschrieben, um ein fahrbares Regal, das beispielsweise entlang einer Fertigungslinie von Station zu Station gefahren wird, so bietet es sich an, dass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells als Relativkoordinaten angegeben werden. Der Grund hierfür liegt in diesem Beispiel daran, dass lediglich die Entnahme von Teilen aus dem fahrbaren Regal oder die Zuführung von Teilen in das fahrbare Regal erfasst werden sollen. An welchen Stationen entlang der Fertigungslinie diese Entnahmen oder Zuführungen erfolgten, ist in diesem Beispiel also ohne Bedeutung.If, as described in the following second example, it is a mobile shelf that is moved from station to station along an assembly line, for example, then it makes sense that the space coordinates of the grid points of the grid model generated from the image data are specified as relative coordinates , The reason for this in this example is that only the removal of parts from the mobile shelf or the supply of parts in the mobile shelf should be detected. At which stations along the production line these withdrawals or feeds were made is thus meaningless in this example.

Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von mehreren Positionen der Arbeitsfläche aus erzeugt.According to a further embodiment of the method, the sequence of image data is generated from a plurality of positions of the work surface.

Demnach ist es möglich, großflächige Arbeitsbereiche, die aufgrund ihrer Grö-βe mit Sequenzen von Bilddaten von nur einer Position aus, nicht überwacht werden können, flächendeckend zu überwachen. In diesem Zusammenhang ist es sinnvoll, dass sich die Sequenzen von Bilddaten unterschiedlicher Positionen zumindest berühren, sodass ein lückenloser Überwachungsbereich entsteht. Denkbar ist es aber auch, dass lediglich diejenigen Arbeitsflächen überwacht werden, auf denen die personalintensivste oder auch die meiste Arbeit ausgeführt wird, dass also bezogen auf die Gesamtfläche, einer Montagehalle Flächen übrig bleiben, die nicht überwacht werden. Besonders vorteilhaft ist es, wenn die Sequenzen von Bilddaten von mehreren Positionen der Arbeitsfläche aus erzeugt werden und sich dabei die Beobachtungsrichtungen schneiden. Beispielsweise ist es vorteilhaft, wenn für eine Arbeitsfläche, für die eine Überwachung von Lagerarbeiten an Regalen durchgeführt werden soll, aus zwei sich senkrecht schneidenden Beobachtungsrichtungen Sequenzen von Bilddaten aufgezeichnet werden. Mittels sich senkrecht schneidender Beobachtungsrichtungen ist es noch einfacher möglich, Personen zu unterscheiden, weil beispielsweise hintereinander stehende Personen, von denen aus nur einer Richtung betrachtet, eine Person die andere Person verdecken würde, besser getrennt erkannt werden können.Accordingly, it is possible to comprehensively monitor large-scale work areas, which can not be monitored due to their size with sequences of image data from only one position. In this context, it makes sense that the sequences of image data of different positions at least touch each other, so that a complete monitoring area is created. It is also conceivable, however, that only those work surfaces are monitored on which the most labor-intensive or even the most work is carried out, so that in relation to the total area, an assembly hall remains areas that are not monitored. It is particularly advantageous if the sequences of image data are generated from a plurality of positions of the work surface and the observation directions intersect. For example, it is advantageous if, for a work surface for which monitoring of storage work on shelves is to be carried out, two Sequences of image data are recorded in perpendicularly intersecting observation directions. By means of perpendicularly intersecting observation directions, it is even easier to differentiate persons, because, for example, persons standing one behind the other, from whom only one direction is viewed, one person would cover the other person, can be better separated.

Desweiteren wird eine Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen zur Durchführung eines der voran genannten Verfahren angegeben, umfassend eine Aufnahmeeinheit zur Erzeugung einer Sequenz von Bilddaten und einer Prozessoreinheit.Furthermore, a device for monitoring storage work on shelves on work surfaces for detecting misplacement processes for carrying out one of the aforementioned methods, comprising a recording unit for generating a sequence of image data and a processor unit.

Demnach wird die Sequenz von Bilddaten von einer Aufnahmeeinheit erzeugt, wobei mit einer Aufnahmeeinheit beispielsweise eine Kamera, ein optischer Sensor oder ein thermischer Sensor gemeint sein kann. Insbesondere eine Tiefenkamera oder ein Kinectsystem bieten sich als Aufnahmeeinheit an. Denkbar ist aber auch, dass eine Kombination aus mehreren Kameras oder Sensoren verwendet wird. Denkbar wäre beispielsweise eine Infrarotkamera mit einer Tiefenkamera zu kombinieren, sodass mittels der Infrarotkamera aufgrund von Körperwärme Personen besonders einfach erkannt werden können und mittels der Tiefenkamera Ortsangaben zu bestimmten Bildelementen erzeugt werden können. Eine besonders vorteilhafte Ausgestaltung sieht vor, dass mehrere Aufnahmeeinheiten zu einem Netzwerk verbunden werden und die Sequenzen von Bilddaten einer jeden Aufnahmeeinheit dieses Netzwerks an eine gemeinsame Prozessoreinheit übertragen werden können. Bei der Prozessoreinheit kann es sich beispielsweise um eine Recheneinheit mit zugeordneter Speichereinheit handeln. Denkbar ist auch, dass mehrere Recheneinheiten zu einem Rechencluster verbunden werden.Accordingly, the sequence of image data is generated by a recording unit, wherein with a recording unit, for example, a camera, an optical sensor or a thermal sensor may be meant. In particular, a depth camera or a Kinectsystem offer themselves as a recording unit. It is also conceivable that a combination of multiple cameras or sensors is used. It would be conceivable, for example, to combine an infrared camera with a depth camera, so that people can be recognized particularly easily by means of the infrared camera due to body heat and location information about specific picture elements can be generated by means of the depth camera. A particularly advantageous embodiment provides that a plurality of recording units are connected to a network and the sequences of image data of each recording unit of this network can be transmitted to a common processor unit. The processor unit may be, for example, an arithmetic unit with an associated memory unit. It is also conceivable that several computing units are connected to a computing cluster.

Gemäß einer weiteren Ausführungsform der Einrichtung umfasst diese eine Signaleinrichtung zum signalisieren von Fehllagerungsprozessen.According to a further embodiment of the device, this device comprises a signaling device for signaling misplacement processes.

Bei einer solchen Signaleinrichtung kann es sich beispielsweise um eine Blitzleuchte, ein Anzeigetableau, eine akustische Hupe oder um ein vibrierendes Armband handeln. Sinnvoll sind im Rahmen dieser Erfindung solche Signaleinrichtungen, die eine Person selektiv über Fehllagerungsprozesse informieren können. Beispielsweise wäre ein Anzeigetableau, das ein Fehllagerungsprozess mittels einer Leuchte anzeigt und aber auch gleichzeitig eine einer Person zuordenbaren Nummer anzeigt, vorstellbar.Such a signaling device may be, for example, a flashing light, a display panel, an acoustic horn or a vibrating bracelet. Useful in the context of this invention are such signaling devices that can selectively inform a person about misplace processes. For example, a display panel, which indicates a mispositioning process by means of a lamp and at the same time displays a number that can be assigned to a person, would be conceivable.

Gemäß einer weiteren Ausführungsform der Einrichtung umfasst diese eine Führungseinrichtung, mittels welcher eine Person zum korrekten Durchführen von Lagerungsprozessen angeleitet wird.According to a further embodiment of the device, this device comprises a guide device by means of which a person is instructed to correctly carry out storage processes.

Eine solche Führungseinrichtung kann beispielsweise eine an einem Fach eines Regals montierte Leuchte sein, die dann aufleuchtet, wenn in dieses Fach ein Teil zuzuführen oder zu entnehmen ist. Überdies eignet sich als Führungseinrichtung ein Beamer bzw. ein Laser, der einen Lichtstrahl auf ein Regal wirft, an dem ein Lagerungsprozess durchzuführen ist. Vorteilhaft könnte im Sinne dieser Erfindung sein, dass die von einem Beamer oder einem Laser auf ein Regal projizierte Lichtfarbe einer einzelnen Person bzw. einem einzelnen Auftrag, der von einer Person durchzuführen ist, zugeordnet werden kann.Such a guide means may for example be a luminaire mounted on a shelf of a shelf, which lights up when a part is to be supplied or removed in this compartment. Moreover, a beamer or a laser which throws a light beam onto a shelf on which a storage process is to be carried out is suitable as a guide device. For the purposes of this invention, it could be advantageous that the light color projected by a beamer or a laser onto a shelf can be assigned to a single person or a single task that is to be performed by a person.

Gemäß weiteren Ausführungsformen der Einrichtung ist diese entweder ortsfest an einer Arbeitsfläche oder auf einer fahrbaren Einheit montiert.According to further embodiments of the device this is either fixedly mounted on a work surface or on a mobile unit.

Beispielsweise könnte die Einrichtung an der Decke eines Arbeitsbereichs montiert sein und diesen Arbeitsbereich von oben überwachen. Ebenso ist es aber möglich, dass die Einrichtung an einer mobilen bzw. fahrbaren Einheit, wie einem Flurförderfahrzeug, einem Kommissionierfahrzeug oder einem Kommissionierzug, installiert ist. Bezugnehmend auf eines der vorher geschilderten Verfahren, ist es möglich, Raumkoordinaten als Absolutkoordinaten oder als Relativkoordinaten zu erfassen. Die Erfassung von Relativ- oder Absolutkoordinaten ist sowohl von einer ortsfesten Einrichtung als auch von einer fahrbaren Einrichtung aus möglich. Möchte man, dass die Raumkoordinaten der Gitterpunkte des Gittermodells Absolutkoordinaten sind, so muss bei der Erzeugung einer Sequenz von Bilddaten lediglich der Ort der Aufnahmeeinheit innerhalb des Raumes bzw. auf der zu überwachenden Fläche, bekannt sein.For example, the device could be mounted on the ceiling of a work area and monitor this work area from above. However, it is also possible that the device is installed on a mobile or mobile unit, such as an industrial truck, a picking vehicle or a picking train. Referring to one of the previously described methods, it is possible to detect spatial coordinates as absolute coordinates or as relative coordinates. The detection of relative or absolute coordinates is possible both from a fixed device and from a mobile device. If one wants the spatial coordinates of the grid points of the grid model to be absolute co-ordinates, then in generating a sequence of image data, only the location of the recording unit within the room or on the area to be monitored must be known.

Zudem wird ein Softwareprogrammprodukt angegeben, das für einen Prozessor lesbare Befehle enthält, die geeignet sind, eines der voran geschilderten Verfahren auszuführen.In addition, a software program product is provided which contains processor readable instructions adapted to perform any of the foregoing methods.

Eine weitere denkbare Ausgestaltung der Erfindung sieht vor, dass die Regale, an welchen Lagerungsprozesse ausgeführt werden, nicht oder nicht vollständig, auf der Sequenz von Bilddaten enthalten sein müssen.Another conceivable embodiment of the invention provides that the shelves on which storage processes are executed, not or not completely, must be contained on the sequence of image data.

Demnach ist es mit dem beschriebenen Verfahren sowie mit der beschriebenen Einrichtung möglich, anhand der Körperhaltung einer Person sowie anhand der Position der Person auch dann festzustellen, an welchem Regal oder an welchem Fach eines Regals ein Lagerungsprozess durchgeführt wurde selbst wenn das Regal nicht in der Sequenz von Bilddaten zu erkennen ist.Accordingly, it is possible with the described method as well as with the described device to determine from the posture of a person and on the basis of the position of the person on which shelf or on which tray of a shelf a storage process was performed even if the shelf is not in the sequence can be recognized from image data.

Nachfolgend werden einige Ausführungsbeispiele anhand der Zeichnungen näher erläutert. Es zeigen:

• 1 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und
• 2A weitere Verfahrensschritte des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und
• 2B eine vergrößerte Ansicht von Verfahrensschritten des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und
• 3A einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem eine Person erkannt wird, in schematischer Darstellung, und
• 3B einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem ein Lagerungsprozess abgeleitet wird, in schematischer Darstellung, und
• 4 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem ein Fehllagerungsprozess signalisiert wird, in schematischer Darstellung, und
• 5 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem eine Übereinstimmungswahrscheinlichkeit bestimmt wird, in schematischer Darstellung.

Hereinafter, some embodiments will be explained in more detail with reference to the drawings. Show it:

• 1 a step of the method according to the invention according to an embodiment in a schematic representation, and
• 2A further method steps of the inventive method according to an embodiment in a schematic representation, and
• 2 B an enlarged view of process steps of the inventive method according to an embodiment in a schematic representation, and
• 3A a method step of the inventive method according to an embodiment in which a person is recognized, in a schematic representation, and
• 3B a step of the method according to the invention according to an embodiment in which a storage process is derived, in a schematic representation, and
• 4 a step of the method according to the invention according to an embodiment in which a mispositioning process is signaled, in a schematic representation, and
• 5 a step of the method according to the invention according to an embodiment in which a match probability is determined, in a schematic representation.

In den Figuren sind gleiche oder funktional gleichwirkende Bauteile mit den gleichen Bezugszeichen versehen.In the figures, identical or functionally identical components are provided with the same reference numerals.

1 zeigt ein Verfahrensschritt eines erfindungsgemäßen Verfahrens, bei dem eine Sequenz SQ aus Bilddaten erzeugt wurde. Die Sequenz SQ zeigt dabei ein Einzelbild, welches entweder einer Folge von Einzelbildern oder einer Videoaufnahme entnommen wurde. Auf der Sequenz SQ zu sehen sind, eine erste Person PE1, eine zweite Person PE2, ein erstes Regal R1, ein zweites Regal R2 mit einem ersten Fach F1 und einer Signaleinrichtung SE. Der in der Sequenz SQ gezeigte Bereich ist ein Ausschnitt einer Arbeitsfläche AF, auf dem Lagerarbeiten an Regalen durchgeführt werden. Wie in 1 zu sehen ist, trägt die erste Person PE1 ein Objekt OB, wohingegen die zweite Person PE2 auf der Arbeitsfläche AF steht und beispielsweise auf einen Kommissionierauftrag wartet. Auch ist zu erkennen, dass die zweite Person PE2 mit dem Rücken zu den Regalen R1 und R2 steht, während die erste Person PE1 eine Körperhaltung einnimmt, bei der sie in Richtung des zweiten Regals R2 gerichtet ist. Bei einem nächsten aus Gründen der Übersichtlichkeit nicht dargestellten Verfahrensschritt, werden die Personen PE1 und PE2 innerhalb der Sequenz SQ aus Bilddaten erkannt. Diese Personenerkennung könnte beispielsweise auf einer gleichzeitig aufgenommenen Infrarotaufnahme basieren, bei der die Personen PE1 und PE2 gegenüber dem Hinter- und Vordergrund eine signifikante Wärmesignatur aufweisen, es wäre aber auch möglich, dass die Personen PE1 und PE2 entweder aufgrund ihrer Körperform, die für Menschen weitestgehend ähnlich ist oder aufgrund ihrer Bewegung auf der Arbeitsfläche AF erkannt werden. 1 shows a method step of a method according to the invention, in which a sequence SQ was generated from image data. The sequence SQ shows a single image, which was taken either a sequence of individual images or a video recording. On the sequence SQ to see a first person PE1 , a second person PE2 , a first shelf R1 , a second shelf R2 with a first compartment F1 and a signaling device SE , The one in the sequence SQ The area shown is a section of a work surface AF on which storage work is carried out on shelves. As in 1 is visible, carries the first person PE1 an object IF whereas the second person PE2 on the work surface AF and waits, for example, for a picking order. It can also be seen that the second person PE2 with his back to the shelves R1 and R2 stands while the first person PE1 adopt a posture in which they are in the direction of the second shelf R2 is directed. At a next process step, not shown for reasons of clarity, the persons PE1 and PE2 within the sequence SQ detected from image data. This person recognition could for example be based on a simultaneously recorded infrared image in which the persons PE1 and PE2 towards the background and foreground have a significant heat signature, but it would also be possible that the persons PE1 and PE2 either because of their body shape, which is largely similar to humans, or because of their movement on the work surface AF be recognized.

Bei einem in 2A gezeigten nächsten Schritt des erfindungsgemäßen Verfahrens, wurden aus den Personen, die innerhalb der Sequenz SQ aus Bilddaten der 1 erkannt wurden, ortsaufgelöste Personengittermodelle jeweils einer ganzen Person erzeugt, wobei jedem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet wurde. Die in 2A gestrichelt dargestellten Regale R1 und R2 dienen in der dargestellten Weise lediglich dem Verständnis. Dem erfindungsgemäßen Verfahren nach ist es nicht notwendig, auch von den Regalen digitale Modelle zu erzeugen, obwohl dies insbesondere im Rahmen der Objekterkennung innerhalb des erfindungsgemäßen Verfahrens denkbar und möglich wäre.At an in 2A shown next step of the method according to the invention, were selected from the persons that are within the sequence SQ from image data of 1 were detected, spatially resolved person grid models each generated a whole person, each grid point of the person grid model was assigned a spatial coordinate. In the 2A dashed lines shown shelves R1 and R2 serve in the manner shown only for the understanding. According to the method according to the invention, it is not necessary to also produce digital models from the shelves, although this would be conceivable and possible in particular within the scope of object recognition within the method according to the invention.

Die in 2A gezeigten Gittermodelle GM1 und GM2 der ersten Person PE1 und der zweiten Person PE2 weisen die Gemeinsamkeit auf, dass Gitterpunkte zum einen an Gelenkpositionen, wie Handgelenk, Ellenbogen, Hüfte, Knie und Sprunggelenk erzeugt wurden. Aufgrund der Körperform der ersten Person PE1 wurde bei dem ersten Personengittermodell GM1 die Kontur des Rumpfs ebenfalls in Form von Gitterpunkten nachgebildet. Ebenfalls wurden die Füße der Personen PE1 und PE2 in den Gittermodellen GM1 und GM2 dargestellt, weil diese im Rahmen des erfindungsgemäßen Verfahrens gut geeignet sind, um Lagerungsprozesse anhand der ortsaufgelösten Personengittermodelle abzuleiten. Ein solcher Lagerungsprozess wird in 2A am ersten Gittermodell GM1 erkannt. Indikatoren für einen Lagerungsprozess, im Sinne des erfindungsgemäßen Verfahrens, sind hierbei die folgenden. Das erste Gittermodell GM1 befindet sich nahe am zweiten Regal R2, verbunden mit dem Gittermodell GM1 wurde wie in 2B gezeigt, ein drittes Objektgittermodell GM3 eines Objekts OB erkannt. Die Vektoren, die die Schulter, die Ellenbogen sowie die Hände des ersten Gittermodells GM1 symbolisieren, bilden einen resultierenden Vektor, der auf die Position des ersten Fachs F1 am zweiten Regal R2 zeigen.In the 2A shown grid models GM1 and GM2 the first person PE1 and the second person PE2 have the common feature that lattice points were generated on the one hand to joint positions, such as wrist, elbow, hip, knee and ankle. Due to the body shape of the first person PE1 became at the first person grid model GM1 the contour of the fuselage is also modeled in the form of grid points. Also were the feet of the persons PE1 and PE2 in the grid models GM1 and GM2 shown because they are well suited in the context of the method according to the invention to derive storage processes using the spatially resolved person grid models. Such a storage process is in 2A on the first grid model GM1 recognized. Indicators for a storage process, in the sense of the method according to the invention, are the following. The first grid model GM1 is located near the second shelf R2 connected to the grid model GM1 was like in 2 B shown a third object grid model GM3 an object IF recognized. The vectors representing the shoulder, elbows and hands of the first lattice model GM1 symbolize, form a resulting vector that points to the position of the first subject F1 on the second shelf R2 demonstrate.

Die die Füße der ersten Person PE1 darstellenden Gitterpunkte des ersten Personengittermodells GM1 zeigen in Richtung des zweiten Regals R2. Ein Lagerungsprozess kann dagegen anhand des zweiten Personengittermodells GM2 der zweiten Person PE2 ausgeschlossen werden. Dies liegt beispielsweise daran, dass sich die Gitterpunkte des zweiten Personengittermodells GM2 zu weit von den Regalen R1 sowie R2 entfernt befinden, sodass es aufgrund der anatomisch möglichen Bewegungen eines Menschen nicht möglich ist, in ein Fach eines der beiden Regale R1 oder R2 einzugreifen. Außerdem zeigen die die Füße des zweiten Personengittermodells GM2 repräsentierenden Gitterpunkte weg von den Regalen R1 und R2, sodass erkannt wird, dass die zweite Person PE2, der das zweite Gittermodell GM2 zugeordnet wurde, mit dem Rücken zu den Regalen R1 und R2 steht, sodass aufgrund dieser Körperhaltung ein Lagerungsprozess ausgeschlossen wurde. Ferner wurde im direkten Umfeld der zweiten Person PE2, also dem zweiten Personengittermodell GM2 kein Objekt erkannt, sodass anzunehmen ist, dass die zweite Person PE2 auch innerhalb der nächsten Sequenzen aus Bilddaten für die abermals Personen erkannt werden und abermals Gittermodelle angelegt werden, keinen Lagerungsprozess durchführt. Dass die erste Person PE1 von der ein erstes Gittermodell GM1 angelegt wurde, tatsächlich einen Lagerungsprozess durchführt, nämlich das Zuführen des Objekts, für welches ein drittes Gittermodell GM3 angelegt wurde, ist in 2B gezeigt. Der Lagerungsprozess wurde daran erkannt, dass die Raumkoordinaten (x, y, z) einer erkannten Hand, in diesem Fall die rechte Hand der Person PE1, mit einer Menge an Koordinaten übereinstimmen, die dem ersten Fach F1 des zweiten Regals R2 zweifelsfrei zugeordnet wurden.The feet of the first person PE1 representing grid points of the first person grid model GM1 pointing in the direction of the second shelf R2 , In contrast, a storage process can be based on the second person grid model GM2 the second person PE2 be excluded. This For example, it is because the lattice points of the second person grid model GM2 too far from the shelves R1 such as R2 away, so that it is not possible due to the anatomically possible movements of a person, in a compartment of one of the two shelves R1 or R2 intervene. In addition, they show the feet of the second person grid model GM2 representing lattice points off the shelves R1 and R2 so that it is recognized that the second person PE2 who is the second grid model GM2 was assigned, with his back to the shelves R1 and R2 stands, so that due to this posture a storage process has been excluded. It was also in the immediate vicinity of the second person PE2 So the second person grid model GM2 no object detected, so it can be assumed that the second person PE2 also within the next sequences from image data for the again persons are recognized and again grid models are put on, does not carry out a storage process. That the first person PE1 from the a first grid model GM1 is actually performed a storage process, namely the feeding of the object, for which a third grid model GM3 was created is in 2 B shown. The storage process was recognized by the fact that the space coordinates ( x . y . z ) of a recognized hand, in this case the right hand of the person PE1 , agree with a lot of coordinates that the first subject F1 of the second shelf R2 were assigned without doubt.

Das Ablegen des Objekts OB durch die erste Person PE1 wurde anhand der entsprechenden Gittermodelle GM1 und GM3 in 2B erkannt. Der Grund für diese Feststellung liegt darin, dass die Gitterpunkte der Hände des ersten Personengittermodells GM1 nicht mehr mit den Gitterpunkten des Objektgittermodells GM3 verbunden sind, also die den Händen des Gittermodells GM1 am nächsten liegenden Gitterpunkte des Objektgittermodells GM3 einen in diesem Falle relativen Abstand (x', y', z') aufweisen. Der in 2A gezeigte Lagerungsprozess wurde im Rahmen des erfindungsgemäßen Verfahrens als korrekt bewertet, sodass eine Signalisierung mittels der in 1 gezeigten Signaleinrichtung SE nicht zu erfolgen hat.Dropping the object IF by the first person PE1 was based on the corresponding grid models GM1 and GM3 in 2 B recognized. The reason for this finding is that the grid points of the hands of the first person grid model GM1 no longer with the grid points of the object grid model GM3 are connected, so the hands of the grid model GM1 nearest grid points of the object grid model GM3 a relative distance in this case ( x ' . y ' . z ' ) respectively. The in 2A The storage process shown was evaluated as correct in the context of the method according to the invention, so that signaling by means of the in 1 shown signaling device SE does not have to be done.

Die Information, dass das Objekt OB von der ersten Person PE1 im ersten Fach F1 des zweiten Regals R2 abzulegen ist, könnte beispielsweise aus einem Lagerungsauftrag resultieren, der einen nicht gezeigten Prozessor einer Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen, übermittelt wurde. Der Prozessor hat also einen Sollzustand mit einem den Sequenzen von Bilddaten entnommenen Ist-Zustand verglichen und keinen Fehllagerungsprozess erkannt. Die in 1 gezeigte Sequenz SQ aus Bilddaten könnte beispielsweise von derselben Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen, der auch der genannte Prozessor angehört, mittels einer Aufnahmeeinheit zur Erzeugung einer Sequenz von Bilddaten erzeugt worden sein.The information that the object IF from the first person PE1 in the first subject F1 of the second shelf R2 could be, for example, could result from a storage order, which was transmitted to a processor, not shown, a device for monitoring storage work on shelves on work surfaces. The processor has thus compared a desired state with an actual state taken from the sequences of image data and has not detected a misplacement process. In the 1 shown sequence SQ For example, image data could be generated by the same facility to monitor shelves on desktops that also own the named processor by means of a capture unit for generating a sequence of image data.

Die Ableitung von Lagerungsprozessen anhand von ortsaufgelösten Personengittermodellen sind in einer anderen Situation in den 3A und 3B gezeigt. Dabei zeigt 3A eine Sequenz SQ von Bilddaten, auf denen eine Person PE ein drittes Regal R3 mit einem zweiten Fach F2 sowie eine Signaleinrichtung SE gezeigt sind, wobei die Sequenz aus Bilddaten so erzeugt wurde, dass die Aufnahmerichtung in Richtung einer Arbeitsfläche AF ausgerichtet ist. Die Person PE steht dabei neben der Seite des Regals R3, wobei von der Seite aus ein Eingriff in das Regal R3 nicht möglich ist. Die Arme der Person PE sind ausgestreckt, sodass die Unterarme zwischen Ellenbogen und Handgelenk die in Richtung der Fachöffnungen weisende Seite des Regals R3 berühren. Aus dieser Sequenz wurde im Rahmen des erfindungsgemäßen Verfahrens ein Personengittermodell erzeugt, welches in 3B gezeigt ist. An dieser Stelle sei nochmals darauf hingewiesen, dass der gestrichelt gezeichnete Umriss des Regals R3 lediglich dem Verständnis des Verfahrens dient. Aus den Konturen der Person PE wurde das Personengittermodell GM generiert. Wie bereits erwähnt, berühren die Unterarme der Person zwischen denjenigen Gitterpunkten, die Ellenbogen und Handgelenk repräsentieren, das Eck des Regals R3, an welchem dieses von der geschlossenen Seite hin zur geöffneten Frontseite mit den Fächern übergeht. Aufgrund der Bewegungsmöglichkeiten eines menschlichen Körpers ist ein Eingriff in das Fach F2 des Regals R3 nicht möglich, sodass obwohl die Person PE mit ausgestreckten Armen in Richtung des Fachs F2 zeigt, sowie sich die Hände der Person im direkten Bereich des Fachs F2 befinden, eine Lagerungstätigkeit nicht erkannt wurde bzw. erkannt wurde dass die Körperhaltung der Person einen Lagerungsprozess nicht zulässt. Es sei an dieser Stelle auf die 2A und 2B verwiesen, wo das Gittermodell GM1 eine sehr ähnliche Körperhaltung einnimmt, mit dem Unterschied, dass dort zum einen ein Objekt erkannt wurde und zum anderen aufgrund der Bewegungsmöglichkeiten des menschlichen Körpers ein Lagerungsprozess richtig erkannt wurde.The derivation of storage processes on the basis of spatially resolved person grid models are in another situation in the 3A and 3B shown. It shows 3A a sequence SQ of image data on which a person PE a third shelf R3 with a second compartment F2 and a signaling device SE are shown, wherein the sequence of image data has been generated so that the recording direction in the direction of a work surface AF is aligned. The person PE stands next to the side of the shelf R3 , from the side engaging in the shelf R3 not possible. The arms of the person PE are outstretched so that the forearms between the elbow and wrist are the side of the shelf facing the compartment openings R3 touch. From this sequence, a person grid model was generated in the context of the method according to the invention, which in 3B is shown. At this point it should again be noted that the dashed outline of the shelf R3 merely serves to understand the process. From the contours of the person PE became the person grid model GM generated. As mentioned earlier, the person's forearms between those grid points that represent the elbow and wrist touch the corner of the shelf R3 at which this passes from the closed side to the open front with the drawers. Due to the movement possibilities of a human body is an intervention in the subject F2 of the shelf R3 not possible, so although the person PE with outstretched arms in the direction of the subject F2 shows, as well as the person's hands in the direct area of the subject F2 a storage activity was not recognized or it was recognized that the posture of the person does not allow a storage process. It is at this point on the 2A and 2 B referenced where the grid model GM1 takes a very similar posture, with the difference that there on the one hand an object was recognized and on the other hand, due to the possibilities of movement of the human body, a storage process was recognized correctly.

4 zeigt ein weiteres Gittermodell GM einer Person, wobei sich diese Person dem Gittermodell GM nach zu urteilen, vor einer Position eines Regals mit den Fächern F3 und F4 gerade in Richtung des Fachs F3 mit den Armen nach oben erhoben streckt. Einer Prozessoreinheit einer Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen, mittels derer auch die in 4 gezeigte Sequenz aus Bilddaten aufgezeichnet wurde, wurde zuvor übermittelt, dass die Person, von der das Gittermodell GM erzeugt wurde, den Auftrag hat, aus Regalfach F4 des Regals einen Gegenstand zu entnehmen. Da sich aber aufgrund der Körperhaltung, der Handposition, und der Nähe zum Regal ergibt, dass die Person beabsichtigt, aus dem Fach F3 ein Objekt zu entnehmen, erfolgt eine Signalisierung mittels einer Signaleinrichtung SE. Diese Signalisierung zeigt einen Fehllagerungsprozess an. Möglich wäre es auch, dass diese Signalisierung erst dann erfolgt, wenn tatsächlich erkannt wurde, dass die Person, von der das Gittermodell GM in 4 angelegt wurde, tatsächlich ein Objekt aus dem Fach F3 entnommen hat, also einen Fehllagerungsprozess im Sinne des zuvor beschriebenen Auftrages durchgeführt hat. 4 shows another grid model GM a person, where this person is the grid model GM judging by a position of a shelf with the subjects F3 and F4 straight in the direction of the compartment F3 with arms raised upwards. A processor unit of a device for monitoring storage work on shelves on work surfaces, by means of which also the in 4 Sequence recorded from image data was previously transmitted that the person of the grid model GM was generated, the order has shelf F4 of the shelf to take an item. However, because of the posture, the hand position, and the proximity to the shelf, the person intends to leave the subject F3 To take an object, signaling is carried out by means of a signaling device SE. This signaling indicates a misplace process. It is also possible that this signaling takes place only when it was actually recognized that the person from whom the grid model GM in 4 was actually created an object from the subject F3 has taken, that has carried out a misplacement process in the sense of the order described above.

5 zeigt drei Gitterpunkte eines Personengittermodells, nämlich von unten nach oben aufgeführt: Schulter, Ellenbogen und Handgelenk, wobei die weiteren Gitterpunkte des gesamten Personengittermodells aus Übersichtlichkeitsgründen nicht dargestellt wurden. Die drei Gitterpunkte befinden sich an einem Ort einer Arbeitsfläche, von dem bekannt ist, dass sich dort ein Regal mit Fächern befindet. Einer Einrichtung zur Überwachung von Lagerarbeiten an Regalen, die die Sequenz aus Bilddaten aufgezeichnet hat, von der aus das Personengittermodell in 5 generiert wurde, hat einen nicht gezeigten digitalen Lagerungsauftrag empfangen und beurteilt nun anhand der Körperhaltung der Person, von der das Gittermodell, dessen drei Gitterpunkte für Hand, Ellenbogen und Schulter gezeigt sind, die Wahrscheinlichkeit eines Lagerungsprozesses, bezogen auf die unterschiedlichen Fächer des Regals. 5 shows three grid points of a person grid model, namely listed from bottom to top: shoulder, elbow and wrist, the other grid points of the entire staff grid model were not shown for clarity. The three lattice points are located at a location of a work surface that is known to have shelves with compartments. A device for monitoring warehouse work on shelves that has recorded the sequence of image data from which the person grid model in 5 was generated, has received a digital storage order, not shown, and now judges the likelihood of a storage process, based on the posture of the person of the grid model, the three grid points for hand, elbow and shoulder, based on the different subjects of the shelf.

Dabei ergibt sich aus der relativen Position der Gitterpunkte zueinander, dass die Person mit der höchsten Wahrscheinlichkeit P1 einen Lagerungsprozess an dem Fach vollzieht, vor dem sich das Handgelenk der Person befindet. Aufgrund der Bewegungsmöglichkeiten könnte aber mit einer Wahrscheinlichkeit P2 auch ein Eingriff in ein weiter links gelegenes oder in ein weiter rechts gelegenes Fach erfolgen. Für einen Eingriff in die Fächer, denen eine Wahrscheinlichkeit P2 zugeordnet wurde, müsste sich lediglich die Position des Handgelenks verändern, wobei die Positionen von Ellbogen und Schulter gleich bleiben könnten. Für einen in das mit der Wahrscheinlichkeit P3 gekennzeichnete Fach hingegen, müssten sich alle drei Gitterpunkte bezüglich ihrer Raumkoordinaten ändern, daher ist die Wahrscheinlichkeit P3 ebenso wie die Wahrscheinlichkeit P6 und P5 geringer als die Wahrscheinlichkeit P2. Noch geringer ist die Wahrscheinlichkeit P4, weil die Person beim vollständigen Ausstrecken des Armes zwar mit ihrer Hand vor das Fach käme, dem die Wahrscheinlichkeit P4 zugeordnet ist, jedoch ein Eingriff sowie die Entnahme eines Gegenstandes aus einem Fach, in das nicht eingesehen werden kann, unwahrscheinlich ist. Selbes gilt für die Fächer mit den Wahrscheinlichkeiten P8 und P9, wobei sich für Eingriffe in diese Fächer nicht nur eine Änderung der Raumkoordinaten von Schulter, Ellenbogen und Hand ergeben müsste, sondern auch der anderen nicht gezeigten Gitterpunkte des Personengittermodells. Die mit den Wahrscheinlichkeiten P7 gekennzeichneten obersten Fächer des Regals sind aufgrund der Größe der Person überhaupt nicht zu erreichen, sodass ein Eingriff in diese Fächer nahezu auszuschließen ist, sodass die Wahrscheinlichkeit P7 nahezu Null beträgt.It follows from the relative position of the grid points to each other that the person with the highest probability P1 carrying out a storage process on the subject in front of which the person's wrist is located. Because of the movement possibilities but could with a probability P2 an intervention in a further left or located in a far right tray done. For an intervention in the subjects who have a probability P2 only the position of the wrist would have to change, with the positions of the elbow and shoulder remaining the same. For one in the likelihood P3 On the other hand, if there is a marked compartment, all three grid points would have to change with respect to their space coordinates, so the probability is P3 as well as the probability P6 and P5 less than the probability P2 , Even less is the probability P4 because, with the arm fully extended, the person would come with his hand in front of the compartment, the probability P4 However, an intervention as well as the removal of an item from a tray in which can not be seen, is unlikely. The same applies to the subjects with the probabilities P8 and P9 , wherein for interventions in these subjects not only a change of the spatial coordinates of the shoulder, elbow and hand would have to result, but also the other not shown grid points of the person grid model. The ones with the probabilities P7 Due to the size of the person, the uppermost shelves of the shelf are not accessible at all, so that an intervention in these subjects is almost impossible, so that the probability P7 is almost zero.

Unter Bezugnahme auf die 2A und 3A soll nachfolgend ein maschinelles Lernverfahren für die Erkennung von Personen und Objekten innerhalb der Sequenz aus Bilddaten sowie das Erkennen und Bewerten von Lagerungsprozessen beschrieben werden. Während eines Lernverfahrens könnte der Person in 3A die Anweisung gegeben worden sein, dass diese mit ihren Händen die äußeren Umrandungen des Regals R3 abzufahren hat. Somit könnte aufgrund der erkannten Position der Hände bekannt sein, welche Menge an Raumkoordinaten den Rand des Regals repräsentieren, sodass alle innerhalb dieser Umrandung liegenden Punkte den Fächern des Regals R3 zugeordnet werden können. Würde die Person zusätzlich die Grenzen der einzelnen Fächer abfahren, wäre überdies bekannt, welche Raumkoordinaten welchem Fach zuzuordnen sind. Der Person, der das Gittermodell GM1 in 2A zugeordnet wurde, könnte im Rahmen eines maschinellen Lernverfahrens die Anweisung gegeben worden sein, dass diese das Objekt dessen Geometrie mit dem Gittermodell GM3 übereinstimmen, in das Fach F1 des Regals R2 einzuräumen hat.With reference to the 2A and 3A In the following, a machine learning method for the recognition of persons and objects within the sequence of image data as well as the recognition and evaluation of storage processes will be described. During a learning process, the person could be in 3A the instructions have been given that these with their hands the outer edges of the shelf R3 has to leave. Thus, due to the detected position of the hands, it could be known what amount of space coordinates represent the edge of the shelf, so that all points within this boundary are the shelves of the shelf R3 can be assigned. If the person additionally departed from the boundaries of the individual subjects, it would also be known which space coordinates can be assigned to which subject. The person using the grid model GM1 in 2A In the context of a machine learning procedure, the statement could have been given that this is the object whose geometry with the grid model GM3 agree, in the tray F1 of the shelf R2 has to grant.

Durch die Aufzeichnung dieses Lagerungsprozesses wäre im Rahmen des erfindungsgemäßen Verfahrens bekannt, wie die Geometrie des Objekts OB ausgedrückt durch die Raumkoordinaten des Gittermodells GM3 aussieht, welche Körperhaltung eine Person bei der Einlagerung eines Objekts in das Fach F1 des Regals R2 einnimmt, wo im Raum sich das Fach F1 des Regals R2 befindet und im Falle, dass sich die Person nicht ohnehin schon vor dem Regal R2 befand, welche Trajektorie, also Bewegung durch die überwachte Arbeitsfläche eingenommen wird, um einen Gegenstand in das Fach F1 des Regals R2 einzulagern.By recording this storage process would be known in the context of the method according to the invention, such as the geometry of the object IF expressed by the spatial coordinates of the grid model GM3 What body posture a person looks like when storing an object in the tray F1 of the shelf R2 occupies where in the room is the subject F1 of the shelf R2 located and in case that the person is not already in front of the shelf anyway R2 which trajectory, ie movement through the monitored work surface is occupied, to an object in the subject F1 of the shelf R2 store.

Die vorstehend und die in den Ansprüchen angegebenen sowie die den Abbildungen entnehmbaren Merkmale sind sowohl einzeln als auch in verschiedener Kombination vorteilhaft realisierbar. Die Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele beschränkt, sondern im Rahmen fachmännischen Könnens in mancherlei Weise abwandelbar.The features indicated above and in the claims, as well as the features which can be seen in the figures, can be implemented advantageously both individually and in various combinations. The invention is not limited to the exemplary embodiments described, but can be modified in many ways within the scope of expert knowledge.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 102013212333 A1 [0006]DE 102013212333 A1 [0006]
• DE 102005011523 A1 [0007]DE 102005011523 A1 [0007]
• US 8073562 B2 [0008]US8073562 B2 [0008]

Claims (17)

Verfahren zur Überwachung von Lagerarbeiten an einem Regal auf einer Arbeitsfläche, umfassend die Schritte: - Erzeugen einer Sequenz von Bilddaten, die einen Bereich oberhalb der Arbeitsfläche vor dem Regal überdeckt; - Erkennen von einer oder mehreren Personen aus der Sequenz von Bilddaten; - Zuordnen jeweils eines ortsaufgelösten Personengittermodells zu der oder den erkannten Personen, wobei das Personengittermodell Gitterpunkte mit jeweils einer Raumkoordinate umfasst; - Ableiten eines Lagerungsprozesses anhand des ortsaufgelösten Personengittermodells durch Erkennen eines Orts des Regaleingriffs anhand des Personengittermodells; und - Bewerten des Lagerungsprozesses und Signalisierung im Falle eines Feh llagerungsprozesses.Method for monitoring warehouse work on a shelf on a work surface, comprising the steps of: - generating a sequence of image data covering an area above the work surface in front of the shelf; - detecting one or more persons from the sequence of image data; Assigning in each case a spatially resolved person grid model to the identified person (s), the person grid model comprising grid points each having a spatial coordinate; - Deriving a storage process using the spatially resolved person grid model by detecting a location of the shelf intervention based on the person grid model; and - Assessment of the storage process and signaling in the event of a misalignment process. Verfahren nach Anspruch 1, bei dem der Lagerungsprozess mittels der Raumkoordinaten derjenigen Gitterpunkte des Personengittermodells abgeleitet wird, die der Hand der Person entsprechen, von der das Personengittermodell erzeugt wurde.Method according to Claim 1 in which the storage process is derived by means of the spatial coordinates of those grid points of the person grid model corresponding to the hand of the person from which the person grid model was created. Verfahren nach einem der Ansprüche 1 oder 2, bei dem die Bewertung des Lagerungsprozesses anhand der Raumkoordinaten der Gitterpunkte relativ zu dem Regal sowie anhand der relativen Lage der Gitterpunkte untereinander erfolgt.Method according to one of Claims 1 or 2 in which the evaluation of the storage process is based on the spatial coordinates of the grid points relative to the shelf and on the relative position of the grid points with each other. Verfahren nach einem der Ansprüche 1 bis 3, bei dem zusätzlich innerhalb der Sequenzen aus Bilddaten ein Istobjekt erkannt wird, dem ein ortsaufgelöstes Istobjektgittermodell mit Raumkoordinaten zugewiesenen Gitterpunkten zugeordnet wird, wobei nach einem Verknüpfen von ortsaufgelöstem Personengittermodell und ortsaufgelöstem Istobjektgittermodell zu einem ortsaufgelöstem Gesamtgittermodell ein Ableiten und Bewerten des Lagerungsprozesses anhand des ortsaufgelösten Gesamtgittermodells erfolgt.Method according to one of Claims 1 to 3 in which in addition within the sequences of image data, an actual object is detected, which is assigned a spatially resolved Istobjektgittermodell with space coordinates assigned grid points, wherein after linking spatially resolved person grid model and spatially resolved Istobjektgittermodell to a spatially resolved total grid model, deriving and assessing the storage process using the spatially resolved total grid model , Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Bewertung des Lagerungsprozesses anhand eines vorgegebenen Orts und/oder eines vorgegebenen Geometrie für ein Sollobjekt erfolgt.Method according to one of Claims 1 to 4 in which the evaluation of the storage process is based on a given location and / or geometry for a solar object. Verfahren nach Anspruch 5, bei dem darüber hinaus ein Bestimmen der Übereinstimmungswahrscheinlichkeit zwischen Ort und/oder Geometrie des Istobjekts zu dem Sollobjekt erfolgt, wobei ein Fehllagerungsprozess in Abhängigkeit eines festlegbaren Schwellenwerts signalisiert wird.Method according to Claim 5 in which, moreover, a determination of the match probability between location and / or geometry of the actual object to the solar object takes place, wherein a mispositioning process is signaled as a function of a definable threshold value. Verfahren nach einem der Ansprüche 1 bis 6, bei dem aus der Sequenz von Bilddaten die Trajektorie einer Person auf der Arbeitsfläche ermittelt und anhand der Trajektorie ein bevorstehender Lagerungsprozess ermittelt wird.Method according to one of Claims 1 to 6 in which the trajectory of a person on the work surface is determined from the sequence of image data and an imminent storage process is determined on the basis of the trajectory. Verfahren nach einem der Ansprüche 1 bis 7, bei dem die Erkennung von Personen und Objekten innerhalb der Sequenz aus Bilddaten und die Erkennung sowie Bewertung von Lagerungsprozessen auf einem maschinellen Lernverfahren basiert, bei welchem durch einen Bediener während einer Lernsequenz bewusst korrekte Lagerungsprozesse, sowie Fehllagerungsprozesse durchgeführt werden.Method according to one of Claims 1 to 7 in which the recognition of persons and objects within the sequence of image data and the recognition and evaluation of storage processes is based on a machine learning process in which an operator during a learning sequence deliberately correct storage processes, as well as misplace processes are performed. Verfahren nach einem der Ansprüche 1 bis 8, bei dem die Sequenz von Bilddaten von einer bestimmbaren Position der Arbeitsfläche aus erzeugt wird, sodass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells Absolutkoordinaten sind.Method according to one of Claims 1 to 8th in which the sequence of image data is generated from a determinable position of the work surface so that the space coordinates of the grid points of the grid model generated from the image data are absolute coordinates. Verfahren nach einem der Ansprüche 1 bis 8, bei dem die Sequenz von Bilddaten von einer nicht bestimmbaren Position der Arbeitsfläche aus erzeugt wird, sodass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells Relativkoordinaten sind.Method according to one of Claims 1 to 8th in which the sequence of image data is generated from an indeterminable position of the work surface so that the spatial coordinates of the grid points of the grid model generated from the image data are relative coordinates. Verfahren nach einem der Ansprüche 1 bis 10, bei dem die Sequenz von Bilddaten von mehreren Positionen der Arbeitsfläche aus erzeugt wird.Method according to one of Claims 1 to 10 in which the sequence of image data is generated from multiple positions of the work surface. Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen zur Durchführung eines der Verfahren 1 bis 11, umfassend eine Aufnahmeeinheit zur Erzeugung einer Sequenz von Bilddaten und eine Prozessoreinheit.Device for monitoring storage work on shelves for detection of mis-storage processes for carrying out one of the methods 1 to 11, comprising a recording unit for generating a sequence of image data and a processor unit. Einrichtung nach Anspruch 12, die eine Signaleinrichtung zum Signalisieren von Fehllagerungsprozessen umfasst.Setup after Claim 12 comprising a signaling device for signaling misplacement processes. Einrichtung nach einem der Ansprüche 12 bis 13, die eine Führungseinrichtung umfasst, mittels welcher eine Person zum korrekten durchführen von Lagerungsprozessen angeleitet wird.Furnishing according to one of the Claims 12 to 13 comprising a guide device by means of which a person is instructed to carry out storage processes correctly. Einrichtung nach einem der Ansprüche 12 bis 14, die ortsfest an einer Arbeitsfläche montiert ist.Furnishing according to one of the Claims 12 to 14 , which is fixedly mounted on a work surface. Einrichtung nach einem der Ansprüche 10 bis 14, die auf einer fahrbaren Einheit montiert ist.Furnishing according to one of the Claims 10 to 14 mounted on a mobile unit. Softwareprogrammprodukt, das für einen Prozessor lesbare Befehle enthält, die geeignet sind, ein Verfahren gemäß einem der Ansprüche 1 bis 11 auszuführen.A software program product containing processor readable instructions suitable for carrying out a method according to any one of Claims 1 to 11 perform.

Images