DE102018100187A1 - Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes - Google Patents
Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes Download PDFInfo
- Publication number
- DE102018100187A1 DE102018100187A1 DE102018100187.8A DE102018100187A DE102018100187A1 DE 102018100187 A1 DE102018100187 A1 DE 102018100187A1 DE 102018100187 A DE102018100187 A DE 102018100187A DE 102018100187 A1 DE102018100187 A1 DE 102018100187A1
- Authority
- DE
- Germany
- Prior art keywords
- person
- image data
- sequence
- grid model
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Mechanical Engineering (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Image Analysis (AREA)
Abstract
Es wird ein Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen angegeben, das die nachfolgenden Schritte umfasst. Es wird eine Sequenz aus Bilddaten erzeugt, anschließend werden innerhalb dieser Sequenz aus Bilddaten Personen erkannt, daraufhin wird von diesen Personen jeweils ein ortsaufgelöstes Personengittermodell erzeugt, wobei jedem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet ist, anschließend wird anhand des ortsaufgelösten Personengittermodells ein Lagerungsprozess abgeleitet und zuletzt dieser Lagerungsprozess bewertet, wobei im Falle eines Fehllagerungsprozesses eine Signalisierung erfolgt. A method is provided for monitoring store shelves on shelves for detecting mislaid processes, which comprises the following steps. It is generated a sequence of image data, then within this sequence of image data persons recognized, then each of these persons a spatially resolved person grid model is generated, each grid point of the person grid model is assigned a spatial coordinate, then using the spatially resolved person grid model derived a storage process and last this storage process is evaluated, with signaling being provided in the event of a mis-storage process.
Description
Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen.The invention relates to a method and a device for monitoring storage work on shelves on work surfaces for detecting misalignment processes.
Wie aus dem allgemeinen Stand der Technik bekannt ist, werden im Rahmen der industriellen Fertigung beispielsweise in der Automobilindustrie in Logistikhallen, Teilelagern und Montagehallen Tätigkeiten durchgeführt, die im Wesentlichen auf die Entgegennahme von Waren, die Ein- und Auslagerung von Waren, die Kommissionierung von Waren sowie Versand bzw. weitere Verwendung von Waren umfassen.As is known from the general state of the art, in the industrial production, for example in the automotive industry, in logistics halls, parts warehouses and assembly halls, activities are carried out which are essentially based on the receipt of goods, the storage and retrieval of goods, the picking of goods as well as shipping or further use of goods.
Um einem Lagerist oder einem Werker die Auswahl an Teilen, die er zu einer Kommission zusammenzufassen hat, mitzuteilen, haben sich unterschiedliche Konzepte durchgesetzt. Häufig wird das sogenannte Pick by Voice- bzw. Put by Voice-Verfahren angewendet, bei dem dem Kommissionierenden über einen Kopfhörer Informationen zu den Lagerorten der zu entnehmenden oder der abzulegenden Teile sowie zu den Teilen selbst übermittelt werden. Da es sich bei diesem Verfahren um eine sogenannte beleglose Technik handelt, hat der Kommissionierer beide Hände für die Warenentnahme oder Warenzuführung frei. Daneben wird häufig das sogenannte Pick by Light-Verfahren bzw. Put to Light-Verfahren verwendet, das ebenfalls eine beleglose Kommissionierung ermöglicht, indem sie dem Beschäftigten über die an jedem Lagerfach angebrachten Lichtquellen den Entnahme- oder Zuführort des Artikels für den jeweiligen Auftrag anzeigt.To communicate to a warehouse operator or a worker the selection of parts that he has to combine into a commission, different concepts have prevailed. Frequently, the so-called pick by voice or put by voice method is used, in which the picking about a headphone information about the storage locations of the parts to be removed or to be transferred and the parts themselves are transmitted. Since this method is a so-called paperless technique, the order picker has both hands free for goods removal or goods delivery. In addition, the so-called pick-by-light method or put-to-light method is frequently used, which also enables paperless picking by indicating to the employee via the light sources attached to each storage compartment the removal or feed location of the article for the respective order.
Lagerarbeiten an Regalen, wie die Entnahme oder das Zuführen von Teilen in Regallagerplätze, sind hierbei nicht vollständig automatisierbar, so dass Bedienfehler durch das Personal entstehen können. Jeder Fehler bei der Durchführung von Lagerarbeiten, wie der Entnahme von falschen oder zu vielen Gegenständen oder der Zuführung von falschen oder zu vielen Teilen, führt zur einer fehlerhafter Auftragsausführung, was nachfolgend weitere Kosten verursachen kann.Storage work on shelves, such as the removal or feeding of parts in rack storage bins, can not be completely automated, so that operator errors may occur. Any mistakes made in carrying out warehouse operations, such as the removal of wrong or too many items, or the delivery of wrong or too many parts, will lead to a faulty order execution, which may subsequently result in additional costs.
Um sicherzustellen, dass ein Auftrag, also die Entnahme oder Zuführung eines Gegenstandes bearbeitet wurde, sind bereits mehrere Lösungsansätze vorgeschlagen worden.To ensure that an order, ie the removal or supply of an item has been processed, several solutions have already been proposed.
So zeigt die
Eine weitere Lösung mit der das Verhalten von Personen im Bereich von mit Gegenständen bestückten Regalen sowie die Entnahme von Gegenständen erkannt werden kann, wird in der
Eine Lösung, bei der jedes Fach eines Regals einzeln überwacht wird, ist in der
Ausgehend von diesem Stand der Technik hat sich der Erfinder nun die Aufgabe gestellt, ein Verfahren anzugeben, mit dem es möglich ist, eine Überwachung von Lagerarbeiten, wie die Entnahme oder die Zuführung von Gegenständen in Regale weiter zu verbessern.Based on this prior art, the inventor has now taken on the task of providing a method with which it is possible to improve monitoring of storage operations, such as the removal or the supply of items in shelves on.
Diese Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der Unteransprüche. Diese können in technologisch sinnvoller Weise miteinander kombiniert werden. Die Beschreibung, insbesondere im Zusammenhang mit der Zeichnung, charakterisiert und spezifiziert die Erfindung zusätzlich.This object is solved by the features of claim 1. Further advantageous embodiments of the invention are each the subject of the dependent claims. These can be combined in a technologically meaningful way. The description, in particular in conjunction with the drawing, additionally characterizes and specifies the invention.
Gemäß der Erfindung wird ein Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen angegeben, das die nachfolgenden Schritte umfasst. Es wird eine Sequenz aus Bilddaten erzeugt, anschließend werden innerhalb dieser Sequenz aus Bilddaten Personen erkannt, daraufhin wird von diesen Personen jeweils ein ortsaufgelöstes Personengittermodell erzeugt, wobei jedem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet ist, anschließend wird anhand des ortsaufgelösten Personengittermodells ein Lagerungsprozess abgeleitet und zuletzt dieser Lagerungsprozess bewertet, wobei im Falle eines Fehllagerungsprozesses eine Signalisierung erfolgt.According to the invention, a method is provided for monitoring storage work on shelves on working surfaces for detecting mis-storage processes, which comprises the subsequent steps. It is generated a sequence of image data, then within this sequence of image data persons recognized, then each of these persons a spatially resolved person grid model is generated, each grid point of the person grid model is assigned a spatial coordinate, then using the spatially resolved person grid model Derived storage process and last evaluated this storage process, which is in the case of a misplace process signaling.
Lagerarbeiten sind beispielsweise Kommissionieren, Verteilen, Umlagern, Einlagern oder Auslagern. Lagerprozesse sind in diesem Zusammenhang die Entnahme oder das Zuführen von Gegenständen in Regale bzw. in Fächer von Regalen. Die Beschreibung eines Regals steht an dieser Stelle stellvertretend für jedwede Lagermöglichkeit, beispielsweise Karussell-Lager, Fachbodenregale, Schränke, Schubladen, Doppelregal- oder Bodenplätze. Arbeitsflächen sind im Sinne dieser Erfindung beispielsweise an Montagelinien innerhalb von Fertigungshallen angrenzende Kleinteilelager, aus denen ein Werker Teile für eine Montage entnimmt, oder aber auch Logistikhallen sowie Versandhallen. Um einen Fehllagerungsprozess im Sinne dieser Anmeldung handelt es sich dann, wenn entweder ein falsches Teil einem Regal zugeführt wird oder aus einem Regal entnommen wird, oder ein Teil einem falschen Regal oder einem falschen Fach eines Regals entnommen oder zugeführt wird. Allgemeiner formuliert handelt es sich also dann um einen Fehllagerungsprozess, wenn Teil und Ort des Teils nicht zusammenpassen, wobei sich korrekte Kombinationen aus Teil und Ort aus einem Auftrag ergeben, der beispielsweise einer Lagerverwaltungssoftware entstammen kann. Die Bilddatensequenz kann entweder eine schnelle jedoch für einen menschlichen Betrachter nicht fließende Abfolge von Einzelbildern oder aber eine Filmsequenz sein.Warehouse operations include, for example, picking, distributing, repositioning, storing or retrieving. Warehousing processes in this context are the removal or feeding of objects in shelves or shelves of shelves. The description of a shelf at this point is representative of any storage facility, such as carousel storage, shelving shelves, cabinets, drawers, double shelf or ground seats. Working surfaces are within the meaning of this invention, for example, on assembly lines within production halls adjacent small parts warehouse, from which a worker removes parts for assembly, or even logistics halls and mailing halls. A mis-storage process in the sense of this application is when either a wrong part is supplied to a rack or taken from a shelf, or a part is removed or fed to a false shelf or a wrong compartment of a shelf. More generally, this is a misplace process if part and location of the part do not match, resulting in correct combinations of part and location from an order, such as may come from warehouse management software. The image data sequence may be either a fast sequence of still images not flowing to a human observer, or a movie sequence.
Die Erkennung von Personen innerhalb der Sequenz aus Bilddaten erfolgt anhand der typischen Körpermerkmale eines Menschen, wie beispielsweise Rumpf, Arme, Beine und Kopf. Ferner ist es möglich, einen Menschen dadurch zu erkennen, dass dieser sich auf der Arbeitsfläche bewegt, während der Hintergrund statisch bleibt. Darüber hinaus kann ein Mensch beispielsweise mittels einer Infrarotsignatur, also durch die Aufnahme von Bildsequenzen mit nicht für das menschliche Auge sichtbaren Wellenlängen, erkannt werden. Hilfreich ist es, bei der Erkennung von Personen auf den Bildern, wenn diese sich durch die Farbe ihrer Kleidung von der Umgebung bzw. dem Hintergrund möglichst stark unterscheiden. Diese Vorgehensweise ist an sich aus dem Stand der Technik bekannt.Recognizing people within the sequence of image data is based on the typical body features of a human, such as the trunk, arms, legs and head. Furthermore, it is possible to recognize a person by moving on the work surface while the background remains static. In addition, a person can be detected, for example, by means of an infrared signature, that is to say by recording image sequences with wavelengths that are not visible to the human eye. It is helpful in recognizing people in the pictures, if they differ as much as possible from the environment or the background by the color of their clothing. This procedure is known per se from the prior art.
Nachdem eine oder mehrere Personen auf den Bildern erkannt wurden, wird ein ortsaufgelöstes Gittermodell jeweils einer Person erstellt. Das Gittermodell kann beispielsweise so angelegt werden, dass Gelenke des menschlichen Körpers, wie Schulter, Ellenbogen, Hüfte, Knie oder Sprunggelenk jeweils einen Gitterpunkt darstellen, wobei die Gitterpunkte mit Kanten verbunden sein können, sodass diese als zusammenhängend bzw. benachbart liegend dargestellt werden können. Möglich ist es jedoch auch, weitere Gitterpunkte, die nicht mit Gelenken assoziiert sind, zu erzeugen, um ein möglichst detailgetreues Abbild einer Person zu erzeugen. In jedem Falle ist einem Gitterpunkt des Personengittermodells eine Raumkoordinate zugeordnet. Die Raumkoordinate beschreibt dabei die Position eines einzelnen Gitterpunktes im Raum, vorzugsweise in drei Dimensionen. Da aus den Bilddaten für jeweils eine Person ein eigenes Gittermodell angelegt wird, handelt es sich bei den Gittermodellen mehrerer Personen um disjunkte Punktmengen. Die Ortsauflösung des Personengittermodells bezieht sich einerseits darauf, dass jedem Gitterpunkt eine Raumkoordinate zugeordnet ist, aber auch darauf, dass die Position einer Person anhand des Personengittermodells im Raum bestimmbar ist.After one or more people have been recognized on the images, a spatially resolved grid model is created for each person. For example, the grid model may be designed such that joints of the human body, such as shoulder, elbow, hip, knee or ankle, each represent a grid point, the grid points may be connected with edges, so that they can be represented as contiguous. However, it is also possible to generate additional grid points that are not associated with joints in order to produce the most detailed image possible of a person. In any case, a space coordinate is assigned to a grid point of the person grid model. The spatial coordinate describes the position of a single grid point in space, preferably in three dimensions. Since a separate grid model is created for each person from the image data, the grid models of several persons are disjoint sets of points. On the one hand, the spatial resolution of the person grid model relates to the fact that each grid point is assigned a spatial coordinate, but also that the position of a person can be determined using the person grid model in the room.
Die Ableitung eines Lagerungsprozesses kann nun erfindungsgemäß dadurch erfolgen, dass erkannt wird, dass sich eine Person besonders nahe an einem Regal befindet. Ebenso kann ein Lagerungsprozess, also das Einlagern oder Entnehmen von Gegenständen, an der Körperhaltung der Person abgeleitet werden. Soll z. B. ein Teil aus einem Fach entnommen werden, das sich über der Kopfhöhe der Person befindet, so kann anhand des nach oben Streckens der Arme, bzw. auf das Gittermodell übertragen, daran, dass sich die Gitterpunkte des Arms oberhalb des Gitterpunktes des Kopfes befinden, ein Lagerungsprozess abgeleitet werden.The derivation of a storage process can now be carried out according to the invention by recognizing that a person is particularly close to a shelf. Likewise, a storage process, ie the storage or removal of objects, can be derived from the posture of the person. Should z. For example, if a part is removed from a bin that is above the person's head height, it may be that the lattice points of the arm are above the lattice point of the head, based on the upward stretching of the arms, or on the lattice model to derive a storage process.
Bei der Bewertung des Lagerungsprozesses wird ermittelt, ob ein Lagerungsprozess an einem vorgesehenen Ort, also beispielsweise an einem vorgesehenen Fach, erfolgte. Sollte die Bewertung des Lagerungsprozesses ergeben, dass in ein falsches Regal eingegriffen wurde, so kann dieser Fehllagerungsprozess beispielsweise optisch mit einer Anzeigeeinheit oder einem Blinklicht oder akustisch mittels eines Horns oder aber auch haptisch mittels eines vibrierenden Armbandes signalisiert werden. Im Falle eines Fehllagerungsprozesses kann die Person aufgefordert werden, den Fehler zu korrigieren, was mittels eines Gittermodells der ganzen Person verfolgt werden kann. Insgesamt erfolgt die Überwachung von Lagerarbeiten anhand eines ortsaufgelösten Personengittermodells, sodass insbesondere zwischen unterschiedlichen Personen, die ihre Lagerarbeiten an gleichen Regalen oder gleichen Arbeitsflächen vollziehen, unterschieden werden kann.The assessment of the storage process determines whether a storage process took place at a designated location, such as a designated bin. If the evaluation of the storage process revealed that intervention in a wrong shelf, so this misplacement process can be signaled, for example, visually with a display unit or a flashing light or acoustically by means of a horn or haptically by means of a vibrating bracelet. In the case of a misplacement process, the person may be asked to correct the error, which can be tracked by a lattice model of the whole person. Overall, the monitoring of warehouse work is carried out using a spatially resolved person grid model, so that in particular between different people who perform their storage work on the same shelves or the same work surfaces, can be distinguished.
Demnach ist es möglich, Fehllagerungsprozesse genau einzelnen Kommissionieraufträgen zuzuordnen. Fehllagerungsprozesse verzögern die Kommissionierfolge dadurch, dass die Fehllagerung von einer Person, die den Fehler begangen hat, rückgängig gemacht werden muss. Bei einem automatisierten System, in dem mit dem Eingriff in ein Regal der Vollzug eines einzelnen Kommissionierauftrages verbunden ist, müssten also im Falle mehrerer Kommissionierer, die den gleichen Gegenstand zu entnehmen haben, alle einen Zeitaufschub für die Behebung der Fehlkommissionierung erhalten, wenn diese nicht einer einzelnen Person zugeordnet werden kann. Um in den Bilddaten herauszufinden, welche Person welchen Kommissionierauftrag bearbeitet, ist es möglich, die Personen initial diejenigen Gegenstände aus einem Regal entnehmen oder ablegen zu lassen, die einzigartig für einen jeweiligen Kommissionierauftrag sind.Accordingly, it is possible to assign misplacement processes to individual picking orders. Misplacement processes delay the picking sequence by having the misappropriation be reversed by a person who committed the error. In an automated system, in which the intervention in a shelf, the completion of a single order picking In the case of several order pickers, who have to remove the same item, all of them would then have to be given a time-out to rectify the miscounting, if this can not be assigned to a single person. In order to find out in the image data which person is processing which picking order, it is possible for the persons to initially remove or deposit those objects from a shelf which are unique to a respective picking order.
Gemäß einer Ausführungsform des Verfahrens wird der Lagerungsprozess mittels der Raumkoordinaten derjenigen Gitterpunkte eines Personengittermodells abgeleitet, die der Hand der Person entsprechen, von der das Personengittermodell erzeugt wurde.According to one embodiment of the method, the storage process is derived by means of the spatial coordinates of those grid points of a person grid model corresponding to the hand of the person from which the person grid model was created.
Demnach dient insbesondere die Handposition der Person, von der ein Personengittermodell erstellt wurde, dem Ableiten eines Lagerungsprozesses. Würde sich eine Person beispielsweise rückwärts gegen ein Regal lehnen und die Arme vor dem Körper verschränken, so wäre es anhand der Handposition der Person ausgeschlossen, dass diese eine Lagerarbeit durchführt. Außerdem ist es aufgrund des Personengittermodells von gesamten Personen möglich, beide Hände einer Person zu erkennen, sodass der gleichzeitige Eingriff in mehrere Lagerstätten erkannt werden kann. Abermals liegt der Vorteil des Gittermodells einer ganzen Person darin, dass bei zwei Personen, die nebeneinander vor einem Regal stehen und in dieses eingreifen, erkannt werden kann, welche Person in welches Fach eingreift, da das Gittermodell der Hand über Kanten mit dem Gittermodell der ganzen Person verbunden sein kann.Accordingly, in particular, the hand position of the person from whom a person grid model was created serves to derive a storage process. If, for example, a person were leaning backwards against a shelf and folding his arms in front of his body, it would have been ruled out on the basis of the person's hand position that he was carrying out a warehouse job. In addition, due to the personal grid model of all persons, it is possible to recognize both hands of one person, so that the simultaneous intervention in several deposits can be recognized. Again, the advantage of the lattice model of a whole person is that when two people standing side by side in front of a shelf and intervene in this, it can be recognized which person intervenes in which compartment, as the grid model of the hand over edges with the grid model of the whole Person can be connected.
Gemäß einer weiteren Ausführungsform des Verfahrens erfolgt die Bewertung des Lagerungsprozesses anhand der Raumkoordinaten der Gitterpunkte relativ zu einem Regal sowie anhand der relativen Lager der Gitterpunkte untereinander.According to a further embodiment of the method, the evaluation of the storage process takes place on the basis of the spatial coordinates of the grid points relative to a shelf and on the basis of the relative bearings of the grid points with one another.
Demnach erfolgt die Bewertung des Lagerungsprozesses zum einen dadurch, dass der Abstand zwischen einem Regal und den Gitterpunkten einer Person bestimmt werden kann und zum anderen dadurch, dass mittels der relativen Lage der Gitterpunkte untereinander anatomisch mögliche Bewegungen des Menschen abgebildet werden können. Beispielsweise kann sich aus der Lage der Gitterpunkte zu einem Regal und der relativen Lage der Gitterpunkte untereinander ergeben, dass ein bestimmtes Fach eines Regals aufgrund der sogenannten Greifgrenze nicht mehr erreicht werden kann und somit eine Entnahme von Gegenständen aus diesem Fach oder das Zuführen von Gegenständen in dieses Fach nicht möglich ist. Bei der Greifgrenze handelt es sich um die äußerste Stelle, die ein Mensch ohne Verrenkung erreichen kann, um einen Gegenstand zu greifen.Accordingly, the evaluation of the storage process takes place, on the one hand, in that the distance between a shelf and the grid points of a person can be determined, and, on the other hand, that anatomically possible movements of the person can be imaged by means of the relative position of the grid points. For example, from the position of the grid points to a shelf and the relative position of the grid points with each other result that a particular shelf of a shelf due to the so-called gripping limit can not be achieved and thus a removal of items from this compartment or the feeding of objects in this subject is not possible. The grip limit is the outermost point that a person can reach without dislocation to grasp an object.
Gemäß einer Ausführungsform der Erfindung umfasst das Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen zusätzlich neben Personen auch Objekte zu erkennen.According to one embodiment of the invention, the method for monitoring storage work on shelves on work surfaces for the detection of mis-storage processes additionally comprises not only persons but also objects.
Anhand eines Gesamtgittermodells ist es möglich, Lagerungsprozesse abzuleiten sowie diese zu bewerten. Demnach resultiert die Information, welches Objekt einem Regal entnommen oder zugeführt wurde nicht allein daraus, dass Lagerort und Objekt bereits vorher verknüpft sind, sondern auch aus der Erkennung des Objektes innerhalb der Bilddaten. Zusätzlich ermöglicht die Objekterkennung, dass auch die Anzahl der aus einem Regal entnommenen oder einem Regal zugeführten Objekten erkannt werden kann. Somit sind Fehllagerungsprozesse aufgrund zu vieler oder zu weniger zugeführter oder entnommener Teile ebenfalls ausgeschlossen. Zur genaueren Erkennung von Objekten, insbesondere dann, wenn diese klein sind, kann eine lagerstättenbezogene Objektgeometriedatenbank hinterlegt sein. Bei ähnlich großen sowie ähnlich geformten Gegenständen können also anhand des Ortes an dem der Gegenstand entnommen wurde, Teile die nicht an diesem Ort lagern, ausgeschlossen werden.Using an overall grid model, it is possible to derive storage processes as well as to evaluate them. Thus, the information as to which object was taken from a shelf or supplied is not due solely to the fact that the storage location and the object are already linked before, but also to the recognition of the object within the image data. In addition, the object recognition enables the number of objects removed from a shelf or supplied to a shelf to be detected. Thus, misalignment processes due to too many or less supplied or removed parts are also excluded. For a more accurate recognition of objects, in particular if they are small, a location-related object geometry database can be stored. In the case of similarly sized and similarly shaped objects, it is thus possible to exclude parts which are not stored at this location from the location at which the object was removed.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Bewertung des Lagerungsprozesses die nachfolgend aufgeführten Schritte. Zunächst wird ein Lagerungsauftrag, umfassend Informationen über einen Teileort, an dem ein Sollobjekt dem Lagerungsprozess zu unterziehen ist, empfangen, anschließend wird die Übereinstimmungswahrscheinlichkeit dafür bestimmt, dass der Ort eines erkannten Lagerungsprozesses mit dem beauftragten Teileort des den Lagerungsprozess zu unterziehenden Sollobjekts übereinstimmt und zuletzt wird ein Fehllagerungsprozess dann signalisiert, wenn die Übereinstimmungswahrscheinlichkeit von einem Bediener festlegbaren Schwellenwert unterschreitet.According to a further embodiment of the method, the evaluation of the storage process comprises the steps listed below. First, a storage job comprising information about a part location where a solar object is to be subjected to the storage process is received, then the match probability is determined that the location of a recognized storage process coincides with the ordered part location of the solar object to be subjected to the storage process and becomes last a misposition process is signaled when the match probability falls below an operator definable threshold.
Demnach ist aufgrund eines Lagerungsauftrages, der beispielsweise enthalten könnte, dass Teil
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Bewertung des Lagerungsprozesses zusätzlich die nachfolgenden Schritte. Zunächst wird ein Lagerungsauftrag umfassend Informationen über die Geometrie eines dem Lagerungsprozess zu unterziehenden Sollobjekts empfangen, anschließend wird die Übereinstimmungswahrscheinlichkeit dafür bestimmt, dass die Geometrie des Sollobjekts mit dem Istobjektgittermodell eines bei einem Lagerungsprozess erkannten Istobjekts übereinstimmt und zuletzt wird ein Fehllagerungsprozess signalisiert, wenn die Übereinstimmungswahrscheinlichkeit einen von einem Bediener festlegbaren Schwellenwert unterschreitet.According to a further embodiment of the method, the evaluation of the storage process additionally comprises the subsequent steps. First, a storage job is received including information about the geometry of a solar object to be subjected to the storage process, then the match probability is determined to match the geometry of the solar object with the actual object grid model of an actual object detected in a storage process, and finally a misposition process is signaled if the match probability is one falls below an operator definable threshold.
Demnach wird die Übereinstimmung zwischen der Geometrie eines Sollobjektes und dem Istgittermodell eines Objektes als Wahrscheinlichkeit behandelt. Stimmen diese in Form und Größe überein, so ist die Wahrscheinlichkeit dafür, dass es sich um das gemäß Lagerungsauftrag richtige Objekt handelt, hoch. Ferner kann unter Bezugnahme auf die vorgenannte Ausführungsform nicht nur die Wahrscheinlichkeit dafür bestimmt werden, dass ein Lagerungsprozess am richtigen Ort durchgeführt wird, sondern auch dafür, dass er bezogen auf das richtige Objekt, durchgeführt wird. Dies ist besonders dann vorteilhaft, wenn in einem Regalfach mehrere unterschiedliche Gegenstände lagern. Lagern unterschiedliche Gegenstände aber in unterschiedlichen Regalen, dann kann, wie bereits erwähnt, für einen entsprechenden Ort eine entsprechende Liste an Geometrien von Objekten bereitgestellt werden, sodass der Abgleich zwischen erkanntem Istobjekt und Sollobjekt aus einer kleineren Auswahl und somit effizienter stattfindet.Accordingly, the correspondence between the geometry of a sol object and the lattice model of an object is treated as a probability. If these match in shape and size, then the probability that this is the correct object according to the storage order is high. Further, referring to the aforementioned embodiment, not only the likelihood that a storage process is performed at the correct location but also that it is performed with respect to the correct object can be determined. This is particularly advantageous if stored in a shelf several different items. If different objects are stored on different shelves, then, as already mentioned, a corresponding list of geometries of objects can be provided for a corresponding location, so that the comparison between the recognized actual object and the solobject takes place from a smaller selection and thus more efficiently.
Gemäß einer weiteren Ausführungsform des Verfahrens kann aus der Sequenz von Bilddaten die Trajektorie einer Person auf der Arbeitsfläche ermittelt werden und anhand der Trajektorie ein bevorstehender Lagerungsprozess ermittelt werden.According to a further embodiment of the method, the trajectory of a person on the work surface can be determined from the sequence of image data, and an imminent storage process can be determined on the basis of the trajectory.
Einerseits steigert diese Ausführungsform die Genauigkeit bei der Ableitung von Lagerungsprozessen, da beispielsweise bereits anhand der Bewegung einer Person in Richtung eines Regals erkannt wird, dass ein Lagerungsprozess bevorsteht, andererseits ist aufgrund der Trajektorie der Person bekannt, wohin ein beispielsweise zuvor entnommenes Teil aus einem Regal gebracht wurde. So kann an Montagestraßen erkannt werden, ob die einen Montageauftrag entsprechenden Teile zum einen korrekt entnommen wurden und zum anderen, ob diese Teile dann auch an die entsprechende Montagestelle gebracht wurden. Darüber hinaus handelt es sich bei der Trajektorie um eine zusammenhängende Linie, die jeweils einer Person zugeordnet ist, sodass die Unterscheidung verschiedener Personen auf der Arbeitsfläche auch anhand der Trajektorie erfolgen kann.On the one hand, this embodiment increases the accuracy in the derivation of storage processes, since, for example, already recognized by the movement of a person in the direction of a shelf that a storage process is imminent, on the other hand is known due to the trajectory of the person, where, for example, previously removed part of a shelf was brought. Thus, it can be recognized on assembly lines whether the parts corresponding to an assembly order were correctly removed on the one hand and, on the other hand, whether these parts were then also brought to the corresponding mounting location. In addition, the trajectory is a connected line, which is assigned to a person, so that the differentiation of different people on the work surface can also be based on the trajectory.
Gemäß einer weiteren Ausführungsform des Verfahrens basiert die Erkennung von Personen und Objekten innerhalb der Sequenz aus Bilddaten und die Erkennung sowie Bewertung von Lagerungsprozessen auf einem maschinellen Lernverfahren, bei welchem durch einen Bediener während einer Lernsequenz bewusst korrekte Lagerungsprozesse sowie Fehllagerungsprozesse durchgeführt werden.According to a further embodiment of the method, the recognition of persons and objects within the sequence of image data and the recognition and evaluation of storage processes is based on a machine learning method in which an operator during a learning sequence consciously correct storage processes and misappropriation processes are performed.
Bei diesem auch als Labelungsprozess bekannten Verfahren, wir also zunächst eine Lernsequenz initiiert. Die Lernsequenz beinhaltet Anweisungen, die von einem Bediener an vorgegebenen Orten auf vorgegebene Art und Weise mit vorgegebenen Gegenständen durchzuführen sind. Beispielsweise könnte eine Anweisung an einen Bediener während des maschinellen Lernverfahrens lauten, dass der Bediener den Gegenstand
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von einer bestimmbaren Position der Arbeitsfläche aus erzeugt, sodass die aus den Bildern erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells Absolutkoordinaten sind.According to a further embodiment of the method, the sequence of image data is generated from a determinable position of the work surface so that the spatial coordinates of the grid points of the grid model generated from the images are absolute coordinates.
Dementsprechend ist der Punkt von dem aus die Sequenz von Bilddaten erzeugt wird, bekannt, sodass ein beliebiger anderer Punkt des Raumes als Koordinatenursprung angegeben werden kann. Die Erfassung der Raumkoordinaten der Gitterpunkte als Absolutkoordinaten ist besonders in Bereichen, deren Aufteilung sich nicht ändert, sinnvoll. Eine bestimmbare Position im Sinne dieser Erfindung zeichnet sich dadurch aus, dass die Position, von der aus die Bildsequenz generiert wurde, bekannt ist. Beispielsweise kann die Position, von der aus eine Bildsequenz erzeugt wird, einmalig erfasst und dauerhaft hinterlegt werden oder die Position, von der aus die Bilddaten generiert werden, ändert sich stetig, sodass diese Position stets neu bestimmt werden muss. Demnach ist es möglich, die Raumkoordinaten der Gitterpunkte des Gittermodells auch dann als Absolutkoordinaten anzugeben, wenn sich die Position, von der aus eine Sequenz von Bildern erzeugt wurde, während einer Sequenz oder zwischen mehreren Sequenzen geändert hat.Accordingly, the point from which the sequence of image data is generated is known, so that any other point in the space can be given as the coordinate origin. The acquisition of the spatial coordinates of the grid points as absolute coordinates is particularly useful in areas whose distribution does not change. A determinable position in the sense of this invention is characterized in that the position from which the image sequence was generated is known. For example, the position from which an image sequence is generated can be recorded once and stored permanently, or the position from which the image data is generated changes constantly, so that this position must always be redetermined. Accordingly, it is possible to specify the spatial coordinates of the grid points of the grid model as absolute coordinates even if the position from which a sequence of images was generated has changed during one sequence or between several sequences.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von einer nicht bestimmbaren Position der Arbeitsfläche aus erzeugt, sodass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodels Relativkoordinaten sind.According to a further embodiment of the method, the sequence of image data is generated from an indeterminable position of the work surface so that the spatial coordinates of the grid points of the grid model generated from the image data are relative coordinates.
Gegenüber der vorher genannten Ausführungsform des Verfahrens kann also für einen bestimmten Punkt im Raum nicht seine absolute Position in Absolutkoordinaten angegeben werden, sondern es ist nun möglich, die Position relativ zu dem Punkt, von dem aus die Sequenz von Bilddaten erzeugt wurde, anzugeben. Diese Ausführungsform eignet sich besonders dann, wenn der Punkt, von dem aus die Sequenz von Bilddaten erzeugt wird, in Bewegung ist, aber zwischen dem Punkt, von dem aus die Bilddaten erzeugt werden und einem zu überwachenden Bereich ein festes räumliches Verhältnis besteht, beispielsweise bei einem fahrbaren Regal.Compared with the aforementioned embodiment of the method, its absolute position in absolute coordinates can not therefore be specified for a specific point in space, but it is now possible to specify the position relative to the point from which the sequence of image data was generated. This embodiment is particularly suitable when the point from which the sequence of image data is generated is in motion, but between the point from which the image data is generated and a region to be monitored has a fixed spatial relationship, for example a mobile shelf.
In Gegenüberstellung der beiden zuletzt genannten Ausführungsformen des Verfahrens folgen nun zwei Ausführungsbeispiele. Für einen Kommissionierzug, der zwischen zwei Regalen eines Hochregallagers hin- und herfährt, wobei die Regale aus Sicht des Kommissionierzuges links und rechts raumhohe Abschlüsse bilden, sind die Positionen entlang der Hochregale aufgrund ihrer Symmetrie nicht, oder zumindest kaum, zu unterscheiden. Ebenfalls ist in einem solchen Szenario nicht zu unterscheiden, zwischen welchen beiden Hochregalen man sich befindet, also in welchem Gang.In comparison of the two last-mentioned embodiments of the method now follow two embodiments. For a picking train, which moves back and forth between two shelves of a high-bay warehouse, the shelves forming left and right floor-to-ceiling closures from the point of view of the picking train, the positions along the high shelves can not be distinguished, or at least hardly, due to their symmetry. Likewise, in such a scenario, it is indistinguishable between which two high shelves one is in, that is, in what gear.
Wird die Sequenz von Bilddaten von einem Punkt des Kommissionierzuges aus erzeugt, so bietet sich in diesem Szenario an, dass die aus den Bilddaten erzeugen Raumkoordinaten der Gitterpunkte des Gittermodells als Absolutkoordinaten angegeben werden. Folglich muss der Punkt im Raum, von dem aus die Sequenz von Bilddaten aufgezeichnet wurde, bekannt sein. Aufgrund der Ortsauflösung der erzeugten Gittermodelle, lassen sich dann alle weiteren Punkte des Raumes, die in der Sequenz von Bilddaten enthalten sind, ebenfalls in Absolutkoordinaten angeben.If the sequence of image data is generated from a point of the picking train, then it is appropriate in this scenario that the spatial coordinates of the grid points of the grid model that are generated from the image data are specified as absolute coordinates. Consequently, the point in the space from which the sequence of image data has been recorded must be known. Due to the spatial resolution of the generated grid models, then all other points of the space contained in the sequence of image data can also be given in absolute coordinates.
Handelt es sich nun, wie im folgenden zweiten Beispiel beschrieben, um ein fahrbares Regal, das beispielsweise entlang einer Fertigungslinie von Station zu Station gefahren wird, so bietet es sich an, dass die aus den Bilddaten erzeugten Raumkoordinaten der Gitterpunkte des Gittermodells als Relativkoordinaten angegeben werden. Der Grund hierfür liegt in diesem Beispiel daran, dass lediglich die Entnahme von Teilen aus dem fahrbaren Regal oder die Zuführung von Teilen in das fahrbare Regal erfasst werden sollen. An welchen Stationen entlang der Fertigungslinie diese Entnahmen oder Zuführungen erfolgten, ist in diesem Beispiel also ohne Bedeutung.If, as described in the following second example, it is a mobile shelf that is moved from station to station along an assembly line, for example, then it makes sense that the space coordinates of the grid points of the grid model generated from the image data are specified as relative coordinates , The reason for this in this example is that only the removal of parts from the mobile shelf or the supply of parts in the mobile shelf should be detected. At which stations along the production line these withdrawals or feeds were made is thus meaningless in this example.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Sequenz von Bilddaten von mehreren Positionen der Arbeitsfläche aus erzeugt.According to a further embodiment of the method, the sequence of image data is generated from a plurality of positions of the work surface.
Demnach ist es möglich, großflächige Arbeitsbereiche, die aufgrund ihrer Grö-βe mit Sequenzen von Bilddaten von nur einer Position aus, nicht überwacht werden können, flächendeckend zu überwachen. In diesem Zusammenhang ist es sinnvoll, dass sich die Sequenzen von Bilddaten unterschiedlicher Positionen zumindest berühren, sodass ein lückenloser Überwachungsbereich entsteht. Denkbar ist es aber auch, dass lediglich diejenigen Arbeitsflächen überwacht werden, auf denen die personalintensivste oder auch die meiste Arbeit ausgeführt wird, dass also bezogen auf die Gesamtfläche, einer Montagehalle Flächen übrig bleiben, die nicht überwacht werden. Besonders vorteilhaft ist es, wenn die Sequenzen von Bilddaten von mehreren Positionen der Arbeitsfläche aus erzeugt werden und sich dabei die Beobachtungsrichtungen schneiden. Beispielsweise ist es vorteilhaft, wenn für eine Arbeitsfläche, für die eine Überwachung von Lagerarbeiten an Regalen durchgeführt werden soll, aus zwei sich senkrecht schneidenden Beobachtungsrichtungen Sequenzen von Bilddaten aufgezeichnet werden. Mittels sich senkrecht schneidender Beobachtungsrichtungen ist es noch einfacher möglich, Personen zu unterscheiden, weil beispielsweise hintereinander stehende Personen, von denen aus nur einer Richtung betrachtet, eine Person die andere Person verdecken würde, besser getrennt erkannt werden können.Accordingly, it is possible to comprehensively monitor large-scale work areas, which can not be monitored due to their size with sequences of image data from only one position. In this context, it makes sense that the sequences of image data of different positions at least touch each other, so that a complete monitoring area is created. It is also conceivable, however, that only those work surfaces are monitored on which the most labor-intensive or even the most work is carried out, so that in relation to the total area, an assembly hall remains areas that are not monitored. It is particularly advantageous if the sequences of image data are generated from a plurality of positions of the work surface and the observation directions intersect. For example, it is advantageous if, for a work surface for which monitoring of storage work on shelves is to be carried out, two Sequences of image data are recorded in perpendicularly intersecting observation directions. By means of perpendicularly intersecting observation directions, it is even easier to differentiate persons, because, for example, persons standing one behind the other, from whom only one direction is viewed, one person would cover the other person, can be better separated.
Desweiteren wird eine Einrichtung zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen zur Durchführung eines der voran genannten Verfahren angegeben, umfassend eine Aufnahmeeinheit zur Erzeugung einer Sequenz von Bilddaten und einer Prozessoreinheit.Furthermore, a device for monitoring storage work on shelves on work surfaces for detecting misplacement processes for carrying out one of the aforementioned methods, comprising a recording unit for generating a sequence of image data and a processor unit.
Demnach wird die Sequenz von Bilddaten von einer Aufnahmeeinheit erzeugt, wobei mit einer Aufnahmeeinheit beispielsweise eine Kamera, ein optischer Sensor oder ein thermischer Sensor gemeint sein kann. Insbesondere eine Tiefenkamera oder ein Kinectsystem bieten sich als Aufnahmeeinheit an. Denkbar ist aber auch, dass eine Kombination aus mehreren Kameras oder Sensoren verwendet wird. Denkbar wäre beispielsweise eine Infrarotkamera mit einer Tiefenkamera zu kombinieren, sodass mittels der Infrarotkamera aufgrund von Körperwärme Personen besonders einfach erkannt werden können und mittels der Tiefenkamera Ortsangaben zu bestimmten Bildelementen erzeugt werden können. Eine besonders vorteilhafte Ausgestaltung sieht vor, dass mehrere Aufnahmeeinheiten zu einem Netzwerk verbunden werden und die Sequenzen von Bilddaten einer jeden Aufnahmeeinheit dieses Netzwerks an eine gemeinsame Prozessoreinheit übertragen werden können. Bei der Prozessoreinheit kann es sich beispielsweise um eine Recheneinheit mit zugeordneter Speichereinheit handeln. Denkbar ist auch, dass mehrere Recheneinheiten zu einem Rechencluster verbunden werden.Accordingly, the sequence of image data is generated by a recording unit, wherein with a recording unit, for example, a camera, an optical sensor or a thermal sensor may be meant. In particular, a depth camera or a Kinectsystem offer themselves as a recording unit. It is also conceivable that a combination of multiple cameras or sensors is used. It would be conceivable, for example, to combine an infrared camera with a depth camera, so that people can be recognized particularly easily by means of the infrared camera due to body heat and location information about specific picture elements can be generated by means of the depth camera. A particularly advantageous embodiment provides that a plurality of recording units are connected to a network and the sequences of image data of each recording unit of this network can be transmitted to a common processor unit. The processor unit may be, for example, an arithmetic unit with an associated memory unit. It is also conceivable that several computing units are connected to a computing cluster.
Gemäß einer weiteren Ausführungsform der Einrichtung umfasst diese eine Signaleinrichtung zum signalisieren von Fehllagerungsprozessen.According to a further embodiment of the device, this device comprises a signaling device for signaling misplacement processes.
Bei einer solchen Signaleinrichtung kann es sich beispielsweise um eine Blitzleuchte, ein Anzeigetableau, eine akustische Hupe oder um ein vibrierendes Armband handeln. Sinnvoll sind im Rahmen dieser Erfindung solche Signaleinrichtungen, die eine Person selektiv über Fehllagerungsprozesse informieren können. Beispielsweise wäre ein Anzeigetableau, das ein Fehllagerungsprozess mittels einer Leuchte anzeigt und aber auch gleichzeitig eine einer Person zuordenbaren Nummer anzeigt, vorstellbar.Such a signaling device may be, for example, a flashing light, a display panel, an acoustic horn or a vibrating bracelet. Useful in the context of this invention are such signaling devices that can selectively inform a person about misplace processes. For example, a display panel, which indicates a mispositioning process by means of a lamp and at the same time displays a number that can be assigned to a person, would be conceivable.
Gemäß einer weiteren Ausführungsform der Einrichtung umfasst diese eine Führungseinrichtung, mittels welcher eine Person zum korrekten Durchführen von Lagerungsprozessen angeleitet wird.According to a further embodiment of the device, this device comprises a guide device by means of which a person is instructed to correctly carry out storage processes.
Eine solche Führungseinrichtung kann beispielsweise eine an einem Fach eines Regals montierte Leuchte sein, die dann aufleuchtet, wenn in dieses Fach ein Teil zuzuführen oder zu entnehmen ist. Überdies eignet sich als Führungseinrichtung ein Beamer bzw. ein Laser, der einen Lichtstrahl auf ein Regal wirft, an dem ein Lagerungsprozess durchzuführen ist. Vorteilhaft könnte im Sinne dieser Erfindung sein, dass die von einem Beamer oder einem Laser auf ein Regal projizierte Lichtfarbe einer einzelnen Person bzw. einem einzelnen Auftrag, der von einer Person durchzuführen ist, zugeordnet werden kann.Such a guide means may for example be a luminaire mounted on a shelf of a shelf, which lights up when a part is to be supplied or removed in this compartment. Moreover, a beamer or a laser which throws a light beam onto a shelf on which a storage process is to be carried out is suitable as a guide device. For the purposes of this invention, it could be advantageous that the light color projected by a beamer or a laser onto a shelf can be assigned to a single person or a single task that is to be performed by a person.
Gemäß weiteren Ausführungsformen der Einrichtung ist diese entweder ortsfest an einer Arbeitsfläche oder auf einer fahrbaren Einheit montiert.According to further embodiments of the device this is either fixedly mounted on a work surface or on a mobile unit.
Beispielsweise könnte die Einrichtung an der Decke eines Arbeitsbereichs montiert sein und diesen Arbeitsbereich von oben überwachen. Ebenso ist es aber möglich, dass die Einrichtung an einer mobilen bzw. fahrbaren Einheit, wie einem Flurförderfahrzeug, einem Kommissionierfahrzeug oder einem Kommissionierzug, installiert ist. Bezugnehmend auf eines der vorher geschilderten Verfahren, ist es möglich, Raumkoordinaten als Absolutkoordinaten oder als Relativkoordinaten zu erfassen. Die Erfassung von Relativ- oder Absolutkoordinaten ist sowohl von einer ortsfesten Einrichtung als auch von einer fahrbaren Einrichtung aus möglich. Möchte man, dass die Raumkoordinaten der Gitterpunkte des Gittermodells Absolutkoordinaten sind, so muss bei der Erzeugung einer Sequenz von Bilddaten lediglich der Ort der Aufnahmeeinheit innerhalb des Raumes bzw. auf der zu überwachenden Fläche, bekannt sein.For example, the device could be mounted on the ceiling of a work area and monitor this work area from above. However, it is also possible that the device is installed on a mobile or mobile unit, such as an industrial truck, a picking vehicle or a picking train. Referring to one of the previously described methods, it is possible to detect spatial coordinates as absolute coordinates or as relative coordinates. The detection of relative or absolute coordinates is possible both from a fixed device and from a mobile device. If one wants the spatial coordinates of the grid points of the grid model to be absolute co-ordinates, then in generating a sequence of image data, only the location of the recording unit within the room or on the area to be monitored must be known.
Zudem wird ein Softwareprogrammprodukt angegeben, das für einen Prozessor lesbare Befehle enthält, die geeignet sind, eines der voran geschilderten Verfahren auszuführen.In addition, a software program product is provided which contains processor readable instructions adapted to perform any of the foregoing methods.
Eine weitere denkbare Ausgestaltung der Erfindung sieht vor, dass die Regale, an welchen Lagerungsprozesse ausgeführt werden, nicht oder nicht vollständig, auf der Sequenz von Bilddaten enthalten sein müssen.Another conceivable embodiment of the invention provides that the shelves on which storage processes are executed, not or not completely, must be contained on the sequence of image data.
Demnach ist es mit dem beschriebenen Verfahren sowie mit der beschriebenen Einrichtung möglich, anhand der Körperhaltung einer Person sowie anhand der Position der Person auch dann festzustellen, an welchem Regal oder an welchem Fach eines Regals ein Lagerungsprozess durchgeführt wurde selbst wenn das Regal nicht in der Sequenz von Bilddaten zu erkennen ist.Accordingly, it is possible with the described method as well as with the described device to determine from the posture of a person and on the basis of the position of the person on which shelf or on which tray of a shelf a storage process was performed even if the shelf is not in the sequence can be recognized from image data.
Nachfolgend werden einige Ausführungsbeispiele anhand der Zeichnungen näher erläutert. Es zeigen:
-
1 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und -
2A weitere Verfahrensschritte des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und -
2B eine vergrößerte Ansicht von Verfahrensschritten des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform in schematischer Darstellung, und -
3A einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem eine Person erkannt wird, in schematischer Darstellung, und -
3B einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem ein Lagerungsprozess abgeleitet wird, in schematischer Darstellung, und -
4 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem ein Fehllagerungsprozess signalisiert wird, in schematischer Darstellung, und -
5 einen Verfahrensschritt des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform, bei dem eine Übereinstimmungswahrscheinlichkeit bestimmt wird, in schematischer Darstellung.
-
1 a step of the method according to the invention according to an embodiment in a schematic representation, and -
2A further method steps of the inventive method according to an embodiment in a schematic representation, and -
2 B an enlarged view of process steps of the inventive method according to an embodiment in a schematic representation, and -
3A a method step of the inventive method according to an embodiment in which a person is recognized, in a schematic representation, and -
3B a step of the method according to the invention according to an embodiment in which a storage process is derived, in a schematic representation, and -
4 a step of the method according to the invention according to an embodiment in which a mispositioning process is signaled, in a schematic representation, and -
5 a step of the method according to the invention according to an embodiment in which a match probability is determined, in a schematic representation.
In den Figuren sind gleiche oder funktional gleichwirkende Bauteile mit den gleichen Bezugszeichen versehen.In the figures, identical or functionally identical components are provided with the same reference numerals.
Bei einem in
Die in
Die die Füße der ersten Person
Das Ablegen des Objekts
Die Information, dass das Objekt
Die Ableitung von Lagerungsprozessen anhand von ortsaufgelösten Personengittermodellen sind in einer anderen Situation in den
Dabei ergibt sich aus der relativen Position der Gitterpunkte zueinander, dass die Person mit der höchsten Wahrscheinlichkeit
Unter Bezugnahme auf die
Durch die Aufzeichnung dieses Lagerungsprozesses wäre im Rahmen des erfindungsgemäßen Verfahrens bekannt, wie die Geometrie des Objekts
Die vorstehend und die in den Ansprüchen angegebenen sowie die den Abbildungen entnehmbaren Merkmale sind sowohl einzeln als auch in verschiedener Kombination vorteilhaft realisierbar. Die Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele beschränkt, sondern im Rahmen fachmännischen Könnens in mancherlei Weise abwandelbar.The features indicated above and in the claims, as well as the features which can be seen in the figures, can be implemented advantageously both individually and in various combinations. The invention is not limited to the exemplary embodiments described, but can be modified in many ways within the scope of expert knowledge.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102013212333 A1 [0006]DE 102013212333 A1 [0006]
- DE 102005011523 A1 [0007]DE 102005011523 A1 [0007]
- US 8073562 B2 [0008]US8073562 B2 [0008]
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018100187.8A DE102018100187A1 (en) | 2018-01-05 | 2018-01-05 | Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018100187.8A DE102018100187A1 (en) | 2018-01-05 | 2018-01-05 | Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018100187A1 true DE102018100187A1 (en) | 2019-07-11 |
Family
ID=66995235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018100187.8A Pending DE102018100187A1 (en) | 2018-01-05 | 2018-01-05 | Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018100187A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117430026A (en) * | 2023-12-20 | 2024-01-23 | 国网浙江省电力有限公司金华供电公司 | Intelligent crane control method based on 5G technology bin intelligent management |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005011523A1 (en) | 2005-03-10 | 2006-09-21 | Gdp Marktanalysen Gmbh | Method and device for observing and evaluating the behavior of persons |
US8073562B2 (en) | 2007-01-26 | 2011-12-06 | Innovative Picking Technologies, Inc. | Picking system with pick verification |
AT513130A4 (en) * | 2012-08-24 | 2014-02-15 | Tgw Logistics Group Gmbh | Method and system for assisting a worker in a facility for manipulating goods |
DE102013212333A1 (en) | 2013-06-26 | 2014-12-31 | Bayerische Motoren Werke Aktiengesellschaft | Method and apparatus for monitoring part removal, parts delivery system, use of vibrating alarm device |
-
2018
- 2018-01-05 DE DE102018100187.8A patent/DE102018100187A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005011523A1 (en) | 2005-03-10 | 2006-09-21 | Gdp Marktanalysen Gmbh | Method and device for observing and evaluating the behavior of persons |
US8073562B2 (en) | 2007-01-26 | 2011-12-06 | Innovative Picking Technologies, Inc. | Picking system with pick verification |
AT513130A4 (en) * | 2012-08-24 | 2014-02-15 | Tgw Logistics Group Gmbh | Method and system for assisting a worker in a facility for manipulating goods |
DE102013212333A1 (en) | 2013-06-26 | 2014-12-31 | Bayerische Motoren Werke Aktiengesellschaft | Method and apparatus for monitoring part removal, parts delivery system, use of vibrating alarm device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117430026A (en) * | 2023-12-20 | 2024-01-23 | 国网浙江省电力有限公司金华供电公司 | Intelligent crane control method based on 5G technology bin intelligent management |
CN117430026B (en) * | 2023-12-20 | 2024-02-20 | 国网浙江省电力有限公司金华供电公司 | Intelligent crane control method based on 5G technology bin intelligent management |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2686254B1 (en) | Controlling and monitoring a storage and order-picking system by means of movement and speech | |
DE102017128543B4 (en) | NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT | |
AT513130B1 (en) | Method and system for assisting a worker in a facility for manipulating goods | |
EP3651091B1 (en) | Storage management system, having position detecting function for items and associated storage areas | |
DE102014016032B4 (en) | Apparatus and method for picking up randomly heaped items with a robot | |
DE112017007397B4 (en) | Control device, gripping system, distribution system, program, control method and manufacturing method | |
DE112017007399B4 (en) | Control device, gripping system, distribution system, program, control method and manufacturing method | |
DE112018007727B4 (en) | robotic system | |
DE102015211761B4 (en) | Monitoring system for a picking workstation and picking process | |
DE112017007392B4 (en) | Control device, gripping system, distribution system, program, control method and manufacturing method | |
DE102019208187A1 (en) | Robot system and control method for a robot system | |
DE102011053547B4 (en) | Method and system for storing and picking articles, in particular pharmacy articles | |
DE102010018634B4 (en) | Method for entering a spatial structure of manufacturing facilities in a computer-aided planning program and its optimization | |
DE112019007852B4 (en) | Information processing device, workpiece recognition device and workpiece pick-up device | |
DE102016120386A1 (en) | Method for detecting objects in a warehouse and industrial truck with a device for detecting objects in a warehouse | |
DE102016222202A1 (en) | ANALYSIS APPARATUS AND ANALYSIS PROCEDURE | |
DE202011004401U1 (en) | Control and monitoring of a storage and picking system by movement and language | |
DE102013015164B4 (en) | Method for designing a clean room and method for the production of pharmaceutical products with a navigation system | |
DE202014000433U1 (en) | Device for detecting and displaying three-dimensional objects | |
DE102018100187A1 (en) | Method for monitoring warehouse work on shelves on worktops for detecting mis-storage processes | |
DE102017216863B3 (en) | Method and robot system for adapting a robotic insert to a work process | |
DE102019207870A1 (en) | Method for creating an environment map for use in the autonomous navigation of a mobile robot | |
EP3616140A1 (en) | System for supporting teamwork by means of augmented reality | |
DE102018126310B3 (en) | Method for creating an object model for gripping an object, computer-readable storage medium and robotic system | |
DE102017204629A1 (en) | SYSTEM WITH A TOOL AND METHOD FOR LEADING A USER OF A TOOL WHEN TREATING AT LEAST ONE WORKPIECE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |