EP4069440A1 - Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom - Google Patents

Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom

Info

Publication number
EP4069440A1
EP4069440A1 EP20808055.6A EP20808055A EP4069440A1 EP 4069440 A1 EP4069440 A1 EP 4069440A1 EP 20808055 A EP20808055 A EP 20808055A EP 4069440 A1 EP4069440 A1 EP 4069440A1
Authority
EP
European Patent Office
Prior art keywords
containers
container
fallen
images
mass flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20808055.6A
Other languages
English (en)
French (fr)
Inventor
Siddiqui Aurangzaib AHMED
Udo BAYER
Josef PAUKER
Stefan AWISZUS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krones AG
Original Assignee
Krones AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krones AG filed Critical Krones AG
Publication of EP4069440A1 publication Critical patent/EP4069440A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/3404—Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level
    • B07C5/3408—Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level for bottles, jars or other glassware
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the deep neural network can be trained with a training data set with images of standing and fallen and / or damaged containers, so that the deep neural network uses the training data set to develop a model to match the standing, fallen and / or damaged containers of the container mass flow from one another distinguish.
  • the deep neural network can be trained with a large number of different cases, so that the evaluation is largely independent of the container type and / or environmental influences.
  • the training data set can include images of containers of different sizes, orientations or positions.
  • the images of the training data set can be recorded with the at least one camera. It is conceivable that this takes place in a test system or directly on site at an operator of the beverage processing system. It is also conceivable that the manufacturer of the beverage processing system creates a database with images of standing and fallen and / or damaged containers in order to then use them with the training data set.
  • the images of the training data set can be automatically duplicated in order to create additional images with additional combinations of standing and fallen and / or damaged containers. As a result, the effort involved in creating the training data set can be reduced considerably. It is conceivable that image sections with a standing or fallen and / or damaged container are created during the reproduction. The image sections can come from an original data set. It is conceivable that the image sections are rotated and / or enlarged individually during the reproduction. It is also conceivable that at least one exposure parameter is changed in the image sections during the reproduction. The image sections can then be reassembled to form the images of the training data set. As a result, a very large number of different images of the training data set can be provided using a few original images.
  • the exposure parameter can mean a brightness and / or a contrast of an image section.
  • the device offers the advantage of active accident and personal protection, since fallen and / or damaged containers do not have to be manually removed from the container mass flow by the operator. This is all the more true since the containers in the mass container flow are subjected to dynamic pressure among one another and intervention by the operating personnel to remove a container as a result of the sudden relief of the container flow harbors the risk of accidents such as crushing and cutting.
  • the device for identifying the fallen and / or damaged container in the container mass flow can be arranged in a beverage processing system. It is conceivable that at least one container treatment machine is arranged upstream and / or downstream of the conveyor. In other words, the conveyor can connect two container handling machines to one another.
  • FIG. 3 shows an exemplary embodiment of a method according to the invention for recognizing fallen containers as a flow chart
  • FIG. 4 shows an exemplary embodiment of a section of the method from FIG. 3 for training the deep neural network
  • the camera 6 is arranged on the conveyor 5, which detects the standing containers 2 and the containers 3 that have fallen over from above at an angle.
  • the arrangement of the camera 6 is only shown here by way of example. It is also conceivable that there are several cameras that look obliquely from above in the same direction or in opposite directions. An arrangement is also conceivable directly from above, perpendicular to a transport surface of the conveyor 5.
  • the neural network 71 is designed to recognize and localize the fallen containers 3. On the basis of the evaluation, the fallen containers 3 can then be removed from the conveyor 5 with a switch (not shown here) or by means of a gripping arm.
  • FIG. 2 two exemplary images 11 and I2 of the image data stream output by camera 6 from FIG. 1 are shown.
  • the training data set can be obtained from a set larger than 1000, preferably larger than 5000 and particularly preferably larger than 10000 images.
  • step 120 the containers 2 of the container mass flow are transported standing on the conveyor 5. It can occasionally happen that one of the containers 2 falls over and then lies on the conveyor 5 as a fallen container 3.
  • step 111 images of different container types and / or different lighting conditions are acquired. It is conceivable, for example, that this is done on a test system or that images of the container mass flow M of various beverage processing systems are collected in a database.
  • step 112 the images are scaled to a standard size. This enables them to be evaluated uniformly.
  • the fallen and standing containers 2, 3 are marked and classified. This can be done manually, semi-automatically or automatically. For example, this can be done manually by an operator on a screen or with a particularly computationally intensive image processing algorithm.
  • the marking can be, for example, a surrounding box and the classification can be a container type or a container size.
  • step 114 the images are automatically duplicated in order to create further images with additional combinations of standing and fallen containers 2, 3.
  • image sections are first created with one standing or one overturned container 2, 3, which are then rotated and / or enlarged individually for reproduction. It is also conceivable that the exposure parameters of the image sections are changed during the reproduction. The image sections can then be put together in the most varied of combinations as further images, from which the training data set is then created in step 115.
  • step 116 features are automatically extracted by means of the deep neural network 71.
  • a multi-stage filtering process for the training data set is used. It is conceivable that edge filters or the like can be used to extract the outer boundary of each individual container 2, 3.
  • the extraction of features here can very generally mean a method for recognizing and / or localizing distinguishing features of the overturned containers 3 compared to the standing containers 2 in the images of the training data set.
  • this can also be done manually by an operator.
  • the extracted features can include a container closure, a contour of a standing or fallen container 2, 3, a container label and / or the light reflections.
  • the extracted features can each include a feature classification, a 2D and / or 3D coordinate.
  • the deep neural network 71 is trained with the training data set.
  • images of the training data set with the extracted features and the associated markings and classifications of the fallen and standing containers 2, 3 are iteratively given to the deep neural network 71. From this, the deep neural network 71 develops a model in step 118 with which the fallen and standing containers 2, 3 can be recognized.
  • the model can then be verified by means of the training data set without specifying the markings and classifications. A comparison is made as to whether the deep neural network 71 actually recognizes the previously specified markings and classifications in the training data set. Likewise, further images with fallen and standing containers 2, 3 can be used for this purpose, which the deep neural network 71 was not trained.
  • the substep 140 of the method 100 from FIG. 3 for evaluating the image data stream with the deep neural network 71 is shown in more detail as a flowchart.
  • step 142 The features are then extracted in step 142. This takes place in the same way as described in step 116 with reference to FIG.
  • the deep neural network then recognizes the orientation and the location of the respective container 2, 3 in step 143 and indicates a probability as to whether this container 2, 3 is transported lying or standing on the conveyor 5.
  • This information is then visualized in step 144 and output on a screen in accordance with FIG. 2. In this way, an operator can check whether the recognition is proceeding properly.
  • a signal is output in step 145 in order to remove it from the conveyor 5, for example with a switch or a gripper arm.
  • the container mass flow M is recorded as an image data stream with the at least one camera 6 and the image data stream is evaluated by the image processing unit 7 with the deep neural network 71, the images of the image data stream can be evaluated on the basis of previously learned empirical values from the deep neural network 71, around the standing and to classify fallen container 2, 3 respectively. Because it is possible to train the deep neural network 71 with images of the most varied of container types and / or environmental conditions, it is no longer necessary to adapt the evaluation of the image data stream in the specific application. Consequently, the method according to the invention is particularly flexible and easy to use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom, wobei die Behälter (2, 3) des Behältermassenstroms auf einem Transporteur (stehend transportiert werden, wobei der Behältermassenstrom mit wenigstens einer Kamera als Bilddatenstrom erfasst wird, und wobei der Bilddatenstrom von einer Bildverarbeitungseinheit ausgewertet wird, wobei der Bilddatenstrom von der Bildverarbeitungseinheit mit einem tiefen neuronalen Netzwerk ausgewertet wird, um die umgefallenen und/oder beschädigten Behälter (3) zu erkennen und zu lokalisieren.

Description

Verfahren und Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von umgefallenen und/o der beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Oberbegriffs von Anspruch 1 bzw. 14.
In Getränkeverarbeitungsanlagen ist es üblich, die Behälter zwischen einzelnen Behälterbehand lungsmaschinen als Behältermassenstrom auf einem Transporteur stehend zu transportieren. Da bei kann es gelegentlich Vorkommen, dass einzelne Behälter während des Transports umfallen und somit durch die nachfolgende Behälterbehandlungsmaschine nicht mehr ordnungsgemäß verarbeitet werden können oder einen Stau verursachen. Folglich müssen die umgefallenen Be hälter im Behältermassenstrom erkannt werden, um sie anschließend zu entfernen. Denkbar ist auch, dass beschädigte Behälter im Behältermassenstrom erkannt und davon entfernt werden.
Die DE 201 10 686 U1 offenbart eine Vorrichtung zum Erkennen liegender Gefäße auf einem mehrspurigen Transporteur mittels darüber angeordneter Sensoren. Als Sensoren werden berüh rungslos arbeitende Ultraschallsensoren verwendet.
Die US 2017/0267462 A1 offenbart eine Vorrichtung und ein Verfahren zur Intervention an einem Förderband. Dabei wird das Förderband mit einem Sensor überwacht, der beispielsweise als Ult raschall- oder Lasersensor ausgebildet ist. Liegende Produkte können mit einem Greifwerkzeug entfernt werden.
Des Weiteren wird in der EP 2 295 156 A2 eine Fördereinrichtung mit einer Einrichtung zur Er kennung von umgefallenen Artikeln und Verfahren zu deren Steuerung vorgeschlagen, wobei die geförderten Gegenstände oder Artikel innerhalb eines definierten Bereichs mit einem Laserscan ner optisch erfasst werden.
Die WO 2008/116546 A2 offenbart ein Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen. Zur Steuerung oder Über wachung der Anlage wird ein optoelektronisches Erkennungssystem mit einer Wärmebildkamera vorgeschlagen, wobei in der zugeordneten Datenverarbeitungsanlage Methoden der Bildanalyse und/oder der Objekterkennung angewendet werden. Nachteilig bei den bekannten Verfahren und Vorrichtungen ist es, dass sie individuelle Lösungen darstellen, die jeweils auf die verschiedenen Anwendungsfälle angepasst werden müssen. Bei spielsweise geschieht dies durch auf den Anwendungsfall angepasste Sensoren und/oder eine spezielle Programmierung der Bildverarbeitung. Darüber hinaus müssen sie üblicherweise auf Behälterparameter genau angepasst werden und sind abhängig von den Umgebungsbedingun gen.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Erken nung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom bereit zustellen, dass einfacher und flexibler ersetzbar ist.
Zur Lösung der Aufgabenstellung stellt Erfindung ein Verfahren zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des An spruchs 1 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen ge nannt.
Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit mit dem tiefen neuronalen Netz werk ausgewertet wird, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigte Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschie denster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkre ten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar. Zudem wird hier das neuronale Netzwerk zentral für eine Vielzahl verschiedener Getränkeverarbeitungs anlagen und/oder Behältertypen trainiert und gepflegt. Folglich muss das erfindungsgemäße Ver fahren nicht vor Ort bei einem Kunden aufwändig bei einer Inbetriebnahme oder Umrüstung der Getränkeverarbeitungsanlage unter Einsatz von Expertenwissen eingerichtet werden. Zudem ist die Auswertung mit dem tiefen neuronalen Netzwerk besonders zuverlässig. Dadurch lässt sich das Verfahren im unbeaufsichtigten Betrieb, insbesondere beim Nachtbetrieb ohne Personal be sonders zuverlässig einsetzen. Weiterhin bietet das Verfahren den Vorteil eines aktiven Unfall- und Personenschutzes, da umgefallene und/ oder beschädigte Behälter nicht manuell vom Be dienpersonal aus dem Behältermassenstrom entfernt werden müssen. Dies gilt umso mehr, als dass die Behälter im Massenbehälterstrom untereinander mit Staudruck beaufschlagt sind und ein Eingreifen des Bedienpersonals zum Entfernen eines Behälters durch die plötzliche Entlastung des Behälterstroms ein Unfallrisiko wie Quetsch- sowie Schnittgefahr in sich birgt. Das Verfahren zur Erkennung der umgefallenen und/oder beschädigten Behälter kann in einer Getränkeverarbeitungsanlage eingesetzt werden. Das Verfahren kann einem Behälterherstel lungsverfahren, Reinigungsverfahren, Füllverfahren, Verschluss- und/oder Verpackungsverfah ren vorgeordnet oder nachgeordnet sein. Insbesondere kann das Verfahren bei einem Transport von einem ersten Behälterbehandlungsverfahren zu einem nachfolgenden, zweiten Behälterbe handlungsverfahren eingesetzt werden.
Behälter können dazu vorgesehen sein, Getränke, Nahrungsmittel, Hygieneartikel, Pasten, che mische, biologische und/oder pharmazeutische Produkte aufzunehmen. Die Behälter können als Flaschen, insbesondere als Kunststoffflaschen, als Glasflaschen oder (Metall-) Dosen ausgebildet sein. Bei Kunststoffflaschen kann es sich im speziellen um PET-, PEN-, HD-PE- oder PP-Flaschen handeln. Ebenso kann es sich um biologisch abbaubare Behälter oder Flaschen handeln, deren Hauptbestandteile aus nachwachsenden Rohstoffen, wie zum Beispiel Zuckerrohr, Weizen oder Mais bestehen. Denkbar ist, dass die Behälter mit einem Verschluss versehen sind.
Mit den „stehenden Behältern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehen Aufstandsfläche auf dem Transporteur stehen. Beispielsweise kann die Aufstandsflä che ein ringförmiger Flächenbereich eines Flaschenbodens sein. Mit den „umgefallenen Behäl tern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehenen Aufstandsflä che abweichenden Behälterseite auf dem Transporteur liegen, beispielsweise mit einer Seitenflä che.
Denkbar ist beispielsweise, dass der Transporteur ein Förderband umfasst, auf dem die Behälter stehend in einen Erfassungsbereich der Kamera transportiert werden.
Der Transporteur kann als Massentransporteur ausgebildet sein, mit dem die Behälter mehrreihig transportiert werden. Die Behälter können auf dem Massentransporteur stehend transportiert wer den. Der Massentransporteur kann also wenigstens 1 ,5 der Behälter nebeneinander, vorzugs weise wenigstens zwei oder noch mehr der Behälter quer zu einer Transportrichtung nebeneinan der transportieren. Mit „wenigstens 1,5 der Behälter“ kann hier gemeint sein, dass die Behälter versetzt und/oder in wenigstens zwei miteinander verschränkten Reihen transportiert werden. Mit dem mehrreihigem Transport kann ein Transport in mehreren separaten Behälterreihen nebenei nander oder ein ungeordneter Transport gemeint sein. Der Massentransporteur kann ein Förder band und zwei seitlich daran angeordnete Geländer umfassen, die mit einer Transportbreite von wenigstens 1,5 Behältern quer zu der Transportrichtung beabstandet sind. Dadurch werden die Behälter beim mehrreihigen Transport mit den Geländern auf dem Förderband geführt. Die Ge länder können jedoch auch mit wenigstens zwei Behältern oder noch mehr Behältern beabstandet sein. Denkbar ist auch, dass der Massentransporteur zwischen den beiden Geländern wenigstens eine Führungsschiene umfasst, mit der die Behälter in mehreren separaten Reihen geführt wer den. Das Förderband kann wenigstes ein flexibles Band, eine Gliederbandkette und/oder eine Massenmattenkette umfassen. Denkbar ist auch, dass das Förderband mehrere Gliederbandket ten nebeneinander umfasst, die einzeln angetrieben und/oder angesteuert werden. Dadurch kann der mehrreihige Transport besser gelenkt werden bzw. der beim Massentransport entstehende Staudruck besser verteilt, auf- oder abgebaut werden. Das Förderband kann um zwei Rollen um laufend gelagert und/oder angetrieben sein. Vorzugsweise kann der Massentransporteur einen oder mehrere Antriebe umfassen, insbesondere einen Elektromotor, der das Förderband antreibt.
Die wenigstens eine Kamera kann ein Objektiv und einen Bildsensor umfassen, um den Behälter massenstrom optoelektronisch zu erfassen. Beispielsweise kann der Bildsensor einen CMOS- oder einen CCD-Sensor umfassen. Denkbar ist, dass der Bildsensor einen Zeilensensor oder ei nen Flächensensor umfasst. Die wenigstens eine Kamera kann über eine Datenschnittstelle mit der Bildverarbeitungseinheit verbunden sein, um den Bilddatenstrom zu übertragen. Die Daten schnittstelle kann eine analoge oder eine digitale Datenschnittstelle umfassen.
Die Bildverarbeitungseinheit kann den Bilddatenstrom mit einem Signalprozessor und/oder mit einer CPU verarbeiten. Denkbar ist auch, dass die Bildverarbeitungseinheit dazu eine Speicher einheit, eine oder mehrere Datenschnittstellen, beispielsweise eine Netzwerkschnittstelle, eine Anzeigeeinheit und/odereine Eingabeeinheit umfasst. Die Bildverarbeitungseinheit kann den Bild datenstrom in einzelne Bilder aufteilen, die jeweils einzelnen mit dem tiefen neuronalen Netzwerk ausgewertet werden. Denkbar ist auch, dass die Bildverarbeitungseinheit den Bilddatenstrom mit Bildverarbeitungsalgorithmen auswertet, insbesondere Filtern und dergleichen.
Das tiefe neuronale Netzwerk kann eine Eingabeschicht, eine Ausgabeschicht und wenigstens zwei dazwischenliegende, verdeckte Schichten umfassen. Die Ausgabeschicht kann mit der Ein gabeschicht über die wenigstens zwei verdeckten Schichten verbunden sein. Der Bilddatenstrom kann der Eingabeschicht zugeführt werden, insbesondere Bilder des Bilddatenstroms. Mit der Ausgabeschicht können Signale ausgegeben werden, um für jeden Behälter eine Wahrscheinlich keit anzugeben, ob er steht oder ob er umgefallen und/oder ob er beschädigt ist. Darüber hinaus können mit der Ausgabeschicht Signale ausgegeben werden, an welcher Position auf dem T rans- porteur sich der jeweilige Behälter befindet. Denkbar ist auch, dass mit der Ausgabeschicht Sig nale ausgegeben werden, wie die Behälter jeweils orientiert sind. Die Eingabeschicht, die wenigs tens zwei verdeckten Schichten und/oder die Ausgabeschicht können jeweils neuronale Knoten umfassen und/oder über neuronale Verbindungen miteinander verbunden sein. Das tiefe neuronale Netzwerk kann mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern trainiert werden, sodass das tiefe neuronale Netz werk anhand des Trainingsdatensatzes ein Modell entwickelt, um die stehenden und umgefalle nen und/oder beschädigten Behälter des Behältermassenstroms voneinander zu unterscheiden. Dadurch kann das tiefe neuronale Netzwerk mit einer hohen Anzahl von verschiedenen Fällen trainiert werden, sodass die Auswertung weitestgehend unabhängig von Behältertyp und/oder Umgebungseinflüssen ist. Beispielsweise kann der Trainingsdatensatz Bilder von Behältern un terschiedlicher Größe, Ausrichtung oder Position umfassen. Die Bilder des Trainingsdatensatzes können mit der wenigstens einen Kamera aufgenommen werden. Denkbar ist, dass dies in einer Testanlage oder direkt vor Ort bei einem Betreiber der Getränkeverarbeitungsanlage geschieht. Denkbar ist auch, dass beim Hersteller der Getränkeverarbeitungsanlage eine Datenbank mit Bil dern von stehenden und umgefallenen und/oder beschädigten Behältern angelegt wird, um diese dann mit dem Trainingsdatensatz zu verwenden.
Denkbar ist, dass der Trainingsdatensatz Bilder aus dem Behältermassenstrom der Getränkever arbeitungsanlage eines Getränkeherstellers umfasst und der Trainingsdatensatz zum Hersteller der Getränkeverarbeitungsanlage übertragen wird (z.B. per Internet) und, dass das tiefe neuro nale Netzwerk dann beim Hersteller mit dem Trainingsdatensatz trainiert wird. Dadurch kann das tiefe neuronale Netzwerk zentral von Experten trainiert und/oder geprüft werden.
Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Behältertypen umfassen. Dadurch kann das tiefe neuronale Netzwerk besonders gut auf unterschiedliche Behältertypen trainiert werden.
Denkbar ist auch, dass wenigstens eines der Bilder des Trainingsdatensatzes eine Kombination von verschiedenen Behältertypen umfasst. Dadurch können auch verschiedenartige Behälterty pen in einem Behältermassenstrom besonders zuverlässig erkannt und lokalisiert werden.
Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Umgebungsverhältnissen, insbesondere Beleuchtungsverhältnissen umfassen. Dadurch können die umgefallenen und/oder beschädigten Behälter unabhängig von den Umgebungsverhältnissen besonders gut erkannt werden. Denkbar ist, dass der Trainingsda tensatz Bilder mit unterschiedlichem Sonnenstand, Beleuchtungsstärken und dergleichen um fasst.
In den Bildern des Trainingsdatensatzes und/oder in Metadaten der Bilder können die stehenden und/oder umgefallenen und/oder beschädigten Behälter gekennzeichnet sein, insbesondere über wenigstens eine umgebende Box (Bounding Box). Dadurch können dem tiefen neuronalen Netz werk besonders viele Informationen über die stehenden und/oder die umgefallenen und/oder die beschädigten Behälter bereitgestellt werden. Zudem ist es mit der umgebenden Box möglich, dass im Trainingsdatensatz Informationen enthalten sind, die die Orientierung und den Ort der stehen den und/oder der umgefallenen und/oder der beschädigten Behälter beschreibt.
Die Bilder des Trainingsdatensatzes können automatisch vervielfältigt werden, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen und/oder beschädigten Behäl tern zu erstellen. Dadurch kann der Aufwand bei der Erstellung des Trainingsdatensatzes erheb lich verringert werden. Denkbar ist, dass bei der Vervielfältigung Bildausschnitte mit jeweils einem stehenden oder umgefallenen und/oder beschädigten Behälter erstellt werden. Die Bildaus schnitte können aus einem Originaldatensatz stammen. Denkbar ist, dass die Bildausschnitte bei der Vervielfältigung individuell gedreht und/oder vergrößert werden. Es ist auch denkbar, dass bei den Bildausschnitten während der Vervielfältigung wenigstens ein Belichtungsparameter verän dert wird. Anschließend können die Bildausschnitte wieder zu den Bildern des Trainingsdatensat zes zusammengesetzt werden. Dadurch können über wenige Originalbilder sehr viele unter schiedliche Bilder des Trainingsdatensatzes bereitgestellt werden. Mit dem Belichtungsparameter kann eine Helligkeit und/oder ein Kontrast eines Bildausschnitts gemeint sein.
Die umgefallenen und/oder beschädigten Behälter können von den stehend transportierten Be hältern des Behältermassenstroms nach der Erkennung und Lokalisation durch das tiefe neuro nale Netzwerk automatisch getrennt werden, insbesondere mit einem Greifarm oder mit einer Weiche. Dadurch können die umgefallenen und/oder beschädigten Behälter ohne Unterbrechung des Behältermassenstroms vom Transporteur entfernt werden. Bei dem Greifarm kann es sich beispielsweise um einen Roboter mit einem Greifwerkzeug handeln.
Denkbar ist, dass der Bilddatenstrom kontinuierlich erfasst wird und mittels eines Schiebefensters in einzelne Bilder unterteilt wird, wobei die einzelnen Bilder anschließend mit dem tiefen neurona len Netzwerk ausgewertet werden. Dadurch kann der Bilddatenstrom besonders einfach zur Ver arbeitung durch das tiefe neuronale Netzwerk bereitgestellt werden. Denkbar ist in diesem Fall, dass die Kamera als Zeilenkamera ausgebildet ist, mit der der Behältermassenstrom kontinuierlich erfasst wird. Mit dem Schiebefenster kann hier ein Schiebefenster-Algorithmus gemeint sein. An ders ausgedrückt kann das Schiebefenster ein Bildbereich des Bilddatenstroms sein, der fortwäh rend um feste Schritte verschoben wird.
Darüber hinaus stellt die Erfindung zur Lösung der Aufgabenstellung eine Vorrichtung zur Erken nung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Anspruchs 14 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen genannt.
Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und die Bildverarbeitungseinheit das tiefe neuronale Netzwerk zur Auswertung des Bild datenstroms umfasst, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tie fen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigten Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschie denster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkre ten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar. Zudem ist die Auswertung mit dem tiefen neuronalen Netzwerk besonders zuverlässig. Dadurch lässt sich das Verfahren im unbeaufsichtigten Betrieb, insbesondere beim Nachtbetrieb ohne Personal be sonders zuverlässig einsetzen. Weiterhin bietet die Vorrichtung den Vorteil eines aktiven Unfall- und Personenschutzes, da umgefallene und/ oder beschädigte Behälter nicht manuell vom Be dienpersonal aus dem Behältermassenstrom entfernt werden müssen. Dies gilt umso mehr, als dass die Behälter im Massenbehälterstrom untereinander mit Staudruck beaufschlagt sind und ein Eingreifen des Bedienpersonals zum Entfernen eines Behälters durch die plötzliche Entlastung des Behälterstroms ein Unfallrisiko wie Quetsch- sowie Schnittgefahr in sich birgt.
Die Vorrichtung zur Kennung der umgefallenen und/oder beschädigten Behälter in dem Behälter massenstrom kann in einer Getränkeverarbeitungsanlage angeordnet sein. Denkbar ist, dass dem Transporteur wenigstens eine Behälterbehandlungsmaschine vor- und/oder nachgeordnet ist. An ders ausgedrückt kann der Transporteur zwei Behälterbehandlungsmaschinen miteinander ver binden.
Die Vorrichtung kann die zuvor in Bezug auf das Verfahren beschriebenen Merkmale, insbeson dere nach einem der Ansprüche 1-13, einzelnen oder in beliebigen Kombinationen sinngemäß umfassen.
Die Bildverarbeitungseinheit kann ein Speichermedium mit Maschineninstruktionen umfassen, die, wenn sie mit der Bildverarbeitungseinheit ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk auswerten. Anders ausgedrückt kann die Bildverarbeitungseinheit das tiefe neuronale Netzwerk umfassen. Denkbar ist, dass das Speichermedium Maschinenin struktionen umfasst, mit denen das zuvor beschriebene Verfahren wenigstens teilweise ausge- führt werden kann. Insbesondere können die Maschineninstruktionen diejenigen Teile des Ver fahrens ausführen, welche mit der Bildverarbeitungseinheit und/oder mit dem tiefen neuronalen Netzwerk durchgeführt werden.
Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigt:
Figur 1 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung zur Erkennung von um gefallenen Behältern in einem Behältermassenstrom in einer Draufsicht;
Figur 2 zwei beispielhafte Bilder des von der Kamera aus der Figur 1 ausgegebenen Bilddaten stroms;
Figur 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Erkennung von um gefallenen Behältern als Flussdiagramm;
Figur 4 ein Ausführungsbeispiel eines Teilabschnitts des Verfahrens aus der Figur 3 zum Trai ning des tiefen neuronalen Netzwerks; und
Figur 5 ein Ausführungsbeispiel eines T eilabschnitts des Verfahrens aus der Figur 3 zur Aus wertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk.
In der Figur 1 ist ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 1 zur Erkennung von umgefallenen Behältern 3 in einem Behältermassenstrom M in einer Draufsicht dargestellt. Zu sehen ist der Transporteur 5, der hier beispielhaft als Förderband ausgebildet ist und auf dem die Behälter 2, 3 des Behältermassenstroms in der Richtung R transportiert werden. Der Trans porteur 5 ist in erster Linie dazu ausgebildet, die Behälter 2 stehend zu transportieren. Zu sehen sind jedoch auch einige umgefallene Behälter 3, die beispielsweise durch Erschütterungen oder beim Führen der Behälter umgefallen sind. Denkbar ist auch, dass die Vorrichtung alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Da die umgefallenen und/oder beschädigten Behälter 3 vor einer nachfolgenden Behälterbehandlungsmaschine nicht ordnungs gemäß verarbeitet werden oder einen Stau verursachen können, müssen sie erkannt und vom Transporteur 5 entfernt werden.
Zu sehen ist auch, dass der Transporteur 5 als Massentransporteur ausgebildet ist, mit dem die Behälter 2 mehrreihig transportiert werden. Die Behälter 2 werden im Ausführungsbeispiel unge ordnet nebeneinander transportiert. Dazu umfasst der Transporteur 5 quer zur Richtung R (Trans portrichtung) an beiden Seiten zwei nicht genauer dargestellte Geländer, mit denen die Behälter 2 seitlich geführt werden. Zudem umfasst der Transporteur 5 ein Förderband, beispielsweise eine Gliederbandkette und/oder eine Massenmattenkette, das von einem Antrieb angetrieben wird. Auf einem derartigen Massentransporteur wirken sich die umgefallenen Behälter 3 besonders störend auf den Fluss der anderen Behälter 2 aus und müssen daher erkannt werden. Dieser Umstand gilt insbesondere bevor die Behälter eine Behälterstrom abwärts befindliche Behälterbehand lungsmaschine erreichen.
Dazu ist die Kamera 6 am Transporteur 5 angeordnet, die die stehenden Behälter 2 und die um gefallenen Behälter 3 von schräg oben her erfasst. Die Anordnung der Kamera 6 ist hier nur bei spielhaft gezeigt. Denkbar ist auch, dass mehrere Kameras vorhanden sind, die von schräg oben in dieselbe Richtung oder in entgegengesetzte Richtungen blicken. Denkbar ist auch eine Anord nung direkt von oben senkrecht auf eine Transportoberfläche des Transporteurs 5.
Die Kamera 6 erfasst also den Behältermassenstrom M als Bilddatenstrom und überträgt diesen mittels der Datenschnittstelle 8 zur Bildverarbeitungseinheit 7, um den Bilddatenstrom mit dem neuronalen Netzwerk 71 auszuwerten.
Die Bildverarbeitungseinheit 7 umfasst dazu ein Speichermedium mit Maschineninstruktionen, die, wenn sie mit der Bildverarbeitungseinheit 7 ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk 71 auswerten.
Das neuronale Netzwerk 71 ist dazu ausgebildet, die umgefallenen Behälter 3 zu erkennen und zu lokalisieren. Auf Basis der Auswertung können dann die umgefallenen Behälter 3 mit einer hier nicht dargestellten Weiche oder mittels eines Greifarms vom Transporteur 5 entfernt werden.
In der Figur 2 sind zwei beispielhafte Bilder 11 und I2 des von der Kamera 6 aus der Figur 1 ausgegebenen Bilddatenstroms dargestellt.
Denkbar ist, dass die Kamera 6 einen Flächensensor umfasst, mit dem die Bilder 11 , I2 jeweils zu einem Zeitpunkt flächig erfasst werden. Alternativ ist auch denkbar, dass die Kamera 6 einen Zeilensensor umfasst, mit dem der Bilddatenstrom kontinuierlich erfasst und mittels eines Schie befensters in einzelne Bilder 11, I2 unterteilt wird, wobei die einzelnen Bilder 11 , I2 anschließend mit dem tiefen neuronalen Netzwerk 71 ausgewertet werden.
Des Weiteren ist in den Bildern 11, I2 zu erkennen, dass nach der Auswertung durch das tiefe neuronale Netzwerk 71 die stehenden Behälter 2 jeweils mit einer umgebenden Box 21 gekenn zeichnet sind. Darüber hinaus sind auch die umgefallenen Behälter 3 mit einer anderen umge- bende Box 31 gekennzeichnet, die ihn einerseits markiert und andererseits dessen Ort und Ori entierung angibt. Auf Basis dieser Informationen kann dann die genaue Position der umgefallenen Behälter 3 auf dem Transporteur 5 als Signal ausgegeben werden bzw. der/die umgefallene/-n Behälter 3 bis zu der hier nicht dargestellten Weiche signaltechnisch mitverfolgt werden und au tomatisch aussortiert.
In der Figur 3 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens 100 zur Erken nung von umgefallenen Behältern 3 als Flussdiagramm dargestellt. Zu sehen ist, dass im Schritt 110 zunächst das tiefe neuronale Netzwerk mit einem Trainingsdatensatz mit Bildern von stehen den und umgefallenen Behältern trainiert wird, sodass das tiefe neuronale Netzwerk anhand des Trainingsdatensatzes ein Modell entwickelt. Anhand dieses Modells kann dann das tiefe neuro nale Netzwerk im Betrieb erkennen, was ein stehender Behälter und was ein umgefallener Behäl ter ist.
Das Verfahren 100 wird anhand von umgefallenen Behältern 3 genauer beschrieben. Denkbar ist, dass das Verfahren 100 alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Entsprechend werden im Trainingsdatensatz hier nicht genauer dargestellte, beschä digte Behälter trainiert. Diese Behälter können Deformationen aufweisen sowie auch zerbrochene Behälter zeigen.
Der Trainingsdatensatz kann aus einem Satz größer 1000, bevorzugt größer 5000 und besonders bevorzugt größer 10000 Bildern gewonnen werden.
Im Schritt 120 werden die Behälter 2 des Behältermassenstroms auf dem Transporteur 5 stehend transportiert. Dabei kann es gelegentlich Vorkommen, dass einer der Behälter 2 umfällt und dann als umgefallener Behälter 3 auf dem Transporteur 5 liegt.
Um die umgefallenen Behälter 3 zu erkennen, wird zunächst der Behältermassenstrom M mit wenigstens einer Kamera 6 als Bilddatenstrom erfasst (Schritt 130), der anschließend von der Bildverarbeitungseinheit 7 mit dem tiefen neuronalen Netzwerk 71 ausgewertet wird (Schritt 140).
Die umgefallenen Behälter 3 werden von den stehend transportierten Behältern 2 des Behälter massenstroms nach der Erkennung und Lokalisation automatisch getrennt (Schritt 150), beispiels weise mit einem Greifarm oder mit einer Weiche.
In der Figur 4 ist ein Ausführungsbeispiel des Teilabschnitts 110 des Verfahrens 100 aus der Figur 3 zum Training des tiefen neuronalen Netzwerks 110 als Flussdiagramm genauer dargestellt. Zunächst werden im Schritt 111 Bilder von verschiedenen Behältertypen und/oder verschiedenen Beleuchtungsverhältnissen erfasst. Denkbar ist beispielsweise, dass dies auf einer Testanlage geschieht oder, dass Bilder vom Behältermassenstrom M verschiedener Getränkeverarbeitungs anlagen in einer Datenbank gesammelt werden.
Nachfolgend werden die Bilder im Schritt 112 auf ein Standardmaß skaliert. Dadurch können Sie einheitlich ausgewertet werden.
Im Schritt 113 werden die umgefallenen und die stehenden Behälter 2, 3 markiert und klassifiziert. Dies kann manuell, halbautomatisch oder automatisch geschehen. Beispielsweise kann dies ma nuell von einer Bedienperson an einem Bildschirm geschehen oder mit einem besonders rechen intensiven Bildverarbeitungsalgorithmus. Bei der Markierung kann es sich beispielsweise um eine umgebende Box handeln und bei der Klassifizierung um einen Behältertyp oder eine Behälter größe.
Anschließend werden im Schritt 114 die Bilder automatisiert vervielfältigt, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen Behältern 2, 3 zu erstellen. Dabei werden zunächst Bildausschnitte mit jeweils einem stehenden oder einem umgefallenen Behälter 2, 3 erstellt, die dann zur Vervielfältigung individuell gedreht und/oder vergrößert werden. Denkbar ist auch, dass Belichtungsparameter der Bildausschnitte während der Vervielfältigung verändert werden. Anschließend können die Bildausschnitte in verschiedensten Kombinationen als weitere Bilder zusammengesetzt werden, aus denen dann im Schritt 115 der Trainingsdatensatz erstellt wird.
Im nachfolgenden Schritt 116 werden mittels des tiefen neuronalen Netzwerks 71 Merkmale au tomatisch extrahiert. Dabei kommt beispielsweise ein mehrstufiges Filterverfahren des Trainings datensatzes zum Einsatz. Denkbar ist, dass dabei Kantenfilter oder dergleichen verwendet wer den, um die äußere Grenze jedes einzelnen Behälters 2, 3 extrahieren.
Mit der Extraktion von Merkmalen kann hier ganz allgemein ein Verfahren zum Erkennen und/oder Lokalisieren von Unterscheidungsmerkmalen der umgefallenen Behälter 3 gegenüber den ste henden Behältern 2 in den Bildern des Trainingsdatensatzes gemeint sein. Alternativ zur automa tischen Extraktion mit dem tiefen neuronalen Netzwerk 71 kann dies auch manuell durch eine Bedienperson geschehen. Beispielsweise können die extrahierten Merkmale einen Behälterver schluss, eine Kontur eines stehenden bzw. umgefallenen Behälters 2,3, ein Behälteretikett und/o der Lichtreflektionen umfassen. Die extrahierten Merkmale können jeweils eine Merkmalsklassifi zierung, eine 2D- und/oder 3D-Koordinate umfassen. Nachfolgend wird im Schritt 117 das tiefe neuronale Netzwerk 71 mit dem Trainingsdatensatz trainiert. Dabei werden dem tiefen neuronalen Netzwerk 71 iterativ Bilder des Trainingsdatensat zes mit den extrahierten Merkmalen sowie den zugehörigen Markierungen und Klassifizierungen der umgefallenen und stehenden Behälter 2, 3 vorgegeben. Daraus entwickelt das tiefe neuronale Netzwerk 71 im Schritt 118 ein Modell, mit dem die umgefallenen und die stehenden Behälter 2, 3 erkannt werden können.
Im nachfolgenden Schritt 119 kann dann das Modell mittels des Trainingsdatensatzes ohne Vor gabe der Markierungen und Klassifizierungen verifiziert werden. Dabei wird verglichen, ob das tiefe neuronale Netzwerk 71 die zuvor vorgegebenen Markierungen und Klassifizierungen tatsäch lich in dem Trainingsdatensatz erkennt. Ebenso können weitere Bilder mit umgefallenen und ste henden Behälter 2, 3 dazu herangezogen werden, die das tiefe neuronale Netzwerk 71 nicht trai niert wurde.
In der Figur 5 ist der Teilschritt 140 des Verfahrens 100 aus der Figur 3 zur Auswertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk 71 als Flussdiagramm genauer dargestellt.
Zu sehen ist, dass die Bilder des Bilddatenstroms aus der Figur 1 zunächst skaliert werden. Dadurch arbeitet die Auswertung unabhängig von der tatsächlichen Konfiguration der Kamera.
Anschließend werden im Schritt 142 die Merkmale extrahiert. Dies geschieht in gleicher Art und Weise wie im Schritt 116 in Bezug auf die Figur 4 beschrieben.
Anschließend erkennt das tiefe neuronale Netzwerk im Schritt 143 die Orientierung und den Ort des jeweiligen Behälters 2, 3 und gibt eine Wahrscheinlichkeit an, ob dieser Behälter 2, 3 liegend oder stehend auf dem Transporteur 5 transportiert wird.
Diese Information wird anschließend im Schritt 144 visualisiert und gemäß der Figur 2 an einem Bildschirm ausgegeben. Dadurch kann eine Bedienperson überprüfen, ob die Erkennung ord nungsgemäß abläuft.
Des Weiteren wird bei einem umgefallenen Behälter 3 im Schritt 145 ein Signal ausgegeben, um diesen vom Transporteur 5 zu entfernen, beispielsweise mit einer Weiche oder einem Greifarm.
Dadurch, dass der Behältermassenstrom M mit der wenigstens einen Kamera 6 als Bilddaten strom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit 7 mit dem tiefen neurona len Netzwerk 71 ausgewertet wird, können die Bilder des Bilddatenstroms anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks 71 ausgewertet werde, um die stehenden und umgefallenen Behälter 2, 3 jeweils zu klassifizieren. Dadurch, dass es möglich ist, das tiefe neu ronale Netzwerk 71 mit Bildern verschiedenster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es beim konkreten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar.
Es versteht sich, dass in den zuvor beschriebenen Ausführungsbeispielen genannte Merkmale nicht auf diese Kombination beschränkt sind, sondern auch einzelnen oder in beliebigen anderen Kombinationen möglich sind.

Claims

Ansprüche
1. Verfahren (100) zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom (M), wobei die Behälter (2, 3) des Behältermassenstroms (M) auf einem Transporteur (5) stehend transportiert werden (120), wobei der Behälter massenstrom (M) mit wenigstens einer Kamera (6) als Bilddatenstrom erfasst wird (130), und wobei der Bilddatenstrom von einer Bildverarbeitungseinheit (7) ausgewertet wird, dadurch gekennzeichnet, dass der Bilddatenstrom von der Bildverarbeitungseinheit (7) mit einem tiefen neuronalen Netzwerk (71) ausgewertet wird (140), um die umgefallenen und/oder beschädigten Be hälter (3) zu erkennen und zu lokalisieren.
2. Verfahren (100) nach Anspruch 1, wobei das tiefe neuronale Netzwerk (71) mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern (2, 3) trainiert wird (110), so dass das tiefe neuronale Netzwerk (71) anhand des Trainingsdatensatzes ein Modell entwickelt, um die stehenden und umgefallenen Behälter (2, 3) des Behältermassenstroms (M) voneinander zu unterscheiden.
3. Verfahren (100) nach Anspruch 2, wobei der Trainingsdatensatz Bilder (11 , I2) der ste henden und der umgefallenen und/oder beschädigten Behälter (2, 3) mit verschiedenen Behältertypen umfasst.
4. Verfahren (100) nach Anspruch 3, wobei wenigstens eines der Bilder (11, I2) des Trai ningsdatensatzes eine Kombination von verschiedenen Behältertypen umfasst.
5. Verfahren (100) nach einem der Ansprüche 2 - 4, wobei der Trainingsdatensatz Bilder (11 , I2) der stehenden und der umgefallenen und/oder beschädigten Behälter (2, 3) mit verschiedenen Umgebungsverhältnissen, insbesondere Beleuchtungsverhältnissen um fasst.
6. Verfahren (100) nach einem der Ansprüche 2 - 5, wobei in den Bildern des Trainingsda tensatzes und/oder in Metadaten der Bilder (11, I2) die stehenden und/oder die umgefal lenen und/oder beschädigten Behälter (2, 3) gekennzeichnet sind, insbesondere über wenigstens eine umgebende Box (4.1, 4.2).
7. Verfahren (100) nach einem der Ansprüche 2 - 6, wobei die Bilder (11 , I2) des Trainings datensatzes automatisiert vervielfältigt werden (114), um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen und/oder beschädigten Behältern (2, 3) zu erstellen.
8. Verfahren (100) nach Anspruch 7, wobei bei der Vervielfältigung (114) Bildausschnitte mit jeweils einem stehenden oder umgefallenen und/oder beschädigten Behälter (2, 3) erstellt werden.
9. Verfahren (100) nach Anspruch 8, wobei die Bildausschnitte bei der Vervielfältigung (114) individuell gedreht und/oder vergrößert werden.
10. Verfahren (100) nach Anspruch 8 oder 9, wobei bei den Bildausschnitten während der Vervielfältigung (114) wenigstens ein Belichtungsparameter verändert wird.
11. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei die umgefallenen und/oder beschädigten Behälter (3) von den stehend transportierten Behältern (2) des Behältermassenstroms nach (M) der Erkennung und Lokalisation durch das tiefe neuro nale Netzwerk (71) automatisch getrennt werden (150), insbesondere mit einem Greifarm oder mit einer Weiche.
12. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei der Bilddatenstrom kontinuierlich erfasst und mittels eines Schiebefenster in einzelne Bilder (11, I2) unterteilt wird, und wobei die einzelnen Bilder (11, I2) anschließend mit dem tiefen neuronalen Netzwerk (71) ausgewertet werden.
13. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei der Transporteur (5) als Massentransporteur ausgebildet ist, mit dem die Behälter (2,3) mehrreihig trans portiert werden.
14. Vorrichtung (1) zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom (M), insbesondere zur Durchführung des Verfahrens (100) nach einem der Ansprüche 1 - 13, mit einem Transporteur (5) zum stehenden Transport der Behälter (2, 3) des Behäl termassenstroms (M), wenigstens einer Kamera (6), um den Behältermassenstrom (M) als Bilddaten strom zu erfassen, und mit einer Bildverarbeitungseinheit (7), um den Bilddatenstrom auszuwerten, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (7) ein tiefes neuronales Netzwerk (71) zur Auswertung des Bilddatenstroms umfasst, um die umgefallenen und/oder beschädigten Behälter (3) zu erkennen und zu lokalisieren.
15. Vorrichtung (1) nach Anspruch 14, wobei Bildverarbeitungseinheit (7) ein Speicherme dium mit Maschineninstruktionen umfasst, die, wenn sie mit der Bildverarbeitungseinheit ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk (71) aus werten.
EP20808055.6A 2019-12-03 2020-11-16 Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom Pending EP4069440A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019132830.6A DE102019132830A1 (de) 2019-12-03 2019-12-03 Verfahren und Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom
PCT/EP2020/082172 WO2021110392A1 (de) 2019-12-03 2020-11-16 Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom

Publications (1)

Publication Number Publication Date
EP4069440A1 true EP4069440A1 (de) 2022-10-12

Family

ID=73455690

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20808055.6A Pending EP4069440A1 (de) 2019-12-03 2020-11-16 Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom

Country Status (5)

Country Link
US (1) US20230005127A1 (de)
EP (1) EP4069440A1 (de)
CN (1) CN114761145A (de)
DE (1) DE102019132830A1 (de)
WO (1) WO2021110392A1 (de)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4200546A1 (de) * 1992-01-11 1993-07-15 Alfill Getraenketechnik Verfahren und vorrichtung zum behandeln von flaschen
DE20110686U1 (de) 2001-06-27 2002-08-01 Krones Ag Vorrichtung zum Erkennen liegender Gefäße
DE102007014802A1 (de) 2007-03-28 2008-10-09 Khs Ag Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen
DE102009043976B4 (de) 2009-09-10 2021-07-29 Krones Aktiengesellschaft Fördereinrichtung und Verfahren zu deren Steuerung
DE102013207139A1 (de) * 2013-04-19 2014-10-23 Krones Ag Verfahren zur Überwachung und Steuerung einer Abfüllanlage und Vorrichtung zur Durchführung des Verfahrens
CA2949877C (fr) 2014-06-06 2022-07-12 Gebo Cermex Canada Inc. Dispositif et procede d'intervention sur ligne de convoyage
CN106000904B (zh) * 2016-05-26 2018-04-10 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣***
DE102016124400A1 (de) * 2016-12-14 2018-06-14 Krones Ag Verfahren und Vorrichtung zum Erfassen von Störungen beim Objekttransport
JP6595555B2 (ja) * 2017-10-23 2019-10-23 ファナック株式会社 仕分けシステム
JP7131617B2 (ja) * 2018-03-06 2022-09-06 オムロン株式会社 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
DE102018105301B4 (de) * 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
JP7076747B2 (ja) * 2018-05-09 2022-05-30 リョーエイ株式会社 分類器の学習支援システム、学習データの収集方法、検査システム
CN110154272B (zh) * 2019-05-17 2021-04-13 佛山市玖州智能装备技术有限公司 人工智能废品塑料瓶分拣方法
CN110321944A (zh) * 2019-06-26 2019-10-11 华中科技大学 一种基于接触网画质评估的深度神经网络模型的构建方法

Also Published As

Publication number Publication date
DE102019132830A1 (de) 2021-06-10
US20230005127A1 (en) 2023-01-05
WO2021110392A1 (de) 2021-06-10
CN114761145A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
EP2092311B1 (de) Vorrichtung zur inspektion von flaschen oder dergleichen behältern
EP2132129B1 (de) Verfahren zur überwachung, steuerung und optimierung von abfüllanlagen
EP2295157B1 (de) Vorrichtung und Verfahren zum Kontrollieren von Gefäßverschlüssen
DE60028756T2 (de) Methode und vorrichtung zur handhabung von ausgeworfenen sprtizgussteilen
EP3625740B1 (de) Vorrichtung und verfahren zum steuern eines materialflusses an einem materialfluss-knotenpunkt
EP2987136A1 (de) Verfahren zur überwachung und steuerung einer abfüllanlage und vorrichtung zur durchführung des verfahrens
EP2479123A1 (de) Vorrichtung und verfahren zum transport von artikeln
EP3563941B1 (de) Flaschenreinigungsmaschine
EP2295156B1 (de) Fördereinrichtung mit einer Einrichtung zur Erkennung von umgefallenen Artikeln und Verfahren zu deren Steuerung
EP3501676B1 (de) Flaschenreinigungsmaschine zum reinigen von flaschen
EP0996531B1 (de) Vorrichtung und verfahren zur herstellung von kunststoffhohlkörpern
WO2020003180A1 (de) Vorrichtung und verfahren zur inspektion von hängend förderbaren transporttaschen
EP1600764A1 (de) Verfahren und Vorrichtung zum Untersuchen lichtdurchlässiger Objekten
WO2021110682A1 (de) Sortiersystem und sortierverfahren für blatttabak
EP3541727A1 (de) Verfahren und vorrichtung zum erfassen von störungen beim objekttransport
EP4159329A1 (de) Beheben von fehlplatzierungen auf einem sorterelement
EP3544780B1 (de) Verfahren und system zum transportieren und manipulieren von zu gebinden zusammengefassten getränkebehältnissen sowie zum einleiten mindestens eines bestimmten prozesses im falle einer aus einer handhabung resultierenden beschädigung eines gebindes
EP4069440A1 (de) Verfahren und vorrichtung zur erkennung von umgefallenen und/oder beschädigten behältern in einem behältermassenstrom
DE102019105834A1 (de) Greifvorrichtung, Vereinzelungsvorrichtung sowie Verfahren zum Greifen von Körpern und Verwendung einer Greifvorrichtung
DE19959623C2 (de) Verfahren und Anordnung zum Lokalisieren von zylinderförmigen Objekten
WO2023061840A1 (de) Lebensmittelverarbeitungslinie und verfahren zum betreiben einer lebensmittelverarbeitungslinie
EP2452291A1 (de) Verfahren zur kontinuierlichen ermittlung einer greifposition
WO2024017426A1 (de) Vorrichtung und verfahren zum entleeren von behältern
DE102022122554A1 (de) Verfahren zur Steuerung von Prozessen des Behälterhandlings und Behälterbehandlungsanlage zur Produktion, Abfüllung, Handhabung, Verpackung und/oder Förderung von Behältern
EP4276450A1 (de) Vorrichtung und verfahren zum inspizieren von behältnissen mit positionserfassung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220408

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240513