WO2023084116A1 - Verfahren und vorrichtung zur klassifizierung von objekten, die auf einer oberfläche liegend gefördert werden - Google Patents

Verfahren und vorrichtung zur klassifizierung von objekten, die auf einer oberfläche liegend gefördert werden Download PDF

Info

Publication number
WO2023084116A1
WO2023084116A1 PCT/EP2022/082002 EP2022082002W WO2023084116A1 WO 2023084116 A1 WO2023084116 A1 WO 2023084116A1 EP 2022082002 W EP2022082002 W EP 2022082002W WO 2023084116 A1 WO2023084116 A1 WO 2023084116A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
height profile
designed
neural network
segment
Prior art date
Application number
PCT/EP2022/082002
Other languages
English (en)
French (fr)
Inventor
Massoud Koshan
Anthony Ioan
Lino Gerlach
Original Assignee
Koiotech UG (haftungsbeschränkt)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koiotech UG (haftungsbeschränkt) filed Critical Koiotech UG (haftungsbeschränkt)
Publication of WO2023084116A1 publication Critical patent/WO2023084116A1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Definitions

  • the invention relates to a method for determining the value of at least one shape parameter of objects which are conveyed lying on a surface in an unknown orientation and grouping by moving the surface in a conveying direction running along the surface.
  • the invention relates to a method having the features of the preamble of independent claim 1.
  • the invention relates to a device for carrying out such a method, in particular with the features of the preamble of independent claim 12.
  • the objects can be, for example, root crops such as potatoes, which are transported by the conveyor belt poured onto a conveyor belt.
  • the shape parameter of these objects, the value of which is determined, can be, for example, a square measure of the potatoes or the number of sticks of certain cross-section and certain length that can be cut from the potatoes in the manufacture of french fries.
  • Measuring objects conveyed individually on a conveyor belt using a laser scanner is known and is used, for example, in the production monitoring of various products.
  • the methods and devices used are unsuitable for irregular objects that are arranged on a conveyor belt in an unknown orientation and grouping, ie in particular also lying on top of one another.
  • DE 101 34 714 A1 discloses a method and an arrangement for contactless surface inspection of products with an approximately cylindrical shape, such as potatoes.
  • the products are individually transferred in their longitudinal direction to two closely adjacent, stationary rollers rotating in the same direction at the same speed, which are also arranged in the longitudinal direction.
  • the individual products are simultaneously set in rotation and in a longitudinal movement along the longitudinal direction of the rollers.
  • a line-wise scanning sensor also aligned in the longitudinal direction, captures the image area between the rollers and scans the entire development of the surface of each product once or several times, while the product moves through its image field in a rotating and linear manner.
  • the products are classified into several classes and sorted mechanically. This procedure is only practical for products that occur in comparatively small numbers per unit of time. Otherwise, only a sample can be separated from a main stream of products and classified into classes.
  • WO 2020/120 702 A1 It is known from WO 2020/120 702 A1 to determine three-dimensional training image data and associated training weight data of a plurality of training food objects using a 3D imaging device and a scale. A neural network is trained using this training image data and associated training weight data. Then, three-dimensional image data of food objects is acquired with a 3D imaging device, and the trained neural network and the acquired 3D images are used to determine a weight for the particular food product.
  • the food objects can be conveyed on a conveyor and thereby scanned with the aid of a laser scanner, the impact point of the laser beam coming from the laser scanner being recorded with a camera.
  • Such a system includes an imaging device for generating images of an area and of targets in the area.
  • An object characterization processor is connected to the imaging device and has a neural network and stored parameters for characterizing the target objects.
  • the neural network detects and outputs the presence of a plurality of different materials within the images based on a plurality of different features.
  • the neural network is specifically described as a fully convolutional neural network and also referred to as a machine learning-based segmentation algorithm. This neural network generates material-specific images for different materials, one of which, for example, indicates the presence of aluminum cans, their size and orientation.
  • a neural network for sorting objects from a mass is known from EP 3 816 857 A1.
  • the sorting system has at least one radiation source to irradiate the objects and at least one optical sensor to acquire spectral data on the radiation reflected by the objects.
  • a processing circuit analyzes the reflected radiation of the objects by inputting the spectral data into a convolutional neural network (CNN) with at least two layers of convolution to either recognize and classify the objects in the spectral data and/or to segment the spectral data semantically.
  • CNN convolutional neural network
  • a mechanical sorter is provided to sort the objects using the analysis of the processing circuitry.
  • a height sensor records a height profile of plants on a conveyor.
  • the height sensor can be a LIDAR sensor.
  • the height profile is determined in Cartesian coordinates.
  • the height profile is analyzed to determine the value of a shape and/or quality parameter of the harvested plants.
  • the invention is based on the object of demonstrating a method and a device for determining the value of at least one shape parameter of objects which are conveyed lying on a surface in an unknown orientation and grouping by moving the surface in a conveying direction running along the surface, which also objects that occur in large numbers per unit of time are suitable.
  • the object of the invention is achieved by a method having the features of independent patent claim 1 and by a device having the features of independent patent claim 12 .
  • the dependent patent claims are directed to preferred embodiments of the method according to the invention and the device according to the invention.
  • the directional statement “transverse” is to be understood in such a way that it preferably, but not necessarily, means “vertical”. In principle, the statement of direction “transverse” should only mean “essentially vertical” and allow an angular deviation from “exactly vertical” of up to 40° or at least up to 20°.
  • a measuring beam of a LIDAR scanner directed onto the surface is used the objects lying on the surface are repeatedly scanned in a plane running transversely to the conveying direction.
  • a speed at which the surface passes through the plane in the conveying direction is recorded, and an original height profile of the objects on the surface is determined point by point from signals from the LIDAR scanner and the speed of the surface.
  • the original height profile is segmented with a first neural network, with segments of the original height profile being identified whose points each belong to a single object.
  • Sections of the original height profile each comprising an identified segment and an area surrounding this one identified segment, are transformed into Cartesian coordinates and then with a second neural network with regard to the value of the at least one shape parameter of the respective individual object to which the points of the segment belong , analyzed.
  • a LIDAR scanner records the travel time of its measurement beam to a measurement point hit by the measurement beam and back to the LIDAR scanner. The distance from the measuring point to the LIDAR scanner results from this transit time and the speed of light.
  • a LIDAR scanner also has means for aligning the measuring beam in different directions, typically one or more rotating mirrors. The position of these means is assigned to the respective propagation time of the measuring beam or the distance of the measuring point derived therefrom in order to record the direction in which the measuring point lies from the LIDAR scanner in addition to the distance.
  • the objects lying on the surface are repeatedly scanned in a plane running transversely to the conveying direction with the measuring beam of the LIDAR scanner directed onto the surface.
  • the plane can be slightly inclined to the conveying direction in such a way that the surface is scanned with the measuring beam in lines running almost perpendicularly to the conveying direction.
  • the inclination of the plane to be set for this depends on the speed with which the surface passes through the plane in the conveying direction. If the course of the plane deviates significantly from this ideal course, this must be taken into account in the further steps of the method according to the invention. In any case, when the objects lying on the surface are repeatedly scanned, the measuring points of the objects that follow one another in the conveying direction are not always scanned with the measuring beam.
  • the areal scanning of the objects lying on the surface in the method according to the invention results from the pivoting of the measuring beam in the plane running transversely to the conveying direction only in a spatial direction running along the surface; in the second spatial direction running along the surface, the scanning takes place by moving the surface on which the objects lie.
  • the position of each measuring point of the LIDAR scanner can be assigned to a point on the surface or, if it is between this point and the LIDAR scanner, to an object lying.
  • the original height profile of the objects on the surface is determined point by point from the signals of the LIDAR scanner and the speed of the surface.
  • this original height profile is segmented with the aid of the first neural network.
  • the first neural network identifies segments of the height profile in such a way that all points of each identified segment belong to a single object and that each identified segment includes all points of the original height profile that belong to the respective single object.
  • the excerpts of the original elevation profile each of which is not only a segment identified in the first evaluation step, but also a limited environment of this identified segment, transformed into Cartesian coordinates and then analyzed with the help of the second neural network.
  • the second neural network determines the value of the at least one shape parameter of interest of the respective individual object. The content of this determination can be that the exact value of the shape parameter is determined or in which of several value ranges of the shape parameter the respective value falls.
  • the present invention does not relate to the precise structure of the first and second neural networks, which may vary. Rather, the invention consists in carrying out the evaluation in successive evaluation steps which are defined in such a way that they can be managed without any problems using two neural networks and can therefore be carried out fully automatically.
  • the original coordinates of the measuring points of the scanned objects on the surface which result from the signals of the LIDAR scanner and the speed of the surface in the method according to the invention, are cylindrical coordinates in which the z-coordinate runs in the conveying direction and the angle around a swivel axis of the measuring beam of the LIDAR scanners.
  • a transformation of the original coordinates of all measuring points into Cartesian coordinates would require a lot of computing time.
  • This computing time is significantly reduced in the method according to the invention by the fact that the height profile is first determined in the original cylinder coordinates or at least not yet completely transformed coordinates, that the segmentation of the height profile also takes place directly in the original cylinder coordinates or in any case the not yet completely transformed coordinates and that the original height profile is only converted into Cartesian coordinates for the sections that are analyzed in the second evaluation step.
  • the transformation into Cartesian coordinates is not just a matter of converting the points of the original height profile into Cartesian coordinates, but also of determining the height profile in the Cartesian coordinates in points that are to be carried out on the basis of extrapolations between the measuring points of the LIDAR scanner the moving surface are distributed at equal intervals. This is a prerequisite for the identified segments to be comparable with one another, regardless of where the associated object was located on the surface. This in turn is a prerequisite for the associated sections of the height profile can be analyzed without considering further information.
  • a group can be identified specifically of those segments which each belong to an individual object that is exposed on the surface or on other objects to the extent that their upper sides are not partially covered by one or more other objects. If then in the second evaluation step only sections of the height profile are analyzed that include a segment from this group, the analysis in the second processing step is particularly simple. Identifying the segments of this group is also a task that can be mastered with the help of a neural network without any fundamental problems.
  • the values of the at least one shape parameter are only determined for some of the objects.
  • this part of the objects is a random and therefore also fundamentally representative random sample that is not singled out.
  • the identified segments can be displayed to the second neural network for the second evaluation step by a mask for the height profile.
  • the area of the respective mask can then be used to define each section of the height profile concentrically to a base area of the associated segment of the height profile.
  • the concentricity can be defined specifically in relation to a centroid of the mask or the base area.
  • the sections of the height profile preferably have fixed absolute dimensions.
  • both the first neural network with height profiles of real and/or simulated objects on the surface and the second neural network with sections of height profiles around segments of real and/or simulated objects on the surface and measured values of the at least a shape parameter of the real and/or simulated objects can be trained.
  • the simulation of objects allows the scope of training for the neural networks to be increased significantly in a limited absolute time.
  • scanning the surface with the measuring beam of the LIDAR scanner with a spatial resolution of ⁇ 3 mm was sufficient, ⁇ 2 mm was advantageous and ⁇ 1 mm was preferred.
  • the angle of the measuring beam to the surface in the method according to the invention therefore preferably remains at least 60°.
  • a zero line of the original height profile can be determined by scanning the surface without objects lying on it. The measuring points of the objects lying on the surface are above this zero line.
  • a reference height of the original height profile can be determined by detecting a highest point of the objects lying on the surface and scanned during a detection period. The acquisition period may be the period during which the objects of interest, or a subset thereof, have been conveyed through the plane in which the LIDAR scanner is scanning. Then the original height profile can be determined selectively for those measurement points that lie within a height range below this reference height. This range of altitudes may extend up to the zero line or be suitably determined to end slightly above.
  • the height of the measurement points within the height range can be normalized to values between 0 and 1 and outside of the height range can be set to 0 or 1, depending on which side of the height range the measurement points are on.
  • the height range can be determined as a function of a typical maximum dumping height of the objects lying one above the other on the surface and can then be of the order of one to a few dm, ie from 1 dm to 5 dm. In the case of potatoes on a conveyor belt, for example, it can be 3 dm.
  • the moving surface can be flat; however, this is by no means mandatory.
  • the surface can be curved or structured in the form of a channel.
  • the LIDAR scanner can record not only the propagation time of its measuring beam but also a degree of reflection of its measuring beam and add it to the original height profile as a further coordinate.
  • This coordinate is preferably taken into account by the first neural network during the segmentation of the original height profile in the first evaluation step.
  • the at least one shape parameter which is determined by the method according to the invention, can be selected, for example, from the length of the objects, the square dimensions of the objects, the volume of the objects, the surface of the objects, the curvature of the objects and the number of continuous rods of specific dimensions into which the objects are divided can become.
  • values of any shape parameters can be determined with the method according to the invention.
  • the sections of the height profile can be analyzed with the second neural network to determine which of a plurality of object classes the respective object falls into based on the value of the at least one shape parameter.
  • the value of the shape parameter for each individual object does not have to be determined numerically more precisely than is necessary for classifying the object.
  • the objects can be, for example, root crops, specifically potatoes or sugar beets.
  • a device is suitable for determining the value of at least one shape parameter of objects which are conveyed lying in an unknown orientation and grouping on a surface of a conveyor by moving the surface in a conveying direction running along the surface.
  • it has a LIDAR scanner that emits a measuring beam in different directions in a plane, a positioning device that is designed to position the LIDAR scanner relative to the conveyor in such a way that this plane runs transversely to the conveying direction, a speed sensor that is designed to detect a speed at which the surface in the conveying direction passes through the plane passes through, and a first evaluation device which is designed to determine point by point a height profile of the objects on the surface from signals from the LIDAR scanner and the speed of the surface.
  • a second evaluation device of the device according to the invention has a first neural network and is designed to segment the height profile with the first neural network, with segments of the height profile being identified whose points each belong to an individual object.
  • the device according to the invention also has a third evaluation device, which includes a second neural network and is designed to transform sections of the height profile, each of which includes a segment and a region surrounding one segment, into Cartesian coordinates and then compare them with the second neural network to analyze the value of the at least one shape parameter of the respective individual object.
  • the third evaluation device is designed to determine the height profile in the Cartesian coordinates on the basis of extrapolations in points that are distributed at equal intervals over the moving surface when transforming the sections of the original height profile into the Cartesian coordinates.
  • the second evaluation device is designed in particular to identify a group of such segments that each belong to an individual object that is exposed on the surface or on other objects and whose surface is not covered by one or more other objects.
  • the third evaluation device is then designed in particular to analyze only those sections of the height profile which each comprise a segment from this group.
  • FIG. 1 is a schematic view of a device according to the invention looking in the conveying direction.
  • Figure 2 is a perspective view of a detail of the device of Figure 1.
  • 3 is a flow chart of the method of the present invention.
  • FIG. 4 shows a height profile as determined in the course of the method according to the invention according to FIG.
  • FIG. 5 explains a segmentation of a region of the height profile according to FIG. 4.
  • FIG. 6 illustrates a mask for the elevation profile of FIG. 4 for displaying a single identified segment.
  • the device 1 shown schematically in FIG. 1 is used to determine the value of at least one shape parameter of objects 2 lying on the surface 3 of a conveyor 4 in an unknown orientation and grouping.
  • the conveyor 4 By moving the conveyor 4 with the surface 3 in a conveying direction running along the surface, which corresponds to the viewing direction of FIG. 1 , the objects 2 are conveyed between stationary side walls 5 .
  • a LIDAR scanner 6 is arranged above the conveyor 4 and is positioned and held there by a positioning device 7 in the form of a tripod 8 in such a way that a measuring beam 9, which the LIDAR scanner 6 emits and pivots about a pivot axis 10, is always in a Plane runs, which is aligned transversely to the conveying direction and coincides here with the plane of FIG.
  • the LIDAR scanner 6 repeatedly scans the surface 3 with the objects 2 lying thereon with the measuring beam 9 .
  • the LIDAR scanner 6 registers a distance between the respective measuring point 11 on the surface 3 or the object and a reference point, for example the pivot axis 10, based on the travel time of its measuring beam 9. Due to the movement of the surface 3 with the objects 2 lying in the conveying direction the measuring points 11 in rows offset from one another in the conveying direction. The spacing of these lines in the conveying direction depends on a speed with which the surface 3 is moved in the conveying direction and thus passes through the plane in which the objects 2 are scanned with the measuring beam 9 . This speed is recorded with a speed sensor 12 .
  • An evaluation unit 13 is provided to calculate an original height profile of the objects 2 on the surface 3 point by point from signals 14 from the LIDAR scanner 6, which can also include a degree of reflection of the measuring beam 9 at the respective measuring point 11, and the speed from the speed sensor 12 and then to evaluate them in relation to the values of the shape parameters of interest of the objects 2.
  • FIG. 2 is a perspective representation of the surface 3 of the conveyor 4 according to FIG to scan the surface 3 measuring point 11 for measuring point 11. Some of the measuring points 11 lie on the surface 3 next to the objects 2.
  • a zero line for the height profile to be determined can be determined from these measuring points. This zero line is preferably determined by scanning the surface 3 without objects 2 lying on it.
  • a reference height for the height profile to be determined is determined by detecting a highest point of the objects 2 lying on the surface 3 and scanned during a detection period.
  • the acquisition period can be the period in which the objects of interest
  • the recording period can deviate from this period, i.e. it can be earlier, for example. Even then, the detection period can be so long that the same quantity as the quantity of objects 2 of interest on the surface 3 is conveyed through the plane 17 . With a conveying speed in the range of 1 m/s, the detection period can be a few seconds long.
  • An embodiment of the method according to the invention begins with this determination 18 of the zero line.
  • the original height profile measuring point 11 for measuring point 11 is first determined 20.
  • Such an original height profile 21 is shown in Figure 4 as a grayscale image.
  • the brightness of the objects 2 on the conveyor belt 3 gives the height of the objects 2 above the zero line of the conveyor belt
  • the original height profile is determined 20 in a first evaluation device 31 of the evaluation unit 13 on the basis of the signal 14 from the LIDAR scanner 6 and the speed 15 from the speed sensor 12.
  • the original height profile 21 is then forwarded to a second evaluation device 32 of the evaluation unit 13, which has a first neural network.
  • This first neural network is used to segment 22 the original height profile 21.
  • segments of the original height profile 21 are determined which can be completely assigned to individual objects 2 on the surface 3 and which completely cover these individual objects 2.
  • 5 shows several such segments 23 and 24.
  • the segments 23 belong to a group of segments that lie directly on the surface 3 or on other objects 2 in such a way that their upper side is completely free, while the other segments 24 are objects 2 belong whose tops are partly covered by other objects
  • the second evaluation device of the evaluation unit 13 specifically identifies the segments 23 and forwards them in the form of a mask 25 together with the height profile 21 to a third evaluation device 33 of the evaluation unit 13 .
  • FIG. 6 shows the application of such a mask 25 to a section 26 of the height profile 21.
  • the mask 25 only allows one segment 23 of the height profile 21 to pass through.
  • the coordinates of the original height profile 21 are transformed 27, which are originally cylinder coordinates but deviate from pure cylinder coordinates due to the consideration of the zero line, into over the surface
  • Both the first neural network used in segmentation 22 and the second neural network used in analysis 29 must be trained, before the method according to figure 3 can reliably determine the values 30 of the shape parameters.
  • Both real objects 2, for which the values 30 of the shape parameters are determined with the aid of mechanical measuring instruments, for example, and simulated objects 2 can be used.
  • the respective value 30 of the shape parameter can be calculated or determined by simulating its mechanical determination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Zum Bestimmen des Werts mindestens eines Formparameters von Objekten (2), die in unbekannter Orientierung und Gruppierung auf einer Oberfläche (3) in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, werden die Objekte (2) mit einem Messstrahl (9) eines LIDAR-Scanners (6) in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Eine Geschwindigkeit, mit der die Oberfläche (3) in der Förderrichtung durch die Ebene hindurchtritt, wird gemessen. Aus Signalen des LIDAR-Scanners (6) und der Geschwindigkeit wird ein originäres Höhenprofil der Objekte (2) auf der Oberfläche (3) punktweise bestimmt. Mit einem ersten neuronalen Netzwerk wird das originäre Höhenprofil segmentiert, wobei Segmente des originären Höhenprofils identifiziert werden, deren Punkte zu einem einzelnen Objekt (2) gehören. Ausschnitte des originären Höhenprofils, die jeweils ein identifiziertes Segment und dessen Umgebung dieses Segments umfassen, werden in kartesische Koordinaten transformiert und danach mit einem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des einzelnen Objekts analysiert.

Description

VERFAHREN UND VORRICHTUNG ZUR KLASSIFIZIERUNG VON OBJEKTEN, DIE AUF EINER OBERFLÄCHE LIEGEND GEFÖRDERT WERDEN
TECHNISCHES GEBIET DER ERFINDUNG
Die Erfindung bezieht sich auf ein Verfahren zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden. Insbesondere bezieht sich die Erfindung auf ein Verfahren mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1.
Weiterhin bezieht sich die Erfindung auf eine Vorrichtung zur Durchführung eines solchen Verfahrens, insbesondere mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 12. Bei den Objekten kann es sich beispielsweise um Wurzelfrüchte wie Kartoffeln handeln, die auf ein Förderband geschüttet von dem Förderband transportiert werden. Der Formparameter dieser Objekte, deren Wert bestimmt wird, kann beispielsweise ein Quadratmaß der Kartoffeln oder die Anzahl von Stäben bestimmten Querschnitts und bestimmter Länge sein, die bei der Herstellung von Pommes Frites aus den Kartoffeln geschnitten werden können. STAND DER TECHNIK
Das Vermessen von einzeln auf einem Förderband geförderten Objekten mit Hilfe eines Laserscanners ist bekannt und kommt beispielsweise in der Produktionsüberwachung verschiedener Produkte zum Einsatz. Dabei angewandte Verfahren und eingesetzte Vorrichtungen sind jedoch für unregelmäßige Objekte, die in unbekannter Orientierung und Gruppierung, d. h. insbesondere auch auf- und übereinanderliegend, auf einem Förderband angeordnet sind, ungeeignet.
Aus der DE 101 34 714 A1 sind ein Verfahren und eine Anordnung zur berührungslosen Oberflächeninspektion von Produkten mit näherungsweise zylinderförmiger Gestalt, beispielsweise Kartoffeln, bekannt. Die Produkte werden vereinzelt, in ihrer Längsrichtung auf zwei eng benachbarte, sich mit der gleichen Geschwindigkeit in der gleichen Richtung drehende, ortsfeste Walzen übergeben, welche ebenfalls in Längsrichtung angeordnet sind. Die einzelnen Produkte werden gleichzeitig in Rotation und in eine Längsbewegung entlang der Längsrichtung der Walzen versetzt. Ein zeilenförmig abtastender, ebenfalls in Längsrichtung ausgerichteter Sensor erfasst den Bildbereich zwischen den Walzen und tastet die gesamte Abwicklung der Oberfläche jedes Produkts einmal oder mehrfach ab, während sich das Produkt rotierend und linear bewegend durch sein Bildfeld hindurchbewegt. Nach einer rechnergesteuerten Auswertung der Sensorsignale werden die Produkte in mehrere Klassen eingestuft und mechanisch sortiert. Dieses Verfahren ist nur für Produkte praktikabel, die in vergleichsweise geringer Anzahl je Zeiteinheit anfallen. Ansonsten kann nur eine Stichprobe von einem Produkthauptstrom abgesondert und in Klassen eingestuft werden.
Aus der WO 2020 / 120 702 A1 ist es bekannt, dreidimensionale Trainingsbilddaten und zugehörige Trainingsgewichtdaten einer Mehrzahl von Trainingsnahrungsmittelobjekten unter Verwendung einer 3D-Abbildungsvorrichtung und einer Waage zu bestimmen. Unter Verwendung dieser Trainingsbilddaten und zugehörigen Trainingsgewichtdaten wird ein neuronales Netzwerk trainiert. Dann werden dreidimensionale Bilddaten von Nahrungsmittelobjekten mit einer 3D- Abbildungsvorrichtung aufgenommen, und das trainierte neuronale Netzwerk und die aufgenommenen 3D-Bilder werden verwendet, um ein Gewicht für das jeweilige Nahrungsmittelprodukt zu ermitteln. Die Nahrungsmittelobjekte können auf einem Förderer gefördert und dabei mit Hilfe eines Laserscanners abgetastet werden, wobei der Auftreffpunkt des von dem Laserscanner kommenden Laserstrahl mit einer Kamera erfasst wird.
Aus der WO 2019 / 089 825 A1 sind Systeme und Verfahren zur optischen Materialcharakterisierung von Abfallmaterialien unter Anwendung von Machine Learning bekannt. Ein solches System weist eine Abbildungseinrichtung zum Erzeugen von Bildern eines Bereichs und von Zielobjekten in dem Bereich auf. Ein Objektcharakterisierungsprozessor ist an die Abbildungseinrichtung angeschlossen und weist ein neuronales Netzwerk und gespeicherte Parameter zum Charakterisieren der Zielobjekte auf. Von dem neuronalen Netzwerk wird die Anwesenheit einer Mehrzahl von unterschiedlichen Materialien innerhalb der Bilder basierend auf einer Mehrzahl von unterschiedlichen Merkmalen detektiert und ausgegeben. Das neuronale Netzwerk wird konkret als Fully Convolutional Neural Network beschrieben und auch als Machine Learning Based Segmentation Algorithm bezeichnet. Dieses neuronale Netzwerk erzeugt materialspezifische Bilder für verschiedene Materialien, von denen eines beispielsweise das Vorhandensein von Aluminiumdosen, deren Größe und Orientierung anzeigen.
Aus der EP 3 816 857 A1 ist ein neuronales Netzwerk für das Sortieren von Objekten aus einer Masse bekannt. Das Sortierungssystem weist mindestens eine Strahlungsquelle, um die Objekte zu bestrahlen, und mindestens einen optischen Sensor, um Spektraldaten zu von den Objekten reflektierter Strahlung zu erfassen. Eine Verarbeitungsschaltung analysiert die reflektierte Strahlung der Objekte durch Eingeben der Spektraldaten in ein Convolutional Neural Network (CNN) mit mindestens zwei Faltungsschichten, um die Objekte in den Spektraldaten entweder zu erkennen und zu klassifizieren und/oder die Spektraldaten semantisch zu segmentieren. Ein mechanischer Sortierer ist vorgesehen, um die Objekte unter Verwendung der Analyse der Verarbeitungsschaltung zu sortieren.
Aus der US 2018 / 0 042 176 A1 sind Vorrichtungen und Verfahren zum Erfassen von Eigenschaften von geernteten Pflanzen bekannt, bei denen es sich insbesondere um Wurzelfrüchte handelt. Ein Höhensensor erfasst ein Höhenprofil der Pflanzen auf einem Förderer. Der Höhensensor kann ein LIDAR-Sensor sein. Das Höhenprofil wird in kartesischen Koordinaten bestimmt. Mit einem trainierten statistischen Modell wird das Höhenprofil analysiert, um den Wert eines Form- und/oder Qualitätsparameters der geernteten Pflanzen zu bestimmen.
AUFGABE DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, aufzuzeigen, die auch in großer Stückzahl je Zeiteinheit anfallenden Objekten geeignet sind. LÖSUNG
Die Aufgabe der Erfindung wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 und durch eine Vorrichtung mit den Merkmalen des unabhängigen Patentanspruchs 12 gelöst. Die abhängigen Patentansprüche sind auf bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung gerichtet.
BESCHREIBUNG DER ERFINDUNG
In den Patentansprüchen und der Beschreibung ist die Richtungsangabe "quer" so zu verstehen, dass sie zwar vorzugsweise, aber nicht zwingend "senkrecht" bedeutet. Grundsätzlich soll die Richtungsangabe "quer" nur "im Wesentlichen senkrecht" bedeuten und eine Winkelabweichung zu "genau senkrecht" von bis zu 40° oder zumindest bis zu 20° zulassen.
Bei einem erfindungsgemäßen Verfahren zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, werden mit einem auf die Oberfläche gerichteten Messstrahl eines LIDAR-Scanners die auf der Oberfläche liegenden Objekten in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Eine Geschwindigkeit, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, wird erfasst, und aus Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche wird ein originäres Höhenprofil der Objekte auf der Oberfläche punktweise bestimmt. Das originäre Höhenprofil wird mit einem ersten neuronalen Netzwerk segmentiert, wobei Segmente des originären Höhenprofils identifiziert werden, deren Punkte jeweils zu einem einzelnen Objekt gehören. Ausschnitte des originären Höhenprofils, die jeweils ein identifiziertes Segment und eine Umgebung dieses einen identifizierten Segments umfassen, werden in kartesische Koordinaten transformiert und danach mit einem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts, zu denen die Punkte des Segments gehören, analysiert.
Ein LIDAR-Scanner erfasst die Laufzeit seines Messstrahls zu einem Messpunkt, auf den der Messstrahl auftrifft, und zurück zu dem LIDAR-Scanner. Aus dieser Laufzeit und der Lichtgeschwindigkeit ergibt sich die Entfernung des Messpunkts zu dem LIDAR-Scanner. Ein LIDAR- Scanner weist weiterhin Mittel zum Ausrichten des Messstrahls in unterschiedliche Richtungen, typischerweise einen oder mehrere Drehspiegel, auf. Die Stellung dieser Mittel wird der jeweiligen Laufzeit des Messstrahls bzw. der daraus abgeleiteten Entfernung des Messpunkts zugeordnet, um neben der Entfernung die Richtung festzuhalten, in der der Messpunkts von dem LIDAR- Scanner aus liegt. Bei dem erfindungsgemäßen Verfahren werden mit dem auf die Oberfläche gerichteten Messstrahl des LIDAR-Scanners die auf der Oberfläche liegenden Objekte in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Die Ebene kann derart leicht geneigt zu der Förderrichtung verlaufen, dass die Oberfläche in nahezu senkrecht zu der Förderrichtung verlaufenden Zeilen mit dem Messstrahl abgetastet wird. Die dafür einzustellende Neigung der Ebene hängt von der Geschwindigkeit ab, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt. Wenn der Verlauf der Ebene signifikant von diesem idealen Verlauf abweicht, ist dies in den weiteren Schritten des erfindungsgemäßen Verfahrens zu berücksichtigen. In jedem Fall werden beim wiederholten Abtasten der auf der Oberfläche liegenden Objekte nicht immer dieselben sondern in der Förderrichtung aufeinander folgende Messpunkte der Objekte mit dem Messstrahl abgetastet.
Grundsätzlich ergibt sich die flächige Abtastung der auf der Oberfläche liegenden Objekte bei dem erfindungsgemäßen Verfahren durch das Verschwenken des Messstrahls in der quer zu der Förderrichtung verlaufenden Ebene nur in einer längs der Oberfläche verlaufenden Raumrichtung; in der zweiten längs der Oberfläche verlaufenden Raumrichtung erfolgt das Abtasten durch das Bewegen der Oberfläche, auf der die Objekte liegen. Indem die Geschwindigkeit erfasst wird, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, kann die Lage jedes Messpunkts des LIDAR-Scanners einem Punkt der Oberfläche bzw. wenn es zwischen diesem Punkt und dem LIDAR-Scanner liegenden Objekts zugeordnet werden. Auf dieser Basis wird aus den Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche das originäre Höhenprofil der Objekte auf der Oberfläche punktweise bestimmt.
Dieses originäre Höhenprofil wird in einem ersten Auswerteschritt mit Hilfe des ersten neuronalen Netzwerks segmentiert. Das erste neuronale Netzwerk identifiziert Segmente des Höhenprofils derart, dass alle Punkte jedes identifizierten Segments zu einem einzelnen Objekt gehören und dass jedes identifizierte Segment alle Punkte des originären Höhenprofils umfasst, die zu dem jeweiligen einzelnen Objekt gehören.
Dann werden in einem zweiten Auswerteschritt die Ausschnitte des originären Höhenprofils, die jeweils nicht nur ein in dem ersten Auswerteschritt identifiziertes Segment, sondern auch eine begrenzte Umgebung dieses identifizierten Segments umfassen, in kartesische Koordinaten transformiert und danach mit Hilfe des zweiten neuronalen Netzwerks analysiert. Das zweite neuronale Netzwerk bestimmt den Wert des mindestens einen interessierenden Formparameters des jeweiligen einzelnen Objekts. Diese Bestimmung kann zum Inhalt haben, dass der genaue Wert des Formparameters ermittelt wird oder in welchen von mehreren Wertebereichen des Formparameters der jeweilige Wert fällt.
Die vorliegende Erfindung betrifft nicht den genauen Aufbau des ersten und des zweiten neuronalen Netzwerks, der unterschiedlich ausgeführt sein kann. Die Erfindung besteht vielmehr darin, die Auswertung in aufeinanderfolgenden Auswerteschritte durchzuführen, die derart definiert sind, dass mit zwei neuronalen Netzwerken problemlos zu bewältigen und dadurch voll automatisch ausführbar sind.
Die bei dem erfindungsgemäßen Verfahren aus den Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche resultierenden originären Koordinaten der Messpunkte der abgetasteten Objekte auf der Oberfläche sind Zylinderkoordinaten, bei denen die z-Koordinate in der Förderrichtung verläuft und der Winkel um eine Schwenkachse des Messstrahls des LIDAR- Scanners. Eine Transformation der originären Koordinaten aller Messpunkte in kartesische Koordinaten würde viel Rechenzeit erfordern. Diese Rechenzeit wird bei dem erfindungsgemäßen Verfahren erheblich dadurch reduziert, dass das Höhenprofil zunächst in den originären Zylinderkoordinaten oder jedenfalls noch nicht komplett transformierten Koordinaten bestimmt wird, dass auch das Segmentieren des Höhenprofils direkt in den originären Zylinderkoordinaten oder den jedenfalls noch nicht komplett transformierten Koordinaten erfolgt und dass das originäre Höhenprofil nur für die Ausschnitte in kartesische Koordinaten umgerechnet wird, die in dem zweiten Auswerteschritt analysiert werden.
Bei der Transformation in kartesische Koordinaten geht es nicht nur um eine Umrechnung der Punkte des originären Höhenprofils in kartesische Koordinaten, sondern auch um eine auf Basis von Extrapolationen zwischen den Messpunkten des LIDAR-Scanners durchzuführende Bestimmung des Höhenprofils in den kartesischen Koordinaten in Punkten, die über der bewegten Oberfläche in gleichen Abständen verteilt sind. Dies ist Voraussetzung dafür, dass die identifizierten Segmente unabhängig davon, wo sich das zugehörige Objekt auf der Oberfläche befand, miteinander vergleichbar sind. Dies ist wiederum Voraussetzung dafür, dass die zugehörigen Ausschnitte des Höhenprofils ohne Berücksichtigung weiterer Informationen analysiert werden können.
In dem ersten Auswerteschritt des erfindungsgemäßen Verfahrens kann eine Gruppe speziell solcher Segmente identifiziert werden, die jeweils zu einem einzelnen auf der Oberfläche oder auf anderen Objekten insoweit freiliegenden Objekten gehören, dass ihre Oberseiten auch nicht teilweise durch ein oder mehrere andere Objekte verdeckt sind. Wenn dann in dem zweiten Auswerteschritt nur Ausschnitte des Höhenprofils analysiert werden, die ein Segment aus dieser Gruppe umfassen, ist die Analyse in dem zweiten Verarbeitungsschritt besonders einfach. Auch das Identifizieren der Segmente dieser Gruppe ist eine Aufgabe, die mit Hilfe eines neuronalen Netzwerks ohne grundsätzliche Probleme zu bewältigen ist.
Es versteht sich, dass gerade bei dieser Ausführungsform des erfindungsgemäßen Verfahrens die Werte des mindestens einen Formparameters nur für einen T eil der Objekte bestimmt werden. Bei diesem T eil der Objekte handelt es sich jedoch um eine zufällige und damit auch grundsätzlich repräsentative Stichprobe, die nicht ausgesondert wird.
Konkret können die identifizierten Segmente dem zweiten neuronalen Netzwerk für den zweiten Auswerteschritt jeweils durch eine Maske für das Höhenprofil angezeigt werden. Die Fläche der jeweiligen Maske kann dann genutzt werden, um jeden Ausschnitt des Höhenprofils konzentrisch zu einer Grundfläche des zugehörigen Segments des Höhenprofils festzulegen. Die Konzentrizität kann speziell gegenüber einem Flächenschwerpunkt der Maske bzw. der Grundfläche festgelegt werden. Dabei weisen die Ausschnitte des Höhenprofils vorzugsweise feste absolute Abmessungen auf. Mit beiden Maßnahmen wird die Analyse der Ausschnitte bezüglich des Werts des interessierenden Formparameters durch das zweite neuronale Netzwerk in dem zweiten Auswerteschritt vereinfacht.
Zu Beginn des erfindungsgemäßen Verfahrens kann sowohl das erste neuronale Netzwerk mit Höhenprofilen von realen und/oder simulierten Objekten auf der Oberfläche als auch das zweite neuronale Netzwerk mit Ausschnitten von Höhenprofilen um Segmente von realen und/oder simulierten Objekten auf der Oberfläche und gemessenen Werten des mindestens einen Formparameters der realen und/oder simulierten Objekte trainiert werden. Die Simulation von Objekten erlaubt es den Trainingsumfang für die neuronalen Netzwerke in begrenzter absoluter Zeit erheblich zu steigern. Zur Bestimmung von Formparametern von Wurzelfrüchten hat sich ein Abtasten der Oberfläche mit dem Messstrahl des LIDAR-Scanners mit einer Ortsauflösung von < 3 mm als ausreichend, von < 2 mm als vorteilhaft und von < 1 mm als bevorzugt ergeben.
Je stärker der Winkel des Messstrahls zu der Oberfläche beim Abtasten der Oberfläche von 90° abweicht, desto größer ist die resultierende Verzerrung des Höhenprofils in seinen originären Koordinaten gegenüber den kartesischen Koordinaten. Bei Winkeln kleiner als 45° ergeben sich zunehmend Artefakte durch Verschattungen, die nicht korrigierbar sind. Vorzugsweise bleibt der Winkel des Messstrahls zu der Oberfläche bei dem erfindungsgemäßen Verfahren daher bei mindestens 60°.
Bei dem erfindungsgemäßen Verfahren kann eine Nulllinie des originären Höhenprofils durch Abtasten der Oberfläche ohne aufliegende Objekte bestimmt werden. Die Messpunkte der auf der Oberfläche liegenden Objekte liegen über dieser Nulllinie. Alternativ oder zusätzlich kann eine Bezugshöhe des originären Höhenprofils durch Erfassen eines höchsten Punkts der auf der Oberfläche liegenden und während eines Erfassungszeitraums abgetasteten Objekte bestimmt werden. Der Erfassungszeitraum kann der Zeitraum sein, in dem die interessierenden Objekte oder eine Teilmenge davon durch die Ebene, in der der LIDAR-Scanner abtastet, hindurch gefördert wurden. Dann kann das originären Höhenprofil selektiv für solche Messpunkte bestimmt werden, die innerhalb eines Höhenbereichs unterhalb dieser Bezugshöhe liegen. Dieser Höhenbereich kann bis zu der Nulllinie reichen oder in geeigneter Weise so festgelegt werden, dass er etwas darüber endet. Konkret kann die Höhe der Messpunkte innerhalb des Höhenbereichs auf Werte zwischen 0 und 1 normiert werden und außerhalb des Höhenbereichs auf 0 oder 1 festgelegt werden, je nachdem auf welcher Seite des Höhenbereichs die Messpunkte liegen. Der Höhenbereich kann abhängig von einer typischen maximalen Schütthöhe der übereinander auf der Oberfläche liegenden Objekte festgelegt werden und kann dann in einer Größenordnung von einem bis ein paar dm, d. h. von 1 dm bis 5 dm, liegen. Bei Kartoffeln auf einem Förderband kann er beispielsweise konkret 3 dm betragen. Diese Vorgehensweise ist auch bei einer Durchbrechungen aufweisenden oder nicht glatten Oberfläche problemlos, die keine einfache Bestimmung der Nulllinie zulässt; und sie ist unempfindliche gegenüber Änderungen der relativen Höhe des LIDAR-Scanners über der Oberfläche. Wenn das Höhenprofil originär gegenüber einer solchen Nulllinie und/oder Bezugshöhe angegeben wird, sind seine Koordinaten auch ohne weitere Umrechnung an kartesische Koordinaten angenähert. Bei dem erfindungsgemäßen Verfahren kann die bewegte Oberfläche zwar eben sein; dies ist jedoch keinesfalls zwingend. Zum Beispiel kann die Oberfläche rinnenförmig gekrümmt oder strukturiert sein. Durch Bestimmen der Nulllinie des originären Höhenprofils wird eine Konturierung der bewegten Oberfläche, auf der die Objekte liegen und gefördert werden, berücksichtigt. Beim Ermitteln des originären Höhenprofils gegenüber der Bezugshöhe ist eine Konturierung der bewegten Oberfläche unerheblich, soweit sie außerhalb des vorgegebenen Höhenbereichs unter der Bezugshöhe bleibt.
Bei dem erfindungsgemäßen Verfahren kann von dem LIDAR-Scanner neben der Laufzeit seines Messstrahls ein Reflektionsgrad seines Messstrahls erfasst und dem originären Höhenprofil als weitere Koordinate hinzugefügt werden. Diese Koordinate wird vorzugsweise bei dem Segmentieren des originären Höhenprofils in dem ersten Auswerteschritt von dem ersten neuronalen Netzwerk berücksichtigt.
Der mindestens eine Formparameter, der durch das erfindungsgemäße Verfahren bestimmt wird, kann zum Beispiel ausgewählt werden aus Länge der Objekte, Quadratmaß der Objekte, Volumen der Objekte, Oberfläche der Objekte, Krümmung der Objekte und Anzahl durchgehender Stäbe bestimmter Abmessungen, in die die Objekte aufgeteilt werden können. Grundsätzlich können mit dem erfindungsgemäßen Verfahren Werte beliebiger Formparameter bestimmt werden.
Wie schon angedeutet wurde, können die Ausschnitte des Höhenprofils mit dem zweiten neuronalen Netzwerk dahingehend analysiert werden, in welche von mehreren Objektklassen das jeweilige Objekt aufgrund seines Werts des mindestens einen Formparameters fällt. Dabei muss der Wert des Formparameters für jedes einzelne Objekt zahlenmäßig nicht genauer bestimmt werden, als es zur Klassifizierung des Objekts nötig ist.
Die Objekte können zum Beispiel Wurzelfrüchte, konkret Kartoffeln oder Zuckerrüben sein.
Eine erfindungsgemäße Vorrichtung ist zum erfindungsgemäßen Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche eines Förderers liegend durch Bewegen der Oberfläche einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, geeignet. Sie weist dazu einen einen Messstrahl in unterschiedlichen Richtungen in einer Ebene aussendenden LIDAR-Scanner, eine Positioniereinrichtung, die ausgebildet ist, den LIDAR-Scanner so gegenüber dem Förderer zu positionieren, dass diese Ebene quer zu der Förderrichtung verläuft, einen Geschwindigkeitssensor, der dazu ausgebildet ist, eine Geschwindigkeit zu erfassen, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, und eine erste Auswerteeinrichtung auf, die dazu ausgebildet ist, aus Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche ein Höhenprofil der Objekte auf der Oberfläche punktweise zu bestimmen. Eine zweite Auswerteeinrichtung der erfindungsgemäßen Vorrichtung weist ein erstes neuronales Netzwerk auf und ist dazu ausgebildet, das Höhenprofil mit dem ersten neuronalen Netzwerk zu segmentieren, wobei Segmente des Höhenprofils identifiziert werden, deren Punkte jeweils zu einem einzelnen Objekt gehören. Weiterhin weist die erfindungsgemäße Vorrichtung eine dritte Auswerteeinrichtung auf, die ein zweites neuronales Netzwerk umfasst und dazu ausgebildet ist, Ausschnitte des Höhenprofils, die jeweils ein Segment und eine Umgebung des einen Segments umfassen, in kartesische Koordinaten zu transformieren und danach mit dem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts zu analysieren. Weiterhin ist die dritte Auswerteeinrichtung dazu ausgebildet, beim Transformieren der Ausschnitte des originären Höhenprofils in die kartesischen Koordinaten das Höhenprofil in den kartesischen Koordinaten auf Basis von Extrapolationen in Punkten zu bestimmen, die in gleichen Abständen über der bewegten Oberfläche verteilt sind.
Die zweite Auswerteeinrichtung ist insbesondere dazu ausgebildet, eine Gruppe solcher Segmente zu identifizieren, die jeweils zu einem einzelnen, auf der Oberfläche oder auf anderen Objekten frei liegenden Objekt gehören, dessen Oberfläche nicht durch ein oder mehrere andere Objekte verdeckt ist. Dabei ist die dritte Auswerteeinrichtung dann insbesondere dazu ausgebildet, nur solche Ausschnitte des Höhenprofils zu analysieren, die jeweils ein Segment aus dieser Gruppe umfassen. Diese und weitere bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung entsprechend bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens, wie sie bereits erläutert wurden.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen.
Die in der Beschreibung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen.
Hinsichtlich des Offenbarungsgehalts - nicht des Schutzbereichs - der ursprünglichen Anmeldungsunterlagen und des Patents gilt Folgendes: Weitere Merkmale sind den Zeichnungen - insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung - zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen, was aber nicht für die unabhängigen Patentansprüche des erteilten Patents gilt.
Die in den Patentansprüchen und der Beschreibung genannten Merkmale sind bezüglich ihrer Anzahl so zu verstehen, dass genau diese Anzahl oder eine größere Anzahl als die genannte Anzahl vorhanden ist, ohne dass es einer expliziten Verwendung des Adverbs "mindestens" bedarf. Wenn also beispielsweise von einem Geschwindigkeitssensor die Rede ist, ist dies so zu verstehen, dass genau ein Geschwindigkeitssensor, zwei Geschwindigkeitssensoren oder mehr Geschwindigkeitssensoren vorhanden sind. Die in den Patentansprüchen angeführten Merkmale können durch weitere Merkmale ergänzt werden oder die einzigen Merkmale sein, die der Gegenstand des jeweiligen Patentanspruchs aufweist.
Die in den Patentansprüchen enthaltenen Bezugszeichen stellen keine Beschränkung des Umfangs der durch die Patentansprüche geschützten Gegenstände dar. Sie dienen lediglich dem Zweck, die Patentansprüche leichter verständlich zu machen.
KURZBESCHREIBUNG DER FIGUREN
Im Folgenden wird die Erfindung anhand in den Figuren dargestellter bevorzugter Ausführungsbeispiele weiter erläutert und beschrieben. Fig. 1 ist eine schematische Ansicht einer erfindungsgemäßen Vorrichtung mit Blickrichtung in Förderrichtung.
Fig. 2 ist eine perspektivische Darstellung eines Details der Vorrichtung gemäß Fig. 1.
Fig. 3 ist ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
Fig. 4 zeigt ein Höhenprofil, wie es im Laufe des erfindungsgemäßen Verfahrens gemäß Fig. 3 bestimmt wird.
Fig. 5 erläutert eine Segmentierung eines Bereichs des Höhenprofils gemäß Fig. 4.
Fig. 6 illustriert eine Maske für das Höhenprofil gemäß Fig. 4 zur Anzeige eines einzelnen identifizierten Segments.
FIGURENBESCHREIBUNG
Die in Fig. 1 schematisch dargestellte Vorrichtung 1 dient zum Bestimmen des Werts mindestens eines Formparameters von Objekten 2, die in unbekannter Orientierung und Gruppierung auf der Oberfläche 3 eines Förderers 4 liegen. Durch Bewegen des Förderers 4 mit der Oberfläche 3 in einer längs der Oberfläche verlaufenden Förderrichtung, die der Blickrichtung von Fig. 1 entspricht, werden die Objekte 2 zwischen ortsfesten Seitenwänden 5 hindurch gefördert. Über dem Förderer 4 ist ein LIDAR-Scanner 6 angeordnet und wird dort von einer Positioniereinrichtung 7 in Form eines Stativs 8 so positioniert und gehalten, dass ein Messstrahl 9, den der LIDAR-Scanner 6 aussendet und um eine Schwenkachse 10 verschwenkt, immer in einer Ebene verläuft, die quer zu der Förderrichtung ausgerichtet ist und hier mit der Zeichenebene von Fig. 1 zusammenfällt. Mit dem Messstrahl 9 tastet der LIDAR-Scanner 6 die Oberfläche 3 mit den darauf liegenden Objekten 2 wiederholt ab. Dabei registriert der LIDAR- Scanner 6 aufgrund der Laufzeit seines Messstrahls 9 einen Abstand zwischen dem jeweiligen Messpunkt 11 auf der Oberfläche 3 oder dem Objekt und einem Bezugspunkt, beispielsweise der Schwenkachse 10. Durch die Bewegung der Oberfläche 3 mit den Objekten 2 in der Förderrichtung liegen die Messpunkte 11 in in der Förderrichtung zueinander versetzten Zeilen. Der Abstand dieser Zeilen in der Förderrichtung hängt von einer Geschwindigkeit ab, mit der die Oberfläche 3 in der Förderrichtung bewegt wird und damit durch die Ebene hindurchtritt, in der die Objekte 2 mit dem Messstrahl 9 abgetastet werden. Diese Geschwindigkeit wird mit einem Geschwindigkeitssensor 12 erfasst. Eine Auswerteeinheit 13 ist vorgesehen, um aus Signalen 14 des LIDAR-Scanners 6, zu denen auch ein Reflektionsgrad des Messstrahls 9 an dem jeweiligen Messpunkt 11 zählen kann, und der Geschwindigkeit von dem Geschwindigkeitssensor 12 ein originäres Höhenprofil der Objekte 2 auf der Oberfläche 3 punktweise zu bestimmen und dann in Bezug auf die Werte der interessierenden Formparameter der Objekte 2 auszuwerten.
Fig. 2 ist eine perspektivische Darstellung der Oberfläche 3 des Förderers 4 gemäß Fig. 1 , die sich in der Förderrichtung 16 mit den auf ihr angeordneten Objekten 2 durch die Ebene 17 bewegt, in der der Messstrahl 9 verschwenkt wird, um die Objekte 2 auf der Oberfläche 3 Messpunkt 11 für Messpunkt 11 abzutasten. Einige der Messpunkte 11 liegen dabei auf der Oberfläche 3 neben den Objekten 2. Aus diesen Messpunkten kann eine Nulllinie für das zu bestimmende Höhenprofil bestimmt werden. Vorzugsweise wird diese Nulllinie unter Abtasten der Oberfläche 3 ohne darauf liegende Objekte 2 bestimmt. Alternativ oder zusätzlich wird eine Bezugshöhe für das zu bestimmende Höhenprofil durch Erfassen eines höchsten Punkts der auf der Oberfläche 3 liegenden und während eines Erfassungszeitraums abgetasteten Objekte 2 bestimmt. Der Erfassungszeitraum kann der Zeitraum sein, in dem die interessierenden Objekte
2 oder eine Teilmenge davon durch die Ebene 17 hindurch gefördert wurden/wurde. Alternativ kann der Erfassungszeitraum von diesem Zeitraum abweichen, also beispielsweise davor liegen. Auch dann kann der Erfassungszeitraum so lang sein, dass in ihm eine gleiche Menge wie die Menge der interessierenden Objekte 2 auf der Oberfläche 3 durch die Ebene 17 hindurch gefördert wird. Bei einer Fördergeschwindigkeit im Bereich von 1 m/s kann der Erfassungszeitraum konkret einige Sekunden lang sein.
Eine in Fig. 3 ein Form eines Ablaufdiagramms dargestellte Ausführungsform des erfindungsgemäßen Verfahrens beginnt mit diesem Bestimmen 18 der Nulllinie. Nach einem anschließenden Abtasten der Objekte 2 mit dem LIDAR-Scanner 6 und einem zeitgleichen Erfassen der Geschwindigkeit 15 der Oberfläche 3 mit dem Geschwindigkeitssensor 12 in einem Schritt 19 erfolgt zunächst ein Bestimmen 20 des originären Höhenprofils Messpunkt 11 für Messpunkt 11. Ein solches originäres Höhenprofil 21 ist in Fig. 4 als Graustufenbild gezeigt. Die Helligkeit der Objekte 2 auf dem Förderband 3 gibt die Höhe der Objekte 2 über der Nulllinie des Förderbands
3 wieder. Das Bestimmen 20 des originären Höhenprofils erfolgt in einer ersten Auswerteeinrichtung 31 der Auswerteeinheit 13 auf Basis des Signals 14 von dem LIDAR- Scanner 6 und der Geschwindigkeit 15 von dem Geschwindigkeitssensor 12. Das originäre Höhenprofil 21 wird dann an eine zweite Auswerteeinrichtung 32 der Auswerteeinheit 13 weitergegeben, die ein erstes neuronales Netzwerk aufweist. Mit Hilfe dieses ersten neuronalen Netzwerks erfolgt ein Segmentieren 22 des originären Höhenprofils 21. Bei diesem Segmentieren 22 werden Segmente des originären Höhenprofils 21 bestimmt, die vollständig einzelnen Objekten 2 auf der Oberfläche 3 zuzuordnen sind und die diese einzelnen Objekte 2 vollständig abdecken. Fig. 5 zeigt mehrere solcher Segmente 23 und 24. Dabei gehören die Segmente 23 zu einer Gruppe von Segmenten, die derart direkt auf der Oberfläche 3 oder auf anderen Objekten 2 liegen, dass ihre Oberseite vollständig frei ist, während die anderen Segmente 24 zu Objekten 2 gehören, deren Oberseiten teilweise durch andere Objekte
2 verdeckt sind. Die zweite Auswerteeinrichtung der Auswerteeinheit 13 identifiziert speziell die Segmente 23 und gibt diese jeweils in Form einer Maske 25 zusammen mit dem Höhenprofil 21 an eine dritte Auswerteeinrichtung 33 der Auswerteinheit 13 weiter.
Fig. 6 zeigt die Anwendung einer solchen Maske 25 auf einen Ausschnitt 26 des Höhenprofils 21. Die Maske 25 lässt nur das eine Segment 23 des Höhenprofils 21 hindurchtreten.
In der dritten Auswerteeinrichtung 33 erfolgt ein Transformieren 27 der Koordinaten des originären Höhenprofils 21 , die originär Zylinderkoordinaten sind, aber durch die Berücksichtigung der Nulllinie von reinen Zylinderkoordinaten abweichen, in über der Oberfläche
3 gleichmäßig verteilte Punkte in kartesischen Koordinaten. Diese Koordinatentransformation wird nur für die Segmente 23 der freiliegenden Objekte 2 und begrenzt Umgebungen derselben durchgeführt, um in den kartesischen Koordinaten Ausschnitte 26 gleicher absoluter Abmessungen in Bezug auf die Oberfläche 3 Ausschnitte festlegen 28 zu können, in denen jeweils eines der Segmente 23 zentriert ist. Der in Fig. 6 gezeigte Ausschnitt 26 ist ein solcher Ausschnitt, der hier 100x100 Punkte des Höhenprofils in den kartesischen Koordinaten umfasst. Während aber Fig. 6 die Anwendung der Maske 25 auf den Ausschnitt 26 zeigt, werden die gesamten Ausschnitte 26 des Höhenprofils, die auch die Umgebung des jeweiligen Segments 23 abdecken, zusätzlich zu der Maske 25 einem anschließenden Analysieren 29 der Ausschnitte 26 zugeführt. Dieses Analysieren 29 erfolgt in der dritten Auswerteeinrichtung 33 mit Hilfe eines zweiten neuronalen Netzwerks, um die Werte 30 der interessierenden Formparameter zu bestimmen.
Sowohl das beim Segmentieren 22 zum Einsatz kommende erste neuronale Netzwerk als auch das beim Analysieren 29 zum Einsatz kommende zweite neuronale Netzwerk ist zu trainieren, bevor das Verfahren gemäß Fig. 3 die Werte 30 der Formparameterzuverlässig bestimmen kann. Dabei können sowohl reale Objekte 2, bei denen die Werte 30 der Formparameter beispielsweise mit Hilfe mechanischer Messinstrumente bestimmt werden, als auch simulierte Objekte 2 zum Einsatz kommen. Bei den simulierten Objekten 2 kann der jeweilige Wert 30 des Formparameters berechnet oder durch Simulation seiner mechanischen Bestimmung bestimmt werden.
BEZUGSZEICHENLISTE
Vorrichtung
Objekt
Oberfläche
Förderer
Seitenwand
LIDAR-Scanner
Positioniereinrichtung
Stativ
Messstrahl
Schwenkachse
Messpunkt
Geschwindigkeitssensor
Auswerteeinheit
Signale des LIDAR-Scanners 6
Geschwindigkeit
Förderrichtung
Ebene
Nulllinie bestimmen
Schritt
Höhenprofil Bestimmen
Höhenprofil
Höhenprofil Segmentieren
Segment
Segment
Maske
Ausschnitt
Koordinaten Transformieren
Ausschnitte Festlegen
Ausschnitte Analysieren
Werte Formparameter erste Auswerteinrichtung zweite Auswerteeinrichtung dritte Auswerteeinrichtung

Claims

PATENTANSPRÜCHE
1 . Verfahren zum Bestimmen des Werts mindestens eines Formparameters von Objekten (2), die in unbekannter Orientierung und Gruppierung auf einer Oberfläche (3) liegend durch Bewegen der Oberfläche (3) in einer längs der Oberfläche (3) verlaufenden Förderrichtung (16) gefördert werden, wobei mit einem auf die Oberfläche (3) gerichteten Messstrahl (9) eines LIDAR-Scanners (6) die auf der Oberfläche (3) liegenden Objekte (2) in einer quer zu der Förderrichtung (16) verlaufenden Ebene (17) wiederholt abgetastet werden, wobei eine Geschwindigkeit (15) erfasst wird, mit der die Oberfläche (3) in der Förderrichtung (16) durch die Ebene (17) hindurchtritt, wobei aus Signalen (14) des LIDAR-Scanners und der Geschwindigkeit (15) der Oberfläche (3) ein originäres Höhenprofil (21) der Objekte (2) auf der Oberfläche (3) punktweise bestimmt wird und wobei das originäre Höhenprofil (21) mit einem ersten neuronalen Netzwerk segmentiert wird, wobei Segmente (23, 24) des originären Höhenprofils (21) identifiziert werden, wobei die Punkte jedes identifizierten Segments (23, 24) zu einem einzelnen Objekt (2) gehören, dadurch gekennzeichnet, dass Ausschnitte (26) des originären Höhenprofils (21), die jeweils ein identifiziertes Segment (23, 24) und eine Umgebung dieses einen identifizierten Segments (23, 24) umfassen, in kartesische Koordinaten transformiert und danach mit einem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts (2) analysiert werden, wobei beim Transformieren der Ausschnitte (26) des originären Höhenprofils (21) in die kartesischen Koordinaten das Höhenprofil (21) in den kartesischen Koordinaten auf Basis von Extrapolationen in Punkten bestimmt wird, die in gleichen Abständen über der bewegten Oberfläche (3) verteilt sind.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine Gruppe solcher Segmente (23) identifiziert wird, die zu einem einzelnen, auf der Oberfläche (3) oder auf anderen Objekten (2) liegenden Objekt (2) gehört, dessen Oberseite nicht durch ein oder mehrere andere Objekte (2) verdeckt ist, und dass nur solche Ausschnitte (26) des Höhenprofils (21) analysiert werden, die ein Segment (23) aus dieser Gruppe umfassen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die identifizierten Segmente (23, 24) durch eine Maske (25) für das Höhenprofil (21) angezeigt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausschnitte (26) des Höhenprofils (21) feste absolute Abmessungen aufweisen und dass jeder Ausschnitt (26) konzentrisch zu einer Grundfläche des zugehörigen Segments (23, 24) festgelegt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste neuronale Netzwerk mit Höhenprofilen (21) von realen und/oder simulierten Objekten (2) auf der Oberfläche (3) trainiert wird und/oder das zweite neuronale Netzwerk mit Ausschnitten (26) von Höhenprofilen (21) um Segmente (23, 24) von realen und/oder simulierten Objekten (2) auf der Oberfläche (3) und gemessenen Werten des mindestens einen Formparameters der realen und/oder simulierten Objekte (2) trainiert wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die auf der Oberfläche (3) liegenden Objekte (2) mit einer Ortsauflösung von < 3 mm, vorzugsweise von < 2 mm und mehr bevorzugt von < 1 mm abgetastet werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Winkel des Messstrahls (9) zu der Oberfläche (3) nicht kleiner als 45°, vorzugsweise nicht kleiner als 60° ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Nulllinie des originären Höhenprofils (21) durch Abtasten der Oberfläche (3) ohne aufliegende Objekte (2) bestimmt wird und/oder dass eine Bezugshöhe des originären Höhenprofils (21) durch Erfassen eines höchsten Punkts der auf der Oberfläche (3) liegenden und während eines Erfassungszeitraums abgetasteten Objekte (2) bestimmt wird wobei das originäre Höhenprofil (21) der Objekte (2) auf der Oberfläche (3) punktweise gegenüber der Nulllinie und/oder der Bezugshöhe bestimmt wird. - 19 -
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Reflektionsgrad des Messstrahls (9) von dem LIDAR-Scanner (6) erfasst und dem originären Höhenprofil (21) als weitere Koordinate hinzugefügt wird, die vorzugsweise beim Segmentieren (22) des Höhenprofils (21) berücksichtigt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Formparameter ausgewählt wird aus Länge der Objekte (2), Quadratmaß der Objekte (2), Volumen der Objekte (2), Oberflächenfläche der Objekte (2), Krümmung der Objekte (2) und Anzahl durchgehender Stäbe bestimmter Abmessungen, in die die Objekte (2) aufgeteilt werden können.
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausschnitte des Höhenprofils (21) mit dem zweiten neuronalen Netzwerk dahingehend analysiert werden, in welche von mehreren Objektklassen das jeweilige Objekt (2) aufgrund seines Werts des mindestens einen Formparameters fällt, wobei die Objekte (2 vorzugsweise Wurzelfrüchte, mehr bevorzugt Kartoffeln oder Zuckerrüben sind.
12. Vorrichtung (1) zum Bestimmen des Werts mindestens eines Formparameters von Objekten (2), die in unbekannter Orientierung und Gruppierung auf einer Oberfläche (3) eines Förderers (4) liegend durch Bewegen der Oberfläche (3) in einer längs der Oberfläche (3) verlaufenden Förderrichtung (16) gefördert werden, nach einem der vorhergehenden Ansprüche, mit einem einen Messstrahl (9) in unterschiedlichen Richtungen in einer Ebene (17) aussendenden LIDAR-Scanners (6), mit einer Positioniereinrichtung (7), die dazu ausgebildet ist, den LIDAR-Scanner (6) so gegenüber dem Förderer (4) zu positionieren, dass die Ebene (17) quer zu der Förderrichtung (16) verläuft, mit einem Geschwindigkeitssensor (12), der dazu ausgebildet ist, eine Geschwindigkeit (15) zu erfassen, mit der die Oberfläche (3) in der Förderrichtung (16) durch die Ebene (17) hindurchtritt, mit einer ersten Auswerteeinrichtung (31), die dazu ausgebildet ist, aus Signalen (14) des LIDAR-Scanners (6) und der Geschwindigkeit (15) der Oberfläche ein originäres Höhenprofil (21) der Objekte (2) auf der Oberfläche (3) punktweise zu bestimmen, und - 20 - mit einer zweiten Auswerteeinrichtung (32), die ein erstes neuronales Netzwerk umfasst und dazu ausgebildet ist, das originäre Höhenprofil (21) mit dem ersten neuronalen Netzwerk zu segmentieren, wobei Segmente (23, 24) des originären Höhenprofils (21) identifiziert werden, wobei die Punkte jedes identifizierten Segments (23, 24) zu einem einzelnen Objekt (2) gehören, gekennzeichnet durch eine dritten Auswerteeinrichtung (33), die ein zweites neuronales Netzwerk umfasst und dazu ausgebildet ist, Ausschnitte (26) des Höhenprofils (21), die jeweils ein Segment (23, 24) und eine Umgebung des einen Segments (23, 24) umfassen, in kartesische Koordinaten zu transformieren und danach mit dem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts (2) zu analysieren, wobei die dritte Auswerteeinrichtung (33) dazu ausgebildet ist, beim Transformieren der Ausschnitte (26) des originären Höhenprofils (21) in die kartesischen Koordinaten das Höhenprofil (21) in den kartesischen Koordinaten auf Basis von Extrapolationen in Punkten zu bestimmen, die in gleichen Abständen über der bewegten Oberfläche (3) verteilt sind.
13. Vorrichtung (1) nach Anspruch 12, dadurch gekennzeichnet, dass die zweite Auswerteeinrichtung (32) dazu ausgebildet ist, eine Gruppe solcher Segmente (23) zu identifizieren, die zu einem einzelnen, auf der Oberfläche (3) oder auf anderen Objekten (2) liegenden Objekt (2) gehört, dessen Oberseite nicht durch ein oder mehrere andere Objekte (2) verdeckt ist, und dass die dritte Auswerteeinrichtung (33) dazu ausgebildet ist, solche Ausschnitte des Höhenprofils (21) zu analysieren, die jeweils ein Segment (23, 24) aus dieser Gruppe umfassen.
14. Vorrichtung (1) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die zweite Auswerteeinrichtung (32) dazu ausgebildet ist, der dritten Auswertweinrichtung (33) die identifizierten Segmente (23, 24) durch eine Maske (25) für das Höhenprofil (21) anzuzeigen.
15. Vorrichtung (1) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die dritte Auswerteeinrichtung (33) dazu ausgebildet ist, die Ausschnitte (26) des Höhenprofils (21) mit festen absoluten Abmessungen konzentrisch zu einer Grundfläche des jeweiligen Segments (23, 24) festzulegen.
16. Vorrichtung (1) nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass der LIDAR-Scanner (6) dazu ausgebildet ist, die auf der Oberfläche (3) liegenden Objekte (2) mit einer Ortsauflösung < 2 mm, vorzugsweise mit einer Ortsauflösung < 1 mm abzutasten. - 21 -
17. Vorrichtung (1) nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, dass ein Winkel des Messstrahls (9) zu der Oberfläche (3) nicht kleiner als 45°, vorzugsweise nicht kleiner als 60° ist.
18. Vorrichtung (1) nach einem der Ansprüche 12 bis 17, dadurch gekennzeichnet, dass der LIDAR-Scanner (6) dazu ausgebildet ist, einen Reflektionsgrad des Messstrahls (9) zu erfassen, und dass die erste Auswerteeinrichtung (31) dazu ausgebildet ist, den Reflektionsgrad dem Höhenprofil (21) als weitere Koordinate hinzuzufügen, wobei die zweite Auswerteeinrichtung (32) vorzugsweise dazu ausgebildet ist, diese weitere Koordinate beim Segmentieren (22) des Höhenprofils (21) zu berücksichtigen.
19. Vorrichtung (1) nach einem der Ansprüche 12 bis 18, dadurch gekennzeichnet, dass der mindestens eine Formparameter ausgewählt ist aus Länge der Objekte (2), Quadratmaß der Objekte (2), Volumen der Objekte (2), Oberfläche der Objekte (2), Krümmung der Objekte (2) und Anzahl durchgehender Stäbe bestimmter Abmessungen, in die die Objekte (2) aufgeteilt werden können.
20. Vorrichtung (1) nach einem der Ansprüche 12 bis 19, dadurch gekennzeichnet, dass die dritte Auswerteeinrichtung (33) dazu ausgebildet ist, die Segmente (23, 24) des Höhenprofils (21) mit dem zweiten neuronalen Netzwerk dahingehend zu analysieren, in welche von mehreren Objektklassen das jeweilige Objekt (2) aufgrund seines Werts des mindestens einen Formparameters fällt.
PCT/EP2022/082002 2021-11-15 2022-11-15 Verfahren und vorrichtung zur klassifizierung von objekten, die auf einer oberfläche liegend gefördert werden WO2023084116A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021129673.0A DE102021129673A1 (de) 2021-11-15 2021-11-15 Verfahren und Vorrichtung zur Klassifizierung von Objekten, die auf einer Oberfläche liegend gefördert werden
DE102021129673.0 2021-11-15

Publications (1)

Publication Number Publication Date
WO2023084116A1 true WO2023084116A1 (de) 2023-05-19

Family

ID=84387610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/082002 WO2023084116A1 (de) 2021-11-15 2022-11-15 Verfahren und vorrichtung zur klassifizierung von objekten, die auf einer oberfläche liegend gefördert werden

Country Status (2)

Country Link
DE (1) DE102021129673A1 (de)
WO (1) WO2023084116A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10134714A1 (de) 2001-07-22 2003-02-06 Robert Massen Verfahren und Anordnung zur optischen Inspektion von näherungsweise zylinderförmigen Objekten in der Produktionslinie
US20180029085A1 (en) * 2016-01-15 2018-02-01 Key Technology, Inc. Method and Apparatus for Sorting
US20180042176A1 (en) 2016-08-15 2018-02-15 Raptor Maps, Inc. Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops
WO2019089825A1 (en) 2017-11-02 2019-05-09 AMP Robotics Corporation Systems and methods for optical material characterization of waste materials using machine learning
WO2020120702A1 (en) 2018-12-12 2020-06-18 Marel Salmon A/S A method and a device for estimating weight of food objects
EP3816857A1 (de) 2019-11-04 2021-05-05 TOMRA Sorting GmbH Neuronales netzwerk zur massensortierung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10134714A1 (de) 2001-07-22 2003-02-06 Robert Massen Verfahren und Anordnung zur optischen Inspektion von näherungsweise zylinderförmigen Objekten in der Produktionslinie
US20180029085A1 (en) * 2016-01-15 2018-02-01 Key Technology, Inc. Method and Apparatus for Sorting
US20180042176A1 (en) 2016-08-15 2018-02-15 Raptor Maps, Inc. Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops
WO2019089825A1 (en) 2017-11-02 2019-05-09 AMP Robotics Corporation Systems and methods for optical material characterization of waste materials using machine learning
WO2020120702A1 (en) 2018-12-12 2020-06-18 Marel Salmon A/S A method and a device for estimating weight of food objects
EP3816857A1 (de) 2019-11-04 2021-05-05 TOMRA Sorting GmbH Neuronales netzwerk zur massensortierung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AKIN TATOGLU ET AL: "Point cloud segmentation with LIDAR reflection intensity behavior", ROBOTICS AND AUTOMATION (ICRA), 2012 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 14 May 2012 (2012-05-14), pages 786 - 790, XP032450955, ISBN: 978-1-4673-1403-9, DOI: 10.1109/ICRA.2012.6225224 *
LYNDON NEAL SMITH ET AL: "Innovative 3D and 2D machine vision methods for analysis of plants and crops in the field", COMPUTERS IN INDUSTRY, vol. 97, 10 March 2018 (2018-03-10), AMSTERDAM, NL, pages 122 - 131, XP055558662, ISSN: 0166-3615, DOI: 10.1016/j.compind.2018.02.002 *
YIMYAM PANITNAT PANITNAT@BUU AC TH: "Physical Property Analysis of Sweet Potatoes Using Computer Vision", PROCEEDINGS OF THE 17TH ACM WORKSHOP ON MOBILITY IN THE EVOLVING INTERNET ARCHITECTURE, ACMPUB27, NEW YORK, NY, USA, 27 July 2019 (2019-07-27), pages 18 - 22, XP058908018, ISBN: 978-1-4503-9657-8, DOI: 10.1145/3348445.3348471 *

Also Published As

Publication number Publication date
DE102021129673A1 (de) 2023-05-17

Similar Documents

Publication Publication Date Title
EP3275313B1 (de) Vorrichtung zum erfassen und auswerten von produktspezifischen informationen von produkten der nahrungsmittel verarbeitenden industrie sowie system mit einer solchen vorrichtung und verfahren zum verarbeiten von produkten der nahrungsmittel verarbeitenden industrie
EP3454298B1 (de) Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
DE69331662T2 (de) Verfahren und gerät zur automatischen bewertung von getreidekörnern und anderen granularen produkten
DE19520190A1 (de) Vorrichtung zur Überwachung eines Klebstoffaufbringungszustandes
DE69921021T2 (de) Verfahren zum Unterscheiden von Produkteinheiten und Vorrichtung dazu
DD152870A1 (de) Verfahren und vorrichtung zum klassieren in bewegung befindlichen stueckgutes
DE112008001839T5 (de) Prüfvorrichtung und Prüfverfahren, welches durchdringende Strahlung verwendet
EP1682852A1 (de) Verfahren und vorrichtung zur erkennung und vermessung von vegetation im umfeld von verkehrswegen
WO2012130853A1 (de) Vorrichtung und verfahren zur automatischen überwachung einer vorrichtung zur verarbeitung von fleischprodukten
EP3715779B1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
WO2023084116A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten, die auf einer oberfläche liegend gefördert werden
DE112009005102T5 (de) Aufspaltung mehrteiliger Objekte
EP1925921B1 (de) Verfahren und Vorrichtung zur Bestimmung der Masse von Stückgut auf einer Fördereinrichtung
DE4130399A1 (de) Automatische fenstertechnik zur gegenstandserkennung
WO2019185184A1 (de) Vorrichtung und verfahren zur optischen positionserkennung transportierter objekte
WO2008077680A1 (de) Verfahren und vorrichtung zur optischen prüfung von objekten
DE102022107144A1 (de) Komponentenprüfsystem und -verfahren auf produktionsgeschwindigkeit
EP3970069A1 (de) Verfahren zum ermitteln eines digitalen modells eines bereichs eines waldes
DE20317095U1 (de) Vorrichtung zur Erkennung von Oberflächenfehlern
DE102008049859B4 (de) Verfahren und Prüfsystem zur optischen Prüfung einer Kontur eines Prüfobjekts
EP1139285B1 (de) Verfahren und Vorrichtung zur Prüfung bzw. Untersuchung von Gegenständen
WO2014139503A1 (de) Vorrichtung zur vermessung eines schlachttierkörperobjekts
DE4238193A1 (de) Verfahren und Vorrichtung zur Identifizierung von Gegenständen
WO2024149545A1 (de) Verfahren und vorrichtung zum betreiben von mehreren lidarsensoren
DE102023100567A1 (de) Verfahren und Vorrichtung zum Betreiben eines Lidarsensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22817728

Country of ref document: EP

Kind code of ref document: A1