EP4064815A1 - Verfahren zum bearbeiten von pflanzen auf einem feld - Google Patents
Verfahren zum bearbeiten von pflanzen auf einem feldInfo
- Publication number
- EP4064815A1 EP4064815A1 EP20811582.4A EP20811582A EP4064815A1 EP 4064815 A1 EP4064815 A1 EP 4064815A1 EP 20811582 A EP20811582 A EP 20811582A EP 4064815 A1 EP4064815 A1 EP 4064815A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- neural network
- heads
- field
- plant
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B39/00—Other machines specially adapted for working soil on which crops are growing
- A01B39/12—Other machines specially adapted for working soil on which crops are growing for special purposes, e.g. for special culture
- A01B39/18—Other machines specially adapted for working soil on which crops are growing for special purposes, e.g. for special culture for weeding
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B79/00—Methods for working soil
- A01B79/005—Precision agriculture
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
- A01M7/0089—Regulating or controlling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Definitions
- the present invention relates to a method for processing plants on a
- weed regulation plays a central role in the success of the yield.
- the cost of pesticides is significant and its impact on the environment is problematic. For this reason, autonomously working systems are increasingly being used to process plants, i.e. useful plants and weeds.
- the processing can be done mechanically, e.g. by a milling machine, but also by a targeted application of pesticides, e.g. by a controlled sprayer. In this way, the use of pesticides can be avoided or at least reduced, thereby reducing the impact on the environment and reducing costs.
- the selective (the plant to be worked is differentiated from other plants and the soil) plant cultivation in a field it is necessary to exactly recognize the position of a plant to be cultivated in a field.
- This can be achieved by different object recognition methods, whereby above all the optical image recognition by means of a trained classifier, e.g. a neural network, is used.
- a trained classifier e.g. a neural network
- a semantic segmentation of a captured image, but also a classification of the image or an image section can be carried out.
- FIG. 2 shows a structure of a neural network which has a plurality of heads which are trained for a different species of crop
- FIG. 3 shows a structure of a neural network which has a plurality of heads which are trained for a different hierarchical level
- FIG. 4 shows a structure of a neural network which has a plurality of heads which are trained both for a different crop species and for a different hierarchical level;
- FIG. 5 shows a structure of a neural network which has a plurality of heads which branch off in a different layer of the neural network.
- a vehicle on which a device for processing plants is attached, travels a field along a route and the objects or plants to be processed are processed one after the other by executing the method 100 according to the invention.
- the vehicle drives through the field autonomously, but can also drive through the field according to a control by an operator.
- a field can be understood to be a delimited area of land for the cultivation of useful plants or a part of such a field.
- a useful plant is understood to mean an agriculturally used plant which itself or its fruit is used, for example as food, feed or as an energy plant.
- the seeds and consequently the plants are primarily arranged in rows, it being possible for objects to be present between the rows and between the individual plants within a row. The objects are however, undesirable because they reduce the yield of the plants or represent a disruptive influence during cultivation and / or harvest.
- An object can be understood to mean any plant that is different from the useful plant, or any object. Objects can in particular be weeds, woods and stones.
- the device for processing plants has at least the following elements: a processing tool, an image acquisition means, various sensor elements (e.g. a position sensor, a speed sensor, an inclination sensor, a distance sensor, etc.), a memory unit and a computing unit.
- the device for processing plants is installed on a vehicle provided for this purpose, which is operated by a battery, but can also be operated by another energy source, such as an internal combustion engine.
- the device can also be attached to an agricultural vehicle or a trailer for the agricultural vehicle.
- the device is operated by an energy source of the vehicle, but can also be operated by a separate energy source provided for this purpose.
- the processing tool is a mechanical tool which is attached to a movable device so that it can be guided towards or away from a plant to be processed and is designed in such a way that a plant is processed with it.
- the movable device is, for example, an articulated arm that is moved by electric motors or hydraulics.
- the processing tool is, for example, a milling cutter that cuts off the plant, ie in this case a weed, in the area of the roots.
- the processing tool can also be a sprayer with which a pesticide is sprayed in the direction of a plant to be processed. It should be noted that the sprayer can also be used to apply a crop protection agent or fertilizer to a crop.
- processing tools such as an electrical processing tool, a laser, microwaves, hot water or oil
- the processing tool installed on the vehicle has a specific spatial accuracy.
- the spatial accuracy of a milling machine depends on the movable device and the mechanical design (eg the diameter) of the milling machine itself.
- the spatial accuracy of a sprayer depends on a nozzle angle of the sprayer.
- the spatial accuracy of a sprayer is many times less than that of a milling machine.
- several processing tools are attached to a device for processing plants, which can be operated simultaneously. Different types of machining tools can also be used on the same device Editing plants may be appropriate.
- the possible processing methods here are: electrically, by means of a laser, by means of microwaves, as well as by means of hot water or oil.
- the image acquisition means is a camera, such as a CCD camera, a CMOS camera, etc., which acquires an image in the visible area and provides it as RGB values or as values in another color space.
- the image acquisition means can, however, also be a camera that acquires an image in the infrared range. An image in the infrared range is particularly suitable for capturing plants, as the reflection of the plants is significantly increased in this frequency range.
- the image acquisition means can also be, for example, a mono, RGB, multispectral, hyperspectral camera.
- the image acquisition means can also provide a depth measurement, e.g. by a stereo camera, a time-of-flight camera, etc. It is possible for several image acquisition means to be present and for the images from the different image acquisition means and the data from the various sensor elements to be acquired essentially synchronously.
- the sensor elements can include a position sensor, e.g. GPS, high-precision GPS, etc., a speed sensor, an inclination sensor, a distance sensor, but also other sensors, such as a weather sensor, etc.
- the storage unit is a non-volatile physical storage medium, such as a semiconductor memory, in which data can be stored for a longer period of time.
- the data remain stored in the memory unit even when there is no operating voltage on the memory unit.
- the memory unit stores a program for carrying out the method according to the invention and the operating data required for this.
- the images captured by the image capturing means and the data captured by the sensor elements are stored on the storage unit. However, other data and information can also be stored in the memory unit.
- the program stored in the memory unit contains instructions in the form of program code, which is written in any programming language, which are executed in sequence so that the method 100 according to the invention for processing the plants in the field is executed.
- the program can also be divided into several files that have a predefined relationship to one another.
- the computing unit is an arithmetic-logic unit that is implemented in the form of a processor (eg CPU, GPU, TPU).
- the computing unit is able to read data from the storage unit and output instructions in accordance with the program in order to control the image acquisition means, the sensor elements and actuators, such as the processing tool, all of which are communicatively (wired or wireless) connected to the computing unit.
- step S102 the processing tool is selected with which the plants or objects in a field are to be processed.
- the spatial accuracy with which the plants are processed by the processing tool depends, as described above, on the type of processing tool.
- the processing tool can be specified for the entire duration of the process before the start of the process of running through the field. However, the processing tool can also be changed while it is being traversed.
- step S104 an image 12 of the field on which the plants are growing is captured by the image capturing means.
- the image capturing means is attached to the vehicle such that an image sensor is substantially parallel to a ground surface of the field.
- position information about the position at which the image 12 is recorded on the field is obtained essentially synchronously with the acquisition of the image 12.
- the position information obtained by the position sensor is correlated with the image 12 so that actual positions of pixels of the image 12 on the field can be determined taking into account the position information, the angle of view of the image acquisition means used and the distance of the image acquisition means from the ground.
- the image capturing means can, however, also be attached in such a way that the image sensor is inclined in any direction in order to capture a larger area of the field. In this case, the angle of inclination must be taken into account when determining the position of a pixel on the field.
- the captured image 12 is processed in order to determine a position of the plant to be processed in the field.
- the positions of the plants to be processed are determined individually by assigning information about the displayed content to the pixels of the captured image 12. Since the position of the individual pixels in the field is known, the respective positions of the plants to be processed can be determined to be determined.
- the position of a plant in a field is preferably determined by means of semantic segmentation of the captured image 12, which is correlated with the position information.
- the semantic segmentation, in which each pixel of an image 12 is individually classified, is obtained by using a so-called fully convolutional DenseNet.
- a semantic segmentation can, however, also be obtained by a fully convolutional neural network or another suitable neural network.
- the position of the plant to be processed can be determined by a classification of the image 12 or another known method for object recognition in which a neural network is used.
- a classification of the image 12 or another known method for object recognition in which a neural network is used.
- semantic segmentation of the pixels or superpixels i.e. the pixel-by-pixel classification
- standard classification of the image are referred to in simplified form as classification.
- a respective position of the plants to be processed in the field is, as already mentioned, determined using neural networks 10, 20, 30, 40, which are shown in FIGS. 2 to 5 and into which the image 12 captured in S104 (the RGB values or the values of another color space) is entered.
- Neural networks 10, 20, 30, 40 according to the invention are designed as so-called tree nets and have several heads, only one of the heads being evaluated according to the selected processing tool and / or the crop plant cultivated in the field.
- the shown neural networks 10, 20, 30, 40 each have a plurality of heads 14, 16, 18, 24, 26, 28, 14 'and 16' for outputting classification results 14a to 14c, 16a to 16c, 18a to 18c, 24a to 24c, 26a to 26c, 28a to 28c, 14a 'to 14c' and 16a 'to 16c'.
- Tree nets are known in the prior art which also have several heads, these several heads being provided to solve the same task.
- the results of the individual heads are then evaluated as a so-called ensemble in order to be able to determine a fluctuation or scatter of the results of the individual heads. For this reason, the heads branch off in a higher layer of the neural network, so that the shared Part of the neural network is small, which ensures that the classification results of the individual heads do not have too great an unwanted agreement.
- the neural networks 10, 20, 30, 40 When a classification is carried out by the neural networks 10, 20, 30, 40 according to the invention, in particular only one of the heads 14, 16, 18, 24, 26, 28, 14 and 16 ‘is evaluated and the other heads are not taken into account.
- the individual heads 14, 16, 18, 24, 26 and 28 are split off only in the last layer, so that almost all of the neural networks 10, 20 , 30 is used for the classification by the individual heads 14, 16, 18, 24, 26 and 28.
- the heads 14, 16, 18, 24, 26 and 28 can therefore be split off in a lower section of the neural networks 10, 20, 30, since in this case no different features between the heads 14, 16, 18, 24, 26 and 28 need to be trained. Consequently, in the present invention, a large part of the neural networks 10, 20, 30 can be used for different tasks.
- the aforementioned neural networks 10, 20, 30, 40 commonly used layers, which are arranged in an upper section, are trained with the same training data.
- the upper layers are trained in such a way that the neural networks 10, 20, 30, 40 for one head (e.g. head 14) are trained completely across all layers.
- This procedure has the advantage that the neural networks 10, 20, 30, 40 can be initially trained with a sufficiently large amount of training data, so that the required accuracy of the individual layers of the neural network 10, 20, 30, 40 when generating Feature clearing from the entered image is ensured.
- the trained head is then copied as required.
- the training can also take place in parallel for the required number of heads.
- Fine-tuning is understood to mean the retraining of an existing neural network or a part of it (e.g. the section of the head after the branch) with new training data and / or other training parameters in order to solve a different task. If only a section of a neural network is retrained, this head can also be trained for the same task with other training data, whereby a different classification result is obtained.
- the neural networks 10, 20, 30, 40 are, as described above, initially trained with a data set (e.g.
- the advantage of fine-tuning is that a large part of the neural networks 10, 20, 30, 40 can be trained with a large amount of training data, while the individual heads 14, 16, 18, 24, 26, 28, 14 ' and 16 'can be optimized using a smaller specific training data set. Consequently, a large amount of training data is not required for all heads 14, 16, 18, 24, 26, 28, 14 'and 16' of the neural networks 10, 20, 30, 40.
- the individual heads 14, 16, 18 of the neural network 10 according to the invention are trained in a first embodiment of the present invention, as shown in FIG Crop type can be recognized, which are grown on different fields to be worked.
- the heads can then be placed between a crop 14a, 16a, 18a (e.g. maize, sugar beet, etc.), weeds 14b, 16b, 18b and the soil 14c, 16c,
- the individual heads 14, 16, 18 of the neural network 10 can, as already described, be specifically trained by means of fine-tuning.
- the individual heads 24, 26, 28 of the neural network 20 according to the invention, as shown in FIG. 3, are trained for different hierarchical levels.
- a head 24 is trained only to distinguish between a useful plant 24a (for example maize or sugar beet), weeds 24b and soil 24c.
- further heads 26, 28 can be trained to differentiate between a useful plant 26a, dicotyledon weeds 26b, monocotyledon weeds 26c and the soil 26d or, in general, a species-specific distinction between plant A 28a, plant B 28b, plant C 28c, etc. enable.
- the classification for a higher hierarchical level which includes a more general grouping of plants (e.g.
- weeds is more robust and accurate than a classification for a lower hierarchical level (e.g. plant A vs. plant B, etc.).
- herbicides that are used in the field to remove weeds are often effective on entire groups of plants.
- herbicides are available that are effective for dicotyledon weeds or monocotyledon weeds.
- the second embodiment of the invention can thus be used for a targeted application of a herbicide on a corresponding group of plants, since a classification for a hierarchical level can be flexibly adapted. In this way, the amount of herbicide to be applied to the field can be reduced.
- FIG. 2 and in FIG. 3 it is also possible to combine the first and second configurations shown in FIG. 2 and in FIG. 3, so that the different heads of a neural network shown in FIG Hierarchy levels are trained.
- the neural network 30 for example, different types of useful plants (e.g. maize, sugar beet, etc.) can be recognized by means of the heads 14 and 16 and different hierarchies (e.g. dicotyledonous and monocotyledonous plants) by the heads 26 and 28 become. It is self-explanatory that the same hierarchical level can also exist several times for the different crops.
- the neural network 40 according to the invention is also not restricted to the fact that the heads branch off in the same layer of the network.
- the individual heads 14, 16, 14 and 16 ‘, as shown in FIG. 5 can branch off in a different layer of the neural network 40.
- further layers can be present between the junction and the output layer of a head. In this way, the neural network 40 can be constructed flexibly.
- the neural network 40 Due to the flexible structure of the neural network 40, it is also possible for two or more heads 14 and 14 'or 16 and 16' of the neural network 40 to be trained in different ways for the same task.
- the classification results 14a to 14c and 14a 'to 14c' or 16a to 16c and 16a 'to 16c' of the two or more heads 14 and 14 'or 16 and 16' can then be evaluated as an ensemble. Consequently, the present invention can be combined with the original idea of tree networks for ensemble evaluation, so that an ensemble of classification results is available for each useful plant. It should be noted that, in the neural network 40, only one of the heads 14, 14 ', 16, 16' can be evaluated. It is therefore not absolutely necessary to carry out an ensemble evaluation.
- the selected processing tool can be guided to the position of the plant in step S108 and the corresponding processing can be carried out for the individual Plant to be carried out.
- a mechanical tool can be guided exactly to the position of the plant or the sprayer can be brought up to a predetermined distance to the weeds or the useful plant to apply the pesticide, plant protection agent or fertilizer and pointed at it.
- a speed at which the vehicle is moving forward must be taken into account when the machining tool is introduced.
- the plant is then processed with the processing tool in step S110.
- the plant is removed, chopped up or destroyed using the mechanical tool or sprayed with the pesticide, plant protection agent or fertilizer.
- the amount of chemical substances applied in conventional methods can consequently be significantly reduced, so that costs and the impact on the environment are reduced.
- the present invention thereby provides the following advantages.
- a single neural network with several heads can be used, so that a required memory requirement is reduced.
- a better trained neural network is obtained, which provides a better differentiation between the plants because more training data from different crops or hierarchical levels are used.
- the neural network is thus trained to find characteristics for all crops at the same time. Since training data are used jointly in the upper area of the neural network, fewer resources are required for training the network.
- the neural network according to the invention can be retrained in a simple manner, since improved features that develop as a result of retraining are for everyone Heads of the neural network are immediately available. When using several neural networks, however, it is necessary to update the different neural networks with the retrained parameters.
- the intended area of application of the method according to the invention relates to autonomous field robots or intelligent attachments for soil cultivation and crop protection in vegetable, horticultural and arable farming.
- the neural networks described above can also be used in other areas in which a neural network should be able to be used flexibly for different tasks.
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Environmental Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Soil Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Insects & Arthropods (AREA)
- Pest Control & Pesticides (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Ein Verfahren (100) zum Bearbeiten von Pflanzen auf einem Feld, auf dem eine bestimmte Nutzpflanzenart angebaut ist, weist folgende Schritte auf: Auswählen (S102) eines Bearbeitungswerkzeugs zum Bearbeiten von Pflanzen; Erfassen (S104) eines Bilds von dem Feld, wobei das Bild (12) mit einer Positionsinformation korreliert wird; Bestimmen (S106) einer Position einer zu bearbeitenden Pflanze auf dem Feld unter Verwendung eines neuronalen Netzes (10, 20, 30, 40), in das das erfasste Bild (12) eingegeben wird, wobei das neuronale Netz (10, 20, 30, 40) mehrere Köpfe (14, 16, 18, 24, 26, 28, 14', 16') aufweist und insbesondere einer der Köpfe (14, 16, 18, 24, 26, 28, 14', 16') entsprechend dem Bearbeitungswerkzeug und/oder der angebauten Nutzpflanzenart ausgewertet wird; Hinführen (S108) des Bearbeitungswerkzeugs zur Position der Pflanze; und Bearbeiten (S110) der Pflanze mit dem Bearbeitungswerkzeug.
Description
Verfahren zum Bearbeiten von Pflanzen auf einem Feld
Beschreibung
Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren zum Bearbeiten von Pflanzen auf einem
Feld.
Von den vielfältigen Aufgaben in der Landwirtschaft nimmt die Beikrautregulierung für den Ertragserfolg eine zentrale Rolle ein. Die Kosten für Pestizide sind erheblich und ihre Auswirkungen auf die Umwelt problematisch. Es werden daher vermehrt autonom arbeitende Systeme zur Bearbeitung von Pflanzen, d.h. Nutzpflanzen und Beikräutern, verwendet. Die Bearbeitung kann dabei mechanisch, z.B. durch eine Fräse, aber auch durch eine gezielte Ausbringung von Pestiziden, z.B. durch einen gesteuerten Sprayer, erfolgen. Auf diese Weise kann der Einsatz von Pestiziden vermieden oder zumindest reduziert werden, wodurch der Einfluss auf die Umwelt sowie der Kostenaufwand reduziert werden.
Für die selektive (die zu bearbeitende Pflanze wird von anderen Pflanzen und dem Boden unterschieden) Pflanzenbearbeitung auf einem Feld ist es erforderlich, die Position einer zu bearbeitenden Pflanze auf einem Feld exakt zu erkennen. Dies kann durch unterschiedliche Objekterkennungsverfahren bewerkstelligt werden, wobei vor allem die optische Bilderkennung mittels eines trainierten Klassifizierers, z.B. eines neuronalen Netzes, verwendet wird. Dabei können eine semantische Segmentierung eines erfassten Bildes, aber auch eine Klassifikation des Bildes oder eines Bildabschnittes durchgeführt werden.
In der Praxis werden Fahrzeuge bzw. Vorrichtungen zum Bearbeiten von Pflanzen für unterschiedliche Bearbeitungswerkzeuge und auf Feldern, auf denen unterschiedliche Nutzpflanzen angebaut sind, eingesetzt, wobei jeweils ein eigens dafür vorgesehener Klassifizierer einzusetzen ist. Daraus ergeben sich jedoch folgende Nachteile: Mehrere Klassifizierer führen zu einem erhöhten Speicherdarf. Zudem wird bei trainierten Klassifizierern eine große Menge an spezifischen Trainingsdaten für die einzelnen Klassifizierer benötigt und es ist eine erhöhte Verarbeitungszeit notwendig, um die einzelnen Klassfizierer zu trainieren oder zu implementieren.
Es ist daher Aufgabe der vorliegenden Erfindung, diese genannten Nachteile zu vermeiden und ein Verfahren zum Bearbeiten von Pflanzen auf einem Feld bereitzustellen, das
flexibel für unterschiedliche Aufgaben zum Bearbeiten von Pflanzen auf einem Feld einsetzbar ist.
Kurzbeschreibung der Figuren
Fig. 1 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens;
Fig. 2 zeigt einen Aufbau eines neuronalen Netzes, das mehrere Köpfe aufweist, die für eine unterschiedliche Nutzpflanzenart trainiert sind;
Fig. 3 zeigt einen Aufbau eines neuronalen Netzes, das mehrere Köpfe aufweist, die für eine unterschiedliche Hierarchieebene trainiert sind;
Fig. 4 zeigt einen Aufbau eines neuronalen Netzes, das mehrere Köpfe aufweist, die sowohl für eine unterschiedliche Nutzpflanzenart als auch für eine unterschiedliche Hierarchieebene trainiert sind;
Fig. 5 zeigt einen Aufbau eines neuronalen Netzes, das mehrere Köpfe aufweist, die in einer unterschiedlichen Schicht des neuronalen Netzes abzweigen.
Beschreibung der Ausführungsformen
Nachstehend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Figuren beschrieben.
Ein Fahrzeug, an dem eine Vorrichtung zum Bearbeiten von Pflanzen angebracht ist, fährt ein Feld entlang einer Route ab und die zu bearbeitenden Objekte bzw. Pflanzen werden durch Ausführen des erfindungsgemäßen Verfahrens 100 nacheinander einzeln bearbeitet. Das Fahrzeug fährt das Feld dabei autonom ab, kann das Feld aber auch gemäß einer Steuerung durch einen Bediener abfahren.
Unter einem Feld kann eine abgegrenzte Bodenfläche für den Anbau von Nutzpflanzen oder auch ein Teil eines solchen Feldes verstanden werden. Unter einer Nutzpflanze wird eine landwirtschaftlich genutzte Pflanze verstanden, die selbst oder deren Frucht genutzt wird, z.B. als Nahrungsmittel, Futtermittel oder als Energiepflanze. Die Samen und folglich die Pflanzen werden vornehmlich in Reihen angeordnet, wobei zwischen den Reihen sowie zwischen den einzelnen Pflanzen innerhalb einer Reihe Objekte vorhanden sein können. Die Objekte sind
jedoch unerwünscht, da sie den Ertrag der Pflanzen mindern oder einen störenden Einfluss während der Bewirtschaftung und/oder der Ernte darstellen. Unter einem Objekt kann jegliche Pflanze, die eine andere als die Nutzpflanze ist, oder jeglicher Gegenstand verstanden werden. Objekte können insbesondere Beikräuter, Hölzer und Steine sein.
Die Vorrichtung zum Bearbeiten von Pflanzen weist dazu mindestens die folgenden Elemente auf: ein Bearbeitungswerkzeug, ein Bilderfassungsmittel, verschiedene Sensorelemente (z.B. einen Positionssensor, einen Geschwindigkeitssensor, einen Neigungssensor, einen Abstandssensor usw.), eine Speichereinheit und eine Recheneinheit.
Die Vorrichtung zum Bearbeiten von Pflanzen ist auf einem dafür vorgesehenen Fahrzeug installiert, das durch eine Batterie betrieben wird, aber auch durch eine andere Energiequelle, wie etwa einen Verbrennungsmotor, betrieben werden kann. Die Vorrichtung kann darüber hinaus auch an einem landwirtschaftlichen Fahrzeug oder einem Anhänger für das landwirtschaftliche Fahrzeug angebracht sein. Die Vorrichtung wird dabei durch eine Energiequelle des Fahrzeugs betrieben, kann aber auch durch eine dafür vorgesehene separate Energiequelle betrieben werden.
Das Bearbeitungswerkzeug ist ein mechanisches Werkzeug, das an einer beweglichen Vorrichtung angebracht ist, so dass es zu einer zu bearbeitenden Pflanze hin- oder davon weggeführt werden kann und so ausgebildet ist, dass damit eine Pflanze bearbeitet wird. Die bewegliche Vorrichtung ist zum Beispiel ein Arm mit Gelenken, der durch Elektromotoren oder eine Hydraulik bewegt wird. Das Bearbeitungswerkzeug ist z.B. eine Fräse, die die Pflanze, d.h. in diesem Fall ein Beikraut, im Bereich der Wurzeln abtrennt. Das Bearbeitungswerkzeug kann aber auch ein Sprayer sein, mit dem ein Pestizid in Richtung einer zu bearbeitenden Pflanze gesprüht wird. Es ist anzumerken, dass der Sprayer auch zum Ausbringen eines Pflanzenschutzmittels oder von Dünger auf eine Nutzpflanze eingesetzt werden kann. Darüber hinaus sind noch weitere Bearbeitungswerkzeuge, wie etwa ein elektrisches Bearbeitungswerkzeug, ein Laser, Mikrowellen, heißes Wasser oder Öl, denkbar. Das am Fahrzeug installierte Bearbeitungswerkzeug weist dabei eine spezifische räumliche Genauigkeit auf. Die räumliche Genauigkeit bei einer Fräse hängt von der beweglichen Vorrichtung und der mechanischen Ausgestaltung (z.B. dem Durchmesser) der Fräse selbst ab. Die räumliche Genauigkeit bei einem Sprayer hängt von einem Düsenwinkel des Sprayers ab. Die räumliche Genauigkeit bei einem Sprayer ist dabei um ein vielfaches geringer als bei einer Fräse. Darüber hinaus ist es auch möglich, dass mehrere Bearbeitungswerkzeuge an einer Vorrichtung zum Bearbeiten von Pflanzen angebracht sind, die gleichzeitig betrieben werden können. Es können auch unterschiedliche Arten von Bearbeitungswerkzeugen an derselben Vorrichtung zum
Bearbeiten von Pflanzen angebracht sein. Die hierbei denkbaren Bearbeitungsmethoden sind: elektrisch, mittels eines Lasers, mittels Mikrowellen, sowie mittels heißem Wasser oder Öl.
Das Bildererfassungsmittel ist eine Kamera, wie z.B. eine CCD- Kamera, eine CMOS- Kamera usw., die ein Bild im sichtbaren Bereich erfasst und als RGB-Werte oder als Werte in einem anderen Farbraum bereitstellt. Das Bilderfassungsmittel kann aber auch eine Kamera sein, die ein Bild im Infrarot- Bereich erfasst. Für das Erfassen von Pflanzen ist ein Bild im Infrarot- Bereich besonders geeignet, da eine Reflexion der Pflanzen in diesem Frequenzbereich deutlich erhöht ist. Das Bilderfassungsmittel kann aber auch z.B. eine Mono-, RGB-, Multispektral-, Hyperspektral- Kamera sein. Das Bilderfassungsmittel kann auch eine Tiefenmessung, z.B. durch eine Stereokamera, eine Time-of-Flight- Kamera usw., bereitstellen. Es ist möglich, dass mehrere Bilderfassungsmittel vorhanden sind, und dass die Bilder von den unterschiedlichen Bilderfassungsmitteln sowie die Daten von den verschiedenen Sensorelementen im Wesentlichen synchron erfasst werden.
Für den Betrieb der Vorrichtung zum Bearbeiten von Pflanzen sind weitere Daten erforderlich, die unter Verwendung von verschiedenen Sensorelementen erfasst werden. Die Sensorelemente können dabei einen Positionssensor, z.B. GPS, hochgenaues GPS usw., einen Geschwindigkeitssensor, einen Neigungssensor, einen Abstandssensor, aber auch andere Sensoren, wie etwa einen Wettersensor etc., umfassen.
Die Speichereinheit ist ein nichtflüchtiges gegenständliches Speichermedium, wie z.B. ein Halbleiterspeicher, in dem Daten längere Zeit gespeichert werden können. Die Daten bleiben in der Speichereinheit auch dann gespeichert, wenn keine Betriebsspannung an der Speichereinheit anliegt. Die Speichereinheit speichert ein Programm zum Ausführen des erfindungsgemäßen Verfahrens und dafür erforderliche Betriebsdaten. Zudem werden auf der Speichereinheit die vom Bilderfassungsmittel erfassten Bilder und die von den Sensorelementen erfassten Daten gespeichert. Es können aber auch andere Daten und Informationen in der Speichereinheit gespeichert werden.
Das in der Speichereinheit gespeicherte Programm enthält Anweisungen in Form von Programmcode, der in einer beliebigen Programmiersprache geschrieben ist, die der Reihe nach ausgeführt werden, so dass das erfindungsgemäße Verfahren 100 zum Bearbeiten der Pflanzen auf dem Feld ausgeführt wird. Das Programm kann dabei auch in mehrere Dateien aufgeteilt sein, die eine vorgegebene Beziehung zueinander aufweisen.
Die Recheneinheit ist eine arithmetisch-logische Einheit, die in Form eines Prozessors (z.B. CPU, GPU, TPU) implementiert ist. Die Recheneinheit ist imstande, Daten von der Speichereinheit zu lesen und Anweisungen entsprechend dem Programm auszugeben, um das Bilderfassungsmittel, die Sensorelemente und Aktoren, wie etwa das Bearbeitungswerkzeug, die allesamt mit der Recheneinheit kommunikativ (kabelgebunden oder kabellos) verbunden sind, zu steuern.
Während eines Abfahrens werden die einzelnen Verfahrensschritte S102 bis S110 des erfindungsgemäßen Verfahren 100, wie in Fig. 1 gezeigt, der Reihe nach ausgeführt. Die einzelnen Schritte werden nachfolgend im Detail beschrieben:
Eingangs wird in Schritt S102 das Bearbeitungswerkzeug ausgewählt, mit dem die Pflanzen bzw. Objekte auf einem Feld bearbeitet werden sollen. Die räumliche Genauigkeit, mit der die Pflanzen durch das Bearbeitungswerkzeug bearbeitet werden, hängt dabei, wie oben beschrieben, von der Art des Bearbeitungswerkzeuges ab. Das Bearbeitungswerkzeug kann vor einem Start des Abfahrens des Felds für die gesamte Dauer des Abfahrens festgelegt werden. Das Bearbeitungswerkzeug kann aber auch während eines Abfahrens gewechselt werden.
Anschließend wird in Schritt S104 ein Bild 12 von dem Feld, auf dem die Pflanzen wachsen, durch das Bilderfassungsmittel erfasst. Das Bilderfassungsmittel ist so an dem Fahrzeug angebracht, dass ein Bildsensor im Wesentlichen parallel zu einer Bodenoberfläche des Feldes ist. Zudem wird im Wesentlichen synchron zum Erfassen des Bilds 12 eine Positionsinformation über die Position erlangt, an der das Bild 12 auf dem Feld erfasst wird. Die vom Positionssensor erlangte Positionsinformation wird mit dem Bild 12 korreliert, so dass tatsächliche Positionen von Pixeln des Bilds 12 auf dem Feld unter Berücksichtigung der Positionsinformation, des Bildwinkels des verwendeten Bilderfassungsmittels und des Abstands des Bilderfassungsmittels vom Boden bestimmt werden können. Das Bilderfassungsmittel kann aber auch so angebracht sein, dass der Bildsensor in einer beliebigen Richtung geneigt ist, um einen größeren Bereich des Feldes zu erfassen. In diesem Fall ist der Neigungswinkel beim Bestimmen der Position eines Pixels auf dem Feld zu berücksichtigen.
Im nachfolgenden Schritt S106 wird das erfasste Bild 12 verarbeitet, um eine Position der zu bearbeitenden Pflanze auf dem Feld zu bestimmen. Dabei werden die Positionen der zu bearbeitenden Pflanzen einzeln dadurch bestimmt, dass den Pixeln des erfassten Bildes 12 eine Information über den dargestellten Inhalt zugewiesen wird. Da die Position der einzelnen Pixel auf dem Feld bekannt ist, können die jeweiligen Positionen der zu bearbeitenden Pflanzen
bestimmt werden. Die Position einer Pflanze auf einem Feld wird dabei bevorzugt mittels einer semantischen Segmentierung des erfassten Bilds 12, das mit der Positionsinformation korreliert ist, bestimmt. Die semantische Segmentierung, bei der jeder Pixel eines Bildes 12 einzeln klassifiziert wird, wird durch Anwendung eines sog. Fully Convolutional DenseNet erhalten. Eine semantische Segmentierung kann aber auch durch ein Fully Convolutional Neural Network oder ein anderes geeignetes neuronales Netz erhalten werden. Verfahren für die pixelweise semantische Segmentierung von Bildern sind im Stand der Technik aus folgenden Dokumenten bekannt: Long, J., Shelhamer, E., & Darreil, T. (2015). „Fully convolutional networks for semantic Segmentation“. In Proceedings of the IEEE Conference on Computer Vision and pattern recognition (pp. 3431-3440). Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., & Bengio, Y. (2017). „The one hundred layers tiramisu: Fully convolutional densenets for semantic Segmentation“. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 11-19). Es ist darüber hinaus anzumerken, dass auch Bereiche, sog. Superpixel, im Bild 12 semantisch segmentiert werden können. Des Weiteren kann die Position der zu bearbeitenden Pflanze durch eine Klassifikation des Bildes 12 oder ein anderes bekanntes Verfahren zur Objekterkennung, bei dem ein neuronales Netz verwendet wird, bestimmt werden. Nachfolgend wird sowohl die semantische Segmentierung der Pixel bzw. Superpixel, sprich die pixelweise Klassifikation, als auch die (standardmäßige) Klassifikation des Bildes vereinfacht als Klassifikation bezeichnet.
Eine jeweilige Position der zu bearbeitenden Pflanzen auf dem Feld wird, wie bereits erwähnt, unter Verwendung von neuronalen Netzen 10, 20, 30, 40 bestimmt, die in den Figuren 2 bis 5 gezeigt sind und in die das in S104 erfasste Bild 12 (die RGB-Werte oder die Werte eines anderen Farbraums) eingegeben wird. Erfindungsgemäße neuronale Netz 10, 20, 30, 40 sind dabei als so genannte Baumnetze bzw. Tree-Nets ausgebildet und weisen mehrere Köpfe auf, wobei nur einer der Köpfe entsprechend dem ausgewählten Bearbeitungswerkzeug und/oder der auf dem Feld angebauten Nutzpflanzenart ausgewertet wird.
Die gezeigten neuronalen Netze 10, 20, 30, 40 weisen jeweils mehrere Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ zum Ausgeben von Klassifikationsergebnissen 14a bis 14c, 16a bis 16c, 18a bis 18c, 24a bis 24c, 26a bis 26c, 28a bis 28c, 14a‘ bis 14c‘ und 16a‘ bis 16c‘ auf. Im Stand der Technik sind Baumnetze bekannt, die ebenfalls mehrere Köpfe aufweisen, wobei diese mehreren Köpfe dafür vorgesehen sind, dieselbe Aufgabe zu lösen. Anschließend werden bei den im Stand der Technik bekannten neuronalen Netzen die Ergebnisse der einzelnen Köpfe als so genanntes Ensemble ausgewertet, um eine Schwankung bzw. Streuung der Ergebnisse der einzelnen Köpfe bestimmen zu können. Aus diesem Grund zweigen die Köpfe in einer weiter oben gelegenen Schicht des neuronalen Netzes ab, so dass der gemeinsam genutzte
Teil des neuronalen Netzes gering ist, wodurch sichergestellt wird, dass die Klassifikationsergebnisse der einzelnen Köpfe keine zu große und ungewollte Übereinstimmung aufweisen.
Es wird bei Durchführung einer Klassifikation durch die erfindungsgemäßen neuronalen Netze 10, 20, 30, 40 insbesondere nur einer der Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ ausgewertet und die anderen Köpfe bleiben unberücksichtigt. Die Abspaltung der einzelnen Köpfe 14, 16, 18, 24, 26 und 28 erfolgt bei den in Fig. 2 bis 4 gezeigten neuronalen Netzen 10, 20, 30 sogar erst in der letzten Schicht, so dass fast die gesamten neuronalen Netze 10, 20, 30 für die Klassifikation durch die einzelnen Köpfe 14, 16, 18, 24, 26 und 28 verwendet wird. Verglichen mit den typischen Ensemble-Baumnetzen kann die Abspaltung der Köpfe 14, 16, 18, 24, 26 und 28 daher in einem unteren Abschnitt der neuronalen Netze 10, 20, 30 erfolgen, da in diesem Fall keine unterschiedlichen Merkmale zwischen den Köpfen 14, 16, 18, 24, 26 und 28 trainiert werden müssen. Folglich kann bei der vorliegenden Erfindung ein großer Teil der neuronalen Netze 10, 20, 30 für unterschiedliche Aufgaben verwendet werden.
Bei den erwähnten neuronalen Netzen 10, 20, 30, 40 werden gemeinsam genutzte Schichten bzw. Layer, die in einem oberen Abschnitt angeordnet sind, mit denselben Trainingsdaten trainiert. Das Training der oberen Schichten erfolgt dabei derart, dass die neuronalen Netze 10, 20, 30, 40 für einen Kopf (z.B. Kopf 14) vollständig über alle Schichten trainiert wird. Dieses Vorgehen hat den Vorteil, dass die neuronalen Netze 10, 20, 30, 40 mit einer ausreichend großen Menge an Trainingsdaten initial trainiert werden können, so dass eine erforderliche Genauigkeit der einzelnen Schichten des neuronalen Netzes 10, 20, 30, 40 beim Generieren von Merkmalsräumen aus dem eingegebenen Bild sichergestellt ist. Anschließend wird der trainierte Kopf nach Bedarf kopiert. Das Training kann auch parallel für die benötigte Anzahl von Köpfen erfolgen.
Anschließend werden die einzelnen Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ der neuronalen Netze 10, 20, 30, 40 mit dafür vorgesehenen Trainingsdaten spezifisch trainiert. Dieses Vorgehen zum Trainieren eines neuronalen Netzes wird auch als Fine-Tuning bezeichnet. Unter Fine-Tuning versteht man somit das Nachtrainieren eines bereits vorhandenen neuronalen Netzes oder eines Teils davon (z.B. den Abschnitt des Kopfs nach der Abzweigung) mit neuen Trainingsdaten und/oder anderen Trainingsparametern, um eine andere Aufgabenstellung zu lösen. Wird nur ein Abschnitt eines neuronalen Netzes nachtrainiert, kann dieser Kopf auch für dieselbe Aufgabenstellung mit anderen Trainingsdaten trainiert werden, wodurch ein abweichendes Klassifikationsergebnis erhalten wird.
Die neuronalen Netze 10, 20, 30, 40 werden, wie oben beschrieben, mit einem Datensatz (z.B. für Mais), der eine ausreichende Menge an Daten aufweist, initial trainiert, um die gemeinsam genutzten Schichten in einem oberen Bereich der neuronalen Netze 10, 20, 30, 40 zu trainieren. Diese Schichten extrahieren dabei grundsätzliche Merkmale die zur Klassifikation nötig sind. Danach werden die unteren Schichten in den einzelnen Köpfen 14, 16, 18, 24, 26, 28, 14‘ und 16‘ (manchmal sogar nur die letzte Schicht zum Ausgeben des Klassifikationsergebnisses 14a bis 14c, 16a bis 16c, 18a bis 18c, 24a bis 24c, 26a bis 26d, 28a bis 28c, 14a‘ bis 14c‘ und 16a‘ bis 16c‘) mit einer (meist sehr viel) kleineren Menge an spezifischen Trainingsdaten trainiert, um die Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ der neuronalen Netze 10, 20, 30, 40 für ein bestimmtes Klassifikationsproblem zu trainieren. Der Vorteil von Fine-Tuning ist, das ein großer Teil der neuronalen Netze 10, 20, 30, 40 mit einer großen Menge an Trainingsdaten trainiert werden kann, während die einzelnen Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ unter Verwendung eines kleineren spezifischen Trainingsdatensatzes optimiert werden. Folglich wird nicht für alle Köpfe 14, 16, 18, 24, 26, 28, 14‘ und 16‘ der neuronalen Netze 10, 20, 30, 40 eine große Menge an Trainingsdaten benötigt.
Die einzelnen Köpfe 14, 16, 18 des erfindungsgemäßen neuronalen Netzes 10 werden in einer ersten Ausgestaltung der vorliegenden Erfindung, wie in Fig. 2 gezeigt, so trainiert, dass unter Verwendung ihrer Klassifikationsergebnisse 14a bis 14c, 16a bis 16c sowie 18a bis 18c eine unterschiedliche Nutzpflanzenart erkannt werden kann, die auf unterschiedlichen zu bearbeitenden Feldern angebaut sind. Die Köpfe können dann zwischen einer Nutzpflanze 14a, 16a, 18a (z.B. Mais, Zuckerrübe usw.), Beikräutern 14b, 16b, 18b und dem Boden 14c, 16c,
18c unterscheiden. Die einzelnen Köpfe 14, 16, 18 des neuronalen Netzes 10 können dabei, wie bereits beschrieben, mittels Fine-Tuning spezifisch trainiert werden.
In einer zweiten Ausgestaltung der vorliegenden Erfindung werden die einzelnen Köpfe 24, 26, 28 des erfindungsgemäßen neuronalen Netzes 20, wie in Fig. 3 gezeigt, für unterschiedliche Hierarchieebenen trainiert. Dabei wird z.B. ein Kopf 24 lediglich für eine Unterscheidung zwischen einer Nutzpflanze 24a (z.B. Mais oder Zuckerrübe), Beikräutern 24b und Boden 24c trainiert. Es können darüber hinaus weitere Köpfe 26, 28 trainiert werden, die eine Unterscheidung zwischen einer Nutzpflanze 26a, dikotylen Beikräutern 26b, monokotylen Beikräutern 26c und dem Boden 26d oder generell eine artenspezifische Unterscheidung zwischen Pflanze A 28a, Pflanze B 28b, Pflanze C 28c usw. ermöglichen. Es ist dabei anzumerken, dass die Klassifikation für eine höhere Hierarchieebene, die eine allgemeinere Gruppierung von Pflanzen (z.B. Beikräuter) umfasst, robuster und genauer als eine Klassifikation für eine niedrigere Hierarchieebene (z.B. Pflanze A vs. Pflanze B usw.) ist.
Zudem sind Herbizide, die auf dem Feld ausgebracht werden, um Beikräuter zu entfernen, oftmals für ganze Pflanzengruppierungen wirksam. So sind beispielsweise Herbizide erhältlich, die für dikotyle Beikräuter oder monokotyle Beikräuter wirksam sind. Die zweite Ausgestaltung der Erfindung kann somit für ein gezieltes Ausbringen eines Herbizides auf einer entsprechenden Pflanzengruppierung verwendet werden, da eine Klassifikation für eine Hierarchieebene flexibel anpassbar ist. Auf diese Weise kann die auf dem Feld auszubringende Herbizidmenge verringert werden.
Darüber hinaus ist es auch möglich, die in Fig. 2 und in Fig. 3 gezeigte erste und zweite Ausgestaltungen zu kombinieren, so dass die unterschiedlichen Köpfe eines in Fig. 4 gezeigten neuronalen Netzes gemäß einer dritten Ausgestaltung sowohl für unterschiedliche Nutzpflanzen als auch für unterschiedliche Hierarchieebenen trainiert werden. Es kann dann unter Verwendung des neuronalen Netzes 30 beispielsweise eine Erkennung von unterschiedlichen Arten von Nutzpflanzen (z.B. Mais, Zuckerrübe usw.) mittels der Köpfe 14 bzw. 16 und von unterschiedlichen Hierarchien (z.B. dikotyle und monokotyle Pflanzen) durch die Köpfe 26 und 28 durchgeführt werden. Es ist dabei selbsterklärend, dass dieselbe Hierarchieebene auch mehrmals für die unterschiedlichen Nutzpflanzen vorhanden sein kann.
Das erfindungsgemäße neuronale Netz 40 ist zudem nicht darauf beschränkt, dass die Köpfe in derselben Schicht des Netzes abzweigen. Gemäß einer vierten Ausgestaltung können die einzelnen Köpfe 14, 16, 14‘ und 16‘, wie in Fig. 5 gezeigt, in einer unterschiedlichen Schicht des neuronalen Netzes 40 abzweigen. Zudem können zwischen der Abzweigung und der Ausgabeschicht eines Kopfes weitere Schichten vorhanden sein. Auf diese Weise kann das neuronale Netz 40 flexibel aufgebaut werden.
Aufgrund des flexiblen Aufbaus des neuronalen Netzes 40 ist es auch möglich, dass zwei oder mehrere Köpfe 14 und 14‘ bzw. 16 und 16‘ des neuronalen Netzes 40 auf unterschiedliche Weise für dieselbe Aufgabe trainiert werden. Die Klassifikationsergebnisse 14a bis 14c und 14a‘ bis 14c‘ bzw. 16a bis 16c und 16a‘ bis 16c‘ der zwei oder der mehreren Köpfe 14 und 14‘ bzw. 16 und 16‘ können anschließend als Ensemble ausgewertet werden. Folglich kann die vorliegende Erfindung mit der Ursprungsidee der Baumnetze zur Ensembleauswertung kombiniert werden, so dass für jede Nutzpflanze ein Ensemble an Klassifikationsergebnissen zur Verfügung steht. Es ist anzumerken, dass bei dem neuronalen Netz 40 ebenfalls nur einer der Köpfe 14, 14‘, 16, 16‘ ausgewertet werden kann. Es ist somit nicht zwingend eine Ensembleauswertung durchzuführen.
Nachdem die Position der zu bearbeitenden Pflanze auf dem Feld in Schritt S106 unter Verwendung des erfindungsgemäßen neuronalen Netzes 10, 20, 30, 40 bestimmt ist, kann das ausgewählte Bearbeitungswerkzeug in Schritt S108 zur Position der Pflanze hingeführt werden und die entsprechende Bearbeitung kann für die einzelne Pflanze durchgeführt werden. Dabei kann ein mechanisches Werkzeug genau bis zur Position der Pflanze hingeführt werden oder der Sprayer kann zum Ausbringen des Pestizids, Pflanzenschutzmittels oder Düngers bis zu einem vorgegebenen Abstand an das Beikraut bzw. die Nutzpflanze herangeführt und auf diese gerichtet werden. Um eine exakte Steuerung der beweglichen Vorrichtung zu ermöglichen, ist es dabei ggf. erforderlich, die durch das Bild ermittelte Position der Pflanze in das Koordinatensystem der beweglichen Vorrichtung umzurechnen. Zudem ist eine Geschwindigkeit, mit der sich das Fahrzeug vorwärtsbewegt, beim Hinführen des Bearbeitungswerkzeuges zu berücksichtigen.
Anschließend wird die Pflanze in Schritt S110 mit dem Bearbeitungswerkzeug bearbeitet. Die Pflanze wird dabei durch die Anwendung des mechanischen Werkzeugs entfernt, gehäckselt oder zerstört oder mit dem Pestizid, Pflanzenschutzmittel oder Dünger besprüht. Durch die mechanische Bearbeitung der Pflanzen bzw. das gezielte Ausbringen von chemischen Substanzen kann folglich die bei konventionellen Verfahren ausgebrachte Menge an chemischen Substanzen deutlich verringert werden, so dass Kosten und der Einfluss auf die Umwelt verringert werden.
Die vorliegende Erfindung stellt dabei die folgenden Vorteile bereit.
Anstelle mehrerer unabhängiger neuronaler Netze, kann ein einzelnes neuronales Netz mit mehreren Köpfen verwendet werden, so dass ein erforderlicher Speicherbedarf reduziert wird.
Durch die gemeinsame Training der Schichten im oberen Bereich des neuronalen Netzes, wird ein besser trainiertes neuronales Netz erhalten, das eine bessere Unterscheidung zwischen den Pflanzen bereitstellt, weil mehr Trainingsdaten von unterschiedlichen Nutzpflanzen bzw. Hierarchieebenen verwendet werden. Das neuronale Netz wird somit dahingehend trainiert, dass es Merkmale für alle Nutzpflanzen gleichzeitig findet. Da Trainingsdaten im oberen Bereich des neuronalen Netzes gemeinsam verwendet werden, werden weniger Ressourcen für ein Training des Netzes benötigt.
Das erfindungsgemäße neuronale Netz kann auf einfache Art und Weise nachtrainiert werden, da verbesserte Merkmale, die sich aufgrund eines Nachtrainierens ausbilden, für alle
Köpfe des neuronalen Netzes sofort zur Verfügung stehen. Bei Verwendung von mehreren neuronalen Netzen ist es dahingehend jedoch erforderlich, die unterschiedlichen neuronalen Netze mit den nachtrainierten Parametern zu aktualisieren.
Zudem muss bei Beginn der Bearbeitung (d.h. beim Starten der Vorrichtung zum Bearbeiten von Pflanzen auf dem Feld) nur ein neuronales Netz geladen werden. Ein Wechsel zwischen unterschiedlichen Nutzpflanzen bzw. Hierarchieebenen ist folglich ohne Neu-Laden eines anderen neuronalen Netzes flexibel möglich, da der Wechsel durch die Auswertung eines anderen Kopfes auf einfache Weise durchführbar ist.
Das vorgesehene Einsatzgebiet des erfindungsgemäßen Verfahrens bezieht sich auf autonome Feldroboter bzw. intelligente Anbaugeräte für die Bodenbearbeitung und Pflanzenschutz im Gemüse-, Garten- und Ackerbau. Grundsätzlich können die oben beschriebenen neuronalen Netze auch in anderen Bereichen verwendet werden, in denen ein neuronales Netz für unterschiedliche Aufgaben flexibel einsetzbar sein soll.
Claims
1. Verfahren (100) zum Bearbeiten von Pflanzen auf einem Feld, auf dem eine bestimmte Nutzpflanzenart angebaut ist, mittels eines Bearbeitungswerkzeugs, mit den folgenden Schritten:
Erfassen (S104) eines Bilds von dem Feld, wobei das Bild (12) mit einer Positionsinformation korreliert wird;
Bestimmen (S106) einer Position einer zu bearbeitenden Pflanze auf dem Feld unter Verwendung eines neuronalen Netzes (10, 20, 30, 40), in das das erfasste Bild (12) eingegeben wird, wobei das neuronale Netz (10, 20, 30, 40) mehrere Köpfe (14, 16, 18, 24, 26, 28, 14‘, 16‘) aufweist und insbesondere einer der Köpfe (14, 16, 18, 24, 26, 28, 14‘, 16‘) entsprechend dem Bearbeitungswerkzeug und/oder der angebauten Nutzpflanzenart ausgewertet wird;
Hinführen (S108) des Bearbeitungswerkzeugs zur Position der Pflanze; und
Bearbeiten (S110) der Pflanze mit dem Bearbeitungswerkzeug.
2. Verfahren (100) gemäß Anspruch 1, wobei gemeinsam verwendete Schichten des neuronalen Netzes (10, 20, 30, 40) mit denselben Trainingsdaten trainiert werden.
3. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die einzelnen Köpfe (14, 16, 18, 24, 26, 28, 14‘, 16‘) des neuronalen Netzes (10, 20, 30, 40) mit spezifischen Trainingsdaten trainiert werden.
4. Verfahren gemäß Anspruch 3, wobei die einzelnen Köpfe (14, 16, 18) des neuronalen Netzes (10) für unterschiedliche Nutzpflanzenarten trainiert werden.
5. Verfahren (100) gemäß Anspruch 3, wobei die einzelnen Köpfe (24, 26, 28) des neuronalen Netzes (20) für unterschiedliche Hierarchieebenen trainiert werden.
6. Verfahren (100) gemäß Anspruch 3, wobei die einzelnen Köpfe (14, 16, 26, 28) des neuronalen Netzes (30) sowohl für unterschiedliche Nutzpflanzenarten als auch für unterschiedliche Hierarchieebenen trainiert werden.
7. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei
die einzelnen Köpfe (14, 16, 14‘, 16‘) des neuronalen Netzes in einer unterschiedlichen Ebene des neuronalen Netzes (40) abzweigen.
8. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei zwei oder mehrere Köpfe (14, 16, 14‘, 16‘) des neuronalen Netzes (40) auf unterschiedliche Weise zum Durchführen derselben Klassifikation trainiert werden und die Klassifikationsergebnisse (14a bis 14c, 16a bis 16c, 14a‘ bis 14c‘, 16a‘ bis 16c‘) der zwei oder mehreren Köpfe (14, 16, 14‘, 16‘) als Ensemble ausgewertet werden.
9. Steuereinheit zum Ansteuern eines Bearbeitungswerkzeugs zum Bearbeiten von Pflanzen auf einem Feld, auf dem eine bestimmte Nutzpflanzenart angebaut ist, wobei die Recheneinheit eingerichtet ist, die folgenden Schritte durchzuführen:
Empfangen eines erfassten Bilds von dem Feld, wobei das Bild (12) mit einer Positionsinformation korreliert wird;
Bestimmen einer Position einer zu bearbeitenden Pflanze auf dem Feld unter Verwendung eines neuronalen Netzes (10, 20, 30, 40), in das das erfasste Bild (12) eingegeben wird, wobei das neuronale Netz (10, 20, 30, 40) mehrere Köpfe (14, 16, 18, 24, 26, 28, 14‘, 16‘) aufweist und insbesondere einer der Köpfe (14, 16, 18, 24, 26, 28, 14‘, 16‘) entsprechend dem Bearbeitungswerkzeug und/oder der angebauten Nutzpflanzenart ausgewertet wird;
Ausgeben eines Steuersignals zum Ansteuern des Bearbeitungswerkzeugs, um die Pflanze zu bearbeiten.
10. Landwirtschaftlichen Arbeitsmaschine mit einem Bearbeitungswerkzeug zum Bearbeiten von Pflanzen auf einem Feld, auf dem eine bestimmte Nutzpflanzenart angebaut ist, und einer Steuereinheit nach Anspruch 9.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019218188.0A DE102019218188A1 (de) | 2019-11-25 | 2019-11-25 | Verfahren zum Bearbeiten von Pflanzen auf einem Feld |
PCT/EP2020/082844 WO2021105017A1 (de) | 2019-11-25 | 2020-11-20 | Verfahren zum bearbeiten von pflanzen auf einem feld |
Publications (1)
Publication Number | Publication Date |
---|---|
EP4064815A1 true EP4064815A1 (de) | 2022-10-05 |
Family
ID=73544174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20811582.4A Pending EP4064815A1 (de) | 2019-11-25 | 2020-11-20 | Verfahren zum bearbeiten von pflanzen auf einem feld |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230028506A1 (de) |
EP (1) | EP4064815A1 (de) |
DE (1) | DE102019218188A1 (de) |
WO (1) | WO2021105017A1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202021104737U1 (de) | 2021-09-02 | 2021-09-09 | Farming Revolution Gmbh | Vorrichtung zum automatisierten Jäten von Unkraut |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10853725B2 (en) * | 2018-05-18 | 2020-12-01 | Deepmind Technologies Limited | Neural networks with relational memory |
CN109122633B (zh) * | 2018-06-25 | 2023-10-03 | 华南农业大学 | 神经网络决策的植保无人机精准变量喷雾装置和控制方法 |
-
2019
- 2019-11-25 DE DE102019218188.0A patent/DE102019218188A1/de active Pending
-
2020
- 2020-11-20 EP EP20811582.4A patent/EP4064815A1/de active Pending
- 2020-11-20 WO PCT/EP2020/082844 patent/WO2021105017A1/de unknown
- 2020-11-20 US US17/756,158 patent/US20230028506A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102019218188A1 (de) | 2021-05-27 |
US20230028506A1 (en) | 2023-01-26 |
WO2021105017A1 (de) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3644724B1 (de) | Verfahren zum ausbringen eines spritzmittels auf ein feld | |
EP3700320B1 (de) | Erstellung digitaler bearbeitungskarten | |
EP3782467B1 (de) | Verfahren zum identifizieren von beikräutern innerhalb einer definierten pflanzenreihe einer landwirtschaftlichen fläche | |
DE102018217742A1 (de) | Verfahren zum Ausbringen eines Spritzmittels auf ein Feld | |
EP4027782B1 (de) | Verfahren zum ausbringen eines spritzmittels auf eine landwirtschaftliche fläche | |
DE102018222428A1 (de) | Verfahren zum Ausbringen eines Spritzmittels auf eine landwirtschaftliche Fläche | |
DE102019218192A1 (de) | Verfahren zum Bearbeiten von Pflanzen auf einem Feld | |
WO2021105019A1 (de) | Verfahren zum generieren einer vielzahl von annotierten bildern | |
WO2022128189A1 (de) | Verfahren zum ausbringen eines spritzmittels auf eine landwirtschaftliche fläche | |
DE102018120756A1 (de) | Mobile Analyse- und Bearbeitungsvorrichtung, Verfahren und Trägersystem | |
EP4064815A1 (de) | Verfahren zum bearbeiten von pflanzen auf einem feld | |
EP4064819B1 (de) | Verfahren zum bearbeiten von pflanzen auf einem feld, zum generieren von trainingsdaten und zum trainieren eines neuronalen netzes | |
WO2020039046A1 (de) | Mobile analyse- und bearbeitungsvorrichtung | |
WO2019137843A1 (de) | Verfahren zum bearbeiten eines bodens sowie bodenbearbeitungsvorrichtung | |
EP4064818B1 (de) | Verfahren zum bearbeiten von pflanzen auf einem feld | |
EP3841444B1 (de) | Trägersystem mit einem träger und einer mobilen vorrichtung zur bearbeitung des bodens und/oder zur manipulation der flora und fauna und verfahren hierzu | |
DE102020215879A1 (de) | Verfahren zum Ausbringen eines Spritzmittels auf eine landwirtschaftliche Fläche | |
DE102022115549A1 (de) | Verfahren zur optimierten Konfiguration eines Kamerasystems zur Reihenerkennung in einem Feldbestand | |
DE102022105448A1 (de) | Computerimplementiertes Verfahren und System zur Bestimmung von Pflanzenkrankheiten | |
DE102022212171A1 (de) | Verfahren zum Klassifizieren von Pflanzen in und/oder zwischen Pflanzenreihen einer landwirtschaftlichen Fläche | |
DE102020002721A1 (de) | Mehrreihige Maschine und Verfahren zur mechanischen Regulierung von Beikräutern und Schädlingen. | |
EP4245135A1 (de) | Durchführen und dokumentieren einer applikation von pflanzenschutzmittel | |
DE102020215877A1 (de) | Verfahren zum Klassifizieren von Pflanzen für landwirtschaftliche Zwecke | |
AT525511A1 (de) | Verfahren zur Identifikation wenigstens eines Objektes | |
DE102022212169A1 (de) | Verfahren zum Klassifizieren von Pflanzen in und/oder zwischen Pflanzenreihen einer landwirtschaftlichen Fläche |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20220627 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) |