WO2020164834A1 - Trajectory determination for agricultural machines using grid maps - Google Patents

Trajectory determination for agricultural machines using grid maps Download PDF

Info

Publication number
WO2020164834A1
WO2020164834A1 PCT/EP2020/050794 EP2020050794W WO2020164834A1 WO 2020164834 A1 WO2020164834 A1 WO 2020164834A1 EP 2020050794 W EP2020050794 W EP 2020050794W WO 2020164834 A1 WO2020164834 A1 WO 2020164834A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
environment
agricultural
agricultural machine
trajectory
Prior art date
Application number
PCT/EP2020/050794
Other languages
German (de)
French (fr)
Inventor
Zhihu Chen
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2020164834A1 publication Critical patent/WO2020164834A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Definitions

  • the present invention relates to the field of autonomously or partially autonomously driving agricultural machinery.
  • the present invention relates to a device, a method, a computer program product, a computer-readable storage medium and a data carrier signal for controlling such a medium
  • DE 10 2012 201 333 A1 discloses an agricultural machine that is provided with a system for automatically setting a processing parameter.
  • the machine comprises an electronic control device which can be operated to derive from sensor signals in which topographical zone of a number of topographical zones of a field the agricultural machine is located. Based on this, an actuator of the machine is controlled depending on the respective topographical zone.
  • these systems known from the prior art have the disadvantage that the detection of the objects on the usable area does not work with sufficient accuracy and without problems.
  • boundary lines between different field pieces can no longer be recognized or cannot be recognized with the required reliability due to a decrease in the reflectivity of the material marking the boundary lines. This leads to incorrect control of the agricultural machine.
  • sensors with a higher resolution that can circumvent this disturbance are usually very expensive.
  • the present invention is therefore based on the object of carrying out the agricultural processing of the usable areas with increased reliability and safety with at least the same effort.
  • the object is achieved by a device, a method, a computer program product, a computer-readable storage medium and a
  • the agricultural machine can be designed as a one-piece vehicle or articulated vehicle. It can include a swather, a hay machine, a combine harvester, a spray machine, a sprayer or another vehicle that can be used in agriculture.
  • the agricultural machine is an autonomous or semi-autonomous vehicle. This means that the agricultural machine can act entirely (in the case of a fully autonomous vehicle) or partially (in the case of a partially autonomous vehicle) without the influence of a human driver.
  • the control device can be located in the agricultural machine, or outside or partially outside the agricultural machine.
  • the device can be part of a central monitoring device for the agricultural area.
  • Communication can be wireless, e.g. via BlueTooth, infrared, local field communication (NFC), radio, internet, intranet, cloud systems and / or wired systems.
  • the raster map unit and the trajectory unit can, individually or together, form an evaluation unit of the control device.
  • the evaluation unit can comprise a central processing unit (CPU) or a graphic processing unit (GPU).
  • the evaluation unit can be an ECU or an ECM.
  • the control device is a device / arrangement that is superordinate to the ECU or the ECM.
  • the environment sensor system for generating environment data can comprise one or more environment sensors.
  • the environment sensors preferably include a radar sensor (e.g. a broadband radar sensor or a ground penetrating radar sensor, GPR), a lidar sensor, an ultrasonic sensor and / or a camera, for example a stereo camera or 3D camera or an infrared camera.
  • the environment sensor system can be attached to the agricultural machine and thus record the environment of the agricultural machine moving on the agricultural area in real time.
  • the environment sensor system can be part of a central monitoring device for monitoring the usable area, the monitoring device being connected to the control device and / or the agricultural machine.
  • the multiple environment sensors of the environment sensor system can be arranged at different positions of the agricultural machine and / or the central monitoring device. At least one of the environment sensors can be arranged on another vehicle, for example on another agricultural machine on the agricultural area.
  • the environment data was created when the agricultural area was recorded and thus includes one or more objects on the usable area, such as grain segments, driveways, buildings and / or other plantings.
  • the environment data are fed into the control device for processing via a data interface.
  • the raster map unit or the evaluation unit is able to extract several raster map elements from the surrounding data which together form the Form raster map. These grid map elements each represent one of several surface elements of the area of the usable area that was detected by the environment sensors.
  • a confidence value is assigned to each grid map element.
  • the confidence value is a frequency or probability value with regard to an association rule. For example, the confidence value indicates the frequency that the same pattern is detected in the respective grid map element in several data sequences of the surrounding data. The multiple data sequences may have been generated at different times. If a certain object (such as a tree) is detected several times in the data sequences, the contour or portrait of this object can be detected as the same pattern.
  • the multiple data sequences can have been generated from different viewing angles of the environment sensor system. This is the case, for example, when the sensor system comprises several sensors, these sensors being positioned differently. If at the same point in time or at different points in time several sensors of the environment sensor system capture the usable area from different angles, an associated data sequence is generated by each sensor. If a certain object (such as a tree) is recorded several times in the multiple data sequences, the contour or portrait of this object can be detected as the same pattern.
  • a certain object such as a tree
  • the confidence value can be calculated according to the proportion of data sequences in which the same pattern is detected in the total amount of recorded data sequences. If the same pattern is detected 90 times in 100 recorded data sequences, for example, the confidence value is 90%.
  • the raster map unit or the evaluation unit can enter a correlation value between the data relating to this object in the data Determine sequences.
  • the confidence value can be weighted on the basis of the calculated correlation value. If the correlation value is a predefined
  • the weighting factor can be 1. Otherwise, the weighting factor is less than 1 and is, for example, proportional to the calculated correlation value.
  • the grid map unit or the evaluation unit can use a pre-stored database in which predefined patterns for various objects can be called up.
  • predefined patterns for various objects can be called up.
  • a high confidence value of a grid map element means that the associated surface element is unavailable or occupied with a correspondingly high degree of probability.
  • a high confidence value of a grid map element means that the associated surface element can be driven on or is unoccupied with a correspondingly high degree of probability.
  • the confidence value can be an occupancy rate.
  • the occupancy rate of a grid map element indicates the probability that the associated surface element of the usable area is occupied by an obstacle (e.g. trees, buildings, animals, vehicles, people, grain segments).
  • the environment sensor system is also preferably able to generate three-dimensional environment data (i.e. with spatial data with regard to three axes of a Cartesian coordinate system or with regard to a spherical coordinate system). In this way a three-dimensional raster map can be created.
  • the trajectory unit or the evaluation unit Based on the generated grid map, the trajectory unit or the evaluation unit generates a trajectory for the agricultural machine.
  • the trajectory includes an area on the agricultural area that the agricultural machine can drive on.
  • the passability can be derived from the confidence values of the grid map elements.
  • the drivable area is preferably in front of the agricultural machine.
  • the trajectory can be calculated using a cost function.
  • the control device can furthermore comprise a signal unit which, based on the generated trajectory, can generate a control signal for the agricultural machine, for example for an actuator of the agricultural machine.
  • the control signal can be saved and made available externally.
  • the control signal and / or the grid map can be output from the control device via an output interface to the agricultural machine (eg the actuator) or to a control center connected to the agricultural machine that can simultaneously coordinate several agricultural machines.
  • the trajectory can be calculated particularly reliably.
  • the agricultural machine can thus be controlled in its movement on the agricultural area in a safer and more reliable manner. Collisions of the agricultural machine with another agricultural machine, another vehicle, people and other objects on the usable area can be avoided or at least reduced more effectively. In particular, damage to the harvests can be minimized.
  • the agricultural machine is advantageously independent of a trajectory planning supplied externally (i.e. from an entity outside the agricultural machine).
  • the trajectory can be updated and / or optimized at any time, taking into account vehicle data such as speed, acceleration, wheel speed, load and / or deflection angle between a tractor and a trailer in the case of an articulated agricultural machine.
  • the method further comprises calculating a plurality of possible trajectories and selecting a trajectory from the plurality of trajectories based on a cost function.
  • the cost function can be such that its value is higher, the more likely a condition is met.
  • the condition that is taken into account by the trajectory unit or the evaluation unit of the control device can include the following examples, although these are not restrictive for the present invention: minimum path length of the agricultural machine, avoidance of a collision with another vehicle, people and / or buildings , Avoiding driving into harvested areas.
  • the method further comprises obtaining a map of the surroundings for the agricultural area.
  • the map of the surroundings can be generated by another sensor or a navigation system, for example the global navigation satellite system (GNSS).
  • the area map can be a camera image that includes a plurality of pixels.
  • One or more color values of a color system, such as the RGB system, can be assigned to each pixel.
  • the environment map can preferably be displayed by a display device (such as a screen, projector).
  • the environment map can be used to optimize the generation of trajectories, in particular the generated trajectory.
  • the method further comprises combining the environment map with the raster map and / or the trajectory.
  • the trajectory can be optimized.
  • the grid map and / or trajectory can be superimposed on the environment map.
  • the superimposition preferably takes place by means of a coordinate transformation, in which, for example, coordinate information of the raster map and / or the trajectory is converted into coordinates of the coordinate system to which the environment map relates (or the coordinates existing in the environment map are present).
  • a grid map and / or trajectory already contained in the environment map can be replaced by the above-described grid map created according to the invention or the trajectory created according to the invention.
  • the computer program product according to the invention is designed to be loaded into a memory of a computer and comprises software code sections with which the method steps of the method according to the invention are carried out when the computer program product is running on the computer.
  • a program is part of the software of a data processing system, for example an evaluation device or a computer.
  • Software is a collective term for programs and associated data.
  • the complement to software is hardware.
  • Hardware describes the mechanical and electronic alignment of a data processing system.
  • a computer is an evaluation device.
  • Computer program products generally comprise a sequence of instructions which, when the program is loaded, cause the hardware to carry out a specific method that leads to a specific result.
  • the computer program product causes the inventive technical effect described above.
  • the computer program product according to the invention is platform independent. That means it can run on any computing platform.
  • the computer program product is preferably executed on an evaluation device according to the invention for detecting the surroundings of the vehicle.
  • the software code sections are written in any programming language, for example in Python.
  • the computer-readable storage medium is, for example, an electronic, magnetic, optical or magneto-optical storage medium.
  • the data carrier signal is a signal which the computer program product from a storage medium on which the computer program product is stored to another entity, for example another storage medium, a server, a cloud system or a data processing facility , transmits.
  • FIG. 1 shows a schematic representation of a device according to the invention according to one embodiment
  • Fig. 2 is a schematic representation of an agricultural machine on an agricultural economic area
  • FIG. 3 shows a schematic illustration of a raster map based on
  • Fig. 4 is a schematic representation of a further grid map, which one
  • 5A shows a further schematic illustration of an agricultural machine using the example of a spraying machine on the agricultural area
  • FIG. 5B shows a schematic illustration of the spray machine from FIG. 5, wherein several trajectories can be seen.
  • the control device 10 comprises a data interface for receiving environmental data which are generated by an environmental sensor system 22 when detecting a useful agricultural area 60.
  • the environment sensor system 22 can include one or more environment sensors, which are configured as a radar sensor, lidar sensor, image sensor, camera (stereo camera, infrared camera), RFID receiver and / or ultrasonic sensor.
  • the control device 10 also includes a grid map unit 14 for evaluating the surroundings data in order to create a grid map 222 (see FIG. 3) with a plurality of grid map elements 224.
  • the grid map elements 224 each represent one of several surface elements (62) of the part of the usable area 60 detected by the surroundings sensor system 22.
  • Each grid map element 224 is assigned a confidence value (for example an occupancy rate).
  • the control device 10 further comprises a trajectory unit 16 for generating a trajectory 226 (see FIG. 5B) based on the raster map 222.
  • the trajectory 226 calculated in this way is used in a control signal for the agricultural machine 50.
  • FIG. 1 shows by way of example that an output interface 20 can be provided in the control device 10 in order to output the raster map 222 to an external entity, for example the agricultural machine 50 or a control center connected to it.
  • an output interface 20 can be provided in the control device 10 in order to output the raster map 222 to an external entity, for example the agricultural machine 50 or a control center connected to it.
  • a signal unit 18 can be provided in the control device 10, which generates a control signal based on the trajectory 226 and / or the raster map 224.
  • the control signal can be output via the output interface 20 to the external entity, such as the agricultural machine 50.
  • a map interface 26 for receiving a map of the surroundings 242 generated by a map unit 24 can be provided in the control device 10.
  • the map unit 24 can comprise a navigation unit that belongs, for example, to a global navigation satellite system (GNSS).
  • GNSS global navigation satellite system
  • the environment map 242 can thus be a navigation map.
  • the environment map 242 can, as shown by way of example in FIG. 1, be output together with the grid map 222 to the external entity, or alternatively, when the trajectory 226 is generated by the trajectory unit 16, be taken into account.
  • the grid map 222 and / or the trajectory 226 can in particular be superimposed on the environment map 242 (see FIG. 4).
  • FIG. 2 shows a schematic representation of the exemplary agricultural machine 50 on an agricultural area 60.
  • the environment sensor system 22 is preferably attached to the agricultural machine 50. In this way, the surroundings can be recorded in real time during the agricultural processing operations of the agricultural machine 50 and independently of external sensor systems (i.e. outside of the agricultural machine 50).
  • the grid map 222 comprises two types of grid map elements, namely first and second grid map elements 224a, 224b.
  • the multiple first grid map elements 224a have a higher confidence value in the sense of an occupancy rate, while the multiple second grid map elements 224b are assigned a comparatively lower confidence value in the sense of an occupancy rate.
  • the surface elements of the usable area 60 which are represented by the first and second raster map elements 224a, b, are occupied by obstacles with the corresponding high and low probability.
  • the raster map 222 can be superimposed on an environment map 242, which is designed here as a camera image.
  • An overlay is preferably carried out by means of a coordinate transformation.
  • the coordinates of the raster map elements 224a, 224b can be converted into coordinates of the camera coordinate system.
  • the evaluation unit 15 can comprise a calibration unit for this purpose.
  • FIGS. 5A-B several trajectories 226 can be generated on the basis of the generated raster map 222.
  • the agricultural machine 50 shown there is a spraying machine which comprises a spraying device 54 arranged at the rear end of the main machine body of the spraying machine 50.
  • the spray device 54 is used to spray the usable area 60 with certain pesticides.
  • FIG. 5A-B several driveways 52 can be seen, which are elements 62 between Getreideseg.
  • grid elements 224b are generated for the areas of the routes 52, to which a low occupancy rate is assigned.
  • grid elements 224a are generated for the areas of the grain segments 62, to which a high occupancy rate is assigned.
  • the trajectories 226 are generated based on the distribution of the confidence values or the occupancy rate on the grid map 222.
  • the trajectories 226 thus run along the already existing routes 52.
  • the best trajectory 226 can be selected with the aid of a cost function, the cost function being linked to a predefined condition as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

A method for controlling an agricultural machine (50), comprising: obtaining environmental data generated by an environmental sensor system (22) during the sensing of an agricultural usable area (60); evaluating the environmental data in order to produce a grid map (222) comprising multiple grid map elements (224), each representing one of multiple sub-areas (62) of the usable area (60) and each being assigned a confidence value; and generating a trajectory (226), on the basis of the grid map (222), for use in a control signal for the agricultural machine (50).

Description

Traiektoriebestimmunq für Landmaschinen unter Verwendung von Rasterkarten Traiektoriebestimmunq for agricultural machinery using raster maps
TECHNISCHES GEBIET TECHNICAL AREA
Die vorliegende Erfindung betrifft das Gebiet der autonom beziehungsweise teilauto nom fahrenden Landmaschinen. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal zur Steuerung einer solchen The present invention relates to the field of autonomously or partially autonomously driving agricultural machinery. In particular, the present invention relates to a device, a method, a computer program product, a computer-readable storage medium and a data carrier signal for controlling such a medium
Landmaschine. Agricultural machine.
TECHNISCHER HINTERGRUND TECHNICAL BACKGROUND
Bei der Bearbeitung von landwirtschaftlichen Nutzflächen wie Feldern ist es beson ders wichtig, dass sich das dafür verwendete Mittel, insbesondere eine Landmaschi ne, für einen bestimmten Bearbeitungsvorgang nur innerhalb eines vordefinierten Arbeitsgebietes bewegt. Eine ungewollte Grenzüberschreitung der Landmaschine kann dazu führen, dass Ernten beschädigt werden oder es zur Kollision mit anderen Landmaschinen mit fatalen Folgen kommt. Auch dient die Begrenzung einer zu be arbeitenden landwirtschaftlichen Nutzfläche der Effizienz, da fehlerhafte Fahrtroute, die zur Energie- und Zeitverschwendung geführt hätten, hierdurch vermieden werden können. When working on agricultural areas such as fields, it is particularly important that the means used for this purpose, in particular a farm machine, only move within a predefined working area for a specific processing operation. Unintentional crossing of the limit by the agricultural machine can lead to harvests being damaged or to collisions with other agricultural machines with fatal consequences. The limitation of a usable agricultural area to be worked on also serves to improve efficiency, since incorrect travel routes, which would have led to a waste of energy and time, can thereby be avoided.
In diesem Zusammenhang sind verschiedene Systeme zur sensorbasierten Bewe gungssteuerung von Landmaschinen aus dem Stand der Technik bekannt. Bei spielsweise offenbart DE 10 2012 201 333 A1 eine landwirtschaftliche Maschine, die mit einem System zur selbsttätigen Einstellung eines Bearbeitungsparameters ver sehen ist. Die Maschine umfasst eine elektronische Steuereinrichtung, die betreibbar ist, um aus Sensorsignalen abzuleiten, in welcher topografischen Zone aus einer An zahl an topografischen Zonen eines Feldes sich die landwirtschaftliche Maschine jeweils befindet. Hierauf basierend wird ein Aktor der Maschine in Abhängigkeit von der jeweiligen topografischen Zone angesteuert. Jedoch haben diese aus dem Stand der Technik bekannten Systeme den Nachteil, dass die Erfassung der Objekte auf der Nutzfläche nicht hinreichend genau und stö rungsfrei funktioniert. Beispielsweise können Grenzlinien zwischen verschiedenen Feldstücken aufgrund Nachlass der Reflektivität des die Grenzlinien markierenden Materials nach einer gewissen Einsatzzeit nicht mehr bzw. nicht mit der gebotenen Zuverlässigkeit erkannt werden. Dies führt zu fehlerhafter Steuerung der Landma schine. Sensoren mit höherem Auflösungsvermögen, die diese Störung umgehen können, sind allerdings meistens sehr kostspielig. In this context, various systems for sensor-based movement control of agricultural machinery are known from the prior art. For example, DE 10 2012 201 333 A1 discloses an agricultural machine that is provided with a system for automatically setting a processing parameter. The machine comprises an electronic control device which can be operated to derive from sensor signals in which topographical zone of a number of topographical zones of a field the agricultural machine is located. Based on this, an actuator of the machine is controlled depending on the respective topographical zone. However, these systems known from the prior art have the disadvantage that the detection of the objects on the usable area does not work with sufficient accuracy and without problems. For example, after a certain period of use, boundary lines between different field pieces can no longer be recognized or cannot be recognized with the required reliability due to a decrease in the reflectivity of the material marking the boundary lines. This leads to incorrect control of the agricultural machine. However, sensors with a higher resolution that can circumvent this disturbance are usually very expensive.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die landwirtschaftliche Bearbeitung der Nutzflächen mit erhöhter Zuverlässigkeit und Sicherheit bei gleich zeitig zumindest gleichbleibendem Aufwand durchzuführen. The present invention is therefore based on the object of carrying out the agricultural processing of the usable areas with increased reliability and safety with at least the same effort.
Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren, ein Computer- Programm-Produkt, ein computerlesbares Speichermedium sowie ein The object is achieved by a device, a method, a computer program product, a computer-readable storage medium and a
Datenträgersignal gemäß den unabhängigen Ansprüchen. Data carrier signal according to the independent claims.
Die Landmaschine kann als einteiliges Fahrzeug oder Gelenkfahrzeug ausgebildet sein. Sie kann einen Schwader, eine Heumaschine, einen Mähdrescher, eine Spritz maschine, eine Sprühmaschine (Engl.: Sprayer) oder ein anderes in der Landwirt schaft einsetzbares Fahrzeug umfassen. Die Landmaschine ist ein autonom oder teilautonom fahrendes Fahrzeug. Dies bedeutet, dass die Landmaschine ganz (beim vollautnom fahrenden Fahrzeug) bzw. teilweise (beim teilautonom fahrenden Fahr zeug) ohne Einfluss eines menschlichen Fahrers agieren kann. The agricultural machine can be designed as a one-piece vehicle or articulated vehicle. It can include a swather, a hay machine, a combine harvester, a spray machine, a sprayer or another vehicle that can be used in agriculture. The agricultural machine is an autonomous or semi-autonomous vehicle. This means that the agricultural machine can act entirely (in the case of a fully autonomous vehicle) or partially (in the case of a partially autonomous vehicle) without the influence of a human driver.
Bei der Vorrichtung zur Steuerung der Landmaschine kann es sich beispielsweise um eine elektronische Steuer- oder Regeleinheit (engl. ECU = Electronic Control Unit), ein elektronisches Steuer- oder Regelmodul (ECM = Electronic Control Modu- le) oder eine Steuer-/Regeleinheit für autonomes Fahren (z.B. ein„Autopilot“) han deln. Die Steuervorrichtung kann sich in der Landmaschine befinden, oder außerhalb bzw. teilweise außerhalb der Landmaschine. Beispielsweise kann die Steuervorrich tung Teil einer zentralen Überwachungseinrichtung für die landwirtschaftliche Nutz fläche sein. Die Kommunikation kann drahtlos, etwa über BlueTooth, Infrarot, Nah- feld-Kommunikation (Engl.: NFC), Funk, Internet, Intranet, Cloud-Systeme und/oder verdrahtete Systeme erfolgen. The device for controlling the agricultural machine can be, for example, an electronic control or regulation unit (ECU), an electronic control or regulation module (ECM = Electronic Control Module) or a control / regulation unit for act autonomously (eg an “autopilot”). The control device can be located in the agricultural machine, or outside or partially outside the agricultural machine. For example, the device can be part of a central monitoring device for the agricultural area. Communication can be wireless, e.g. via BlueTooth, infrared, local field communication (NFC), radio, internet, intranet, cloud systems and / or wired systems.
Die Rasterkarteneinheit und die Trajektorieeinheit können in jeweiliger Alleinstellung oder zusammen eine Auswerteeinheit der Steuervorrichtung bilden. Die Auswer teeinheit kann eine Zentralprozessiereinheit (Engl.: Central Processing Unit, CPU) oder eine Graphische Prozessiereinheit (Engl.: Graphic Processing Unit, GPU) um fassen. Alternativ kann es sich bei der Auswerteeinheit um eine ECU oder ein ECM handeln. In diesem Fall ist die Steuervorrichtung eine der ECU bzw. dem ECM über geordnete Einrichtung/Anordnung. The raster map unit and the trajectory unit can, individually or together, form an evaluation unit of the control device. The evaluation unit can comprise a central processing unit (CPU) or a graphic processing unit (GPU). Alternatively, the evaluation unit can be an ECU or an ECM. In this case, the control device is a device / arrangement that is superordinate to the ECU or the ECM.
Die Umfeldsensorik zum Erzeugen von Umfelddaten kann einen oder mehrere Um feldsensoren umfassen. Die Umfeldsensoren umfassen vorzugsweise einen Radar sensor (z.B. einen Breitbandradarsensor oder einen Bodenradarsensor, Engl.: Ground Penetrating Radar, GPR), einen Lidarsensor, einen Ultraschallsensor und/oder eine Kamera, etwa eine Stereokamera oder 3D-Kamera oder eine Infrarot kamera, umfassen. Die Umfeldsensorik kann an der Landmaschine angebracht sein und somit das Umfeld der auf der landwirtschaftlichen Nutzfläche fahrenden Land maschine in Echtzeit erfassen. Alternativ kann die Umfeldsensorik Teil einer zentra len Überwachungseinrichtung zum Überwachen der Nutzfläche sein, wobei die Überwachungseinrichtung mit der Steuervorrichtung und/oder der Landmaschine verbunden ist. Die mehreren Umfeldsensoren der Umfeldsensorik können an unter schiedlichen Positionen der Landmaschine und/oder der zentralen Überwachungs einrichtung angeordnet sein. Es kann zumindest einer der Umfeldsensoren an einem anderen Fahrzeug angeordnet sein, beispielsweise an einer anderen Landmaschine auf der landwirtschaftlichen Nutzfläche. The environment sensor system for generating environment data can comprise one or more environment sensors. The environment sensors preferably include a radar sensor (e.g. a broadband radar sensor or a ground penetrating radar sensor, GPR), a lidar sensor, an ultrasonic sensor and / or a camera, for example a stereo camera or 3D camera or an infrared camera. The environment sensor system can be attached to the agricultural machine and thus record the environment of the agricultural machine moving on the agricultural area in real time. Alternatively, the environment sensor system can be part of a central monitoring device for monitoring the usable area, the monitoring device being connected to the control device and / or the agricultural machine. The multiple environment sensors of the environment sensor system can be arranged at different positions of the agricultural machine and / or the central monitoring device. At least one of the environment sensors can be arranged on another vehicle, for example on another agricultural machine on the agricultural area.
Die Umfelddaten sind beim Erfassen der landwirtschaftlichen Nutzfläche entstanden und umfassen somit ein oder mehrere Objekte auf der Nutzfläche, etwa Getrei desegmente, Fahrwege, Bebauungen und/oder weitere Bepflanzungen. Die Umfeld daten werden über eine Datenschnittstelle der Steuervorrichtung zur Verarbeitung eingespeist. Die Rasterkarteneinheit bzw. die Auswerteeinheit ist in der Lage, aus den Umfelddaten mehrere Rasterkartenelemente zu extrahieren, die zusammen die Rasterkarte bilden. Diese Rasterkartenelemente repräsentieren jeweils eines von mehreren Flächenelementen des Bereichs der Nutzfläche, der durch die Umfeldsen sorik erfasst wurde. The environment data was created when the agricultural area was recorded and thus includes one or more objects on the usable area, such as grain segments, driveways, buildings and / or other plantings. The environment data are fed into the control device for processing via a data interface. The raster map unit or the evaluation unit is able to extract several raster map elements from the surrounding data which together form the Form raster map. These grid map elements each represent one of several surface elements of the area of the usable area that was detected by the environment sensors.
Jedem Rasterkartenelement ist ein Konfidenzwert zugeordnet. Der Konfidenzwert ist ein Häufigkeits- bzw. Wahrscheinlichkeitswert bzgl. einer Assoziationsregel. Bei spielsweise gibt der Konfidenzwert die Häufigkeit an, dass im jeweiligen Rasterkar tenelement in mehreren Datensequenzen der Umfelddaten ein gleiches Muster de- tektiert ist. Die mehreren Datensequenzen können zu verschiedenen Zeitpunkten erzeugt worden sein. Wenn in den Datensequenzen ein bestimmtes Objekt (etwa ein Baum) mehrfach erfasst wird, kann als das gleiche Muster die Kontur oder Porträt dieses Objektes detektiert werden. A confidence value is assigned to each grid map element. The confidence value is a frequency or probability value with regard to an association rule. For example, the confidence value indicates the frequency that the same pattern is detected in the respective grid map element in several data sequences of the surrounding data. The multiple data sequences may have been generated at different times. If a certain object (such as a tree) is detected several times in the data sequences, the contour or portrait of this object can be detected as the same pattern.
Alternativ oder zusätzlich können die mehreren Datensequenzen von verschiedenen Blickwinkeln der Umfeldsensorik aus erzeugt worden sein. Dies ist etwa der Fall, wenn die Sensorik mehrere Sensoren umfasst, wobei diese Sensoren unterschied lich positioniert sind. Wenn zum gleichen Zeitpunkt oder zu verschiedenen Zeitpunk ten mehrere Sensoren der Umfeldsensorik aus verschiedenen Blickwinkeln die Nutz fläche erfassen, werden von jedem Sensor eine zugehörige Datensequenz generiert. Wenn ein bestimmtes Objekt (etwa ein Baum) in den mehreren Datensequenzen mehrfach erfasst ist, kann als das gleiche Muster die Kontur oder Porträt dieses Ob jektes detektiert werden. Alternatively or additionally, the multiple data sequences can have been generated from different viewing angles of the environment sensor system. This is the case, for example, when the sensor system comprises several sensors, these sensors being positioned differently. If at the same point in time or at different points in time several sensors of the environment sensor system capture the usable area from different angles, an associated data sequence is generated by each sensor. If a certain object (such as a tree) is recorded several times in the multiple data sequences, the contour or portrait of this object can be detected as the same pattern.
Der Konfidenzwert kann sich nach dem Anteil der Datensequenzen, in denen das gleiche Muster detektiert ist, an der Gesamtmenge von aufgenommenen Datense quenzen berechnen. Wenn in beispielsweise 100 aufgenommenen Datensequenzen das gleiche Muster 90 Mal detektiert wird, beträgt der Konfidenzwert 90%. The confidence value can be calculated according to the proportion of data sequences in which the same pattern is detected in the total amount of recorded data sequences. If the same pattern is detected 90 times in 100 recorded data sequences, for example, the confidence value is 90%.
Es kann Vorkommen, dass in mehreren Datensequenzen zwar das gleiche Objekt erfasst ist, welches in diesen Datensequenzen jedoch, beispielsweise aufgrund der Position/Orientierung der mehreren Sensoren der Umfeldsensorik, unterschiedlich erscheint. In solchen Fällen kann die Rasterkarteneinheit bzw. die Auswerteeinheit einen Korrelationswert zwischen den Daten betreffend dieses Objekt in den Daten- Sequenzen ermitteln. Der Konfidenzwert kann auf Basis des errechneten Korrelati onswertes gewichtet werden. Wenn der Korrelationswert einen vordefinierten It can happen that the same object is recorded in several data sequences, but which appears differently in these data sequences, for example due to the position / orientation of the several sensors of the environment sensor system. In such cases, the raster map unit or the evaluation unit can enter a correlation value between the data relating to this object in the data Determine sequences. The confidence value can be weighted on the basis of the calculated correlation value. If the correlation value is a predefined
Schwellenwert erreicht, kann der Gewichtungsfaktor 1 betragen. Andernfalls beträgt der Gewichtungsfaktor kleiner als 1 und ist beispielsweise proportional zum errech neten Korrelationswert. When the threshold value is reached, the weighting factor can be 1. Otherwise, the weighting factor is less than 1 and is, for example, proportional to the calculated correlation value.
Je nach Auswahl des bestimmten (gleichen) Musters kann der Konfidenzwert unter schiedliche Bedeutungen tragen. Die Rasterkarteneinheit bzw. die Auswerteeinheit kann eine vorgespeicherte Datenbank verwenden, in der vordefinierte Muster für ver schiedene Objekte abrufbar sind. Bei Objekten, die für die Landmaschine tendenziell ein Hindernis darstellen (etwa Bäume, Bebauungen, Tiere, Fahrzeuge, Personen, Getreidesegmente), bedeutet ein hoher Konfidenzwert eines Rasterkartenelementes, dass das zugehörige Flächenelement mit entsprechend hoher Wahrscheinlichkeit unbefahrbar bzw. belegt ist. Bei Objekten wie Fahrwegen bedeutet ein hoher Kon fidenzwert eines Rasterkartenelementes, dass das zugehörige Flächenelement mit entsprechend hoher Wahrscheinlichkeit befahrbar bzw. unbelegt ist. Depending on the selection of the specific (same) pattern, the confidence value can have different meanings. The grid map unit or the evaluation unit can use a pre-stored database in which predefined patterns for various objects can be called up. In the case of objects that tend to represent an obstacle for the agricultural machine (e.g. trees, buildings, animals, vehicles, people, grain segments), a high confidence value of a grid map element means that the associated surface element is unavailable or occupied with a correspondingly high degree of probability. In the case of objects such as routes, a high confidence value of a grid map element means that the associated surface element can be driven on or is unoccupied with a correspondingly high degree of probability.
Alternativ oder zusätzlich kann der Konfidenzwert eine Belegungsquote sein. Die Be legungsquote eines Rasterkartenelementes gibt die Wahrscheinlichkeit an, dass das zugehörige Flächenelement der Nutzfläche von einem Hindernis (etwa Bäume, Be bauungen, Tiere, Fahrzeuge, Personen, Getreidesegmente) belegt ist. Alternatively or additionally, the confidence value can be an occupancy rate. The occupancy rate of a grid map element indicates the probability that the associated surface element of the usable area is occupied by an obstacle (e.g. trees, buildings, animals, vehicles, people, grain segments).
Weiter vorzugsweise ist die Umfeldsensorik in der Lage, dreidimensionale Umfeldda ten (d.h. mit Raumdaten bzgl. drei Achsen eines kartesischen Koordinatensystems oder bzgl. eines sphärischen Koordinatensystems) zu erzeugen. Auf diese Weise kann eine dreidimensionale Rasterkarte erstellt werden. The environment sensor system is also preferably able to generate three-dimensional environment data (i.e. with spatial data with regard to three axes of a Cartesian coordinate system or with regard to a spherical coordinate system). In this way a three-dimensional raster map can be created.
Basierend auf der erstellten Rasterkarte wird durch die Trajektorieeinheit bzw. die Auswerteeinheit eine Trajektorie für die Landmaschine erzeugt. Die Trajektorie um fasst einen für die Landmaschine befahrbaren Bereich auf der landwirtschaftlichen Nutzfläche. Die Befahrbarkeit kann aus den Konfidenzwerten der Rasterkartenele mente abgeleitet werden. Der befahrbare Bereich befindet sich vorzugsweise vor der Landmaschine. Die Trajektorie kann mittels einer Kostenfunktion berechnet werden. Die Steuervorrichtung kann ferner eine Signaleinheit umfassen, die basierend auf der erzeugten Trajektorie ein Steuersignal für die Landmaschine, beispielsweise für ei nen Aktor der Landmaschine, generieren kann. Das Steuersignal kann abgespeichert werden und extern zur Verfügung gestellt werden. Beispielsweise kann das Steuer signal und/oder die Rasterkarte von der Steuervorrichtung über eine Ausgabeschnitt stelle an die Landmaschine (z.B. den Aktor) oder an eine mit der Landmaschine ver bundene Steuerzentrale, die gleichzeitig mehrere Landmaschinen koordinieren kann, ausgegeben werden. Based on the generated grid map, the trajectory unit or the evaluation unit generates a trajectory for the agricultural machine. The trajectory includes an area on the agricultural area that the agricultural machine can drive on. The passability can be derived from the confidence values of the grid map elements. The drivable area is preferably in front of the agricultural machine. The trajectory can be calculated using a cost function. The control device can furthermore comprise a signal unit which, based on the generated trajectory, can generate a control signal for the agricultural machine, for example for an actuator of the agricultural machine. The control signal can be saved and made available externally. For example, the control signal and / or the grid map can be output from the control device via an output interface to the agricultural machine (eg the actuator) or to a control center connected to the agricultural machine that can simultaneously coordinate several agricultural machines.
Erfindungsgemäß kann die Trajektorie besonders zuverlässig berechnet werden. Somit kann die Landmaschine auf sicherere und zuverlässigere Art und Weise in ih rer Bewegung auf der landwirtschaftlichen Nutzfläche gesteuert werden. Kollisionen der Landmaschine mit einer anderen Landmaschine, einem anderen Fahrzeug, Per sonen und anderen Gegenständen auf der Nutzfläche können wirksamer vermieden oder zumindest reduziert werden. Insbesondere können Schäden an den Ernten mi nimiert werden. According to the invention, the trajectory can be calculated particularly reliably. The agricultural machine can thus be controlled in its movement on the agricultural area in a safer and more reliable manner. Collisions of the agricultural machine with another agricultural machine, another vehicle, people and other objects on the usable area can be avoided or at least reduced more effectively. In particular, damage to the harvests can be minimized.
Außerdem ist die Landmaschine für den Fall, dass die Steuervorrichtung an der Landmaschine angebracht ist, vorteilhafterweise unabhängig von einer extern (d.h. von einer Entität außerhalb der Landmaschine) gelieferten Trajektorieplanung. Die Trajektorie kann jederzeit und unter Berücksichtigung von Fahrzeugdaten wie Ge schwindigkeit, Beschleunigung, Raddrehzahl, Beladung und/oder Auslenkwinkel zwi schen einer Zugmaschine und einem Anhänger im Fall einer gelenkigen Landma schine aktualisiert und/oder optimiert werden. In addition, in the event that the control device is attached to the agricultural machine, the agricultural machine is advantageously independent of a trajectory planning supplied externally (i.e. from an entity outside the agricultural machine). The trajectory can be updated and / or optimized at any time, taking into account vehicle data such as speed, acceleration, wheel speed, load and / or deflection angle between a tractor and a trailer in the case of an articulated agricultural machine.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen an gegeben. Advantageous refinements and developments are given in the subclaims.
Gemäß einer Ausführungsform umfasst das Verfahren ferner Berechnen mehrerer möglicher Trajektorien und Selektieren einer Trajektorie aus den mehreren Trajekto- rien basierend auf einer Kostenfunktion. Auf diese Weise kann eine optimale Trajektorie zum Ausführen durch die Landma schine erzeugt werden. Die Kostenfunktion kann dergestalt sein, dass ihr Wert umso höher ist, je wahrscheinlicher eine Bedingung erfüllt ist. Die Bedingung, die durch die Trajektorieeinheit bzw. die Auswerteeinheit der Steuervorrichtung berücksichtigt wird, kann folgende Beispiele umfassen, wobei diese für die vorliegende Erfindung nicht beschränkend sind: minimale Weglänge der Landmaschine, Vermeidung einer Kolli sion mit einem anderen Fahrzeug, Personen und/oder Bebauungen, Vermeidung des Befahrens von Ernteflächen. According to one embodiment, the method further comprises calculating a plurality of possible trajectories and selecting a trajectory from the plurality of trajectories based on a cost function. In this way, an optimal trajectory for execution by the agricultural machine can be generated. The cost function can be such that its value is higher, the more likely a condition is met. The condition that is taken into account by the trajectory unit or the evaluation unit of the control device can include the following examples, although these are not restrictive for the present invention: minimum path length of the agricultural machine, avoidance of a collision with another vehicle, people and / or buildings , Avoiding driving into harvested areas.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner Erhalten einer Umfeldkarte für die landwirtschaftliche Nutzfläche. According to a further embodiment, the method further comprises obtaining a map of the surroundings for the agricultural area.
Die Umfeldkarte kann von einem anderen Sensor oder einem Navigationssystem, etwa dem Globalen Navigationssatellitensystem (Engl.: GNSS) erzeugt sein. Die Um feldkarte kann ein Kamerabild sein, das eine Vielzahl von Pixeln umfasst. Jedem Pi xel kann ein oder mehrere Farbwerte eines Farbsystems, etwa des RGB-Systems, zugeordnet sein. Die Umfeldkarte ist vorzugsweise durch ein Anzeigegerät (etwa Bildschirm, Projektor) anzeigbar. Die Umfeldkarte kann zur Optimierung der Trajekto- rieerzeugung, insbesondere der erzeugten Trajektorie, verwendet werden. The map of the surroundings can be generated by another sensor or a navigation system, for example the global navigation satellite system (GNSS). The area map can be a camera image that includes a plurality of pixels. One or more color values of a color system, such as the RGB system, can be assigned to each pixel. The environment map can preferably be displayed by a display device (such as a screen, projector). The environment map can be used to optimize the generation of trajectories, in particular the generated trajectory.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner Kombinieren der Umfeldkarte mit der Rasterkarte und/oder der Trajektorie. According to a further embodiment, the method further comprises combining the environment map with the raster map and / or the trajectory.
Auf diese Weise kann die Trajektorie optimiert werden. Beispielsweise kann die Ras terkarte und/oder Trajektorie der Umfeldkarte überlagert werden. Vorzugsweise er folgt das Überlagern mittels einer Koordinatentransformation, bei der beispielsweise Koordinateninformationen der Rasterkarte und/oder der Trajektorie in Koordinaten des Koordinatensystems umgewandelt werden, auf das sich die Umfeldkarte bezieht (bzw. die in der Umfeldkarte existierenden Koordinaten vorliegen). In this way the trajectory can be optimized. For example, the grid map and / or trajectory can be superimposed on the environment map. The superimposition preferably takes place by means of a coordinate transformation, in which, for example, coordinate information of the raster map and / or the trajectory is converted into coordinates of the coordinate system to which the environment map relates (or the coordinates existing in the environment map are present).
Alternativ oder zusätzlich kann eine in der Umfeldkarte bereits enthaltene Rasterkar te und/oder Trajektorie durch die oben beschriebene, erfindungsgemäß erstellte Ras terkarte bzw. die erfindungsgemäß erzeugte Trajektorie ersetzt werden. Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit de nen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft. Alternatively or additionally, a grid map and / or trajectory already contained in the environment map can be replaced by the above-described grid map created according to the invention or the trajectory created according to the invention. The computer program product according to the invention is designed to be loaded into a memory of a computer and comprises software code sections with which the method steps of the method according to the invention are carried out when the computer program product is running on the computer.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung. A program is part of the software of a data processing system, for example an evaluation device or a computer. Software is a collective term for programs and associated data. The complement to software is hardware. Hardware describes the mechanical and electronic alignment of a data processing system. A computer is an evaluation device.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm produkt den oben beschriebenen erfinderischen technischen Effekt hervor. Computer program products generally comprise a sequence of instructions which, when the program is loaded, cause the hardware to carry out a specific method that leads to a specific result. When the program in question is used on a computer, the computer program product causes the inventive technical effect described above.
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrich tung zum Erfassen des Umfelds des Fahrzeugs ausgeführt. The computer program product according to the invention is platform independent. That means it can run on any computing platform. The computer program product is preferably executed on an evaluation device according to the invention for detecting the surroundings of the vehicle.
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrie ben, zum Beispiel in Python. The software code sections are written in any programming language, for example in Python.
Das computerlesbare Speichermedium ist beispielsweise ein elektronisches, magne tisches, optisches oder magneto-optisches Speichermedium. The computer-readable storage medium is, for example, an electronic, magnetic, optical or magneto-optical storage medium.
Das Datenträgersignal ist ein Signal, welches das Computer-Programm-Produkt von einem Speichermedium, auf dem das Computer-Programm-Produkt gespeichert ist, auf eine andere Entität, beispielsweise ein anderes Speichermedium, einen Server, ein Cloud-System oder eine Daten verarbeitende Einrichtung, überträgt. Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beige fügten Zeichnungen beschrieben. Es zeigen: The data carrier signal is a signal which the computer program product from a storage medium on which the computer program product is stored to another entity, for example another storage medium, a server, a cloud system or a data processing facility , transmits. Embodiments will now be described by way of example and with reference to the accompanying drawings. Show it:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform; 1 shows a schematic representation of a device according to the invention according to one embodiment;
Fig. 2 eine schematische Darstellung einer Landmaschine auf einer landwirt schaftlichen Nutzfläche; Fig. 2 is a schematic representation of an agricultural machine on an agricultural economic area;
Fig. 3 eine schematische Darstellung einer Rasterkarte, die basierend auf 3 shows a schematic illustration of a raster map based on
Umfelddaten erstellt ist; Environment data is created;
Fig. 4 eine schematische Darstellung einer weiteren Rasterkarte, die einer Fig. 4 is a schematic representation of a further grid map, which one
Umfeldkarte überlagert ist; Environment map is overlaid;
Fig. 5A eine weitere schematische Darstellung einer Landmaschine am Beispiel einer Sprühmaschine auf der landwirtschaftlichen Nutzfläche; und 5A shows a further schematic illustration of an agricultural machine using the example of a spraying machine on the agricultural area; and
Fig. 5B eine schematische Darstellung der Sprühmaschine aus Fig. 5, wobei mehrere Trajektorien ersichtlich sind. FIG. 5B shows a schematic illustration of the spray machine from FIG. 5, wherein several trajectories can be seen.
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnli che Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet. In the figures, the same reference symbols relate to the same or functionally similar reference parts. The relevant reference parts are identified in the individual figures.
Fig. 1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zur Steuerung einer Landmaschine 50 gemäß einer Ausführungsform. Die Steuervor richtung 10 umfasst eine Datenschnittstelle zum Erhalten von Umfelddaten, die von einer Umfeldsensorik 22 beim Erfassen einer landwirtschaftlichen Nutzfläche 60 er zeugt sind. Die Umfeldsensorik 22 kann einen oder mehrere Umfeldsensoren umfas sen, die etwa als Radarsensor, Lidarsensor, Bildsensor, Kamera (Stereokamera, Inf rarot-Kamera), RFID-Empfänger und/oder Ultraschallsensor ausgestaltet sind. Die Steuervorrichtung 10 umfasst außerdem eine Rasterkarteneinheit 14 zum Aus werten der Umfelddaten, um eine Rasterkarte 222 (siehe Fig. 3) mit mehreren Ras terkartenelementen 224 zu erstellen. Die Rasterkartenelemente 224 repräsentieren jeweils eines von mehreren Flächenelementen (62) des von der Umfeldsensorik 22 erfassten Teils der Nutzfläche 60. Jedem Rasterkartenelement 224 ist ein Kon- fidenzwert (bspw. eine Belegungsquote) zugeordnet. 1 shows a schematic representation of a device 10 according to the invention for controlling an agricultural machine 50 according to one embodiment. The control device 10 comprises a data interface for receiving environmental data which are generated by an environmental sensor system 22 when detecting a useful agricultural area 60. The environment sensor system 22 can include one or more environment sensors, which are configured as a radar sensor, lidar sensor, image sensor, camera (stereo camera, infrared camera), RFID receiver and / or ultrasonic sensor. The control device 10 also includes a grid map unit 14 for evaluating the surroundings data in order to create a grid map 222 (see FIG. 3) with a plurality of grid map elements 224. The grid map elements 224 each represent one of several surface elements (62) of the part of the usable area 60 detected by the surroundings sensor system 22. Each grid map element 224 is assigned a confidence value (for example an occupancy rate).
Die Steuervorrichtung 10 umfasst ferner eine Trajektorieeinheit 16 zum Erzeugen einer Trajektorie 226 (siehe Fig. 5B) basierend auf der Rasterkarte 222. Die auf diese Weise errechnete Trajektorie 226 wird in einem Steuersignal für die Landmaschine 50 verwendet. The control device 10 further comprises a trajectory unit 16 for generating a trajectory 226 (see FIG. 5B) based on the raster map 222. The trajectory 226 calculated in this way is used in a control signal for the agricultural machine 50.
Wie in Fig. 1 beispielhaft gezeigt können die Rasterkarteneinheit 14 und die Trajekto rieeinheit 16 als eine Auswerteeinheit 15 kombiniert werden. Außerdem ist in Fig. 1 beispielhaft gezeigt, dass eine Ausgabeschnittstelle 20 in der Steuervorrichtung 10 vorgesehen sein kann, um die Rasterkarte 222 an eine externe Entität, etwa die Landmaschine 50 oder eine mit dieser verbundene Steuerzentrale, ausgegeben werden. As shown by way of example in FIG. 1, the raster map unit 14 and the trajectory unit 16 can be combined as an evaluation unit 15. In addition, FIG. 1 shows by way of example that an output interface 20 can be provided in the control device 10 in order to output the raster map 222 to an external entity, for example the agricultural machine 50 or a control center connected to it.
Alternativ oder zusätzlich kann, wie ebenfalls in Fig. 1 beispielshaft gezeigt, eine Sig naleinheit 18 in der Steuervorrichtung 10 vorgesehen sein, die basierend auf der Trajektorie 226 und/oder der Rasterkarte 224 ein Steuersignal erzeugt. Das Steuer signal kann über die Ausgabeschnittstelle 20 an die externe Entität, etwa die Land maschine 50, ausgegeben werden. Alternatively or additionally, as also shown by way of example in FIG. 1, a signal unit 18 can be provided in the control device 10, which generates a control signal based on the trajectory 226 and / or the raster map 224. The control signal can be output via the output interface 20 to the external entity, such as the agricultural machine 50.
Zusätzlich kann in der Steuervorrichtung 10 eine Kartenschnittstelle 26 zum Erhalten einer von einer Karteneinheit 24 erzeugten Umfeldkarte 242 vorgesehen sein. Die Karteneinheit 24 kann eine Navigationseinheit, die etwa zu einem globalen Navigati onssatellitensystem (GNSS) gehört, umfassen. Die Umfeldkarte 242 kann somit eine Navigationskarte sein. Die Umfeldkarte 242 kann, wie in Fig. 1 beispielhaft gezeigt, zusammen mit der Rasterkarte 222 an die externe Entität ausgegeben werden, oder alternativ bei der Erzeugung der Trajektorie 226 durch die Trajektorieeinheit 16 be- rücksichtigt werden. Die Rasterkarte 222 und/oder die Trajektorie 226 kann insbe sondere der Umfeldkarte 242 überlagert werden (s. Fig. 4). In addition, a map interface 26 for receiving a map of the surroundings 242 generated by a map unit 24 can be provided in the control device 10. The map unit 24 can comprise a navigation unit that belongs, for example, to a global navigation satellite system (GNSS). The environment map 242 can thus be a navigation map. The environment map 242 can, as shown by way of example in FIG. 1, be output together with the grid map 222 to the external entity, or alternatively, when the trajectory 226 is generated by the trajectory unit 16, be taken into account. The grid map 222 and / or the trajectory 226 can in particular be superimposed on the environment map 242 (see FIG. 4).
Fig. 2 zeigt eine schematische Darstellung der beispielhaften Landmaschine 50 auf einer landwirtschaftlichen Nutzfläche 60. Die Umfeldsensorik 22 ist vorzugsweise an der Landmaschine 50 angebracht. Auf diese Weise kann eine Umfelderfassung in Echtzeit während der landwirtschaftlichen Bearbeitungsvorgänge der Landmaschine 50 und unabhängig von externen Sensorsystemen (d.h. außerhalb der Landmaschi ne 50) erfolgen. FIG. 2 shows a schematic representation of the exemplary agricultural machine 50 on an agricultural area 60. The environment sensor system 22 is preferably attached to the agricultural machine 50. In this way, the surroundings can be recorded in real time during the agricultural processing operations of the agricultural machine 50 and independently of external sensor systems (i.e. outside of the agricultural machine 50).
Fig. 3 zeigt eine schematische Darstellung der Rasterkarte 222, die basierend auf Umfelddaten der Umfeldsensorik 22 erstellt ist. Die Rasterkarte 222 umfasst zwei Sorten von Rasterkartenelementen, nämlich erste und zweite Rasterkartenelemente 224a, 224b. Die mehreren ersten Rasterkartenelemente 224a haben einen höheren Konfidenzwert im Sinne einer Belegungsquote, während den mehreren zweiten Ras- terkartenelementen 224b ein vergleichsweise niedrigerer Konfidenzwert im Sinne einer Belegungsquote zugeordnet ist. Die Flächenelemente der Nutzfläche 60, die durch die ersten bzw. zweiten Rasterkartenelemente 224a, b repräsentiert sind, sind mit der entsprechenden hohen bzw. niedrigen Wahrscheinlichkeit durch Hindernisse belegt. 3 shows a schematic illustration of the grid map 222, which is created based on environment data from the environment sensor system 22. The grid map 222 comprises two types of grid map elements, namely first and second grid map elements 224a, 224b. The multiple first grid map elements 224a have a higher confidence value in the sense of an occupancy rate, while the multiple second grid map elements 224b are assigned a comparatively lower confidence value in the sense of an occupancy rate. The surface elements of the usable area 60, which are represented by the first and second raster map elements 224a, b, are occupied by obstacles with the corresponding high and low probability.
Die Rasterkarte 222 kann, wie in Fig. 4 beispielhaft gezeigt, einer Umfeldkarte 242, die hier als Kamerabild ausgestaltet ist, überlagert werden. Vorzugsweise erfolgt eine Überlagerung mittels einer Koordinatentransformation. Beispielsweise können die Koordinaten der Rasterkartenelemente 224a, 224b in Koordinaten des Kamerakoor dinatensystems umgewandelt werden. Die Auswerteeinheit 15 kann hierzu eine Ka libriereinheit umfassen. As shown by way of example in FIG. 4, the raster map 222 can be superimposed on an environment map 242, which is designed here as a camera image. An overlay is preferably carried out by means of a coordinate transformation. For example, the coordinates of the raster map elements 224a, 224b can be converted into coordinates of the camera coordinate system. The evaluation unit 15 can comprise a calibration unit for this purpose.
Wie in Fig. 5A-B beispielhaft gezeigt, können mehrere Trajektorien 226 auf Basis der erstellten Rasterkarte 222 erzeugt werden. Die dort gezeigte Landmaschine 50 ist eine Sprühmaschine, die eine am hinteren Ende des Hauptmaschinenkörpers der Sprühmaschine 50 angeordnete Sprühvorrichtung 54 umfasst. Die Sprühvorrichtung 54 dient zum Besprühen der Nutzfläche 60 mit bestimmten Pflanzenschutzmitteln. In Fig. 5A-B sind mehrere Fahrwege 52 ersichtlich, die sich zwischen Getreideseg menten 62 befinden. In der aus den Umfelddaten der Umfeldsensorik 22 (nicht ge zeigt) erstellten Rasterkarte 222 wird für die Bereiche der Fahrwege 52 Rasterele mente 224b erzeugt, denen eine niedrige Belegungsquote zugeordnet ist. Für die Bereiche der Getreidesegmente 62 werden hingegen Rasterelemente 224a erzeugt, denen eine hohe Belegungsquote zugeordnet ist. Die Trajektorien 226 werden basie rend auf der Verteilung der Konfidenzwerte bzw. der Belegungsquote auf der Raster karte 222 erzeugt. Somit verlaufen die Trajektorien 226 entlang der bereits vorher existierenden Fahrwege 52. Es kann mit Hilfe einer Kostenfunktion die beste Trajek- torie 226 selektiert werden, wobei die Kostenfunktion wie oben beschrieben an eine vordefinierte Bedingung geknüpft ist. As shown by way of example in FIGS. 5A-B, several trajectories 226 can be generated on the basis of the generated raster map 222. The agricultural machine 50 shown there is a spraying machine which comprises a spraying device 54 arranged at the rear end of the main machine body of the spraying machine 50. The spray device 54 is used to spray the usable area 60 with certain pesticides. In Fig. 5A-B several driveways 52 can be seen, which are elements 62 between Getreideseg. In the grid map 222 created from the environment data of the environment sensor system 22 (not shown), grid elements 224b are generated for the areas of the routes 52, to which a low occupancy rate is assigned. In contrast, grid elements 224a are generated for the areas of the grain segments 62, to which a high occupancy rate is assigned. The trajectories 226 are generated based on the distribution of the confidence values or the occupancy rate on the grid map 222. The trajectories 226 thus run along the already existing routes 52. The best trajectory 226 can be selected with the aid of a cost function, the cost function being linked to a predefined condition as described above.
Bezuaszeichen Steuervorrichtung Reference control device
Datenschnittstelle Data interface
Rasterkarteneinheit Raster map unit
Auswerteeinheit Evaluation unit
Trajektorieeinheit Trajectory unit
Signaleinheit Signal unit
Ausgabeschnittstelle Output interface
Umfeldsensorik Environment sensors
Erfassungsbereich Detection area
Rasterkarte Raster map
, 224a, b Rasterkartenelemente , 224a, b raster map elements
Trajektorie Trajectory
Kartenerzeugungseinheit Card generation unit
Umfeldkarte Environment map
Kartenschnittstelle Card interface
Landmaschine (Sprühmaschine) Agricultural machine (sprayer)
Fahrwege Driveways
Sprühvorrichtung Spray device
Nutzfläche Usable area
Getreidesegmente Grain segments

Claims

Patentansprüche Claims
1 . Verfahren zur Steuerung einer Landmaschine (50), umfassend: 1 . A method for controlling an agricultural machine (50) comprising:
Erhalten von Umfelddaten, die von einer Umfeldsensorik (22) beim Erfassen einer landwirtschaftlichen Nutzfläche (60) erzeugt sind; Obtaining environment data which are generated by an environment sensor system (22) when detecting an agricultural area (60);
Auswerten der Umfelddaten, um eine Rasterkarte (222) mit mehreren Raster kartenelementen (224) zu erstellen, die jeweils eines von mehreren Flächenelemen ten (62) der Nutzfläche (60) repräsentieren und denen jeweils ein Konfidenzwert zu geordnet ist; und Evaluation of the environment data in order to create a grid map (222) with a plurality of grid map elements (224), each of which represents one of a plurality of surface elements (62) of the usable area (60) and each of which is assigned a confidence value; and
Erzeugen einer Trajektorie (226) basierend auf der Rasterkarte (222) zur Ver wendung in einem Steuersignal für die Landmaschine (50). Generating a trajectory (226) based on the raster map (222) for use in a control signal for the agricultural machine (50).
2. Verfahren nach Anspruch 1 , weiter umfassend Extrahieren mehrerer Daten sequenzen aus den Umfelddaten, wobei die Datensequenzen zu verschiedenen Zeitpunkten oder von verschiedenen Blickwinkeln der Umfeldsensorik (22) aus er zeugt wurden. 2. The method according to claim 1, further comprising extracting a plurality of data sequences from the environment data, the data sequences being generated at different times or from different angles of the environment sensor system (22).
3. Verfahren nach Anspruch 2, wobei der Konfidenzwert die Häufigkeit angibt, dass im jeweiligen Rasterkartenelement (224) in den mehreren Datensequenzen ein gleiches Muster detektiert ist. 3. The method according to claim 2, wherein the confidence value indicates the frequency that the same pattern is detected in the respective raster map element (224) in the plurality of data sequences.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei die Trajektorie (226) mittels einer Kostenfunktion erzeugt wird. 4. The method according to any one of the preceding claims, wherein the trajectory (226) is generated by means of a cost function.
5. Verfahren nach einem der vorangehenden Ansprüche, weiter umfassend Er halten einer Umfeldkarte (242) für die landwirtschaftliche Nutzfläche (60). 5. The method according to any one of the preceding claims, further comprising receiving an environment map (242) for the agricultural area (60).
6. Verfahren nach Anspruch 5, weiter umfassend Kombinieren der Umfeldkarte (242) mit der Rasterkarte (222) und/oder der Trajektorie (224). 6. The method according to claim 5, further comprising combining the environment map (242) with the raster map (222) and / or the trajectory (224).
7. Vorrichtung (10) zur Steuerung einer Landmaschine (50), umfassend: 7. Device (10) for controlling an agricultural machine (50), comprising:
eine Datenschnittstelle (12) zum Erhalten von Umfelddaten, die von einer Um feldsensorik (22) beim Erfassen einer landwirtschaftlichen Nutzfläche (60) erzeugt sind; a data interface (12) for receiving environment data that are generated by a field sensor system (22) when detecting an agricultural area (60);
eine Rasterkarteneinheit (14) zum Auswerten der Umfelddaten, um eine Ras terkarte (222) mit mehreren Rasterkartenelementen (224) zu erstellen, die jeweils eines von mehreren Flächenelementen (62) der Nutzfläche (60) repräsentieren und denen jeweils ein Konfidenzwert zugeordnet ist; und a grid map unit (14) for evaluating the environment data in order to create a grid map (222) with a plurality of grid map elements (224) which each represent one of a plurality of surface elements (62) of the usable area (60) and each of which is assigned a confidence value; and
eine Trajektorieeinheit (16) zum Erzeugen einer Trajektorie (226) basierend auf der Rasterkarte (222) zur Verwendung in einem Steuersignal für die Landma schine (50). a trajectory unit (16) for generating a trajectory (226) based on the raster map (222) for use in a control signal for the agricultural machine (50).
8. System zur Steuerung einer Landmaschine (50), umfassend eine Vorrichtung (10) nach Anspruch 7, das System ferner umfassend: A system for controlling an agricultural machine (50) comprising an apparatus (10) according to claim 7, the system further comprising:
eine Umfeldsensorik (22) zum Erzeugen von Umfelddaten beim Erfassen ei ner landwirtschaftlichen Nutzfläche (60); und/oder an environment sensor system (22) for generating environment data when detecting an agricultural area (60); and or
eine Kartenschnittstelle (26) zum Erhalten einer Umfeldkarte (242) für die landwirtschaftliche Nutzfläche (60). a map interface (26) for obtaining an environment map (242) for the agricultural area (60).
9. Verwendung der Vorrichtung (10) nach Anspruch 7 und/oder des Systems nach Anspruch 8 in einer Landmaschine (50). 9. Use of the device (10) according to claim 7 and / or the system according to claim 8 in an agricultural machine (50).
10. Computer-Programm-Produkt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach An spruch 1 auszuführen. 10. Computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method according to claim 1.
11. Computerlesbares Speichermedium, auf dem das Computer-Programm- Produkt nach Anspruch 10 gespeichert ist. 11. Computer-readable storage medium on which the computer program product according to claim 10 is stored.
12. Datenträgersignal, das das Computer-Programm-Produkt nach Anspruch 10 überträgt. 12. Data carrier signal which the computer program product according to claim 10 transmits.
PCT/EP2020/050794 2019-02-14 2020-01-14 Trajectory determination for agricultural machines using grid maps WO2020164834A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019201914.5A DE102019201914A1 (en) 2019-02-14 2019-02-14 Trajectory determination for agricultural machinery using raster maps
DE102019201914.5 2019-02-14

Publications (1)

Publication Number Publication Date
WO2020164834A1 true WO2020164834A1 (en) 2020-08-20

Family

ID=69167837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/050794 WO2020164834A1 (en) 2019-02-14 2020-01-14 Trajectory determination for agricultural machines using grid maps

Country Status (2)

Country Link
DE (1) DE102019201914A1 (en)
WO (1) WO2020164834A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462805A (en) * 2020-11-19 2021-03-09 西安理工大学 5G networked unmanned aerial vehicle flight path planning method based on improved ant colony algorithm
CN117596551A (en) * 2024-01-19 2024-02-23 浙江大学建筑设计研究院有限公司 Green road network user behavior restoration method and device based on mobile phone signaling data

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022103370A1 (en) 2022-02-14 2023-08-17 Deere & Company Method for sensor-assisted guidance of a work machine and corresponding arrangement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0761084A1 (en) * 1995-09-06 1997-03-12 Amazonen-Werke H. Dreyer GmbH & Co. KG Method for controlling and/or regulating agricultural processing and/or distributing machines
EP0821296A2 (en) * 1996-07-23 1998-01-28 CLAAS KGaA Route planning system for agricultural working vehicles
EP0917816A1 (en) * 1997-11-20 1999-05-26 Amazonen-Werke H. Dreyer GmbH & Co. KG Process for controlling and/or regulating agricultural working or spreading machines
EP1840690A2 (en) * 2006-03-30 2007-10-03 CLAAS Selbstfahrende Erntemaschinen GmbH Method for creating a rounting plan for agricultural machinery
DE102012201333A1 (en) 2012-01-31 2013-08-01 Deere & Company Agricultural machine with a system for the automatic setting of an operating parameter and associated method
DE102016209437A1 (en) * 2016-05-31 2017-11-30 Deere & Company Automatic steering system for guiding an agricultural vehicle over a field and corresponding method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0761084A1 (en) * 1995-09-06 1997-03-12 Amazonen-Werke H. Dreyer GmbH & Co. KG Method for controlling and/or regulating agricultural processing and/or distributing machines
EP0821296A2 (en) * 1996-07-23 1998-01-28 CLAAS KGaA Route planning system for agricultural working vehicles
EP0917816A1 (en) * 1997-11-20 1999-05-26 Amazonen-Werke H. Dreyer GmbH & Co. KG Process for controlling and/or regulating agricultural working or spreading machines
EP1840690A2 (en) * 2006-03-30 2007-10-03 CLAAS Selbstfahrende Erntemaschinen GmbH Method for creating a rounting plan for agricultural machinery
DE102012201333A1 (en) 2012-01-31 2013-08-01 Deere & Company Agricultural machine with a system for the automatic setting of an operating parameter and associated method
DE102016209437A1 (en) * 2016-05-31 2017-11-30 Deere & Company Automatic steering system for guiding an agricultural vehicle over a field and corresponding method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462805A (en) * 2020-11-19 2021-03-09 西安理工大学 5G networked unmanned aerial vehicle flight path planning method based on improved ant colony algorithm
CN117596551A (en) * 2024-01-19 2024-02-23 浙江大学建筑设计研究院有限公司 Green road network user behavior restoration method and device based on mobile phone signaling data
CN117596551B (en) * 2024-01-19 2024-04-09 浙江大学建筑设计研究院有限公司 Green road network user behavior restoration method and device based on mobile phone signaling data

Also Published As

Publication number Publication date
DE102019201914A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
EP3381281B1 (en) Method and device for controlling undesirable organisms in a field
EP3305052B1 (en) Control assembly, tractor with a control assembly and method for a control assembly
WO2020164834A1 (en) Trajectory determination for agricultural machines using grid maps
EP3782467B1 (en) Method for identifying weeds within a defined row of plants of an agricultural area
EP3255973B1 (en) Device for discharging liquids, and method for controlling the movement of at least two extension arms of an agricultural field sprayer
DE102017217391A1 (en) Agricultural work vehicle
WO2020182564A1 (en) Vision-based steering assistance system for land vehicles
DE102019203394A1 (en) Method for setting a parameter of an agricultural spraying device
DE102016209437A1 (en) Automatic steering system for guiding an agricultural vehicle over a field and corresponding method
EP3738420B1 (en) Method for operating a self-propelled agricultural working machine
AT521647A1 (en) Method and system for data preparation, for training an artificial neural network and for analyzing sensor data
DE102019114866A1 (en) Control system and method for operating an agricultural work machine and agricultural work machine
EP3663881B1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors
EP3887915B1 (en) Apparatus for locating an agricultural machine on the basis of sensor data and image segmentation
EP4052550B1 (en) Gradient compensation device for viticulture
DE60303577T2 (en) Method for monitoring the environment of a vehicle
DE102019206901A1 (en) Agricultural environment recognition to avoid collisions with the help of a drone
WO2019179756A1 (en) Method for determining a standing height of field crops
WO2020164833A1 (en) Control of an agricultural machine on the basis of the detection of the course of a border in agricultural usable areas
WO2020160863A1 (en) Device for route planning for an agricultural machine on the basis of sensor data and image segmentation
EP4064818B1 (en) Method for treating plants in a field
DE102019202299B4 (en) On-line calibration and calibration setup procedures
DE102020214075A1 (en) Method for controlling a unit of a mobile agricultural device
DE102019201908A1 (en) Sensor-based movement limitation of agricultural machinery
DE102019202069A1 (en) Procedure for collision avoidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20700812

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20700812

Country of ref document: EP

Kind code of ref document: A1