DE102019203651A1 - System for the automatic steering of a vehicle - Google Patents

System for the automatic steering of a vehicle Download PDF

Info

Publication number
DE102019203651A1
DE102019203651A1 DE102019203651.1A DE102019203651A DE102019203651A1 DE 102019203651 A1 DE102019203651 A1 DE 102019203651A1 DE 102019203651 A DE102019203651 A DE 102019203651A DE 102019203651 A1 DE102019203651 A1 DE 102019203651A1
Authority
DE
Germany
Prior art keywords
vehicle
signal
path
camera
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019203651.1A
Other languages
German (de)
Inventor
Martin Kremmer
Tobias Schäfer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Priority to DE102019203651.1A priority Critical patent/DE102019203651A1/en
Publication of DE102019203651A1 publication Critical patent/DE102019203651A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

Ein System dient zur selbsttätigen Lenkung eines Fahrzeugs (12) und/oder eines damit verbundenen Arbeitsgeräts (14) zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld (10). Ein Bahnkrümmungsbestimmungssystem ist eingerichtet ist, ein Signal hinsichtlich der Krümmung der befahrenen Bahn abzugeben, und eine Kamera (60, 60') ist mit einem Bildverarbeitungssystem (62, 62') verbunden, das programmiert ist, anhand des Bildsignals der Kamera (60, 60') Merkmale auf dem Feld (10) zu erkennen, an denen das Fahrzeug (12) und/oder das Arbeitsgerät (14) entlang zu lenken ist. Das Bildverarbeitungssystem (62, 62') ist programmiert im Fall, (a) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn gerade ist, beim Verarbeiten des Bildsignals der Kamera (60, 60') davon auszugehen, dass die Merkmale auf einer geraden Reihe angeordnet sind und im Fall, (b) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn gekrümmt ist, beim Verarbeiten des Bildsignals der Kamera (60, 60') davon auszugehen, dass die Merkmale auf einer gekrümmten Linie angeordnet sind.A system is used to automatically steer a vehicle (12) and / or a working device (14) connected to it for carrying out a plant cultivation process in a field (10). A path curvature determination system is set up to emit a signal with regard to the curvature of the path being traveled, and a camera (60, 60 ') is connected to an image processing system (62, 62') which is programmed based on the image signal of the camera (60, 60 ') To recognize features on the field (10), on which the vehicle (12) and / or the implement (14) is to be steered along. The image processing system (62, 62 ') is programmed in the case (a) that the signal of the path curvature determination system indicates that the path is straight, when processing the image signal of the camera (60, 60') it is assumed that the features are on a straight line Row and in the event (b) that the signal of the path curvature determination system indicates that the path is curved, when processing the image signal of the camera (60, 60 ') it is assumed that the features are arranged on a curved line.

Description

Die vorliegende Erfindung bezieht sich auf ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld, sowie eine Kombination aus einem Fahrzeugs und einem damit verbundenen Arbeitsgerät.The present invention relates to a system for the automatic steering of a vehicle and / or an implement connected to it for carrying out a plant cultivation process in a field, as well as a combination of a vehicle and an implement connected to it.

Stand der TechnikState of the art

In der Landwirtschaft besteht ein Bedürfnis, Fahrzeuge selbsttätig über ein Feld zu lenken, um dem Bediener die Arbeit zu erleichtern und es ihm zu ermöglichen, sich auf die Überwachung und Kontrolle der beim Überfahren des Feldes durchgeführten Arbeiten, wie Bodenbearbeitung, Ausbringen von Mitteln oder Ernten von Pflanzen zu konzentrieren. Im Stand der Technik sind neben Lenksystemen, die mittels eines satellitenbasierten Positionsbestimmungssystems (GNSS, globales Satellitennavigationssystem) und einer Karte der zu befahrenden Spuren ein Lenksignal erzeugen ( EP 0 856 453 A2 ) auch optische Lenksysteme bekannt, die anhand eines das Feld vor dem Fahrzeug abtastenden Laserentfernungsmessers ( DE 197 43 884 A1 ) oder anhand des Bildes einer Kamera, das mit einem Bildverarbeitungssystem ausgewertet wird ( DE 103 51 861 A1 , US 8 706 341 B2 ) Merkmale auf dem Feld erkennen, anhand denen ein zu befahrender Weg evaluiert wird. Bei diesen Merkmalen kann es sich um Bearbeitungsgrenzen handeln, die eine Änderung des Bodenprofils mit sich bringen, oder um die Kante eines noch stehenden Erntegutbestandes.In agriculture there is a need to steer vehicles automatically over a field in order to make the work easier for the operator and to enable him to concentrate on the monitoring and control of the work carried out when driving over the field, such as tillage, application of resources or harvesting focus of plants. In addition to steering systems that generate a steering signal by means of a satellite-based position determination system (GNSS, global satellite navigation system) and a map of the lanes to be traveled ( EP 0 856 453 A2 ) optical steering systems are also known that are based on a laser rangefinder that scans the field in front of the vehicle ( DE 197 43 884 A1 ) or based on the image of a camera, which is evaluated with an image processing system ( DE 103 51 861 A1 , US 8,706,341 B2 ) Recognize features in the field that are used to evaluate a path to be traveled. These features can be processing limits that bring about a change in the soil profile, or the edge of a crop that is still standing.

Derartige, mit einer Kamera erzeugte Lenksignale können zur selbsttätigen Lenkung eines Fahrzeugs dienen und/oder verwendet werden, um einen zur seitlichen Verstellung des Geräts vorgesehenen Aktor gegenüber dem Fahrzeug zu kontrollieren, um das Arbeitsgerät auf dem gewünschten Weg zu halten ( EP 2283719 A2 , US 2013/0110358 A1 , DE 1020015009889 A1 ) und somit mögliche Lenkfehler des Fahrzeugs zu kompensieren.Such steering signals generated with a camera can serve to automatically steer a vehicle and / or be used to control an actuator provided for lateral adjustment of the device relative to the vehicle in order to keep the implement on the desired path ( EP 2283719 A2 , US 2013/0110358 A1 , DE 1020015009889 A1 ) and thus to compensate for possible steering errors of the vehicle.

Falls das Fahrzeug bzw. das Arbeitsgerät über ein Feld gelenkt werden soll, auf dem Pflanzen in Reihen angebaut werden, bietet es sich an, die Pflanzen als Merkmal zu erkennen. Es wurde im Stand der Technik schon vorgeschlagen, anhand mehrerer, in Fahrtrichtung voreinander liegender, jeweils im Bild als Pflanzen identifizierter Punkte zu unterscheiden, ob die Pflanzen in einer geraden Reihe oder in einer Kurve angebaut wurden und das Lenksignal dementsprechend zu Führung entlang einer Geraden oder einer Kurve zu erzeugen (s. US 6 385 515 B1 ).If the vehicle or the implement is to be steered over a field on which plants are grown in rows, it is advisable to recognize the plants as a feature. It has already been proposed in the prior art to use several points in the direction of travel in front of each other, each identified as plants in the image, to distinguish whether the plants were grown in a straight row or in a curve and the steering signal accordingly for guidance along a straight line or to create a curve (s. U.S. 6,385,515 B1 ).

Eine ähnliche Vorgehensweise, bei der eine Maschine selbsttätig durch ein Bildverarbeitungssystem entlang eines Schwads oder von zwischen zwei Schwaden liegenden Fahrspuren geführt wird, ist in der US 9 002 566 B2 beschrieben. Falls die Qualität des Bildsignals zur selbsttätigen Lenkung ausreicht, wird das Fahrzeug entlang eines geraden oder gekrümmten Weges geführt, abhängig vom Bildsignal. Die Genauigkeit des Lenksignals wird anhand von Signalen eines GNSS-Empfängers und/oder Trägheitsnavigationssystems verbessert, das eine Nennwenderadiuskalibrierung und einen zweidimensionalen Versatz von einer zuvor aufgenommenen Spur bereitstellt. Hier dient das Navigationssignal demnach zur Verbesserung der Genauigkeit des optisch erzeugten Lenksignals.A similar procedure, in which a machine is automatically guided by an image processing system along a swath or in lanes lying between two swaths, is shown in FIG US 9 002 566 B2 described. If the quality of the image signal is sufficient for automatic steering, the vehicle is guided along a straight or curved path, depending on the image signal. The accuracy of the steering signal is improved on the basis of signals from a GNSS receiver and / or inertial navigation system, which provides a nominal turning radius calibration and a two-dimensional offset from a previously recorded track. The navigation signal is used here to improve the accuracy of the optically generated steering signal.

Eine ähnliche Vorgehensweise wird in V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 (https://www.mdpi.com/2313-433X/1/1/115/htm) beschrieben. Dort ist der Bildverarbeitungsalgorithmus ebenfalls in der Lage, zwischen geraden und gekrümmten Pflanzenreihen im Bild zu unterscheiden und ein entsprechendes Lenksignal abzugeben, das mit Signalen von Kreiseln, Beschleunigungsmessern, magnetischen Kompassen, Barometern und GNSS-Empfängern fusioniert werden kann, um die Genauigkeit zu verbessern.A similar approach is used in V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 ( https://www.mdpi.com/2313-433X/1/1/115/htm ). There, the image processing algorithm is also able to differentiate between straight and curved rows of plants in the image and emit a corresponding steering signal that can be fused with signals from gyroscopes, accelerometers, magnetic compasses, barometers and GNSS receivers in order to improve accuracy.

Problemproblem

Im Stand der Technik werden das Bildsignal und das Positionssignal demnach fusioniert, um die Genauigkeit der Lenkung zu verbessern. Die Bildverarbeitungssoftware muss jedoch selbst herausfinden, ob das auf dem Feld erkannte Merkmal (Pflanzenreihe) gerade oder kurvenförmig ist, was insbesondere bei nicht perfekten Sichtbedingungen problematisch sein kann.In the prior art, the image signal and the position signal are accordingly merged in order to improve the accuracy of the steering. The image processing software, however, has to find out for itself whether the feature (row of plants) recognized in the field is straight or curved, which can be problematic, especially in imperfect visibility conditions.

Lösungsolution

Verschiedene Aspekte der vorliegenden Offenbarung werden in den Ansprüchen dargelegt.Various aspects of the present disclosure are set out in the claims.

Ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld umfasst:

  • ein Bahnkrümmungsbestimmungssystem, das eingerichtet ist, ein Signal hinsichtlich der Krümmung der vom Fahrzeug und/ oder dem Arbeitsgerät befahrenen Bahn abzugeben, und
  • eine Kamera, die mit einem Bildverarbeitungssystem verbunden ist, das programmiert ist, anhand des Bildsignals der Kamera in Vorwärtsrichtung aufeinander folgende Merkmale oder sich in Vorwärtsrichtung erstreckende auf dem Feld zu erkennen, an denen das Fahrzeug und/oder das Arbeitsgerät entlang zu lenken ist,
  • wobei das zur Erzeugung eines Lenksignals für das Fahrzeug und/oder das Arbeitsgerät eingerichtete Bildverarbeitungssystem signalübertragend mit dem Bahnkrümmungsbestimmungssystem verbunden und programmiert ist, im Fall, (a) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs und/oder Arbeitsgeräts gerade ist, beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Merkmale auf einer geraden Reihe angeordnet sind und im Fall, (b) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs und/oder Arbeitsgeräts gekrümmt ist, beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Merkmale auf einer gekrümmten Linie angeordnet sind.
A system for the automatic steering of a vehicle and / or a working device connected to it for carrying out a plant cultivation operation in a field comprises:
  • a path curvature determination system which is set up to emit a signal with regard to the curvature of the path traveled by the vehicle and / or the implement, and
  • a camera which is connected to an image processing system which is programmed to use the image signal of the camera to display successive features in the forward direction or to recognize those extending in the forward direction on the field, along which the vehicle and / or the implement is to be steered,
  • wherein the image processing system set up to generate a steering signal for the vehicle and / or the implement is connected and programmed to transmit signals to the path curvature determination system, in the case (a) that the signal from the path curvature determination system indicates that the path of the vehicle and / or implement is straight, to assume when processing the image signal of the camera that the features are arranged on a straight row and in the case (b) that the signal of the path curvature determination system indicates that the path of the vehicle and / or work device is curved, when processing the image signal of the camera assume that the features are arranged on a curved line.

Mit anderen Worten dient das Signal des Bahnkrümmungsbestimmungssystems nicht ausschließlich, wie im Stand der Technik, zur Verbesserung der Genauigkeit des Bildverarbeitungssystems durch Fusionierung der Signale, sondern informiert das Bildverarbeitungssystem darüber, an welchen Stellen des Bildes die Merkmale, auf denen das Lenksignal basieren soll, wahrscheinlich zu finden und demnach zu suchen sind. Demnach werden die Genauigkeit des Bildverarbeitungssystems und/oder die Schnelligkeit der Bildverarbeitung verbessert, denn diese kann vorrangig an den Stellen stattfinden, an denen die Merkmale zu erwarten sind bzw. dort identifizierte Merkmal können mit einer höheren Wichtung versehen werden als an anderen Stellen des Bildes identifizierte Merkmale. Selbstverständlich kann das Signal des Bahnkrümmungsbestimmungssystem auch mit dem Signal des Bildverarbeitungssystems zur Verbesserung von dessen Genauigkeit fusioniert werden, wie an sich im Stand der Technik bekannt.In other words, the signal from the path curvature determination system is not used exclusively, as in the prior art, to improve the accuracy of the image processing system by merging the signals, but rather informs the image processing system of the locations in the image where the features on which the steering signal is to be based are likely to be found and therefore to be sought. Accordingly, the accuracy of the image processing system and / or the speed of the image processing are improved, because this can primarily take place at the points where the features are to be expected or features identified there can be given a higher weighting than identified at other points in the image Features. Of course, the signal from the path curvature determination system can also be fused with the signal from the image processing system to improve its accuracy, as is known per se in the prior art.

Das Bahnkrümmungsbestimmungssystem kann einen GNSS-Empfänger und/oder ein Trägheitsnavigationssystem und/oder einen Lenkwinkelsensor umfassen.The orbital curvature determination system can comprise a GNSS receiver and / or an inertial navigation system and / or a steering angle sensor.

Das Bildverarbeitungssystem kann programmiert sein, das Lenksignal anhand einer Sollweginformation zu erzeugen, die im Fall (a) gerade und im Fall (b) gekrümmt ist.The image processing system can be programmed to generate the steering signal on the basis of target path information which is straight in case (a) and curved in case (b).

Die Merkmale können Pflanzenreihen und/oder Fahrspuren darstellen.The features can represent rows of plants and / or lanes.

Die Sollweginformation kann eine zwischen benachbarten Pflanzenreihen oder Fahrspuren liegende Mitte oder eine Pflanzenreihe oder eine Fahrspur repräsentieren.The target path information can represent a center lying between adjacent rows of plants or lanes or a row of plants or a lane.

Das Bildverarbeitungssystem kann programmiert sein, im Fall (b) beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Linie entsprechend eines vom Bahnkrümmungsbestimmungssystem signalisierten Radius gekrümmt ist.The image processing system can be programmed to assume in case (b) when processing the image signal of the camera that the line is curved according to a radius signaled by the path curvature determination system.

Das Bildverarbeitungssystem kann programmiert sein, ein im Bild identifiziertes Merkmal mit einer höheren Wichtung in die Berechnung des Lenksignals aufzunehmen, je näher es an der geraden oder gekrümmten Linie liegt.The image processing system can be programmed to include a feature identified in the image with a higher weighting in the calculation of the steering signal the closer it is to the straight or curved line.

Das Arbeitsgerät kann gegenüber dem Fahrzeug durch einen vom Bildverarbeitungssystem kontrollierten Aktor seitlich beweglich sein.The working device can be moved laterally relative to the vehicle by an actuator controlled by the image processing system.

Die Kamera kann am Arbeitsgerät angeordnet sein.The camera can be arranged on the implement.

FigurenlisteFigure list

Die erwähnten und andere Merkmale werden durch die folgende Beschreibung und beigefügten Zeichnungen erkennbar, in denen:

  • 1 eine schematische Draufsicht auf ein landwirtschaftliches Fahrzeug mit einem Arbeitsgerät mit Werkzeugen und einem System zur Steuerung der seitlichen Position des Arbeitsgeräts während eines Bearbeitungsvorgangs auf einem Feld;
  • 2 ein Flussdiagramm, nach dem eine Gerätesteuereinheit vorgeht;
  • 3 eine Draufsicht auf ein Fahrzeug bei Geradeausfahrt und
  • 4 eine Draufsicht auf ein Fahrzeug bei Kurvenfahrt zeigt.
The mentioned and other features will become apparent from the following description and accompanying drawings, in which:
  • 1 a schematic top view of an agricultural vehicle with an implement with tools and a system for controlling the lateral position of the implement during a cultivation process in a field;
  • 2 a flowchart according to which a device control unit proceeds;
  • 3 a plan view of a vehicle when driving straight ahead and
  • 4th Figure 11 shows a top view of a vehicle cornering.

Gleiche Bezugszeichen werden verwendet, um in den Figuren durchgängig gleiche Elemente zu kennzeichnen. Wenigstens eine beispielhafte Ausführungsform des Gegenstands der vorliegenden Offenbarung ist anhand der 1 bis 4 verständlich.The same reference numbers are used to identify the same elements throughout the figures. At least one exemplary embodiment of the subject matter of the present disclosure is based on FIG 1 to 4th understandable.

1 zeigt eine Draufsicht auf ein Feld 10, auf dem in landwirtschaftliches Fahrzeug 12, das ein selbstfahrendes Fahrzeug und ein damit verbundenes Arbeitsgerät 14 umfasst, einen Arbeitsvorgang durchführt. Auf dem Feld 10 wurden während eines vorhergehenden Arbeitsschrittes Pflanzen 16 gesät oder gepflanzt. Die Pflanzen 16 sind in einem rechteckigen Muster, wie gezeigt, angebaut, oder in einem beliebigen anderen Muster, z.B. in einem hexagonalen oder Diamant-Muster, oder bedecken das Feld ohne regelmäßiges Muster, wie wenn sie mit einer Drillmaschine gesät worden sind. Die Pflanzen können auf jegliche sinnvolle Weise gesät oder gepflanzt worden sein, wie basierend auf einem Empfänger für ein Positionierungssystem (GNSS, z.B. GPS) oder unter Verwendung lokaler Sensoren auf dem Sä- oder Pflanzfahrzeug. 1 shows a top view of a field 10 on which in agricultural vehicle 12th , that is a self-driving vehicle and a work device connected to it 14th includes, performs an operation. On the field 10 were plants during a previous work step 16 sown or planted. The plants 16 are grown in a rectangular pattern as shown, or in any other pattern such as a hexagonal or diamond pattern, or cover the field without a regular pattern, such as when sown with a seed drill. The plants can be sown or planted in any meaningful way based on a receiver for a positioning system (GNSS, e.g. GPS) or using local sensors on the sowing or planting vehicle.

Das Fahrzeug 12 ist ein Traktor 18 mit einem Fahrgestell 20 oder Rahmen, das oder der auf im Bodeneingriff befindlichen Mitteln in der Form lenkbarer Vorderräder 26 und angetriebener Hinterräder 28 auf dem Erdboden abgestützt ist. Das Fahrzeug 12 umfasst zudem eine Bedienerkabine 24 und einen Motor 61 zum Antreiben der Hinterräder 28 und optional der Vorderräder 26 und einer Zapfwelle (nicht gezeigt).The vehicle 12th is a tractor 18th with a chassis 20th or frame, on ground engaging means in the form of steerable front wheels 26th and driven rear wheels 28 is supported on the ground. The vehicle 12th also includes an operator's cabin 24 and an engine 61 to drive the rear wheels 28 and optionally the front wheels 26th and a PTO shaft (not shown).

Das Arbeitsgerät 14 umfasst einen Querträger 36, welcher eine Anzahl an Reiheneinheiten 22 abstützt, die seitlich nebeneinander über die Länge des Querträgers 36 verteilt sind. Die Reiheneinheiten 22 umfassen Werkzeuge 88 (z.B. Hacken oder Gänsefußschare zum Entfernen von Unkraut vom Boden des Feldes zwischen den Reihen der Pflanzen 16 oder beliebige andere Werkzeuge zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs, wie Säen, Düngen, Spritzen, Ernten etc.).The working device 14th includes a cross member 36 which is a number of row units 22nd supported side by side over the length of the cross member 36 are distributed. The row units 22nd include tools 88 (e.g. hoes or goosefoot shares to remove weeds from the soil of the field between the rows of plants 16 or any other tools for carrying out a plant cultivation process, such as sowing, fertilizing, spraying, harvesting, etc.).

An der Rückseite des Fahrgestells 20 ist eine Dreipunktkupplung 46 mit Unterlenkern 32 und einem Oberlenker 30 befestigt. Die Lenker 30, 32 sind mit ihren rückwärtigen Enden an einem quer verlaufenden Trägerbalken 35 befestigt, der seinerseits durch sich längs erstreckende Träger 34 am Querträger 36 des Arbeitsgeräts 14 angebracht ist. Die Lenker 30 und 32 sind jeweils um vertikale Achsen schwenkbar am Fahrgestell 20 und am Trägerbalken 35 angebracht. Ein Aktor 38 in der Form eines hydraulischen Zylinders ist mit seinem ersten Ende am Fahrgestell 20 und mit seinem zweiten Ende an einem der Unterlenker 32 angelenkt und kann somit den Trägerbalken 35 und somit das gesamte Arbeitsgerät 14 parallelogrammartig in seitlicher Richtung, d.h. horizontal und quer zur Vorwärtsrichtung V, bewegen. Der Aktor 38 wird durch einen Ventilblock 50 kontrolliert, der mit einer elektronischen Fahrzeugsteuereinheit 52 verbunden ist. Die elektronische Fahrzeugsteuereinheit 52 ist eingerichtet, über ein Bussystem 56 (das vorzugweise nach der Norm ISO 11783 arbeitet Kontrollsignale zu erhalten, welches Kontrollanweisungen von einer elektronischen Gerätesteuereinheit 54 an die Fahrzeugsteuereinheit 52 übersendet. Die Gerätesteuereinheit 54 kann somit die seitliche Position des Arbeitsgeräts 14 kontrollieren, wie im Detail in der DE 102016212201 A1 beschrieben wird, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird, wie auch mit Bezug auf die 2 näher erläutert wird. Ein Sensor 86 erfasst den Winkel eines der Unterlenker 32 gegenüber dem Fahrgestell 20 um die vertikale Achse und stellt somit ein Signal hinsichtlich der seitlichen Position des Arbeitsgeräts 14 gegenüber dem Fahrgestell 20 bereit. Es sei angemerkt, dass der Sensor 86 in das Gehäuse des Aktors 38 integriert werden könnte (s. EP 1210854 A1 ). Bei einer anderen Ausführungsform könnten Aktoren 38 zwischen dem Fahrgestell 20 und jedem Unterlenker 32 verwendet werden, mit integrierten oder getrennten Sensoren 86, wobei die Aktoren 38 einfach oder doppelt wirkend sind.At the rear of the chassis 20th is a three-point hitch 46 with lower links 32 and a top link 30th attached. The handlebars 30th , 32 are with their rear ends on a transverse support beam 35 attached, in turn by longitudinally extending beams 34 on the cross member 36 of the implement 14th is appropriate. The handlebars 30th and 32 can be swiveled around vertical axes on the chassis 20th and on the support beam 35 appropriate. One actuator 38 in the form of a hydraulic cylinder is with its first end on the chassis 20th and with its second end on one of the lower links 32 hinged and can thus the support beam 35 and thus the entire work device 14th Move parallelogram-like in the lateral direction, ie horizontally and transversely to the forward direction V. The actuator 38 is through a valve block 50 controlled by an electronic vehicle control unit 52 connected is. The electronic vehicle control unit 52 is set up via a bus system 56 (which preferably works according to the ISO 11783 standard to receive control signals, which control instructions from an electronic device control unit 54 to the vehicle control unit 52 sent. The device control unit 54 can thus change the lateral position of the implement 14th control as detailed in the DE 102016212201 A1 the content of which is incorporated by reference into this document, as well as with reference to the 2 is explained in more detail. One sensor 86 detects the angle of one of the lower links 32 opposite the chassis 20th around the vertical axis and thus provides a signal regarding the lateral position of the implement 14th opposite the chassis 20th ready. It should be noted that the sensor 86 in the housing of the actuator 38 could be integrated (s. EP 1210854 A1 ). In another embodiment, actuators 38 between the chassis 20th and every lower link 32 can be used with integrated or separate sensors 86 , the actuators 38 are single or double acting.

Bei einer anderen möglichen Ausführungsform kann das Arbeitsgerät 14 durch einen so genannten Seitenverschieberahmen mit dem Fahrzeug 12 verbunden sein, der einen Aktor zur seitlichen Positionskontrolle des Arbeitsgeräts 14 verwendet, wie z.B. in EP 2283719 A2 und US 2013/0110358 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Es wäre auch möglich, das Arbeitsgerät 14 auf Rädern abzustützen und es durch eine Deichsel mit einer Kupplung des Fahrzeugs 12 zu verbinden und durch einen Aktor 38 aktiv den Winkel der Deichsel und/oder den Lenkwinkel der Räder des Arbeitsgeräts 14 zu kontrollieren (s. US 2013/0186657 A1 , durch Verweis mit in die vorliegenden Unterlagen aufgenommen.In another possible embodiment, the implement 14th by means of a so-called side shift frame with the vehicle 12th be connected to an actuator for lateral position control of the implement 14th used, e.g. in EP 2283719 A2 and US 2013/0110358 A1 the content of which is included in the present documents by reference. It would also be possible to use the implement 14th on wheels and support it through a drawbar with a coupling of the vehicle 12th to connect and through an actuator 38 active the angle of the drawbar and / or the steering angle of the wheels of the implement 14th to control (s. US 2013/0186657 A1 , incorporated by reference into the present documents.

Somit wird die seitliche Position des Arbeitsgeräts 14 durch die Gerätesteuereinheit 54 kontrolliert, unter Verwendung des Aktors 38. Da das Arbeitsgerät 14 immer in einer seitlichen Position über das Feld 10 bewegt werden sollte, an der die Reiheneinheiten 22 mit den im Bodeneingriff befindlichen Werkzeugen 88 an ihren geeigneten Positionen zwischen den Reihen der Pflanzen 16 angeordnet sind, um den gewünschten landwirtschaftlichen Arbeitsvorgang durchzuführen und Schäden an den Pflanzen zu vermeiden (oder in einer beliebigen, sinnvollen gewünschten Position zur Durchführung eines landwirtschaftlichen Arbeitsvorgangs, wie Säen, Pflanzen, Ernähren, oder Ernten der Pflanzen 16 oder Teilen davon), wird das Arbeitsgerät 14 durch die Gerätesteuereinheit 54 selbsttätig entlang der Reihen der Pflanzen 16 geführt, basierend auf Signalen einer ersten Kamera 60 mit einem Bildverarbeitungssystem 62, einer optionalen zweiten Kamera 60' mit einem Bildverarbeitungssystem 62' und einem optionalen Empfänger 58 zum Empfang eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo. Der Empfänger 58 ist am Querträger 36 des Arbeitsgeräts 12 oder an einer anderen, geeigneten Stelle dort befestigt. Die Bildverarbeitungssysteme 62, 62' könnten auch in die Gerätesteuereinheit 54 integriert werden. Bei einer anderen Ausführungsform könnte die Gerätesteuereinheit 54 auch in die Fahrzeugsteuereinheit 52 integriert werden, oder sie kann den Aktor 38 direkt (nicht über die Fahrzeugsteuereinheit 52) ansteuern.Thus, the lateral position of the implement 14th through the device control unit 54 controlled, using the actuator 38 . Because the implement 14th always in a sideways position across the field 10 should be moved to the row units 22nd with the tools in contact with the ground 88 in their appropriate positions between the rows of plants 16 are arranged to carry out the desired agricultural operation and avoid damage to the plants (or in any meaningful desired position for carrying out an agricultural operation, such as sowing, planting, feeding, or harvesting the plants 16 or parts thereof), the implement becomes 14th through the device control unit 54 automatically along the rows of plants 16 based on signals from a first camera 60 with an image processing system 62 , an optional second camera 60 ' with an image processing system 62 ' and an optional receiver 58 for receiving a satellite-based positioning system such as GPS, Glonass, or Galileo. The recipient 58 is on the cross member 36 of the implement 12th or attached to another suitable place there. The image processing systems 62 , 62 ' could also be in the device control unit 54 to get integrated. In another embodiment, the device control unit could 54 also in the vehicle control unit 52 be integrated, or it can be the actuator 38 directly (not via the vehicle control unit 52 ).

Die Kameras 60, 60' sind am Querträger 36 des Arbeitsgeräts 14 befestigt und blicken auf das Feld 10 vor dem Arbeitsgerät 14. Die Bildverarbeitungssysteme 62, 62' extrahieren aus den Bildern die relative Position der Reihen der Pflanzen 16 gegenüber der Kamera 60, 60' und vergleichen diese Position mit einer im Vorab abgespeicherten oder programmierten, gewünschten Sollposition der Pflanzen 16 gegenüber der Kamera 60, 60' oder umgekehrt. Somit wird der Gerätesteuereinheit 54 ein erstes Signal bereitgestellt, das eine mögliche Abweichung zwischen der aktuellen seitlichen Position und der gewünschten seitlichen Position des Arbeitsgeräts 14 anzeigt. Die Signale der Bildverarbeitungssysteme 62, 62' können durch Signale des Empfängers 58 verbessert oder (insbesondere, wenn die Reiheneinheiten 22 Säeinheiten mit Furchenöffnern mit im Bodeneingriff befindlichen Werkzeugen 88 sind) ersetzt werden, unter Verwendung einer im Vorab abgespeicherten Karte mit der aktuellen oder gewünschten Position der Pflanzen 16 (oder von deren Reihen) als Referenz. Das Fusionieren der Signale der Bildverarbeitungssysteme 62, 62' und des Empfängers 58 kann auf der relativen Qualität der Signale basieren.The cameras 60 , 60 ' are on the cross member 36 of the implement 14th attached and overlook the field 10 in front of the implement 14th . The image processing systems 62 , 62 ' extract the relative position of the rows of plants from the images 16 opposite the camera 60 , 60 ' and compare this position with a previously stored or programmed, desired target position of the plants 16 opposite the camera 60 , 60 ' or the other way around. Thus becomes the device control unit 54 a first signal is provided which indicates a possible discrepancy between the current lateral position and the desired lateral position of the implement 14th indicates. The signals from the image processing systems 62 , 62 ' can by signals from the receiver 58 improved or (especially if the row units 22nd Seeding units with furrow openers with tools in contact with the ground 88 are) replaced using a pre-stored map with the current or desired position of the plants 16 (or from their ranks) for reference. The merging of the signals from the image processing systems 62 , 62 ' and the recipient 58 can be based on the relative quality of the signals.

Demnach kontrolliert die Gerätesteuereinheit 54 den Aktor 38, um das Arbeitsgerät 14 mit seinen Reiheneinheiten 22 basierend auf dem ersten Signal entlang eines gewünschten Wegs zu führen. Bei der gezeigten Ausführungsform wird dieser gewünschte Weg durch die Position der Pflanzen 16 auf dem Feld vorgegeben und der Aktor 38 wird durch die Gerätesteuereinheit 54 (unter Verwendung geeigneter Software) basierend auf den Signalen der Kamera 60 und optional 60' derart gelenkt, dass die Reiheneinheiten 22 sich zwischen den Pflanzen 16 (entsprechend der von den Kameras 60, 60' detektierten Position der Pflanzen 16) bewegen. Der gewünschte Weg kann alternativ oder zusätzlich in einem Speicher der Gerätesteuereinheit 54 im Vorab abgespeichert sein und der Aktor 38 basierend auf dem gewünschten Weg kontrolliert werden. Beide Optionen und ihre Kombination sind im Wesentlichen in der US 2002/0193928 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Eine Ausführungsform einer seitlichen Führung des Arbeitsgeräts 14 basierend auf Kameras 60, 60' und einem Empfänger 58 wird zudem detaillierter in EP 2910098 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.The device control unit controls accordingly 54 the actuator 38 to the implement 14th with its row units 22nd based on the first signal along a desired path. In the embodiment shown, this desired path is determined by the position of the plants 16 specified on the field and the actuator 38 is controlled by the device control unit 54 (using suitable software) based on the signals from the camera 60 and optionally 60 'steered such that the row units 22nd between the plants 16 (according to that of the cameras 60 , 60 ' detected position of the plants 16 ) move. The desired route can alternatively or additionally be stored in a memory of the device control unit 54 be saved in advance and the actuator 38 controlled based on the desired route. Both options and their combination are essentially in the US 2002/0193928 A1 the content of which is included in the present documents by reference. One embodiment of a lateral guide of the implement 14th based on cameras 60 , 60 ' and a recipient 58 is also detailed in EP 2910098 A1 the content of which is included in the present documents by reference.

Die Vorderräder 26 des Fahrzeugs 12 werden durch einen in der Kabine 18 sitzenden Bediener oder in der Weise selbsttätig gelenkt, dass die Fahrzeugsteuereinheit 52 einen Lenkaktor 64 kontrolliert, der den Lenkwinkel der Vorderräder 26 basierend auf Signalen eines Positionsbestimmungssystems mit einem Empfänger 48 zum Empfang von Signalen eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo, unter Verwendung einer im Vorab abgespeicherten Karte, die Daten hinsichtlich der Orte der Pflanzen 16 oder eines Wegs (Fahrgasse) zur Überfahrung des Felds als Referenz verwendet, wobei ein Lenkwinkelsensor 94 Rückkopplungswerte bereitstellen kann. Der Empfänger 48, der optional ein Trägheitsnavigationssystem, wie in EP 1475609 A2 beschrieben, umfassen kann, ist auf dem Dach der Kabine 24 befestigt. Alternativ oder zusätzlich kann das Fahrzeug 12 basierend auf einer Kamera (nicht gezeigt) gelenkt werden, die am Fahrzeug 12 befestigt und mit einem Bildverarbeitungssystem verbunden ist, das die Reihen der Pflanzen 16 vor dem Fahrzeug 12 erfasst. Es sei auch angemerkt, dass im Falle eines auf Raupenlaufwerken basierenden Fahrzeugs 12 dessen Lenkwinkel durch Geschwindigkeitsdifferenzen der Raupenlaufwerke auf beiden Seiten des Fahrzeugs 12 beeinflusst werden könnte, und dass im Falle einer Knicklenkung ein Aktor den Lenkwinkel des Fahrzeugs 12 durch ein Drehen des vorderen und rückwärtigen Teils des Fahrzeugs 12 um eine vertikale Verbindungsachse kontrollieren würde.The front wheels 26th of the vehicle 12th be by one in the cabin 18th seated operator or automatically steered in such a way that the vehicle control unit 52 a steering actuator 64 controls the steering angle of the front wheels 26th based on signals from a positioning system with a receiver 48 for receiving signals from a satellite-based positioning system, such as GPS, Glonass, or Galileo, using a map stored in advance, the data relating to the locations of the plants 16 or a path (tramline) for driving over the field is used as a reference, with a steering angle sensor 94 Can provide feedback values. The recipient 48 , which optionally includes an inertial navigation system, as in EP 1475609 A2 described, may include, is on the roof of the cabin 24 attached. Alternatively or additionally, the vehicle 12th based on a camera (not shown) on the vehicle 12th attached and connected to an image processing system that controls the rows of plants 16 in front of the vehicle 12th detected. It should also be noted that in the case of a crawler-based vehicle 12th its steering angle due to the speed differences between the crawler tracks on both sides of the vehicle 12th could be influenced, and that in the case of articulated steering, an actuator controls the steering angle of the vehicle 12th by rotating the front and rear of the vehicle 12th around a vertical connecting axis.

Die ordnungsgemäße Funktion der selbsttätigen Lenkung des Fahrzeugs 12 und/oder Arbeitsgeräts 14 entlang ihrer Sollwege beruht, jedenfalls insofern sie auch nur zum Teil auf einer der Kameras 60, 60' zur Seitenverstellung des Arbeitsgeräts 14 mittels des Aktors 38 bzw. einer Kamera zur Lenkung des Fahrzeugs 12 aufbaut, darauf, dass das Bildverarbeitungssystem 62 bzw. 62' (oder das in der 1 nicht gezeigte Bildverarbeitungssystem der nicht gezeigten Kamera zur Lenkung des Fahrzeugs 12) die Reihen der Pflanzen 16 oder andere physische, im Signal der Kamera 60, 60' detektierbare, in Vorwärtsrichtung aufeinander folgende bzw. sich in Vorwärtsrichtung erstreckende Merkmale, wie Fahrspuren oder Zwischenräume zwischen den Pflanzen 16 korrekt erkennt. Diese Merkmale sind in der Praxis nicht notwendigerweise auf einer Geraden angeordnet (wie in 3 gezeigt), sondern können auf Kurven verlaufen (wie in der 4 gezeigt), beispielsweise wenn die äußeren Konturen des Felds 10 gekrümmt sind oder auf dem Feld 10 zu umfahrende Hindernisse, wie Bäume oder Strommasten stehen.The proper functioning of the automatic steering of the vehicle 12th and / or implement 14th along its target path, at least insofar as it is only partially based on one of the cameras 60 , 60 ' for lateral adjustment of the implement 14th by means of the actuator 38 or a camera for steering the vehicle 12th builds on the image processing system 62 or. 62 ' (or that in the 1 Image processing system, not shown, of the camera, not shown, for steering the vehicle 12th ) the rows of plants 16 or other physical, in the signal of the camera 60 , 60 ' detectable features following one another in the forward direction or extending in the forward direction, such as lanes or spaces between the plants 16 correctly recognizes. In practice, these features are not necessarily arranged in a straight line (as in 3 shown), but can run on curves (as in the 4th shown), for example when the outer contours of the field 10 are curved or in the field 10 obstacles to be avoided, such as trees or electricity pylons.

Um auch bei gekrümmt verlaufenden Merkmalen eine optimale Lenkgenauigkeit zu erzielen, geht das Bildverarbeitungssystem 62 bzw. 62' (und/oder das in der 1 nicht gezeigte Bildverarbeitungssystem der nicht gezeigten Kamera zur Lenkung des Fahrzeugs 12, das im Folgenden, auch ohne explizite Erwähnung, ebenfalls gemeint ist) nach dem in der 2 gezeigten Flussdiagramm vor.The image processing system works in order to achieve optimal steering accuracy even with curved features 62 or. 62 ' (and / or that in the 1 Image processing system, not shown, of the camera, not shown, for steering the vehicle 12th , which is also meant in the following, even without explicit mention) after the in the 2 shown flowchart.

Nach dem Start im Schritt 100 folgt der Schritt 102, in dem das Bildverarbeitungssystem 62, 62' ein Signal hinsichtlich der Krümmung der aktuell vom Fahrzeug 12 befahrenen oder (bei Abfahren eines im vorab geplanten Wegs des Fahrzeugs 12 in unmittelbarer Zukunft zu befahrenen Wegs von einem Bahnkrümmungswinkelbestimmungssystem erhält. Das Bahnkrümmungswinkelbestimmungssystem kann demnach mit dem Lenkwinkelsensor 94 verbunden sein, oder mit dem GNSS-Empfänger 48 des Fahrzeugs 12 oder dem GNSS-Empfänger 58 des Arbeitsgeräts 14 oder einem Trägheitsnavigationssystem oder Kreisel oder Kompass eines oder beider der Empfänger 48, 58 oder einer beliebigen Kombination hieraus. Das Bildverarbeitungssystem 62, 62' erhält demnach eine Information hinsichtlich der Krümmung (Radius und Richtung) des aktuell befahrenen Wegs des Fahrzeugs, insbesondere hinsichtlich der Krümmung auf jenem Abschnitt der vor der Kamera 60, 60' liegenden Strecke des Fahrzeugs 12 bzw. Arbeitsgeräts 14, der gerade von der Kamera 60, 60' erfasst wird, wie in den 3 und 4 gezeigt.After starting in step 100 the step follows 102 , in which the image processing system 62 , 62 ' a signal regarding the curvature of the current vehicle 12th traveled or (when driving a route planned in advance by the vehicle 12th receives in the immediate future to be traveled path from a path curvature angle determination system. The path curvature angle determination system can accordingly use the steering angle sensor 94 connected, or to the GNSS receiver 48 of the vehicle 12th or the GNSS receiver 58 of the implement 14th or an inertial navigation system or gyro or compass of either or both of the receivers 48 , 58 or any combination thereof. The image processing system 62 , 62 ' accordingly receives information regarding the curvature (radius and direction) of the currently traveled path of the vehicle, in particular with regard to the curvature on that section of the front of the camera 60 , 60 ' lying distance of the vehicle 12th or working device 14th who just got off the camera 60 , 60 ' is recorded, as in the 3 and 4th shown.

Im Schritt 104 wird abgefragt, ob der Weg gerade ist. Falls ja, folgt der Schritt 106 und anderenfalls der Schritt 110. Im Schritt 106 erkennt das Bildverarbeitungssystem 62, 62' vorrangig gerade Merkmale im Bild und im Schritt 110 vorrangig gekrümmte Merkmale. Anhand der erkannten Merkmale wird im Schritt 108 dann das Lenksignal erzeugt.In step 104 you will be asked whether the path is straight. If so, the step follows 106 and otherwise the step 110 . In step 106 recognizes the image processing system 62 , 62 ' primarily straight features in the picture and in the crotch 110 predominantly curved features. Based on the recognized features, step 108 then the steering signal is generated.

Im Schritt 106 liegt somit eine Situation vor, wie sie in der 3 gezeigt ist. Die vom Bildverarbeitungssystem 62, 62' erfassten Merkmale, nämlich die Pflanzen 16 der vor der Kamera 60 liegenden Reihen, sind (anhand des Signals des Bahnkrümmungswinkelbestimmungssystems) erwartungsgemäß in einer Geraden angeordnet. Das Bildverarbeitungssystem 60 legt sensitive Bereiche 112, 114, in denen es Pflanzen 16 erwartet, somit in geradlinig verlaufend an. Es erzeugt das Lenksignal in diesem Fall basierend auf den in den Bereichen 112, 114 erkannten Pflanzen 16, die es als Istwerte für die tatsächliche Lage der Pflanzen 16 ansieht, und einem abzufahrenden Sollweg 116, der auf einer geraden Mittellinie zwischen den detektierten Reihen der Pflanzen 16 in den Bereichen 112, 114 liegt. Der Sollweg wird mithilfe der erfassten Bahnkrümmung, die in der 3 nicht vorhanden ist, auf die Position der Kamera 60, 60' extrapoliert und das Lenksignal hängt davon ab, ob der auf die Position der Kamera 60, 60' extrapolierte Sollweg von seiner Normallage, in der er sich beispielsweise in der Mitte des Bildes befindet, abweicht. Hierzu sei vorsorglich auf die Offenbarung der US-Patentanmeldung 62/796756 vom 25.1.2019 verwiesen, die durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.In step 106 there is thus a situation like that in the 3 is shown. The one from the image processing system 62 , 62 ' recorded characteristics, namely the plants 16 the one in front of the camera 60 lying rows are, as expected, arranged in a straight line (based on the signal from the trajectory angle determination system). The image processing system 60 defines sensitive areas 112 , 114 in which there are plants 16 expected, thus running in a straight line. It generates the steering signal in this case based on the in the areas 112 , 114 recognized plants 16 it as actual values for the actual location of the plants 16 looks at, and a target path to be traveled 116 that is on a straight center line between the detected rows of plants 16 in the fields of 112 , 114 lies. The target path is calculated using the recorded curvature, which is in the 3 does not exist on the position of the camera 60 , 60 ' extrapolated and the steering signal depends on the position of the camera 60 , 60 ' The extrapolated target path deviates from its normal position, in which it is, for example, in the center of the image. As a precautionary measure, refer to the disclosure of U.S. Patent Application 62/796756 of January 25, 2019, which is included in the present documents by reference.

Im Schritt 110 liegt hingegen eine Situation vor, wie sie in der 4 gezeigt ist. Die vom Bildverarbeitungssystem 62, 62' erfassten Merkmale, nämlich die Pflanzen 16 der vor der Kamera 60 liegenden Reihen, sind (anhand des Signals des Bahnkrümmungswinkelbestimmungssystems) erwartungsgemäß in einer Kurve angeordnet, die eine Krümmung nach rechts und einen bestimmten Radius aufweist. Das Bildverarbeitungssystem 60 legt sensitive Bereiche 118, 120, in denen es Pflanzen 16 erwartet, somit in einer mit dem Radius nach rechts verlaufenden Kurve an. Es erzeugt das Lenksignal in diesem Fall basierend auf den in den Bereichen 118, 120 erkannten Pflanzen 16, die es als Istwerte für die tatsächliche Lage der Pflanzen 16 ansieht, und einem abzufahrenden Sollweg, der auf einer mit dem Radius nach rechts verlaufenden Kurve 122 auf einer Mittellinie zwischen den Reihen der Pflanzen 16 in den Bereichen 118, 120 liegt. Der Sollweg wird auch hier mithilfe der erfassten Bahnkrümmung, die in der 4 nach rechts gerichtet ist, auf die Position der Kamera 60, 60' extrapoliert und das Lenksignal hängt davon ab, ob der auf die Position der Kamera 60, 60' extrapolierte Sollweg von seiner Normallage, in der er sich beispielsweise in der Mitte des Bildes befindet, abweicht.In step 110 on the other hand, if there is a situation like that in 4th is shown. The one from the image processing system 62 , 62 ' recorded characteristics, namely the plants 16 the one in front of the camera 60 lying rows, are (based on the signal of the trajectory curvature angle determination system) arranged in a curve, as expected, which has a curvature to the right and a certain radius. The image processing system 60 defines sensitive areas 118 , 120 in which there are plants 16 expected, thus in a curve running to the right with the radius. It generates the steering signal in this case based on the in the areas 118 , 120 recognized plants 16 it as actual values for the actual location of the plants 16 looks at, and a target path to be traveled, which is on a curve running to the right with the radius 122 on a center line between rows of plants 16 in the fields of 118 , 120 lies. The target path is also determined here with the help of the recorded path curvature, which is in the 4th pointing to the right, to the position of the camera 60 , 60 ' extrapolated and the steering signal depends on the position of the camera 60 , 60 ' The extrapolated target path deviates from its normal position, in which it is, for example, in the center of the image.

Nach alledem erhält das Bildverarbeitungssystem 62, 62' vom Bahnkrümmungswinkelbestimmungssystems ein Signal, nach dem es einen Algorithmus zur Erkennung der in Vorwärtsrichtung aufeinander folgenden oder sich in Vorwärtsrichtung erstreckenden Merkmale auf dem Feld feinabstimmen oder auswählen kann. Bei einer möglichen Ausführungsform kann dabei eine Wichtung der identifizierten Merkmale von der Nähe zu einer gekrümmten oder geraden Kurve in den sensitiven Bereichen 112, 114, 118, 120 abhängig von der Nähe zu einer gekrümmten Linie, welche die Längsmittelachse des jeweiligen Bereichs definiert, erfolgen. Je näher das Merkmal an der Linie ist, umso höher kann es gewichtet und im so höheren Maße zur Erzeugung des Lenksignals herangezogen werden, wie es an sich aus der WO 2008/150418 A1 bekannt ist, deren Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.After all of this, the image processing system receives 62 , 62 ' a signal from the curvature angle determination system that allows it to fine-tune or select an algorithm to identify the forward-facing or forward-extending features on the field. In one possible embodiment, the identified features can be weighted from the proximity to a curved or straight curve in the sensitive areas 112 , 114 , 118 , 120 depending on the proximity to a curved line which defines the longitudinal center axis of the respective area. The closer the feature is to the line, the higher it can be weighted and the greater the extent to which it can be used to generate the steering signal as it is from the WO 2008/150418 A1 is known, the disclosure of which is incorporated into the present documents by reference.

BezugszeichenlisteList of reference symbols

100100
Startbegin
102102
Bahnkrümmung erfassenCapture the curvature of the path
104104
gerade?straight?
106106
Erkenne auf Gerade liegende MerkmaleRecognize straight lines
108108
Erkenne auf Kurve liegende MerkmaleRecognize features lying on a curve
110110
LenksignalSteering signal

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • EP 0856453 A2 [0002]EP 0856453 A2 [0002]
  • DE 19743884 A1 [0002]DE 19743884 A1 [0002]
  • DE 10351861 A1 [0002]DE 10351861 A1 [0002]
  • US 8706341 B2 [0002]US 8706341 B2 [0002]
  • EP 2283719 A2 [0003, 0025]EP 2283719 A2 [0003, 0025]
  • US 2013/0110358 A1 [0003, 0025]US 2013/0110358 A1 [0003, 0025]
  • DE 1020015009889 A1 [0003]DE 1020015009889 A1 [0003]
  • US 6385515 B1 [0004]US 6385515 B1 [0004]
  • US 9002566 B2 [0005]US 9002566 B2 [0005]
  • DE 102016212201 A1 [0024]DE 102016212201 A1 [0024]
  • EP 1210854 A1 [0024]EP 1210854 A1 [0024]
  • US 2013/0186657 A1 [0025]US 2013/0186657 A1 [0025]
  • US 2002/0193928 A1 [0028]US 2002/0193928 A1 [0028]
  • EP 2910098 A1 [0028]EP 2910098 A1 [0028]
  • EP 1475609 A2 [0029]EP 1475609 A2 [0029]
  • US 62796756 [0034]US 62796756 [0034]
  • WO 2008/150418 A1 [0036]WO 2008/150418 A1 [0036]

Zitierte Nicht-PatentliteraturNon-patent literature cited

  • V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 [0006]V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 [0006]

Claims (10)

System zur selbsttätigen Lenkung eines Fahrzeugs (12) und/oder eines damit verbundenen Arbeitsgeräts (14) zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld (10), umfassend: ein Bahnkrümmungsbestimmungssystem, das eingerichtet ist, ein Signal hinsichtlich der Krümmung der vom Fahrzeug (12) und/oder dem Arbeitsgerät (14) befahrenen Bahn abzugeben, und eine Kamera (60, 60'), die mit einem Bildverarbeitungssystem (62, 62') verbunden ist, das programmiert ist, anhand des Bildsignals der Kamera (60, 60') in Vorwärtsrichtung aufeinander folgende oder sich in Vorwärtsrichtung erstreckende Merkmale auf dem Feld (10) zu erkennen, an denen das Fahrzeug (12) und/oder das Arbeitsgerät (14) entlang zu lenken ist, wobei das zur Erzeugung eines Lenksignals für das Fahrzeug (12) und/oder das Arbeitsgerät (14) eingerichtete Bildverarbeitungssystem (62, 62') signalübertragend mit dem Bahnkrümmungsbestimmungssystem verbunden und programmiert ist, im Fall, (a) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs (12) und/oder Arbeitsgeräts (14) gerade ist, beim Verarbeiten des Bildsignals der Kamera (60, 60') davon auszugehen, dass die Merkmale auf einer geraden Reihe angeordnet sind und im Fall, (b) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs (12) und/oder Arbeitsgeräts (14) gekrümmt ist, beim Verarbeiten des Bildsignals der Kamera (60, 60') davon auszugehen, dass die Merkmale auf einer gekrümmten Linie angeordnet sind.System for the automatic steering of a vehicle (12) and / or a working device (14) connected to it for carrying out a plant cultivation process in a field (10), comprising: a path curvature determination system which is set up to emit a signal with regard to the curvature of the path traveled by the vehicle (12) and / or the implement (14), and a camera (60, 60 ') connected to an image processing system (62, 62') which is programmed to use the image signal of the camera (60, 60 ') to identify features on the field which are consecutive or extending in the forward direction (10) can be seen along which the vehicle (12) and / or the implement (14) is to be steered, wherein the image processing system (62, 62 ') set up to generate a steering signal for the vehicle (12) and / or the work device (14) is connected and programmed to transmit signals to the path curvature determination system, in the event (a) that the signal of the path curvature determination system indicates, that the path of the vehicle (12) and / or working device (14) is straight, when processing the image signal of the camera (60, 60 ') it is assumed that the features are arranged on a straight row and in the case (b) that the signal of the path curvature determination system indicates that the path of the vehicle (12) and / or implement (14) is curved, when processing the image signal of the camera (60, 60 ') it can be assumed that the features are arranged on a curved line. System nach Anspruch 1, wobei das Bahnkrümmungsbestimmungssystem einen GNSS-Empfänger (48, 58) und/oder ein Trägheitsnavigationssystem und/oder einen Lenkwinkelsensor (94) umfasst.System according to Claim 1 , wherein the orbit curvature determination system comprises a GNSS receiver (48, 58) and / or an inertial navigation system and / or a steering angle sensor (94). System nach einem der Ansprüche 1 oder 2, wobei das Bildverarbeitungssystem (62, 62') programmiert ist, das Lenksignal anhand einer Sollweginformation zu erzeugen, die im Fall (a) gerade und im Fall (b) gekrümmt ist.System according to one of the Claims 1 or 2 , wherein the image processing system (62, 62 ') is programmed to generate the steering signal on the basis of a target path information which is straight in case (a) and curved in case (b). System nach einem der Ansprüche 1 bis 3, wobei die Merkmale Pflanzenreihen und/oder Fahrspuren darstellen.System according to one of the Claims 1 to 3 , whereby the features represent rows of plants and / or lanes. System nach Anspruch 4, wenn rückbezogen auf Anspruch 3, wobei die Sollweginformation eine zwischen benachbarten Pflanzenreihen oder Fahrspuren liegende Mitte oder eine Pflanzenreihe oder Fahrspur repräsentiert.System according to Claim 4 when referring back to Claim 3 , wherein the target path information represents a center lying between adjacent rows of plants or lanes or a row of plants or lanes. System nach einem der vorhergehenden Ansprüche, wobei das Bildverarbeitungssystem (62, 62') programmiert ist, im Fall (b) beim Verarbeiten des Bildsignals der Kamera (60, 60') davon auszugehen, dass die Linie entsprechend eines vom Bahnkrümmungsbestimmungssystem signalisierten Radius gekrümmt ist.System according to one of the preceding claims, wherein the image processing system (62, 62 ') is programmed to assume in case (b) when processing the image signal of the camera (60, 60') that the line is curved according to a radius signaled by the path curvature determination system . System nach einem der vorhergehenden Ansprüche, wobei Bildverarbeitungssystem (62, 62') programmiert ist, ein im Bild identifiziertes Merkmal mit einer höheren Wichtung in die Berechnung des Lenksignals aufzunehmen, je näher es an der geraden oder gekrümmten Linie liegt.System according to one of the preceding claims, wherein the image processing system (62, 62 ') is programmed to include a feature identified in the image with a higher weighting in the calculation of the steering signal the closer it is to the straight or curved line. System nach einem der vorhergehenden Ansprüche, wobei das Arbeitsgerät (14) gegenüber dem Fahrzeug (12) durch einen vom Bildverarbeitungssystem (62, 62') kontrollierten Aktor (38) seitlich beweglich ist.System according to one of the preceding claims, wherein the working device (14) can be moved laterally in relation to the vehicle (12) by an actuator (38) controlled by the image processing system (62, 62 '). System nach Anspruch 8, wobei die Kamera (60, 60') am Arbeitsgerät (14) angeordnet ist.System according to Claim 8 , wherein the camera (60, 60 ') is arranged on the working device (14). Kombination aus einem Fahrzeug (12), einem Arbeitsgerät (14) und einem System nach einem der vorhergehenden Ansprüche.Combination of a vehicle (12), an implement (14) and a system according to one of the preceding claims.
DE102019203651.1A 2019-03-18 2019-03-18 System for the automatic steering of a vehicle Pending DE102019203651A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019203651.1A DE102019203651A1 (en) 2019-03-18 2019-03-18 System for the automatic steering of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019203651.1A DE102019203651A1 (en) 2019-03-18 2019-03-18 System for the automatic steering of a vehicle

Publications (1)

Publication Number Publication Date
DE102019203651A1 true DE102019203651A1 (en) 2020-09-24

Family

ID=72334314

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019203651.1A Pending DE102019203651A1 (en) 2019-03-18 2019-03-18 System for the automatic steering of a vehicle

Country Status (1)

Country Link
DE (1) DE102019203651A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022129533A1 (en) 2021-12-01 2023-06-01 Wiedenmann Gmbh Device and method for lawn care with track detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022129533A1 (en) 2021-12-01 2023-06-01 Wiedenmann Gmbh Device and method for lawn care with track detection

Similar Documents

Publication Publication Date Title
EP3772879B1 (en) Autonomous agricultural carrier vehicle
EP3141096B1 (en) Method for the application of seed particles or plants on a field and a corresponding machine
DE10129135B4 (en) Device for determining the position of an agricultural work vehicle and an agricultural work vehicle with this
DE102017217391A1 (en) Agricultural work vehicle
EP1762129A1 (en) Steering system for a vehicle
EP2636292A1 (en) Assembly and method for the precision sowing of seed grains
EP3685647B1 (en) System and method for controlling an implement connected to a vehicle
DE102012201333A1 (en) Agricultural machine with a system for the automatic setting of an operating parameter and associated method
EP3756433B1 (en) System for controlling a working implement connected to a vehicle
EP1266553A2 (en) Agricultural working vehicle automatic steering device
EP3305052A1 (en) Control assembly, tractor with a control assembly and method for a control assembly
DE102006055858A1 (en) Method and arrangement for controlling a vehicle
EP2283719A2 (en) Assembly for attaching a laterally adjustable agricultural tool to a vehicle
DE102011085244A1 (en) Arrangement for the automatic steering of a combination of a self-propelled vehicle and a device for fieldwork
EP3934406B1 (en) Agricultural tool for working soil
DE102019111317A1 (en) Autonomous agricultural work machine and method of operating it
DE102019114866A1 (en) Control system and method for operating an agricultural work machine and agricultural work machine
DE102019203651A1 (en) System for the automatic steering of a vehicle
EP4085741A1 (en) Steering method for an agricultural machine
DE102019203648A1 (en) System for the automatic steering of a vehicle
DE102018213644A1 (en) Control device for a working machine that can be moved by wheels, in particular agricultural working machine, for acting on plants and method for control
DE102017011747A1 (en) Tillage system
DE4025737A1 (en) Furrow following guidance of agricultural appliance - correcting for deviations from track followed by towing tractor driver and detected by sensor on carrier
DE102019202852A1 (en) System and method for controlling an implement
DE102021129248A1 (en) Agricultural utility vehicle with improved steering