DE102018203238A1 - Method for calibrating and operating an electronic-hydraulic hoist of an agricultural machine - Google Patents

Abstract

Die Erfindung betrifft Verfahren und Systeme zur Kalibrierung und zum Betrieb einer Landmaschine mit einem Anbaugerät an einem Hubwerk, welches zumindest folgende Schritte umfasst:
a) Empfangen von Kameradaten von einer Kamera bzw. Kamerasystem zur Bereitstellung von dreidimensionalen Bilddaten, welche eine Blickrichtung auf das Anbaugerät und den das Anbaugerät umgebenden Boden aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen,
b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät oder dem das Anbaugerät umgebenden Boden zugeordnet werden,
c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes oder der Landmaschine zu bestimmen,
d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine.

The invention relates to methods and systems for calibrating and operating an agricultural machine with an attachment to a hoist, which comprises at least the following steps:
a) receiving camera data from a camera or camera system for providing three-dimensional image data, which has a viewing direction on the attachment and the ground surrounding the attachment, wherein the camera data comprises a plurality of camera images recorded sequentially in time,
b) evaluation of the camera data, whereby pixels in the camera data are assigned either to the attachment or to the ground surrounding the attachment,
c) using the associated pixels to determine at least at least one working parameter of the attachment or the agricultural machine,
d) output of the working parameter for controlling at least one component of the agricultural machine.

Description

Moderne Traktoren verfügen über elektrohydraulische Regelsysteme (EHR-Systeme) für deren Hubwerke. Die Aufgabe dieser Systeme ist es, das Hubwerk in einer dem Anbaugerät und dem Arbeitsprozess angepassten Art und Weise zu regeln sowie den Transportbetrieb durch eine Schwingungskompensation sicherer und komfortabler zu machen. Diese Systeme arbeiten heute meist kraftbasiert. Auf dem Markt sind verschiedene Varianten verfügbar, die die Zug- bzw. Tragkraft ermitteln. Häufig werden Kraftmessbolzen eingesetzt, die die Kraft am Unter- oder Oberlenker des Hubwerks direkt messen.Modern tractors have electrohydraulic control systems (EHR systems) for their hoists. The object of these systems is to regulate the hoist in a manner adapted to the attachment and the working process and to make the transport operation by means of vibration compensation safer and more comfortable. These systems today are usually force-based. Various variants are available on the market that determine the tensile or carrying capacity. Frequently, force measuring pins are used, which directly measure the force on the lower or upper link of the hoist.

Es können auch kamerabasierte Hubwerksregelungen eingesetzt werden, bei denen eine Kamera am Traktor installiert ist, die auf den Bereich des Anbaugerätes, je nach Anwendung auf das vordere und/oder hintere Hubwerk, ausgerichtet ist. Das am Hubwerk angebrachte Anbaugerät befindet sich im Sichtfeld der Kamera. Aus den Bildern der Kamera kann die Höhe und Neigung des Anbaugeräts ermittelt und für die Regelung von Unter- und Oberlenker verwendet werden.Camera-based hoist controls can also be used where a camera is mounted on the tractor, which is aligned with the attachment area, depending on the application on the front and / or rear hoist. The attachment attached to the hoist is in the field of view of the camera. From the images of the camera, the height and inclination of the attachment can be determined and used for the control of lower and upper link.

Ausgehend hiervon ist es Aufgabe der hier vorgestellten Erfindung, ein Verfahren zum Betrieb einer Landmaschine mit einem Anbaugerät an einem elektronisch-hydraulischen Hubwerk, ein zugehöriges Kalibrierungsverfahren sowie ein Steuergerät, welches zur Durchführung der beschriebenen Verfahren eingerichtet ist, vorzuschlagen.Based on this, it is an object of the invention presented here to propose a method for operating an agricultural machine with an attachment to an electronic-hydraulic hoist, an associated calibration method and a control device, which is set up to carry out the described method.

Hier beschrieben werden soll ein vorteilhaftes Verfahren zum Betrieb einer Landmaschine sowie ein besonders vorteilhaftes Verfahren zur Kalibrierung einer solchen Landmaschine mit dem Anbaugerät.Described here is an advantageous method for operating an agricultural machine and a particularly advantageous method for calibrating such an agricultural machine with the attachment.

Hierzu trägt ein Verfahren zum Betrieb einer Landmaschine mit einem Anbaugerät an einem Hubwerkbei, das zumindest die folgenden Schritte umfasst:

1. a) Empfangen von Kameradaten von einer Kamera (bzw. einem Kamera-System), mit welcher dreidimensionale Bilddaten erzeugt werden, welche eine Blickrichtung auf das Anbaugerät und den das Anbaugerät umgebenden Boden aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen,
2. b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät oder dem das Anbaugerät umgebenden Boden zugeordnet werden,
3. c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes oder der Landmaschine zu bestimmen,
4. d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine.

A method of operating an agricultural machine with an attachment on a hoist contributes to this, comprising at least the following steps:

1. a) receiving camera data from a camera (or a camera system) with which three-dimensional image data is generated, which has a viewing direction on the attachment and the ground surrounding the attachment, wherein the camera data comprises a plurality of camera images recorded sequentially in time,
2. b) evaluation of the camera data, whereby pixels in the camera data are assigned either to the attachment or to the ground surrounding the attachment,
3. c) using the associated pixels to determine at least at least one working parameter of the attachment or the agricultural machine,
4. d) output of the working parameter for controlling at least one component of the agricultural machine.

Bei einer Landmaschine handelt es sich insbesondere um ein (so genanntes „off-road“) Fahrzeug oder ein mobiles Arbeitsgerät mit eigenem Antrieb. Das Anbaugerät dient insbesondere zur Bodenbearbeitung (Pflügen, Vertikutieren, Graben, Begradigen, Planieren, etc.) und/oder zur Bewirtschaftung einer landwirtschaftlich genutzten Fläche (Säen, Enten, Mähen, Sprühen, etc.). Das Anbaugerät kann (koppelbar) mit der Landmaschine, insbesondere dem Hubwerk, verbunden sein, wobei eine Kupplung vorne und/oder hinten an der Landmaschine angebracht sein kann.An agricultural machine is in particular a so-called "off-road" vehicle or a mobile working device with its own drive. The attachment is used in particular for tillage (plowing, scarifying, digging, straightening, leveling, etc.) and / or for the management of an agricultural area (sowing, ducks, mowing, spraying, etc.). The attachment may be (coupled) connected to the agricultural machine, in particular the hoist, wherein a coupling may be attached to the front and / or rear of the agricultural machine.

Die Landmaschine kann insbesondere ein Traktor und das Anbaugerät kann insbesondere ein Pflug sein, so dass das Verfahren insbesondere hierfür eingerichtet bzw. vorgesehen ist. Soweit nachfolgend die allgemeine oder spezielle Anwendung erläutert wird, kann dies gleichermaßen auf die spezielle bzw. allgemeinere Ausführung übertragen werden (z. B. Mähwerk, Sprühwerk, etc.).The agricultural machine may in particular be a tractor and the attachment may in particular be a plow, so that the method is set up or provided in particular for this purpose. As far as the general or specific application is explained below, this can equally be transferred to the specific or more general embodiment (eg mower, spray unit, etc.).

Der mit Schritt c) bestimmte mindestens eine Arbeitsparameter kann eine Höhe und/oder eine Neigung des Anbaugeräts gegenüber dem Boden sein.The at least one working parameter determined by step c) may be a height and / or an inclination of the attachment relative to the ground.

Der in Schritt d) ausgegebene Ansteuerungsparameter kann zur Ansteuerung einer hydraulischen Regelung des einen Hubwerks zur Regelung der Höhe und/oder der Neigung des Anbaugerätes dienen.The control parameter output in step d) can be used to control a hydraulic control of the one hoist for regulating the height and / or inclination of the attachment.

Das Pflügen ist eine relevante Anwendung eines Traktors. Stark inhomogene und/oder sehr feuchte Böden stellen eine besondere Herausforderung hinsichtlich eines gewünschten Arbeitsergebnisses nach dem Pflügen dar. Eine Möglichkeit, die Einsatzbarkeit eines Traktors stark zu verbessern, ist die sogenannte elektronisch-hydraulische Regelung für das Hubwerk (EHR-Systeme).Plowing is a relevant application of a tractor. Heavily inhomogeneous and / or very humid soils represent a particular challenge with regard to a desired result after plowing. One possibility for greatly improving the usability of a tractor is the so-called electronic-hydraulic control for the hoist (EHR systems).

Durch Lage- und/oder Zugkraftregelung verbessert die elektronisch-hydraulische Hubwerksregelung die Prozess-Effizienz, indem diese verhindert, dass der Traktor stecken bleibt und/oder der zugehörige Verbrennungsmotor (aufgrund überhöhter Last) abgewürgt wird. Durch die elektronisch-hydraulische Hubwerksregelung wird sichergestellt, dass ein Anbaugerät eines Traktors (beispielsweise ein Pflug) immer in der richtigen Höhe für den jeweiligen Betrieb des Traktors positioniert ist. Beispielsweise wird der Widerstand der Bodenerde durch ein Anheben des Pfluges verringert. Um bei stark inhomogenen Böden eine gutes Pflugbild zu erhalten, kann bei heutigem EHR-System entweder vollständig auf die Lage des Pfluges oder im Mischregelungsbetrieb auf Lage und die am Plug bzw. der Landmaschine angreifende Kraft geregelt werden. Die Lage des Pfluges kann durch die Änderung der Höhe variiert werden. Die Zugkraft kann durch zwei Kraftmessbolzen am Unterlenker des Hubwerks oder bei kleineren Traktoren mit einem Kraftmessbolzen am Oberlenker des Hubwerks gemessen werden. Mittels einer Messung der Gesamtkraft werden die Unebenheiten im Boden zwar erkannt und ausgeglichen, jedoch kann für die gleichmäßige Pflugtiefe eine zusätzliche Variation der Neigung erforderlich werden.By controlling the position and / or traction, the electronic-hydraulic hoist control improves process efficiency by preventing the tractor from getting stuck and / or stalling the associated combustion engine (due to excessive load). The electronic-hydraulic hoist control ensures that a tractor attachment (such as a plow) is always positioned at the correct height for the tractor's operation. For example, the resistance of the soil is reduced by lifting the plow. In order to obtain a good plow pattern in strongly inhomogeneous soils, in today's EHR system either completely on the situation be controlled by the plow or mixed control mode on location and the force acting on the plug or the agricultural machine force. The position of the plow can be varied by changing the height. The tensile force can be measured by two force measuring pins on the lower link of the hoist or, in the case of smaller tractors, with a force measuring pin on the upper link of the hoist. By measuring the total force, the unevenness in the soil is indeed recognized and compensated, but may be necessary for the uniform plowing depth an additional variation of the slope.

Das hier beschriebene Verfahren und die hier beschriebenen Vorrichtung ermöglichen es, die Prozessgüte bzw. das Pflugbild während der Bodenbearbeitung zu verbessern. Eine Kamera bzw. ein Kamera-System soll genutzt und ihre Bilder in der Art ausgewertet werden, so dass sowohl auf die absolute Höhe über Boden als auch auf die Neigung des Pfluges relativ zum Boden geschlossen werden kann. Mit diesen Messgrößen kann der die Position des Pfluges dem Bodenprofil besser angeglichen werden, insbesondere durch eine geeignete Ansteuerung des Unterlenkzylinders und/oder des Oberlenkerzylinders eines Hubwerkes.The method described here and the device described here make it possible to improve the quality of the process or the plow pattern during tillage. A camera or a camera system should be used and their images evaluated in the way so that both the absolute height above ground and on the inclination of the plow can be closed relative to the ground. With these parameters, the position of the plow can be better matched to the soil profile, in particular by a suitable control of the lower-link cylinder and / or the upper-link cylinder of a hoist.

Mit dem hier beschriebenen Verfahren kann die Lage des Pfluges insbesondere in der Art angepasst werden, dass die Pfluglage dem Bodenprofil genauer folgt und das Pflugbild sich somit verbessert. Außerdem ist eine Bestimmung der Geschwindigkeit des Traktor-Pflug-Gespanns über Grund möglich. Diese Geschwindigkeit kann zur Berechnung des Schlupfs verwendet werden. Eine ergänzende Schlupfregelung sorgt durch das Ausheben des Pfluges dafür, dass das Durchdrehen der Räder sowie das Abwürgen des Motors bei hohem Widerstand des Erdreichs vermieden werden.With the method described here, the position of the plow can be adapted in particular in such a way that the plow position follows the soil profile more accurately and thus the plow pattern improves. In addition, a determination of the speed of the tractor-plow combination over ground is possible. This speed can be used to calculate the slip. A supplementary slip control ensures by lifting the plow that the spinning of the wheels and the stalling of the engine are avoided with high resistance of the soil.

Bei dem hier beschriebenen Verfahren wird mindestens eine Kamera (bzw. ein Kamera-System) zur Aufnahme des Anbaugerätes und des umgebenden Bodens am Traktor verwendet. Die Kamera gewinnt durch die Aufnahme Kameradaten, aus denen die Lage des Pfluges bzw. Anbaugeräts relativ zum Boden bestimmt werden kann. Kameradaten umfassen alle von der Kamera für das Verfahren bereitgestellten Daten, insbesondere Bilddaten und/oder Videodaten, die mit der Kamera gewonnen werden. Eine Kamera kann eine fototechnische Apparatur sein, die statische oder bewegte Bilder auf ein digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann. Eine hier einzusetzende Stereo-Kamera verfügt über zwei Kameralinsen sowie zwei Bildsensoren und erzeugt aus dem Vergleich der beiden gleichzeitig aufgenommenen Bilder eine dreidimensionale Abbildung. Im Rahmen dieser Erläuterungen kann die im Vergleich zur einfachen Kamera für die Erzeugung zweidimensionale Bilder technisch aufwendigere (Stereo-) Kamera auch als Kamera-System bezeichnet sein.In the method described here at least one camera (or a camera system) is used to hold the implement and the surrounding soil on the tractor. By taking the picture, the camera acquires camera data from which the position of the plow or attachment relative to the ground can be determined. Camera data includes all data provided by the camera for the method, in particular image data and / or video data obtained with the camera. A camera may be a photographic equipment that can record static or moving images on a digital storage medium or transmit via an interface. A stereo camera to be used here has two camera lenses and two image sensors and generates a three-dimensional image from the comparison of the two images taken simultaneously. In the context of these explanations, the technically more complex (stereo) camera compared to the simple camera for the generation of two-dimensional images may also be referred to as a camera system.

Ein EHR-System kann mit den Kameradaten unter Verwendung des hier beschriebenen Verfahrens so angesteuert werden, dass alle im Eingriff mit dem Boden befindlichen Schare eines Pfluges nahezu gleichmäßig dem Bodenprofil folgen und sich somit ein einheitliches und gleichmäßiges Pflugbild ergibt. Außerdem kann die absolute Arbeitstiefe, die der Nutzer über ein geeignetes Interface in der Kabine der Landmaschine einstellen kann, durch eine Regelung eingehalten werden. Gleichzeitig bildet das System die Grundlage für die Automatisierung des Arbeitsprozesses.An EHR system may be controlled with the camera data using the method described herein so that all of the plow-engaging blades of a plow follow the ground profile almost evenly, thus resulting in a consistent and even plow pattern. In addition, the absolute working depth, which the user can set via a suitable interface in the cabin of the agricultural machine, can be maintained by a regulation. At the same time, the system forms the basis for the automation of the work process.

Die Tiefe der Pflug-Scharen kann durch eine Messung der durchschnittlichen Zugkraft am gesamten Pflug ermittelt werden. Die mittlere Zugkraft ist (nur) dann proportional zur Pflugtiefe, wenn die Dichte des Bodens während des Pflugvorgangs gleichbleibt. Ein ungleichmäßiges Pflugbild kann mit dem heutigen EHR so nicht festgestellt werden. Zudem wird mit einem EHR-System, welches anstatt des hier beschriebenen Verfahrens auf die Zugkraft als Eingangsgröße (allein) setzt, die Lage des Pfluges nur relativ zum Traktor und nicht absolut gegenüber dem Bodenprofil bestimmt.The depth of the plowshares can be determined by measuring the average pulling force on the whole plow. The average tractive force is (only) proportional to the plowing depth if the density of the soil during the plowing process remains the same. An uneven plow pattern can not be determined with today's EHR. In addition, with an EHR system which, instead of the method described here, sets the traction force as the input variable (alone), the position of the plow is determined only relative to the tractor and not absolutely opposite the soil profile.

Die Lage des Pfluges kann somit durch eine reine Überwachung der Zugkraft nicht der tatsächlichen Topologie des Bodenprofils angepasst werden. Mit dem hier vorgeschlagenen Ansatz kann ein homogenes Pflugbild erreicht werden, indem die Neigung und die Höhe des Pfluges gegenüber dem Boden gemessen und an das sich ändernde Bodenprofil angepasst werden kann. Parallel kann das Kamerasignal zur Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit genutzt werden. So kann auf den Radarsensor und/oder Kraftmessbolzen verzichtet werden, weil ein Durchdrehen der Räder und/oder ein Abwürgen des Motors alleine durch die überlagerte Regelung des Schlupfes verhindert werden kann.The position of the plow can thus be adjusted by a mere monitoring of the tensile force not the actual topology of the soil profile. With the approach proposed here, a homogeneous plow pattern can be achieved by measuring the slope and height of the plow relative to the ground and adapting it to the changing soil profile. In parallel, the camera signal can be used to determine the actual vehicle speed. Thus, it is possible to dispense with the radar sensor and / or force measuring bolt, because spinning of the wheels and / or stalling of the engine can be prevented solely by the superimposed control of the slip.

Der Kern des Verfahrens ist das Verwenden einer Kamera bzw. eines Kamera-Systems zur Aufnahme des Anbaugerätes und des umgebenden Bodens, sowie eine geeignete Auswertungsprozedur zur Auswertung der Kameradaten (insbesondere eine Bildauswertungsprozedur), welche die Höhe und/oder die Neigung des Pfluges gegenüber dem Boden bestimmt.The core of the method is the use of a camera or a camera system for holding the attachment and the surrounding soil, and a suitable evaluation procedure for evaluating the camera data (in particular an image evaluation procedure), which determines the height and / or inclination of the plow relative to the Soil determined.

Insbesondere sollen damit alle im Eingriff mit dem Boden befindlichen Pflug-Schare nahezu gleichmäßig dem Bodenprofil folgen und sich somit ein einheitliches und gleichmäßiges Pflugbild einstellen.In particular, so that all in engagement with the ground plow coulters should follow almost evenly to the soil profile and thus set a uniform and uniform plow.

Insbesondere kann durch das beschriebene Verfahren auf einen Radarsensor und auch auf die Kraftmessbolzen zur Überwachung der Zugkraft verzichtet werden, weil ein Eingraben der Räder und ein Abwürgen des Motors alleine durch die überlagerte Regelung des Radschlupfes verhindert werden kann, wenn mit Hilfe des beschriebenen Verfahrens jederzeit überwacht wird, wie weit sich Plug-Schare im Eingriff mit dem Boden befinden. Auch die Lage anderer Anbaugeräte relativ zu Boden kann auf die gleiche Art und Weise bestimmt werden.In particular, by the described method to a radar sensor and also on the Force measuring bolts are omitted for monitoring the tensile force, because a burying of the wheels and a stalling of the engine can be prevented solely by the superimposed control of the wheel slip, if monitored by means of the described method at all times, how far plug-shares engaged with the ground are located. The position of other implements relative to the ground can also be determined in the same way.

Das Verfahren bewirkt insbesondere eine Komforterhöhung für den Benutzer der Landmaschine. Eine Erhöhung der Prozessgüte während der Bodenbearbeitung (Arbeitstiefe) durch das Anpassen der Lage des Anbaugeräts (insbesondere des Pflugs) an die vorhandene Topologie des Bodenprofils wird ebenfalls erreicht. Außerdem kann eine Reduzierung der Systemkosten durch Entfallen der kostenintensiven Zugkraftsensoren und des kostenintensiven Radarsensors, der zur Bestimmung der Geschwindigkeit über Grund benötigt wird, erreicht werden.The method causes in particular a comfort increase for the user of the agricultural machine. Increasing the process quality during tillage (working depth) by adjusting the position of the attachment (especially the plow) to the existing topology of the soil profile is also achieved. In addition, a reduction in system cost can be achieved by eliminating the costly draft sensors and the costly radar sensor needed to determine ground speed.

Für das beschriebene Verfahren ist es insbesondere auch möglich, die Funktionalität mit der Funktionalität einer bereits vorhandenen Rückfahrtkamera zu kombinieren. Traktoren können aus Sicherheitsgründen mit einer Rückfahrtkamera ausgestattet sein. Zwar ist die für das hier beschriebene Verfahren bevorzugt verwendete Kamera bzw. Kamera-System regelmäßig teurer als eine reine Rückfahrkamera. Es ist allerdings auch so, dass die für das hier beschriebene Verfahren verwendete Kamera, die Funktion einer Rückfahrkamera mit übernehmen kann.In particular, it is also possible for the method described to combine the functionality with the functionality of an already existing return camera. Tractors can be equipped with a return camera for safety reasons. Although the camera or camera system preferably used for the method described here is regularly more expensive than a pure reversing camera. However, it is also true that the camera used for the method described here can take over the function of a reversing camera.

Besonders bevorzugt werden ein Stereo-Kamera-System und geeignete Bildverarbeitungsalgorithmen verwendet. Es wird ein Bild / eine Bildaufnahme mit einem Stereo-Kamera-System generiert.Particularly preferred are a stereo camera system and suitable image processing algorithms are used. It will generate a picture / image capture with a stereo camera system.

Das Verfahren ist besonders vorteilhaft, wenn die Kameradaten in Schritt a) Abstandsinformationen beinhalten, welche den Abstand der Stereo-Kammer von den in Bilddaten dargestellten Bereichen beschreibt. Eine Abstandsinformation kann beispielsweise in Form einer Pixelbezogenen Z-Komponente oder Z-Richtung in den Kameradaten enthalten sein, die jeweils angibt, wie weit der jeweilige Pixel bzw. das dem Pixel entsprechende sichtbare Element im Blickbereich der Kamera von der Kamera entfernt ist.The method is particularly advantageous if the camera data in step a) include distance information which describes the distance of the stereo chamber from the areas represented in image data. Distance information can be contained, for example, in the form of a pixel-related Z-component or Z-direction in the camera data, which in each case indicates how far the respective pixel or the visible element corresponding to the pixel in the viewing area of the camera is removed from the camera.

Auch ist das Verfahren vorteilhaft, wenn die Zuordnung von Pixeln zu dem Anbaugerät oder dem Boden in Schritt b) anhand der Z-Richtung erfolgt (insbesondere eine Bildauswertungsprozedur).The method is also advantageous if the assignment of pixels to the attachment or the ground in step b) takes place on the basis of the Z direction (in particular an image evaluation procedure).

Darüber hinaus ist das Verfahren vorteilhaft, wenn in Schritt b) eine korrigierte statistische Verteilung zur Zuordnung der Pixel zum Anbaugerät oder zum Boden verwendet wird.In addition, the method is advantageous if in step b) a corrected statistical distribution is used for the assignment of the pixels to the attachment or to the ground.

Es ist (alternativ) möglich, in Schritt a) eine Kamera zur dreidimensionalen bzw. zweieinhalbdimensionalen Bildgebung zu verwenden. Hierfür können beispielhaft Kamerasysteme mit aktiven oder passiven Triangulationsverfahren bspw. Stereo-Kamera, Laufzeitkamerasysteme (Time-Of-Flight), Kamerasysteme mit strukturierter Beleuchtung, Lichtschnittverfahren, Shape-from-Shadding-Verfahren bzw. Phasenschift-Verfahren, etc. verwendet werden.It is (alternatively) possible to use a camera for three-dimensional or two-and-a-half-dimensional imaging in step a). For example, camera systems with active or passive triangulation methods, for example stereo camera, time-of-flight camera systems, structured illumination camera systems, light-slit methods, shape-from-shading methods or phase-shift methods, etc., can be used for this purpose.

Unter Berücksichtigung eines Histogramms der Z-Koordinate können Anbaugerät bzw. Pflug und Boden im Bild separiert werden.Taking into account a histogram of the Z coordinate, the attachment or plow and soil can be separated in the image.

Das (vereinfachte) Grundgerüst eines Anbaugerätes - hier z. B. der zentrale, mittige Balken des Pfluges - hat nach hinten eine nahezu lineare bzw. geradlinige Form. Die Anbauten, wie die Pflug-Scharen, sind meistens symmetrisch angeordnet. Deshalb kann für die Verteilung der Pixel, die den Pflug darstellen bzw. dem Pflug zugehörig sind, eine Gauß-Verteilung angenommen werden. So repräsentiert z_pl den Schwerpunkt des Pfluges. Die Verteilung der Z-Koordinaten des Bodens wird ebenfalls als Gauß-Verteilung angenommen. Dies stimmt zwar nur für den Fall eines ebenen Bodens, reicht jedoch für die Bestimmung der Schwelle z_thr aus. Das genaue Bodenprofil wird anhand der weiter unten beschriebenen Prinzipien bestimmt. Hierfür ist die Art der Verteilung nicht relevant. Dabei wird angenommen, dass z_min das lokale Minimum in einer bimodalen Verteilung der Pixel des Anbaugerätes und der Pixel des Bodens ist.The (simplified) basic framework of an attachment - here z. B. the central, central beam of the plow - has a nearly linear or rectilinear shape to the rear. The attachments, such as the plowshares, are usually arranged symmetrically. Therefore, a Gaussian distribution can be assumed for the distribution of the pixels representing the plow. So z _{pl represents} the center of gravity of the plow. The distribution of the Z coordinates of the soil is also assumed to be Gaussian distribution. Although this is true only in the case of a flat bottom, but sufficient for the determination of the threshold z _thr . The exact soil profile is determined by the principles described below. The type of distribution is not relevant for this. It is assumed that z _{min is} the local minimum in a bimodal distribution of the pixels of the attachment and the pixels of the ground.

Die tatsächlich gesuchte Schwelle zwischen den zwei Gauß-Verteilungen hängt von den Höhen der beiden Verteilungen ab. Wenn die Höhe der beiden Verteilungen stark unterschiedlich ist, kann sich die Schwelle verschieben, weil die höhere Verteilung die Schwelle hin zu der niedrigeren Verteilung verschiebt. Mit Hilfe einer Korrekturfunktion kann das Problem unterschiedlich starker Verteilungen gelöst werden. Die Korrekturfunktion lautet wie folgt: $$f_z:\frac{H\left(z_{pl}\right)}{H\left(z_{gr}\right)}\to \frac{z_{min}-z_{pl}}{z_{pl}-z_{min}}\text{ oder }{f}_z\approx \sqrt{\frac{H\left(z_{pl}\right)}{H\left(z_{gr}\right)}}.$$

The actual sought threshold between the two Gaussian distributions depends on the heights of the two distributions. If the height of the two distributions is very different, the threshold may shift because the higher distribution shifts the threshold toward the lower distribution. A correction function can be used to solve the problem of different distributions. The correction function is as follows: $$f_z:\frac{H\left(z_{pl}\right)}{H\left(z_{Gr}\right)}\to \frac{z_{min}-z_{pl}}{z_{pl}-z_{min}}\text{or}{f}_z\approx \sqrt{\frac{H\left(z_{pl}\right)}{H\left(z_{Gr}\right)}},$$

Die Korrekturfunktion gibt einen Korrekturparameter in Abhängigkeit des Höhenverhältnisses H(z_pl)/H(z_gr) der beiden Verteilungen an. Diese Korrekturfunktion kann mit einer Wurzelfunktion approximiert werden. Somit ergibt sich die gesuchte mit der Korrekturfunktion korrigierte Schwelle nach folgender Gleichung: $$z_{\text{thr}}=z_{\text{pl}}+f_z\cdot \left(z_{\text{min}}-z_{\text{pl}}\right)$$

The correction function indicates a correction parameter as a function of the height ratio H (z _pl ) / H (z _gr ) of the two distributions. This correction function can be approximated with a root function. Thus, the sought-after correction corrected threshold results according to the following equation: $$z_{\text{thr}}=z_{\text{pl}}+f_z\cdot \left(z_{\text{min}}-z_{\text{pl}}\right)$$

Die Segmentierung des Pfluges sowie die Segmentierung der Erde / des Bodens in der Bildverarbeitung kann für jedes Pixel (i, j) erfolgen. Dazu kann die Menge aller Pixel P_pl, die zum Pflug gehören bzw. dem Pflug zugehörig sind, und die Menge aller Pixel P_gr, die zum Grund bzw. dem Grund oder der Erde zugehörig sind, definiert werden. Mit den folgenden beiden Bedingungen, kann beschrieben werden, ob Pixel des Kamerabildes zum Pflug oder zur Erde bzw. dem Boden gehören, wenn für den jeweiligen Pixel z_thr berechnet wurde: $$\text{Pflug}:\left(\text{i},\text{j}\right)\in {\text{P}}_{\text{pl}}\text{ genau dann}{\text{, wenn z}}_{\text{ij}}<{\text{z}}_{\text{thr}}$$

$$\text{Erde}:\left(\text{i},\text{j}\right)\in {\text{P}}_{\text{gr}}\text{ genau dann}{\text{, wenn z}}_{\text{ij}}\ge {\text{z}}_{\text{thr}}$$

The segmentation of the plow as well as the segmentation of the soil / soil in the image processing can be done for each pixel (i, j). For this purpose, the set of all pixels P _pl belonging to the plow or belonging to the plow and the set of all pixels P _gr belonging to the ground or to the ground can be defined. With the following two conditions, it can be described whether pixels of the camera image belong to the plow or to the earth or the ground if z _{thr was} calculated for the respective pixel: $$\text{plow}:\left(\text{i}.\text{j}\right)\in {\text{P}}_{\text{pl}}\text{exactly then}{\text{if z}}_{\text{ij}}<{\text{z}}_{\text{thr}}$$

$$\text{earth}:\left(\text{i}.\text{j}\right)\in {\text{P}}_{\text{gr}}\text{exactly then}{\text{if z}}_{\text{ij}}\ge {\text{z}}_{\text{thr}}$$

Für die Bestimmung des Bodenprofils können zunächst anhand der Ergebnisse aus der Segmentierung diejenigen Pixel ausgewählt, die (eindeutig) zur Erde bzw. dem Boden zugeordnet werden konnten (P_gr). Das Bild wird anhand der y-Koordinate in N_y Segmente P_y,n unterteilt. In jedem Segment wird die mittlere Höhe z_n bestimmt: $$z_{\text{gr},n}=\left|P\right|\cdot {\displaystyle \sum _{\left(i,j\right)\in \left(P_{\text{gr}}\cap P_{y,n}\right)}{z}_{i,j}\text{ mit }n=\mathrm{1,}\dots ,N_y}$$

For the determination of the soil profile, first of all the pixels which could be assigned (unambiguously) to the earth or to the soil (P _gr ) can be selected on the basis of the results from the segmentation. The image is subdivided into N _y segments P _{y, n} on the basis of the y coordinate. In each segment the mean height z _{n is} determined: $$z_{\text{gr}.n}=\left|P\right|\cdot {\displaystyle \underset{\left(i.j\right)\in \left(P_{\text{gr}}\cap P_{y.n}\right)}{\Sigma }{z}_{i.j}\text{With}n=\mathrm{1,}....N_y}$$

Für die Bestimmung der Lage des Pfluges gegenüber der Kamera wird zunächst ein zweidimensionales Histogramm gebildet (siehe auch 10 (a)). Die Bildung des Histogramms erfolgt gemäß folgender Formel: $$y_{ij},z_{ij}\to H\left(y,z\right)\text{ min }\left(i,j\right)\in P_{\text{pl}}.$$

To determine the position of the plow relative to the camera, a two-dimensional histogram is first formed (see also 10 (a) ). The histogram is formed according to the following formula: $$y_{ij}.z_{ij}\to H\left(y.z\right)\text{min}\left(i.j\right)\in P_{\text{pl}},$$

Anschließend wird für jede y-Position die Position des Maximums bestimmt, weil dieses Maximum mit größter Wahrscheinlichkeit die Höhe des Schwerpunktes am Anbaugerät repräsentiert. Dadurch erhält man ein binäres Bild: $$B\left(i,j\right)=\{\begin{array}{l}\mathrm{1,}\text{ für }H\left(i,j\right)>H\left(1\dots N_i,j\right)\hfill \\ \mathrm{0,}\text{ sonst}\hfill \end{array}$$

Then the position of the maximum is determined for each y-position, because this maximum most likely represents the height of the center of gravity of the attachment. This gives you a binary picture: $$B\left(i.j\right)=\{\begin{array}{l}\mathrm{1,}\text{For}H\left(i.j\right)>H\left(1...N_i.j\right)\hfill \\ 0\text{otherwise}\hfill \end{array}$$

Dieses Stadium des Verfahrens ist in. 10 (b) gezeigt. Dabei bedeutet die weiße Farbe den Wert 1 und die schwarze Farbe den Wert 0. Anhand einer Hough-Transformation wird die wahrscheinlichste Gerade bestimmt, die die meisten Pixel ungleich Null abdeckt: $$\text{Hough}:B\left(i,j\right)\to a_{\text{pl}}\cdot y+b_{\text{pl}}.$$

This stage of the procedure is in. 10 (b) shown. The white color means the value 1 and the black color the value 0 , A Hough transform is used to determine the most probable line that covers most nonzero pixels: $$\text{Hough}:B\left(i.j\right)\to a_{\text{pl}}\cdot y+b_{\text{pl}},$$

10 (c) zeigt diese Gerade. Diese Gerade entspricht der relativen Position des Pfluges. Somit kann die relative Lage des Pfluges gegenüber dem Bodenprofil bestimmt werden. 10 (c) shows this straight line. This straight line corresponds to the relative position of the plow. Thus, the relative position of the plow relative to the soil profile can be determined.

Dieser Teilalgorithmus ist in 11 in einem Flussdiagramm zusammengefasst.This subalgorithm is in 11 summarized in a flow chart.

Eine Besonderheit der hier beschriebenen Verfahren ist, dass es ohne optische Marker am Anbaugerät bzw. Pflug auskommt. Das hier beschriebene Verfahren ist insbesondere dazu geeignet, die relative Lage des Pfluges nur anhand der (vergleichbaren bzw. ggf. vorbekannten oder hier neu zu charakterisierenden) Form des Pfluges, wie sie auf den Kameradaten dargestellt ist, zu ermitteln. Als Nebeneffekt kann das beschriebene Verfahren zur Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit mit Hilfe der Kameradaten zur Regelung eines geforderten Schlupfwerts zur Vermeidung des Eingrabens der Antriebsräder verwendet werden.A peculiarity of the methods described here is that it works without optical markers on the attachment or plow. The method described here is particularly suitable for determining the relative position of the plow only on the basis of the (comparable or possibly previously known or here to be newly characterized) shape of the plow, as shown on the camera data. As a side effect, the described method for determining the actual vehicle speed with the aid of the camera data for controlling a required slip value can be used to avoid the burying of the drive wheels.

In diesen Punkten grenzt sich das beschriebene Verfahren auch von Verfahren ab, die mit klassischer Bildverarbeitung die Eintauchtiefe der Pflug-Schare aus Kameradaten bestimmen. Solche Verfahren basieren auf einer Erkennung der Pflug-Schar gegenüber dem Erdboden. Bei solchen Verfahren wird jede einzelne Schar und ihr „Füllstand“ mit der Erde (bzw. Eintauchen in die Erde) mit der Kamera detektiert. Dies erfordert einen enormen Rechenaufwand. Bei dem hier beschriebenen Verfahren wird der Pflug insgesamt mit der Kamera betrachtet und dessen Lage bestimmt.In these points, the described method also distinguishes from methods that determine the immersion depth of the plow shares from camera data with classical image processing. Such methods are based on detection of the ploughshare against the ground. In such processes, each individual flock and its "level" with the earth (or immersion in the earth) is detected with the camera. This requires a huge amount of computation. In the method described here, the plow as a whole is viewed with the camera and determines its location.

Dies ist auch ein anderer Ansatz als eine kamerabasierte Aufnahme des Bodenreliefs. Für die Anwendung solcher Verfahren für die Steuerung des Hubwerks bzw. des Pfluges ist zusätzlich eine Höhenreferenz erforderlich, welche durch einen zusätzlichen Sensor bzw. bekannte entfernte Objekte ermittelt wird. Durch das hier beschriebene Verfahren sind keine weiteren Signale zur Bestimmung der Bodentopologie notwendig.This is also a different approach than a camera-based image of the ground relief. For the application of such methods for the control of the hoist or the plow in addition a height reference is required, which is determined by an additional sensor or known remote objects. The method described here requires no further signals to determine the soil topology.

Das beschriebene Verfahren ermöglicht es auch, auf ein bekanntes 3D-Modell als (gespeicherte) Referenz zu verzichten. Für das hier beschriebene Verfahren ist kein 3D-Modell des Anbaugerätes zum Vergleich bzw. der Lageermittlung notwendig.The method described also makes it possible to dispense with a known 3D model as a (stored) reference. For the method described here no 3D model of the attachment for comparison or the position determination is necessary.

Das Verfahren wird im Arbeitseinsatz durchgeführt und kann daher von Verfahren abgegrenzt werden, die lediglich beim Ankoppeln der Anbaugeräte und nicht auf deren Arbeitseinsatz Anwendung finden. Solche Verfahren zum An- oder Abkoppeln betreffen alle Verfahren und Vorrichtungen zur Steuerung des Anspannens einer Landmaschine an einem Schlepper, wobei eine Fahrhilfe zum Ankoppeln von Landmaschine und Arbeitsfahrzeug vorgesehen ist und zu diesem Zweck auch eine Bildverarbeitungsmethode eingesetzt wird. Einen Hinweis auf die Höhenlageneinstellung des Schleppgeräts während der Fahrt gibt es bei Verfahren zur Ankopplung nicht. Das hier beschriebene Verfahren kann dadurch abgegrenzt werden, dass es während des Arbeitseinsatzes, z. B. während des Pflügens, verwendet wird.The method is carried out on the job and can therefore be distinguished from procedures that are used only when attaching the implements and not on their labor application. Such methods for coupling or uncoupling relate to all methods and devices for controlling the tensioning of an agricultural machine on a tractor, wherein a driving aid for coupling agricultural machine and working vehicle is provided and for this purpose, an image processing method is used. A reference to the There is no height adjustment of the towing device while driving with methods for coupling. The method described here can be delimited by the fact that it during the labor input, z. B. during plowing, is used.

Für das Verfahren ist mindestens eine Kamera mit Blickrichtung zumindest auch auf das Anbaugerät vorgesehen. Das Verfahren kann über die elektronische Verbindung der Kamera mit dem Hubwerkssteuergerät sowie eine Anpassung der Lage des Pfluges an die Bodentopologie an der Landmaschine erkannt werden.For the method, at least one camera is provided with a viewing direction at least on the attachment. The method can be detected via the electronic connection of the camera with the Hubwerkssteuergerät and an adjustment of the position of the plow to the ground topology on the agricultural machine.

Das Verfahren kann insbesondere bei Traktoren mit Anbaugeräten mit elektrischer Hubwerksregelung eingesetzt werden. Die Landwirtschaft kann dahingehend unterstützt werden, dass Assistenzfunktionen und personalisierte Einstellungsmöglichkeiten in der Arbeitsmaschine Erleichterung und Sicherheit hervorbringen. Diese Optionen bedeuten einen erheblichen wirtschaftlichen Vorteil. Darüber hinaus ermöglicht die geräteübergreifende Anwendbarkeit des hier vorgeschlagenen Verfahrens dem Landwirt bereits existierende (ältere) Anbaugeräte zu nutzen. Eine aufwendige Inbetriebnahme durch den Landwirt entfällt.The method can be used in particular for tractors with implements with electric hoist control. Agriculture can be supported in such a way that assistance functions and personalized adjustment possibilities in the work machine bring about relief and safety. These options represent a significant economic benefit. In addition, the cross-device applicability of the proposed method allows the farmer to use existing (older) implements. A complex commissioning by the farmer is eliminated.

Weiterhin wird ein Verfahren zum Kalibrieren einer Landmaschine für ein Anbaugerät angegeben, wobei die Landmaschine ein Hubwerk aufweist, mit welchem das Anbaugerät geschwenkt werden kann, wobei das Verfahren zumindest die folgenden Schritte aufweist:

1. i) Verbinden des Anbaugeräts mit der Landmaschine,
2. ii) Bewegen des Anbaugeräts in mindestens eine Prüfstellung, die relativ zu der Landmaschine bekannt ist,
3. iii) Empfangen von Kameradaten von einer Kamera (bzw. einem Kamera-System), mit welcher dreidimensionale Bilddaten gewonnen werden können, welche eine Blickrichtung auf das Anbaugerät aufweist, wenn sich das Anbaugerät in einer Prüfstellung befindet,
4. iv) Auswerten der Kameradaten, wobei das Anbaugerät in den Kameradaten erkannt und eine Prüfposition des Anbaugerätes in der Prüfstellung anhand der Kameradaten ermittelt wird,
5. v) Ermitteln von mindestens einem anbaugerätspezifischen Parameter für den Betrieb der Landmaschine mit dem Anbaugerät aus der Prüfposition.

Furthermore, a method for calibrating an agricultural machine for an attachment is provided, wherein the agricultural machine comprises a hoist, with which the attachment can be pivoted, wherein the method comprises at least the following steps:

1. i) connecting the attachment to the agricultural machine,
2. ii) moving the attachment into at least one test position known relative to the agricultural machine,
3. iii) receiving camera data from a camera (or a camera system) capable of obtaining three-dimensional image data having a view of the attachment when the attachment is in a test position,
4. iv) evaluating the camera data, whereby the attachment is recognized in the camera data and a test position of the attachment in the test position is determined on the basis of the camera data,
5. (v) determining at least one implement-specific parameter for the operation of the agricultural machine with the implement from the test position.

Das hier beschriebene Kalibrierverfahren kann bevorzugt mit denselben Komponenten (Kamera und/oder Steuergerät) durchgeführt werden, wie auch das beschriebene Betriebsverfahren. Die vorstehend im Zusammenhang mit dem Betriebsverfahren besonderen Vorteile und Ausgestaltungsmerkmale sind auf das Kalibrierverfahren übertragbar. Gleiches gilt umgekehrt auch für die im Folgenden im Zusammenhang mit dem Kalibrierverfahren erläuterten besonderen Vorteile und Ausgestaltungsmerkmale, die auf das Betriebsverfahren anwendbar und übertragbar sind.The calibration method described here can preferably be carried out with the same components (camera and / or control unit) as well as the operating method described. The particular advantages and design features associated with the method of operation are transferable to the calibration method. Conversely, the same applies to the particular advantages and design features explained below in connection with the calibration method, which are applicable and transferable to the operating method.

Es ist möglich, dass (ggf. nur) zum Start bzw. nach einem neuen Anspannvorgang, bei dem ein neues Anbaugerät mit einer Landmaschine gekoppelt bzw. verbunden wird, dieses Kalibrierverfahren durchgeführt wird und dann im Betrieb die hier ermittelten Parameter und Ergebnisse für das beschriebene Betriebsverfahren genutzt werden. Damit kann das Kalibrierverfahren ein dem Betriebsverfahren vorgelagerter Prozess des Einrichtens des EHR-Systems sein.It is possible that (possibly only) to start or after a new Anspannvorgang in which a new attachment coupled with an agricultural machine or connected, this calibration is performed and then the parameters and results determined here during operation for the described Operating procedures are used. Thus, the calibration process may be a process upstream of the operating procedure of setting up the EHR system.

Das Verfahren ist besonders vorteilhaft, wenn die für Schritt iii) verwendeten Kameradaten eine zumindest teilweise senkrecht zur Blickrichtung der Kamera ausgerichtete Z-Richtung aufweisen, welche den Abstand der Stereo-Kammer von den in Bilddaten dargestellten Bereichen beschreibt.The method is particularly advantageous if the camera data used for step iii) have an aligned at least partially perpendicular to the viewing direction of the camera Z-direction, which describes the distance of the stereo chamber from the areas shown in image data.

Außerdem ist das Verfahren vorteilhaft, wenn die Prüfposition des Anbaugerätes in Schritt iv) anhand von Z-Richtungsinformationen in den Kameradaten ermittelt wird.In addition, the method is advantageous if the test position of the attachment is determined in step iv) based on Z-direction information in the camera data.

Vorteilhaft ist auch, wenn in Schritt v) als anbaugerätspezifischer Parameter eine Nulllinie ermittelt wird, die sich durch das Absetzen des Anbaugeräts auf dem Boden ergibt.It is also advantageous if, in step v), as an implement-specific parameter, a zero line is determined which results from the settling of the attachment on the ground.

Auch ist vorteilhaft, wenn in Schritt v) als anbaugerätspezifische Parameter eine maximale Höhe und eine Neigung des Anbaugeräts ermittelt werden Zusätzlich können nach Schritt v) die in Schritt v) ermittelten Parameter in einem Speicher in einem Steuergerät hinterlegt werden.It is also advantageous if, in step v), a maximum height and an inclination of the attachment are determined as attachment-specific parameters. In addition, after step v), the parameters ascertained in step v) can be stored in a memory in a control unit.

Hier beschrieben wird ein Kalibrierungsverfahren, das eine universelle Einsetzbarkeit der Hubwerksregelung für verschiedene Anbaugeräte gewährleistet, ohne dem System detaillierte geometrische Informationen bereitstellen zu müssen. Durch die fehlenden geometrischen Informationen wird ein zusätzlicher Arbeitsschritt erforderlich, bevor die Hubwerksregelung einsatzbereit ist. Aus den Informationen der Kamera kann die absolute Entfernung des Bodens und die Höhe der im Bild sichtbaren Bereiche des Anbaugeräts direkt ermittelt werden. Eine Information über den Abstand der Unterkante des Anbaugeräts vom Boden kann aus dem Bild in der Regel nicht gewonnen werden, weil die entsprechenden Bereiche im Bild verdeckt sind. Für die Regelung der Höhe des Anbaugeräts über Boden ist daher eine zusätzliche Kalibration von Entfernungsinformationen zwischen Kamera und Anbaugerät zur Nulllinienfindung und zur Erkennung von Bewegungseinschränkung erforderlich. Entfernungsinformationen geben insbesondere den Abstand des Hubwerks von definierten Punkten am Hubwerk bzw. am Traktor an, um die Position des Hubwerks zu überwachen.Described herein is a calibration method that provides for universal use of the hoist control for various attachments without having to provide the system with detailed geometric information. Due to the lack of geometric information, an additional step is required before the hoist control is ready for use. From the information provided by the camera, the absolute distance of the ground and the height of the parts of the implement visible in the image can be determined directly. Information about the distance of the lower edge of the implement from the ground can usually not be obtained from the image, because the corresponding areas in the image are hidden. For the regulation of the height of the attachment above ground is therefore a additional calibration of distance information between camera and implement required for zero line finding and motion restriction detection. Distance information specifically indicates the distance of the hoist from defined points on the hoist or on the tractor to monitor the position of the hoist.

Hier soll ein einfaches und schnell anwendbares Verfahren für die universelle Einsetzbarkeit der kamerabasierten Hubwerksregelung vorgestellt werden, welches für eine Vielzahl verschiedener Anbaugeräte geeignet ist. Das Verfahren ermöglicht insbesondere eine Regelung der absoluten Höhe und/oder Neigung des Anbaugeräts über dem Boden. Eine aufwendige und praxisuntaugliche Bereitstellung geometrischer Informationen für jedes einzelne Anbaugerät entfällt dadurch.Here a simple and quickly applicable method for the universal applicability of the camera-based hoist control is to be presented, which is suitable for a variety of different attachments. In particular, the method makes it possible to control the absolute height and / or inclination of the attachment above the ground. An elaborate and unfeasible provision of geometric information for each attachment is thereby eliminated.

Kraftbasierte Hubwerksregelsysteme, wie sie heute Stand der Technik sind, nutzen das Kraftsignal als Regelgröße. Die Kraft ist unter idealen Bedingungen ein Äquivalent für die Arbeitshöhe/-tiefe. So wird beispielsweise beim Pflügen die Zugkraft von der Pflugtiefe beeinflusst. Da die Zugkraft aber nicht nur von der Arbeitstiefe, sondern von weiteren Parametern, wie z. B. der Bodenbeschaffenheit und -feuchte sowie dem Anbaugerät selbst, abhängt, liefert das Kraftsignal keine Information über die absolute Höhe des Anbaugeräts über dem Boden. Darüber hinaus kann aus dem Kraftsignal keine Neigung des Anbaugeräts herausgelesen werden. Daher ist bisher nur die Regelung des Unterlenkers des Hubwerks möglich. Die Länge des Oberlenkers des Hubwerks muss durch den Nutzer manuell eingestellt werden. Ebenso muss der Nutzer den einzuregelnden Kraftwert für jedes Feld und vor Beginn eines jeden Arbeitsprozesses neu prüfen und einstellen.Force-based hoist control systems, as they are state of the art today, use the force signal as a controlled variable. The force is an equivalent to the working height / depth under ideal conditions. For example, when plowing the traction is influenced by the plow depth. Since the tensile force but not only by the working depth, but by other parameters, such. As the soil condition and moisture and the attachment itself depends, the force signal provides no information about the absolute height of the attachment above the ground. In addition, no inclination of the attachment can be read out of the force signal. Therefore, so far only the regulation of the lower link of the hoist is possible. The length of the upper link of the hoist must be set manually by the user. Similarly, the user must re-examine and adjust the force value to be adjusted for each field and before starting any work process.

Mit einem kamerabasierten Hubwerksregelungssystem in Verbindung mit Informationen, die aus dem hier beschriebenen Kalibrierungsverfahren gewonnen werden können, ist eine exakte Regelung der tatsächlichen Höhe bzw. Arbeitstiefe sowie der Neigung eines Anbaugerätes möglich.With a camera-based hoist control system in conjunction with information that can be obtained from the calibration procedure described here, an exact control of the actual height or working depth and the inclination of an attachment is possible.

Das hier beschriebene Verfahren umfasst insbesondere eine schnelle und einfache Kalibration für eine kamerabasierte Hubwerksregelung zur Gewinnung anbaugerätespezifischer Informationen, die für die Regelung von Bedeutung sind.The method described here comprises, in particular, a quick and simple calibration for a camera-based hoist control for obtaining implement-specific information that is important for the control.

Die bei der Kalibration gewonnenen Informationen ermöglichen eine Hubwerksregelung, die die absolute Höhe und Neigung des Anbaugeräts über dem Boden regeln kann und keine a-priori Informationen über geometrische Eigenschaften des Anbaugeräts benötigt. Die Regelung der tatsächlichen Höhe bzw. Arbeitstiefe und Neigung eines Anbaugerätes eröffnet die Möglichkeit, den Arbeitsprozess zu automatisieren, beispielsweise durch Vorgabe einer gewünschten Pflugtiefe. Die entsprechende Ansteuerung des Hubwerks und des Oberlenkers erfolgt dann automatisch, so dass ein gleichmäßiges Pflugbild mit der gewünschten Tiefe entsteht.The information obtained during the calibration enables a hoist control that can control the absolute height and inclination of the attachment above the ground and does not require a priori information on the attachment's geometric characteristics. The regulation of the actual height or working depth and inclination of an attachment opens the possibility to automate the work process, for example by specifying a desired plow depth. The appropriate control of the hoist and the top link is then automatically, so that a uniform plow image with the desired depth is created.

Nach erstmaliger Aufnahme bzw. Verbundes eines Anbaugeräts am Hubwerk des Traktors, muss ein einmaliger Kalibrierprozess durchlaufen werden, um die Hubwerksregelung einsatzfähig zu machen. Zu Beginn des Kalibriervorgangs, muss die maximale Höhe und Neigung des Anbaugeräts festgelegt werden. Dazu wird die entsprechende Position manuell durch entsprechende Einstellung der Hubwerkshöhe, der Oberlenkerlänge sowie gegebenenfalls Einstellungen am Anbaugerät angefahren. Die Position wird durch den Bediener bestätigt und im System bzw. im Steuergerät gespeichert.After the first attachment or combination of an attachment to the hoist of the tractor, a unique calibration process must be run through to make the hoist control operational. At the beginning of the calibration process, the maximum height and inclination of the implement must be specified. For this purpose, the corresponding position is approached manually by appropriate adjustment of the height of the hoist, the top link length and, if necessary, settings on the attachment. The position is confirmed by the operator and stored in the system or in the control unit.

Bei Verwendung eines 3D-bildgebenden Systems zur Kalibrierung (z.B. Stereo-Kamerasystem, Time-of-Flight-Kamerasystem, etc.) zur Überwachung des Betriebs eines Anbaugerätes an einem Hubwerk einer Landmaschine bzw. eines Traktors stehen Entfernungsinformation zur Verfügung, so dass nur die Nulllinie sowie die maximal mögliche oder erlaubte Höhe einmalig festgelegt werden muss. Dazu werden die einzelnen Positionen angefahren, anhand einer aus der Datenanalyse gewonnenen Lage beschrieben und in einem Speicher (beispielsweise einem Speicherplatz auf einem Steuergerät) abgespeichert. Die Nulllinie ergibt sich durch das Absetzen des Anbaugeräts auf dem Boden. Die dabei gefundene Position und die entsprechenden Messwerte (Höhe und Neigung) des Kamerasystems werden als Nulllage für die Höhe und Neigung des Anbaugeräts im System abgelegt.When using a 3D imaging system for calibration (eg stereo camera system, time-of-flight camera system, etc.) for monitoring the operation of an attachment to a hoist of an agricultural machine or a tractor distance information is available, so that only the Zero line and the maximum or permitted height must be set once. For this purpose, the individual positions are approached, described on the basis of a data analysis obtained from the situation and stored in a memory (for example, a storage space on a control unit). The zero line is obtained by placing the implement on the ground. The position found and the corresponding measured values (height and inclination) of the camera system are stored as zero position for the height and inclination of the attachment in the system.

Der Unterschied im Kamerabild zwischen dem auf Bodenhöhe getragenen Anbaugerät und dem abgesetzten Anbaugerät beeinflusst die Messung nicht, da sich lediglich der absolute Abstand zum Anbaugerät und zum Boden ändert, nicht aber die Abstandsdifferenz zwischen Boden und Anbaugerät. Die maximale Höhe wird entweder durch die Kinematik des Hubwerks sowie die Länge der Hydraulikzylinder des Hubwerks bestimmt und/oder durch eine weitere Randbedingung eingeschränkt, beispielsweise eine drohende Kollision des Anbaugeräts mit der Landmaschine und/oder eine Überschreitung der Maximalhöhe des Gesamtfahrzeugs (siehe 1). Insofern ist die maximale Höhe kein Landmaschinenspezifischer Parameter, sondern ein Parameter, der jeweils für eine Kombination aus Landmaschine und Anbaugerät definiert wird.The difference in camera image between the implement mounted on ground level and the attached implement does not affect the measurement because only the absolute distance to the implement and the ground changes, but not the distance difference between the ground and the implement. The maximum height is determined either by the kinematics of the hoist and the length of the hydraulic cylinder of the hoist and / or restricted by a further boundary condition, such as a threatening collision of the attachment with the agricultural machine and / or exceeding the maximum height of the entire vehicle (see 1 ). In this respect, the maximum height is not a specific machine parameter, but a parameter that is defined in each case for a combination of agricultural machine and attachment.

Das für die kamerabasierte Hubwerksregelung vorgeschlagene Kalibrierungsverfahren kann auch für weitere Funktionen genutzt werden. Über eine Klassifizierung des Anbaugeräts aufgrund der im Kamerabild erkannten Form und der gemessenen Drücke im EHR-System bei der für die Kalibration nötigen Bewegung, können Regelparameter der Hubwerksregelung adaptiert werden. Dadurch kann die Regelung hinsichtlich Funktion und Komfort angepasst werden.The calibration method proposed for the camera-based hoist control can also be used for other functions. About a classification of the attachment due to the In the camera image detected form and the measured pressures in the EHR system in the necessary for the calibration movement, control parameters of the linkage control can be adapted. This allows the regulation to be adjusted in terms of function and comfort.

Es ist möglich, im Rahmen des beschriebenen Verfahrens gewonnene Kameradaten bzw. Kamerasignale (Kamerabilder) auch für die Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit zur Regelung eines geforderten Schlupfwerts zur Vermeidung des Eingrabens der Antriebsräder zu verwenden.It is possible to use camera data or camera signals (camera images) obtained in the context of the described method also for determining the actual vehicle speed for controlling a required slip value to avoid burying the drive wheels.

Die Kameradaten können (auch) dazu verwendet werden, die Pflugtiefe kamerabasiert zu erkennen, indem die Bildverarbeitung die Eintauchtiefe der Pflug-Schare bestimmt. Dies umfasst eine Erkennung von der Pflug-Schar gegenüber dem Erdboden. Dabei kann jede einzelne Schar und ihr „Füllstand“ mit der Erde (bzw. Eintauchen in den Boden) mit der Kamera detektiert werden. Hier hat sich aber herausgestellt, dass es vorteilhaft ist, den Pflug bzw. dessen Position als Gesamtes mit der Kamera zu betrachten und dessen Lage zu bestimmen.The camera data can (also) be used to detect plow depth camera-based by the image processing determines the depth of immersion of the ploughshare. This includes detection of the plowshare against the ground. Each individual share and its "level" with the earth (or immersion in the ground) can be detected with the camera. Here it has been found that it is advantageous to view the plow or its position as a whole with the camera and to determine its location.

Höhenreferenzen zur Bestimmung der Höhe des Pfluges bzw. des Anbaugerätes können auch durch einen zusätzlichen Sensor bzw. bekannte entfernte Objekte gewonnen werden. Durch die hier beschriebene Überwachung und Kalibrierung eines Anbaugerätes sind allerdings keine weiteren Signale zur Bestimmung der Bodentopologie zwingend erforderlich. Die Kameradaten können auch dazu genutzt werden, die tatsächliche Fahrzeuggeschwindigkeit zu ermitteln. Dies ist ohne optische Markierungen bzw. Referenzen möglich. Die Geschwindigkeit kann anhand des gradientenbasierten optischen Flusses und/oder anhand 3D-Verfolgung von markanten Bildausschnitten (so genanntes „feature tracking“) bestimmt werden.Height references for determining the height of the plow or attachment may also be obtained by an additional sensor or known remote objects. However, the monitoring and calibration of an attachment described here does not require any further signals to determine the ground topology. The camera data can also be used to determine the actual vehicle speed. This is possible without optical markings or references. The speed can be determined by the gradient-based optical flow and / or by 3D tracking of distinctive image sections (so-called "feature tracking").

Durch das hier beschriebene Verfahren kann die Lage eines Anbaugerätes sogar ohne ein bekanntes 3D-Modell des Anbaugerätes als Referenz bestimmt werden. Die Form und die Ausdehnung des Anbaugerätes kann mit dem beschriebenen Verfahren aus Kameradaten überwacht werden. Es ist kein 3D-Modell des Anbaugerätes zwingend notwendig.By the method described here, the position of an attachment can be determined even without a known 3D model of the attachment as a reference. The shape and extent of the attachment can be monitored from camera data using the method described. There is no need for a 3D model of the attachment.

Das beschriebene Verfahren wird bevorzugt im Arbeitseinsatz der Landmaschine durchgeführt. Das Verfahren ermöglicht es, die Kalibrierung während bzw. in unmittelbarem Zusammenhang mit dem Arbeitseinsatz durchzuführen. Das Verfahren kann ohne Nutzerbeeinträchtigung in den Prozess des Arbeitseinsatzes integriert werden.The method described is preferably carried out in labor input of the agricultural machine. The method makes it possible to carry out the calibration during or in direct connection with the labor input. The process can be integrated into the process of labor input without user impairment.

Die hier beschriebene Vorrichtung, die insbesondere für die Durchführung des hier beschriebenen Verfahrens eingerichtet ist, wird insbesondere während des Arbeitseinsatzes einer Landmaschine (beispielsweise während des Pflügens) verwendet.The device described here, which is set up in particular for carrying out the method described here, is used in particular during the labor input of an agricultural machine (for example during plowing).

Für das Verfahren wird eine Kamera bzw. Kamera-System mit Blickrichtung auf das Anbaugerät benötigt.The process requires a camera or camera system facing the implement.

Die Durchführung des Verfahrens zeigt sich im Betrieb der Vorrichtung, wenn erkannt wird, dass eine Kamera zur Ansteuerung eines Hubwerks bzw. eines Hubwerkssteuergerätes verwendet wird, und das Hubwerk in Reaktion auf Kameradaten von der Kamera eine Anpassung der Lage des Pfluges an die Bodentopologie an der Landmaschine durchführt. Bei der Anwendung des Verfahrens sollte nach dem erstmaligen Anhängen eines Anbaugerätes eine Prozedur durchgeführt werden, bei der mehrere Positionen des Anbaugerätes angefahren werden.The implementation of the method is evident in the operation of the device, when it is detected that a camera is used to control a hoist or a Hubwerkssteuergerätes, and the hoist in response to camera data from the camera an adjustment of the position of the plow to the ground topology at the Agricultural machine performs. When applying the procedure, after attaching an attachment for the first time, a procedure should be performed to approach several implement positions.

Das hier vorgestellte Kalibrierverfahren für ein kamerabasiertes elektrohydraulisches Hubwerksregelsystem für Landmaschinen (insbesondere für Traktoren) gewährleistet praxistaugliche und universelle Einsetzbarkeit. Die Varianz und die Vielzahl verschiedener Anbaugerätetypen und -hersteller macht eine Realisierung eines Systems, das sämtliche geometrischen Informationen jedes denkbaren Anbaugerätes a-priori benötigt, praktisch unmöglich. Aufgrund der hohen Lebenserwartung von Traktoren treten auch immer wieder Anbaugeräte auf, die bei der Ersteinrichtung des Steuergerätes eines Traktors noch gar nicht verfügbar sind. Um solche Anbaugeräte bei einem Verfahren zu berücksichtigen, welches sämtliche geometrischen Informationen hinsichtlich des Anbaugerätes benötigt, wären sehr regelmäßige Vorbereitungsmaßnahmen samt einer sehr umfangreichen Datenbank mit den Informationen im Steuergerät erforderlich. Darüber hinaus funktioniert die hier beschriebene kamerabasierte Hubwerksregelung, die durch das hier gezeigte Kalibrierverfahren ergänzt wird, auch mit älteren Anbaugeräten, die ein Landwirt bei Neuanschaffung eines Traktors bereits besitzt und die nicht im Datenbestand des Steuergerätes hinterlegt sind.The calibration procedure presented here for a camera-based electrohydraulic hoist control system for agricultural machinery (especially for tractors) ensures practicable and universal usability. The variance and the variety of different implement types and manufacturers makes a realization of a system that requires a priori all geometric information of each conceivable implement virtually impossible. Due to the high life expectancy of tractors, implements often appear that are not yet available when the control unit of a tractor is first set up. In order to consider such implements in a process that requires all geometric information regarding the implement, very regular preparatory measures including a very extensive database of information in the controller would be required. In addition, the camera-based hoist control described here, which is supplemented by the calibration method shown here, also works with older attachments, which a farmer already owns when purchasing a new tractor and which are not stored in the database of the control unit.

Generell bietet die hier beschriebene kamerabasierte Hubwerksregelung noch weitere Vorteile. Neben einer Regelung der absoluten Höhen und/oder Neigung sowie der Klassifizierung des Anbaugeräts zur Anpassung von Regelparametern, ermöglicht das hier beschriebene Verfahren zur Hubwerksregelung, andere Arbeits- und/oder Fahrprozesse weiter zu automatisieren und den Fahrer dadurch zu entlasten. Die gleiche Sensorik, die für die Hubwerksregelung zum Einsatz kommt, kann für weitere Fahrerassistenzsysteme genutzt werden, wie eine automatische Aufnahme von Anbaugeräten oder eine Umfeldüberwachung.In general, the camera-based hoist control described here offers even more advantages. In addition to a regulation of the absolute heights and / or inclination and the classification of the attachment for adaptation of control parameters, the method described here for hoist control allows to further automate other work and / or driving processes and thereby relieve the driver. The same sensor technology used for the hoist control can be used for further driver assistance systems, such as a automatic recording of attachments or environmental monitoring.

Weiter wird ein Steuergerät angegeben, welches zur Durchführung zumindest eines der beschriebenen Verfahren eingerichtet ist.Furthermore, a control device is specified, which is set up to carry out at least one of the described methods.

Die Verfahren und das technische Umfeld werden nachfolgend anhand der Figuren näher erläutert. Die Figuren zeigen besondere Ausführungsbeispiele, auf die das Verfahren jedoch nicht begrenzt ist. Insbesondere ist darauf hinzuweisen, dass die Figuren als Anbaugerät an einer Landmaschine jeweils einen Pflug an einem Traktor zeigen. Hierauf sind die Verfahren allerdings nicht begrenzt. Es zeigen:

• 1: einen Traktor mit einem Pflug als Anbaugerät bei einer Kalibrierung,
• 2: ein Ablaufdiagramm des Kalibrierverfahrens,
• 3 und 4: einen Traktor mit einem Pflug bei der Arbeit,
• 5 einen Traktor mit einer Kamera zur Überwachung des Pflugs für das beschriebene Verfahren,
• 6 ein Ablaufdiagramm des beschriebenen Verfahrens,
• 7: eine Vorgehensweise bei einer Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) im Rahmen des beschriebenen Verfahrens,
• 8: ein Gaußverteilungsansatz, der zur Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) angewendet wird,
• 9: ein Ablaufdiagramm der in 7 und 8 dargestellten Bildauswertung
• 10: ein Ergebnis der Bildauswertung (siehe insbesondere Bezugszeichen 24 in 6), und
• 11: ein Ablaufdiagramm der Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) im Rahmen des beschriebenen Verfahrens.

The methods and the technical environment are explained in more detail below with reference to the figures. The figures show particular embodiments, to which the method is not limited. In particular, it should be noted that the figures as an attachment to an agricultural machine each show a plow on a tractor. However, the methods are not limited to this. Show it:

• 1 : a tractor with a plow as an implement during a calibration,
• 2 : a flowchart of the calibration procedure,
• 3 and 4 : a tractor with a plow at work,
• 5 a tractor with a camera for monitoring the plow for the method described,
• 6 a flow chart of the described method,
• 7 : a procedure in an image analysis (see in particular reference numerals 23 in 6 ) in the context of the described method,
• 8th : a Gaussian distribution approach to image analysis (see in particular reference numerals 23 in 6 ) is applied,
• 9 : a flowchart of in 7 and 8th illustrated image analysis
• 10 : a result of the image evaluation (see in particular reference numerals 24 in 6 ), and
• 11 : a flow chart of the image analysis (see in particular reference numerals 23 in 6 ) in the context of the described method.

1 zeigt eine Landmaschine 1 nach Art eines Traktors mit einem Hubwerk 4, an welchem ein Anbaugerät 2 nach Art eines Pfluges angebracht ist, während eines Kalibierungsvorgangs. Dabei wird der Pflug 2 in verschiedene Positionen gebraucht, die mit der Kamera (bzw. Kamera-System) 5 überwacht werden, um Kalibrierungsdaten für die hier beschriebenen Verfahren zu akquirieren. 1 shows a farm machine 1 like a tractor with a hoist 4 on which an attachment 2 attached in the manner of a plow, during a calibration process. This is the plow 2 into various positions monitored by the camera (or camera system) 5 to acquire calibration data for the methods described herein.

2 zeigt, wie die Schritte des Kalibrierverfahrens zeitlich hintereinander durchgeführt werden können. Zu erkennen sind die Schritte i) bis v), die hier teilweise gruppiert sind. Es ist gegebenenfalls nicht notwendig, dass Schritt i) (Verbinden/Ansetzen des Anbaugerätes) bei jeder Kalibrierung erneut durchgeführt wird. Schritt v) kann auch einen Speichervorgang 7 zur Einspeicherung der gewonnen Daten in einer Datenbank in einem Steuergerät der Landmaschine umfassen. Der Schritt iii) entspricht der Aufnahme eines Bildes mit 3D-Informationen für die spätere Auswertung (Schritte iv). In Schritt iv) erfolgt eine histogrammbasierte Segmentierung des Anbaugerätes. Es erfolgt auch eine Beschreibung der Lage des Anbaugerätes anhand der Höhe und Neigung. Wenn eine Position des Anbaugerätes getestet wurde, erfolgt ein Positionswechsel 6, um dann eine nächste Prüfposition/Prüfstellung anzufahren. Daher werden die Verfahrensschritte i) bis v) nach Art einer Schleife wiederholt, wenn eine Mehrzahl von Prüfpositionen bzw. Prüfstellungen existiert, die für das jeweilige Anbaugerät ermittelt bzw. überprüft und ausgewertet werden sollen. Verschiedene Prüfstellungen bzw. Prüfpositionen, die hier angefahren werden, sind beispielsweise die (maximale und die minimale) Höhe des Anbaugeräts, eine Nulllinie, die (maximale und die minimale) Neigungen des Anbaugerätes etc.. 2 shows how the steps of the calibration process can be performed one after the other. Evident are the steps i) to v), which are partially grouped here. It may not be necessary to repeat step i) (attaching / attaching the attachment) with each calibration. Step v) can also be a save operation 7 for storing the data obtained in a database in a control unit of the agricultural machine. The step iii) corresponds to the acquisition of an image with 3D information for later evaluation (steps iv). In step iv) histogram-based segmentation of the attachment takes place. There is also a description of the position of the attachment based on the height and inclination. If a position of the attachment has been tested, the position is changed 6 in order then to approach a next test position / test position. Therefore, the method steps i) to v) are repeated in the manner of a loop if a plurality of test positions or test positions exists that are to be determined or checked and evaluated for the respective attachment. Various test positions that are approached here are, for example, the (maximum and minimum) height of the attachment, a zero line, the (maximum and minimum) inclinations of the attachment etc.

3 und 4 zeigen einen Traktor 1 im Arbeitseinsatz im Gelände beispielsweise auf einem Acker. 3 zeigt eine Situation, wenn der Traktor über eine konvexe Geländeform 8 fährt. Dann sinken die vorderen Pflugscharren 10 des Pfluges 2 tiefer ein und die hinteren Pflugscharren 10 kommen aus dem Boden heraus. 4 zeigt eine Situation, in welcher der Traktor über eine konkave Geländeform 9 führt. Dann sinken die hinteren Pflugscharren 10 des Pfluges tiefer ein und die vorderen Pflugscharren 10 kommen weiter aus dem Boden heraus. 3 and 4 show a tractor 1 in the field, for example on a field. 3 shows a situation when the tractor is over a convex terrain shape 8th moves. Then the front plowshares sink 10 of the plow 2 deeper and the rear plowshares 10 come out of the ground. 4 shows a situation in which the tractor has a concave terrain shape 9 leads. Then the rear plowshares sink 10 the plow deeper and the front plow rakes 10 keep coming out of the ground.

5 zeigt noch wie der Pflug 2 von der Kamera 5 an dem Traktor 1 im Arbeitsbetrieb überwacht wird. Die Kamera 5 ist so angeordnet, dass sie sämtliche Pflugscharren 10 des Pfluges 2 im Blick hat. Hier auch noch etwas detaillierter dargestellt ist das Hubwerk 4 des Traktors 1, an welchem der Pflug 2 befestigt ist. Das Hubwerk 4 hat einen Oberlenker 12 und einen Unterlenker 13, deren Länge jeweils mit Hydraulikzylindern 14 eingestellt werden kann. Durch eine geeignete Ansteuerung von Oberlenker 12 und Unterlenker 13 kann die Neigung und die Höhe des Pfluges 2 eingestellt werden. Die Bildauswertung wird in einem Steuergerät 29 ausgeführt und die anbaugerätspezifischen Parametersätze werden in einem Speicher 28 hinterlegt. 5 still shows like the plow 2 from the camera 5 on the tractor 1 is monitored during work. The camera 5 is arranged so that they all plowshares 10 of the plow 2 has in view. The hoist is also shown here in more detail 4 of the tractor 1 on which the plow 2 is attached. The hoist 4 has a top link 12 and a lower link 13 whose length each with hydraulic cylinders 14 can be adjusted. By a suitable control of top link 12 and lower link 13 can change the inclination and height of the plow 2 be set. The image analysis is done in a control unit 29 and the attachment specific parameter sets are stored in memory 28 deposited.

6 zeigt ein Ablaufdiagramm eines Arbeitsverfahrens. Links ist eine hier beschriebene histogrammbasierte Segmentierung dargestellt. Rechts ist eine alternative Möglichkeit der Segmentierung mittels Bewertung des optischen Flusses dargestellt. 6 shows a flowchart of a working method. On the left is a histogram-based segmentation described here. On the right is presented an alternative possibility of segmentation by means of evaluation of the optical flow.

Zunächst erfolgt eine Bildaufnahme 21. Anschließend werden die 3D-Punktewolken 22 rekonstruiert. Anhand eines Histogramms der Z-Koordinaten für Pixel des Pfluges und für Pixel des Bodens kann eine Segmentierung 23 des Bildes in Pflug und Boden vorgenommen werden. First, a picture is taken 21 , Then the 3D point clouds 22 reconstructed. Based on a histogram of the Z-coordinates for pixels of the plow and for pixels of the ground can be a segmentation 23 of the picture in plow and ground.

Alternativ kann der optische Fluss 25 in einem der beiden Stereo-Bilder bestimmt werden. Der optische Fluss gibt an wie sich Pixel im Bild zeitlich verändern. Anhand des unterschiedlichen optischen Flusses für Pixel des Pfluges und für Pixel des Bodens ist kann eine Segmentierung 23 des Bildes in Pflug und Boden vorgenommen werden. Anschließend erfolgt eine Lagebestimmung 24 aus den rekonstruierten 3D-Punktewolken in Kombination mit den Pixeln des Pfluges bzw. mit den Pixeln des Bodens.Alternatively, the optical flow 25 be determined in one of the two stereo images. The optical flow indicates how pixels in the image change over time. Based on the different optical flux for pixels of the plow and for pixels of the ground is a segmentation 23 of the picture in plow and ground. Subsequently, a position determination takes place 24 from the reconstructed 3D point clouds in combination with the pixels of the plow or with the pixels of the ground.

7 zeigt ein Ablaufdiagramm der beschriebenen Verfahrensschritte b) auf der Datenebene. Die 7 a) zeigt die 3D-Punktwolke aus einer Bildaufnahme. 7 b) zeigt ein Histogramm der z-Koordinate und die 7 c) das entsprechende linke Bild des Stereo-Kamerasystems. Die eine erste (grüne) Farbe zeigt Anbaugerät-Pixel 16 an, die sich auf den Pflug beziehen bzw. die den Flug darstellen und eine zweite (blaue) Farbe die Boden-Pixel 15, die sich auf die Erde beziehen bzw. den Boden darstellen. Die Aufgabe besteht also darin, in dieser bimodalen Verteilung (7 b)) den geeigneten Schwellenwert zwischen der ersten Farbe (siehe 16) und der zweiten Farbe (siehe 15) festzulegen. Eine Lösung ist die Bestimmung der beiden lokalen Maxima z_pl und z_gr und des lokalen Minimums in der Verteilung. Das Minimum - markiert durch eine Linie in 7 b) - kann als Schwellenwert z_thr zur Unterscheidung zwischen dem Pflug und dem Boden festgelegt werden. Das lokale Minimum ist jedoch nicht genau der Mittelpunkt zwischen den beiden Verteilungen. 7 shows a flowchart of the described method steps b) at the data level. The 7 a) shows the 3D point cloud from an image capture. 7 b) shows a histogram of the z-coordinate and the 7c) the corresponding left image of the stereo camera system. The first (green) color indicates implement pixel 16 which refer to the plow or which represent the flight and a second (blue) color the ground pixels 15 that refer to the earth or represent the soil. The task is therefore, in this bimodal distribution ( 7 b) ) the appropriate threshold between the first color (see 16 ) and the second color (see 15 ). One solution is to determine the two local maxima z _pl and z _gr and the local minimum in the distribution. The minimum - marked by a line in 7 b) - can be set as a threshold z _thr for distinguishing between the plow and the ground. However, the local minimum is not exactly the midpoint between the two distributions.

Wenn man annimmt, dass die Verteilung der z-Koordinate H(z) jeweils die Form einer Gauß-Verteilung hätten, ergibt sich der Minimalwert gemäß folgender Formel: $$H\left(z\right)=h_1{e}^{-\frac{{\left(z-z_{\text{pl}}\right)}^2}{4{\sigma }^2}}+h_2{e}^{-\frac{{\left(z-z_{\text{gr}}\right)}^2}{4{\sigma }^2}}$$

Assuming that the distribution of the z-coordinate H (z) would each have the form of a Gaussian distribution, the minimum value is given by the following formula: $$H\left(z\right)=H_1{e}^{-\frac{{\left(z-z_{\text{pl}}\right)}^2}{4{\mathrm{<figure-callout\; id="2"\; label="\sigma "\; filenames="DE102018203238A1\_0010.png,DE102018203238A1\_0012.png"\; state="\{\{state\}\}">\sigma </figure-callout>}}^2}}+H_2{e}^{-\frac{{\left(z-z_{\text{gr}}\right)}^2}{4{\mathrm{<figure-callout\; id="2"\; label="\sigma "\; filenames="DE102018203238A1\_0010.png,DE102018203238A1\_0012.png"\; state="\{\{state\}\}">\sigma </figure-callout>}}^2}}$$

Hierbei bildet der erste Term mit Amplitude h₁ beispielsweise die erste Gauß-Verteilung und der zweite Term mit Amplitude h₂ die zweite Gauß-Verteilung. Die Verteilungen werden jeweils durch die Exponentialfunktion e definiert.In this case, the first term with amplitude h _{1 forms,} for example, the first Gaussian distribution and the second term with amplitude h _{2 forms} the second Gaussian distribution. The distributions are defined by the exponential function e.

Die Situation unterschiedlich hoher Gauß-Verteilungen für den Pflug und den Boden wird in 8 erläutert. In der 8 a) ist die Summe von zwei Gauß-Verteilungen für das Verhältnis H(z_pl)/H(z_gr) = 0, 1 und in 8 b) für das Verhältnis H(z_pl)/H(z_gr) = 1, 0 gezeigt. In 8 b) liegt die Schwelle wie erwartet in der Mitte. In 8 a) ist der Fall gezeigt, dass die eine Verteilung 10-mal höher ist als die andere Verteilung. Dies verschiebt die Schwelle hin zu der schwächeren Verteilung. In der 8 c) ist die Korrekturfunktion f_z für die gesuchte Schwelle als das Verhältnis der zwei Intervalle (z_min - z_pl) / (z_gr - z_min) gezeigt.The situation of differently high Gaussian distributions for the plow and the soil is in 8th explained. In the 8 a) is the sum of two Gaussian distributions for the ratio H (z _pl ) / H (z _gr ) = 0, 1 and in 8 b) for the ratio H (z _pl ) / H (z _gr ) = 1.0. In 8 b) the threshold is in the middle, as expected. In 8 a) the case is shown that the one distribution 10 times higher than the other distribution. This shifts the threshold towards the weaker distribution. In the 8c) the correction function f _z for the sought threshold is shown as the ratio of the two intervals (z _min - z _pl ) / (z _gr - z _min ).

9 zeigt die hier erläuterten Gleichungen sowie die Zuordnung von Pixel als Boden-Pixel 15 oder als Anbaugerät-Pixel 16 zur Verdeutlichung nochmal als Ablaufdiagramm. 9 shows the equations explained here and the assignment of pixels as ground pixels 15 or as an implement pixel 16 for clarification again as a flow chart.

10 zeigt in den Figuren (a) bis (c), wie aus einer Punktwolke, die mit Hilfe des beschriebenen Verfahrens gewonnen wird, eine Linie ermittelt werden kann, die den Pflug repräsentiert (10 (c)). Für diese Linie können die Parameter Höhe und Neigung angegeben werden. Mit Hilfe dieser Parameter kann dann anschließend das Hubwerk des Traktors angesteuert werden, um das Anbaugerät bzw. den Flug in die gewünschte Lage zu bringen. 10 shows in the figures (a) to (c), as can be determined from a point cloud, which is obtained by means of the described method, a line representing the plow ( 10 (c) ). For this line the parameters height and inclination can be specified. With the aid of these parameters, the hoist of the tractor can then be controlled in order to bring the attachment or the flight into the desired position.

11 zeigt den Teilalgorithmus 24 aus 6 im Rahmen des beschriebenen Verfahrens. Links werden Boden-Pixel 15 im Kamerabild verarbeitet und rechts werden Anbaugerät-Pixel 16 im Kamerabild verarbeitet. Oben ist eine Dateneingabe 17 (3D-Punktewolke) dargestellt, mit welcher alle Pixel erfasst werden. Durch Pfeile ist repräsentiert, dass die Pixel entweder dem Boden oder dem Anbaugerät zugeordnet werden. Links wird ein Bodenprofil berechnet 20. Rechts sind für die Pixel des Anbaugerätes 16 Transformationen 18 (aus 10) gezeigt, die dazu genutzt werden, die Lage des Pfluges relativ zur Kamera zu gewinnen. Abschließend werden der linke Pfad der Boden-Pixel 15 und der rechte Pfad der Anbaugerät-Pixel 16 zusammengeführt, um die Lage des Pfluges relativ zum Boden 26 zu bestimmen (19). 11 shows the subalgorithm 24 out 6 in the context of the described method. Links become ground pixels 15 processed in the camera image and right are implement pixels 16 processed in the camera image. Above is a data entry 17 (3D point cloud) shown, with which all pixels are detected. Arrows represent that the pixels are assigned to either the ground or the attachment. On the left a soil profile is calculated. 20. Right are for the pixels of the attachment 16 transformations eighteen (out 10 ), which are used to gain the position of the plow relative to the camera. Finally, the left path will be the bottom pixel 15 and the right path of the implement pixel 16 merged to the location of the plow relative to the ground 26 to determine ( 19 ).

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Landmaschineagricultural machinery

22

Anbaugerätattachment

33

Positionenpositions

44

Hubwerkhoist

55

Kamera bzw. KamerasystemCamera or camera system

66

Positionswechselposition change

77

SpeichervorgangSave operation

88th

konvexe Geländeformconvex terrain shape

99

konkave Geländeformconcave terrain shape

1010

Pflugscharreplow Scraper

1111

NeigungTilt

1212

Oberlenkertop link

1313

Unterlenkerlower link

1414

Hydraulikzylinderhydraulic cylinders

1515

Boden-PixelFloor-pixels

1616

Anbaugerät-PixelAttachment pixel

1717

Dateneingabe (3D-Punktewolke)Data input (3D point cloud)

1818

Transformationtransformation

1919

Lage des Pfluges relativ zum BodenPosition of the plow relative to the ground

2020

Berechnung des BodenprofilsCalculation of the soil profile

2121

Bildaufnahmeimage capture

2222

Rekonstruktion der 3D-PunktewolkeReconstruction of the 3D point cloud

2323

Segmentierungsegmentation

2424

Lagebestimmungorientation

2525

Optischer FlussOptical flow

2626

Bodenground

2727

Höheheight

2828

SpeicherStorage

2929

Steuergerätcontrol unit

Claims (15)

Verfahren zum Betrieb einer Landmaschine (1) mit einem Anbaugerät (2) an einem Hubwerk (4), zumindest aufweisend die folgenden Schritte: a) Empfangen von Kameradaten von einer Kamera (5), mit welcher dreidimensionale Bilddaten erzeugt werden, welche eine Blickrichtung auf das Anbaugerät (2) und den das Anbaugerät (2) umgebenden Boden (26) aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen, b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät (2) oder dem das Anbaugerät (2) umgebenden Boden (26) zugeordnet werden, c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes (2) oder der Landmaschine (1) zu bestimmen, d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine (1).Method for operating an agricultural machine (1) with an attachment (2) on a hoist (4), comprising at least the following steps: a) receiving camera data from a camera (5) with which three-dimensional image data is generated, which has a viewing direction on the attachment (2) and the ground (26) surrounding the attachment (2), the camera data being a plurality of successive times include captured camera images, b) evaluation of the camera data, wherein pixels in the camera data are assigned to either the attachment (2) or the ground (26) surrounding the attachment (2), c) using the assigned pixels to determine at least at least one working parameter of the attachment (2) or the agricultural machine (1), d) output of the working parameter for controlling at least one component of the agricultural machine (1). Verfahren nach Anspruch 1, wobei die Landmaschine (1) ein Traktor und das Anbaugerät (2) ein Pflug istMethod according to Claim 1 , wherein the agricultural machine (1) is a tractor and the attachment (2) is a plow Verfahren nach einem der vorhergehenden Ansprüche, wobei der in Schritt c) bestimmte mindestens eine Arbeitsparameter zumindest eine Höhe (27) und eine Neigung (11) des Anbaugerätes (2) gegenüber dem Boden (26) ist,Method according to one of the preceding claims, wherein the at least one working parameter determined in step c) is at least one height (27) and an inclination (11) of the attachment (2) relative to the ground (26), Verfahren nach Anspruch 3, wobei der in Schritt d) ausgegebene Ansteuerungsparameter zur Ansteuerung einer hydraulischen Regelung des eines Hubwerks (4) zur Regelung der Höhe (27) und der Neigung (11) des Anbaugerätes sind.Method according to Claim 3 in which the control parameter output in step d) is for controlling a hydraulic control of a hoist (4) for regulating the height (27) and the inclination (11) of the attachment. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kameradaten in Schritt a) Abstandsinformationen beinhalten, welche den Abstand der Kamera (5) von den in Bilddaten dargestellten Bereichen beschreibt.Method according to one of the preceding claims, wherein the camera data in step a) include distance information which describes the distance of the camera (5) from the areas represented in image data. Verfahren nach Anspruch 5, wobei die Zuordnung von Pixeln zu dem Anbaugerät (2) oder dem Boden (26) in Schritt b) anhand der Z-Richtung erfolgt.Method according to Claim 5 wherein the assignment of pixels to the attachment (2) or the ground (26) in step b) takes place on the basis of the Z-direction. Verfahren nach Anspruch 6, wobei in Schritt b) eine korrigierte statistische Verteilung zur Zuordnung der Pixel zum Anbaugerät (2) oder zum Boden (26) verwendet wird.Method according to Claim 6 wherein in step b) a corrected statistical distribution is used to associate the pixels with the attachment (2) or the ground (26). Verfahren nach Anspruch 6, wobei in Schritt a) eine Kamera (5) zur dreidimensionalen bzw. zweieinhalbdimensionale Bildgebung verwendet wird.Method according to Claim 6 , wherein in step a) a camera (5) for three-dimensional or two and a half-dimensional imaging is used. Verfahren zum Kalibrieren einer Landmaschine (1) für ein Anbaugerät (2), wobei die Landmaschine (1) ein Hubwerk (4) aufweist, mit welchem das Anbaugerät (2) verfahren werden kann, wobei das Verfahren zumindest die folgenden Schritte aufweist: i) Verbinden des Anbaugeräts (2) mit der Landmaschine (1), ii) Bewegen des Anbaugeräts (2) in mindestens eine Prüfstellung, die relativ zu der Landmaschine (1) bekannt ist, iii) Empfangen von Kameradaten von einer Kamera (5), mit welcher dreidimensionale Bilddaten gewonnen werden können, welche eine Blickrichtung auf das Anbaugerät (2) aufweist, wenn sich das Anbaugerät (2) in einer Prüfstellung befindet, iv) Auswerten der Kameradaten, wobei das Anbaugerät (2) in den Kameradaten erkannt und eine Prüfposition des Anbaugerätes (2) in der Prüfstellung anhand der Kameradaten ermittelt wird, v) Ermitteln von mindestens einem anbaugerätspezifischen Parameter für den Betrieb der Landmaschine (1) mit dem Anbaugerät (2) aus der Prüfposition.Method for calibrating an agricultural machine (1) for an attachment (2), the agricultural machine (1) having a lifting mechanism (4) with which the attachment (2) can be moved, the method having at least the following steps: i) connecting the attachment (2) to the agricultural machine (1), ii) moving the attachment (2) into at least one test position known relative to the agricultural machine (1), iii) receiving camera data from a camera (5) capable of obtaining three-dimensional image data having a view of the attachment (2) when the attachment (2) is in a test position, iv) evaluating the camera data, wherein the attachment (2) is detected in the camera data and a test position of the attachment (2) in the test position is determined based on the camera data, v) determining at least one attachment-specific parameter for the operation of the agricultural machine (1) with the attachment (2) from the test position. Verfahren nach Anspruch 9, wobei die für Schritt iii) verwendeten Kameradaten eine zumindest teilweise senkrecht zur Blickrichtung der Kamera (5) ausgerichtete Z-Richtung aufweisen, welche den Abstand der Kamera (5) von den in Bilddaten dargestellten Bereichen beschreibt.Method according to Claim 9 wherein the camera data used for step iii) have a Z-direction oriented at least partially perpendicular to the viewing direction of the camera (5), which describes the distance of the camera (5) from the areas represented in image data. Verfahren nach Anspruch 10, wobei Prüfposition des Anbaugerätes (2) in Schritt iv) anhand von Z-Richtungsinformationen in den Kameradaten ermittelt wird.Method according to Claim 10 wherein test position of the attachment (2) is determined in step iv) based on Z-direction information in the camera data. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 11, wobei in Schritte v) als anbaugerätspezifische Parameter eine Nulllinie ermittelt wird, die sich durch das Absetzen des Anbaugeräts (2) auf dem Boden (26) ergibt. Method according to one of the preceding Claims 9 to 11 , wherein in steps v) as attachment-specific parameters a zero line is determined, which results from the settling of the attachment (2) on the ground (26). Verfahren nach einem der vorhergehenden Ansprüche 9 bis 12, wobei in Schritte v) als anbaugerätspezifischer Parameter eine maximale Höhe (27) und eine maximale Neigung (11) des Anbaugeräts (2) ermittelt werdenMethod according to one of the preceding Claims 9 to 12 , wherein in steps v) as attachment-specific parameters, a maximum height (27) and a maximum inclination (11) of the attachment (2) are determined Verfahren nach einem der vorhergehenden Ansprüche 9 bis 13, wobei nach Schritt v) die in Schritt v) ermittelten Parameter in einem Speicher (28) in einem Steuergerät (29) hinterlegt werden.Method according to one of the preceding Claims 9 to 13 , wherein after step v) the parameters determined in step v) are stored in a memory (28) in a control device (29). Steuergerät (29) für eine Landmaschine (1), welches zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8 oder zur Durchführung des Verfahrens nach einem der Ansprüche 9 bis 14 eingerichtet ist.Control unit (29) for an agricultural machine (1), which is used to carry out the method according to one of Claims 1 to 8th or for carrying out the method according to one of Claims 9 to 14 is set up.

Images