DE102019201977A1

DE102019201977A1 - Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung und landwirtschaftliches Fahrzeug

Info

Publication number: DE102019201977A1
Application number: DE102019201977.3A
Authority: DE
Inventors: Christian Herzog; Tim Härle; Anatol Weidenbach; Jagmal Singh
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-02-14
Filing date: 2019-02-14
Publication date: 2020-08-20

Abstract

Verfahren zum Ermitteln eines Zustandes (H) einer Feldfrucht-Bepflanzung (16) mittels eines landwirtschaftlichen Kameraträgers (10), an dem eine Kamera (20) montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung (16) gerichtetes Blickfeld (22) hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes (30) mittels der Kamera (20); Durchführen einer Mustererkennung an den Bilddaten (34) des Bildes (30); Erfassen des Zustandes (H) der Feldfrucht-Bepflanzung (16) aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes (60) durchgeführt wird, derart, dass die Bilddaten (34) segmentiert werden, und wobei der Zustand (H) der Feldfrucht-Bepflanzung (16) auf der Grundlage der segmentierten Bilddaten (34') und von wenigstens einer Kamera-Randbedingung rechnerisch ermittelt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung bzw. eines Kulturenfeldes mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat.
Ferner betrifft die vorliegende Erfindung ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der oben beschriebenen Art implementiert ist.
Die Landwirtschaft hat in den letzten Jahren erhebliche Schritte hinsichtlich einer Modernisierung erreicht. Dabei wird vornehmlich darauf abgestellt, landwirtschaftliche Nutzflächen örtlich differenziert und zielgerichtet zu bewirtschaften. Das Ziel ist es dabei generell, die Ertragsfähigkeit innerhalb eines Feldes möglichst dauerhaft zu optimieren.
Während des Wachstums der Feldfrucht-Bepflanzung soll dabei Dünger beispielsweise nur nach Bedarf aufgebracht werden, ggf. als Funktion eines Zustandes der Feldfrucht-Bepflanzung über der Fläche des Ackers. Ferner ist man bestrebt, landwirtschaftliche Fahrzeuge möglichst autonom fahren zu lassen und/oder Drohnen zu verwenden, um einer Bodenverfestigung entgegen zu wirken.
Die autonome Fahrzeugsteuerung kann dabei beispielsweise über GPS-Navigation erfolgen. Zusätzlich hierzu ist es bekannt, Bilddaten zur selbsttätigen Führung eines landwirtschaftlichen Fahrzeugs zu verwenden.
Beispielsweise offenbart das Dokument DE 10 2016 209 437 A1 ein selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld, auf dem bei einem vorhergehenden Arbeitsvorgang eine Fahrspur hinterlassen wurde, wobei das Lenksystem eine auf die Fahrspur blickende Kamera, ein Bildverarbeitungssystem zur Verarbeitung von Bildsignalen der Kamera und eine Lenksteuerung aufweist. Das Bildverarbeitungssystem ist programmiert, das Bildsignal der Kamera in ein binäres Bild zu überführen und die Fahrspur anhand einer auf das binäre Bild angewandten, morphologischen Operation unter Verwendung eines die Fahrspur repräsentierenden Strukturelementes wie senkrechten Linien oder Rechtecken zu erkennen.
Das Dokument DE 103 51 861 A1 offenbart ein anderes Verfahren zum selbsttätigen Lenken einer landwirtschaftlichen Maschine, bei dem eine Kamera ein Bildsignal erzeugt, aus dem eine Pixeldatei erzeugt wird. Aus dieser wiederum wird Texturinformation bezüglich der Textur der Umgebung der Pixel der Pixeldatei erzeugt. Pixel der Pixeldatei werden unter Berücksichtigung der Texturinformation klassifiziert, um eine binäre Information zu erzeugen, ob das Pixel einer zu bearbeitenden Fläche zuzuordnen ist oder nicht. Anschließend wird ein Lenksignal erzeugt, das auf den Ergebnissen der Klassifikation basiert. Die Lenkmittel der Erntemaschine werden gemäß dem Lenksignal verstellt, so dass die Maschine selbsttätig gelenkt wird.
Durch das selbsttätige Lenken kann das landwirtschaftliche Fahrzeug sicher auf einer Fahrspur geführt werden, die für eine landwirtschaftliche Saison oder dauerhaft in dem Acker vorgesehen ist, zum wiederholten Durchführen von Pflegemaßnahmen an der Bepflanzung.
In einem Regelfahrgassenverfahren wird jedes Jahr exakt dieselbe Fahrgasse benutzt. Mithilfe von GPS sowie Daten zur Maschinenarbeitsbreite etc. wird der Acker in befahrene und unbefahrene Zonen eingeteilt.
An dem landwirtschaftlichen Fahrzeug ist in der Regel eine Vielzahl von Anbauteilen anbringbar und/oder Hänger anbringbar. Zum Düngen werden häufig sogenannte Sprüher verwendet. Zur Optimierung des Sprühvorganges werden an den Sprühern häufig Ultraschall-Sensoren zur Messung der Gewächshöhe eingesetzt. Diese Sensoren sind dabei in der Regel an Auslegern des Sprühers befestigt. Die so ermittelte Gewächshöhe kann verwendet werden, um einen optimalen Abstand zwischen einer Spritze des Sprühers und der Feldfrucht-Bepflanzung zu gewährleisten. Die Wuchshöhe kann auch zur automatischen Einstellung eines Mähwerkes verwendet werden. Auch kann in manchen Fällen die Fahrgasse mithilfe der Gewächshöhe genauer bestimmt werden.
Es ist vor diesem Hintergrund eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung sowie ein verbessertes landwirtschaftliches Fahrzeug anzugeben.
Die obige Aufgabe wird gelöst durch ein Verfahren zum Ermitteln einer Feldfrucht-Bepflanzung mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes mittels der Kamera; Durchführen einer Mustererkennung an den Bilddaten des Bildes; Erfassen des Zustandes der Feldfrucht-Bepflanzung aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes durchgeführt wird, derart, dass die Bilddaten segmentiert werden, und wobei der Zustand der Feldfrucht-Bepflanzung auf der Grundlage der segmentierten Bilddaten und von wenigstens einer Kamera-Randbedingung rechnerisch ermittelt wird.
Die obige Aufgabe wird zudem gelöst durch ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der erfindungsgemäßen Art implementiert ist.
Mit dem erfindungsgemäßen Verfahren lässt sich ein Zustand einer Feldfrucht-Bepflanzung ermitteln, ohne dass spezielle Sensoren oder dergleichen zu diesem Zweck vorgesehen werden müssen, wie beispielsweise Ultraschall-Sensoren. Daher kann das erfindungsgemäße Verfahren kostengünstig durchgeführt werden.
In vielen Fällen ist an einem landwirtschaftlichen Kameraträger, insbesondere an einem landwirtschaftlichen Fahrzeug wie einem Traktor, ohnehin eine Kamera montiert, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat. In vielen Fällen dient eine derartige Kamera zur Navigation bzw. zum selbsttätigen Lenken des Fahrzeugs und/oder zur Unterstützung des selbsttätigen Lenkens des Fahrzeugs. In vielen Fällen ist daher eine derartige Kamera an dem landwirtschaftlichen Kameraträger ohnehin vorhanden.
Der Kameraträger kann ein landwirtschaftliches Fahrzeug sein, kann jedoch auch ein Anbauteil an einem landwirtschaftlichen Fahrzeug sein. Ferner kann der landwirtschaftliche Kameraträger ein Anhänger für ein landwirtschaftliches Fahrzeug oder dergleichen sein. Generell ist es jedoch auch denkbar, als landwirtschaftlichen Kameraträger eine Drohne einzusetzen, die ohne Kontakt zum Boden unbemannt in vergleichsweise niedriger Höhe über das Feld geflogen wird.
Die Kamera ist insbesondere eine Digitalkamera. Das digitale Bild, das mittels der Kamera aufgenommen wird, kann ein digitales Schwarzweiß- oder digitales Farbbild sein. Sofern es sich um ein Farbbild handelt, ist es nötig, zur Durchführung des Verfahrens nur die Bilddaten einer Farbe (z.B. rot, grün oder blau) zu verwenden, alle drei Farben, aus denen ein Farbbild zusammengesetzt ist.
Das digitale Bild kann vor der Durchführung der Mustererkennung einer digitalen Filterung unterzogen werden, durch die beispielsweise eine Kontrasterhöhung durchgeführt wird oder Ähnliches. Ferner können die Bilddaten einer Vorabbearbeitung unterzogen werden, bei der beispielsweise optische Verzerrungen oder Aberrationen etc. herausgerechnet werden, die für die spezielle Kamera bzw. das spezielle in der Kamera verwendete Objektiv charakteristisch sind. Generell ist es auch möglich, eine automatisierte Bildverarbeitung über das aufgenommene Bild auszuführen, um den Kontrast zu verbessern, etc., und/oder einen Weißabgleich durchzuführen, ggf. in Abhängigkeit von der aufgenommenen überwiegenden Farbtemperatur (bewölkter Himmel, Sonnenschein oder andere Temperaturparameter).
Das digitale Bild kann beispielsweise ein Bild mit mehr als 1 Million Pixeln sein (jeder Pixel kann ausschließlich ein Grauwert sein oder kann drei Einzelpixel für einen Grünwert, einen Blauwert und einen Rotwert sein).
Für die Durchführung der Mustererkennung ist es jedoch auch in der Regel hinreichend, wenn das digitale Bild weniger als 10 Megapixel aufweist.
Der Zustand der Feldfrucht-Bepflanzung ist vorzugsweise ein solcher Zustand, der sich aus einem Muster ableiten lässt, das im Rahmen der Mustererkennung an den Bilddaten des Bildes durchgeführt wird.
Da die Mustererkennung und Verwendung eines neuronalen Netzes durchgeführt wird, ist es bevorzugt, wenn die Aufnahme des wenigstens einen digitalen Bildes unter vergleichbaren Randbedingungen erfolgt, unter denen ein Einlernen des neuronalen Netzes stattgefunden hat. Dies kann beispielsweise eine Position einer Kamera an dem landwirtschaftlichen Kameraträger sein. Ferner sollte die gleiche Kamera bzw. eine Kamera mit zumindest dem gleichen Blickwinkel verwendet werden (gleicher Brennweite!). Schließlich sollte das Pixel der Kamera vergleichbar eingestellt werden, und zwar sowohl hinsichtlich der Ausrichtung in der Horizontalen und der Ausrichtung in der Vertikalen.
Die Bilddaten werden durch das neuronale Netz segmentiert, also in Flächen aufgeteilt. Die zwischen solchen Segmentflächen vorhandenen Übergänge werden auch als Segmentbegrenzungslinien oder Linien oder Ränder bezeichnet. Vorzugsweise erfolgt die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung auf der Grundlage von wenigstens einer Koordinate eines ersten Randes und einer Koordinate eines zweiten solchen Randes.
Die Segmentierung der Bilddaten mithilfe eines neuronalen Netzes kann vergleichsweise einfach realisiert werden. Die wenigstens eine Kamera-Randbedingung ermöglicht dann, aus den so segmentierten Bilddaten den Zustand der Feldfrucht-Bepflanzung zu ermitteln und zwar durch Rechenoperationen, insbesondere auf der Grundlage von trigonometrischen Rechenoperationen.
Die Aufgabe wird damit vollkommen gelöst.
Von besonderem Vorzug ist es, wenn das Blickfeld der Kamera auf einen Rand der Feldfrucht-Bepflanzung gerichtet ist und wobei die Segmentierung der Bilddaten beinhaltet, aus den Bilddaten eine erste Linie zu extrahieren, die einer Bodenlinie am Rand der Feldfrucht-Bepflanzung entspricht, und/oder eine zweite Linie zu extrahieren, die einer Fruchtspitzenlinie am Rand der Feldfrucht-Bepflanzung entspricht.
Über den „Blick“ auf einen solchen Rand der Feldfrucht-Bepflanzung lässt sich der Zustand der Feldfrucht-Bepflanzung rechnerisch vergleichsweise einfach ermitteln.
Gemäß einer weiteren bevorzugten Ausführungsform beinhaltet die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung, wenigstens eine Bildkoordinate in einem Bild-Koordinatensystem der Bilddaten auf eine Systemkoordinate in einem Kameraträger-Koordinatensystem umzurechnen.
Bei Kenntnis über die wenigstens eine Kamera-Randbedingung lässt sich eine derartige Koordinatentransformation rechnerisch vergleichsweise einfach realisieren.
Ferner ist es vorteilhaft, wenn die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung beinhaltet, eine Bodenlinien-Bildkoordinate auf der ersten Linie als eine Referenz-Systemkoordinate in einem Kameraträger-Koordinatensystem festzulegen, die vorzugsweise eine Höhe von Null hat.
Hierdurch kann von der Bodenlinien-Bildkoordinate auf eine Referenz-Systemkoordinate geschlossen werden, beispielsweise durch eine Koordinatentransformation, die als Bezugsgröße dienen kann, wobei insbesondere angenommen wird, dass die Referenz-Systemkoordinate in dem Kameraträger-Koordinatensystem eine Höhe von Null hat, also der Bodenhöhe entspricht.
Ferner ist es vorteilhaft, wenn die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung beinhaltet, eine Fruchtspitzen-Bildkoordinate auf der zweiten Linie als eine Höhen-Systemkoordinate in einem Kameraträger-Koordinatensystem festzulegen.
Die Höhen-Systemkoordinate weist dabei insbesondere ein von Null abweichende Höhe auf.
In Kenntnis der Bodenlinien-Bildkoordinate und der Fruchtspitzen-Bildkoordinate beinhaltet die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung vorteilhafterweise, eine Bildkoordinaten-Differenz zwischen einer solchen Bodenlinien-Bildkoordinate und einer solchen Fruchtspitzen-Bildkoordinate zu bilden, die in dem Bild-Koordinatensystem den gleichen Breitenwert haben, oder eine Kameraträgerkoordinaten-Differenz zwischen einer Bodenlinien-Kameraträgerkoordinate und einer Fruchtspitzen-Kameraträgerkoordinate zu bilden, die der Bodenlinien-Bildkoordinate bzw. der Fruchtspitzen-Bildkoordinate entsprechen, die den gleichen Breitenwert haben.
Die hierbei getroffene Annahme ist es, dass die Feldfrucht-Bepflanzung aus einzelnen Pflanzen besteht, die im Wesentlichen senkrecht nach oben wachsen, der Austritt aus dem Boden also senkrecht unterhalb einer Fruchtspitze wie einer Ähre oder dergleichen liegt.
Die Bilddaten werden vorzugsweise so aufgenommen, dass die Bilddaten in Breitenrichtung einer Horizontalrichtung entsprechen, wobei die Höhenrichtung der Bilddaten einer Vertikalen entspricht. Diese Zuordnung kann beispielsweise dadurch gewährleistet werden, dass die Kamera an dem Kameraträger geeignet ausgerichtet montiert wird.
Der so ermittelte Zustand der Feldfrucht-Bepflanzung kann dann direkt als gültiger Wert festgestellt werden. In manchen Fällen kann es jedoch bevorzugt sein, mehrere derartiger ermittelter Zustände durch eine Mittelwertbildung zu verbessern.
Gemäß einer bevorzugten Ausführungsform beinhaltet die rechnerische Ermittlung des Zustandes der Feldfrucht-Bepflanzung folglich, den Zustand der Feldfrucht-Bepflanzung für eine Mehrzahl von hinsichtlich des Breitenwertes unterschiedlichen Bildkoordinaten eines Bildes und/oder für eine Mehrzahl von hinsichtlich des Breitenwertes identischen, jedoch auf zeitlich aufeinanderfolgenden Bilddaten beruhenden Bildkoordinaten zu errechnen und anschließend einen Mittelwert zu bilden.
Ferner ist es insgesamt vorteilhaft, wenn die Kamera-Randbedingung wenigstens einen extrinsischen Kameraparameter und/oder wenigstens einen intrinsischen Kameraparameter beinhaltet, insbesondere eine Kamera-Projektionsgleichung, die eine Funktion des Blickwinkels ist.
Der extrinsische Kameraparameter kann insbesondere eine Montageposition der Kamera an dem Kameraträger beinhalten, sowie eine Ausrichtung in der Horizontalen und in der Vertikalen (also die Montageneigung um eine Nickachse und/oder um eine Rollachse).
Bei einer besonders bevorzugten Ausführungsform ist das neuronale Netz ein Convolutional Neural Network. Derartige Netzwerke sind allgemein bekannt und auch als faltende neuronale künstliche Netzwerke bekannt, siehe
https://de.wikipedia.org/wiki/Convolutional_Neural_Network.
Gemäß einer weiteren bevorzugten Ausführungsform ist es bevorzugt, wenn aus dem aufgenommenen Bild zunächst eine Zielregion ausgewählt wird.
Die Zielregion ist vorzugsweise ein bevorzugter Ausschnitt aus den aufgenommenen Bilddaten.
Das Blickfeld der Kamera ist vorzugsweise ein solches Blickfeld, das die Kamera dazu befähigt, auch bei Verfahren zum selbsttätigen Lenken beizutragen. Demzufolge ist das Blickfeld eher ein „Weitwinkel“-Blickfeld.
Für die Ermittlung des Zustandes der Feldfrucht-Bepflanzung ist jedoch in der Regel nur ein relativ kleiner Ausschnitt aus dem digitalen Bild notwendig, da beispielsweise bei der Mustererkennung nur auf Daten abgestellt wird, die sich in relativer Nähe zu der Kamera befinden, beispielsweise in einem Abstand von weniger als 15 Metern von der Kamera, insbesondere weniger als 10 Metern.
Demzufolge kann der Ausschnitt so gewählt werden, dass aus dem Blickfeld der Kamera ein solcher Ausschnitt ausgewählt wird, bei dem die so erzeugte Zielregion maximal bis zu dem o.g. Wert reicht.
Beispielsweise kann hierdurch die Anzahl der Pixel auf weniger als die Hälfte der Anzahl der Pixel des digitalen Bildes reduziert werden, vorzugsweise weniger als ein Viertel, und insbesondere weniger als ein Fünftel der Anzahl der Pixel des digitalen Ausgangsbildes.
Ferner ist es vorteilhaft, wenn bei der Verwendung des Convolutional Neural Networks (CNN) eine Mehrzahl von Faltungsoperationen an den Bilddaten durchgeführt wird.
Bei einem CNN wird in der Regel eine Faltungsmatrix bzw. ein Filterkernel verwendet, die über die digitalen Bilddaten bewegt wird. Die Faltungsmatrix ist vorzugsweise eine 3x3-Matrix, eine 5x5-Matrix oder eine 7x7-Matrix.
Der mittels der Faltungsmatrix ermittelte Input für ein Neuron des Netzwerks wird dann über eine Aktivierungsfunktion in einen Ausgang verwandelt, der zu einer Convolutional Layer führt. In einem folgenden Schritt wird vorzugsweise nach jeder Faltungsoperation eine Auswahloperation durchgeführt, das sogenannte „Pooling“, bei dem überflüssige Informationen verworfen werden.
Nach einigen sich wiederholenden Einheiten aus jeweiligen Faltungsoperationen und Auswahloperationen, die jeweils zu Convolutional Layers führen, kann ein CNN eine oder mehrere sogenannte Fully-Connected Layers erzeugen.
Vorliegend ist es zum Zwecke der Segmentierung von Bilddaten jedoch bevorzugt, wenn eine CNN-Architektur verwendet wird, deren Ausgang eine letzte Convolutional Layer ist. Dieser Ausgang ist vorzugsweise 2-dimensional (2-D). Aus der letzten Convolutional Layer wird vorzugsweise ein 2-D Ausgang erzeugt, der mehrere sogenante Kanäle aufweist. Jeder Kanal entspricht einer Sementierungsklasse, z.B.: Klasse 1: Boden; Klasse 2 : Gewächsfläche; Klasse 3: alles andere.
Ein Beispiel einer solchen Architektur ist unter der Bezeichnung „SegNet“ beschrieben in http://mi.enq.cam.ac.uk/projects/segnet/demo.php#demo.
Während der Schritte der Faltungsoperationen und der Auswerteoperationen findet in der Regel eine Kantenerkennung statt. Das Muster beinhaltet dabei insbesondere wenigstens eine Kante.
Ein Training des CNN beinhaltet dabei vorzugsweise die Verwendung von einer Vielzahl von aufgenommenen digitalen Bildern und von zugeordneten echten Messdaten („gelabelte Daten“).
Die Anzahl der im Training verwendeten Bilder sollte so groß wie möglich sein und dennoch praktikabel sein. Die Anzahl kann beispielsweise in einem Bereich von größer 2.000 und kleiner 50.000 liegen, insbesondere in einem Bereich von mehr als 4.000 und weniger als 15.000 Bildern. Die Optimierungsverfahren werden dabei mittels geeigneter Lernmechanismen durchgeführt.
Insgesamt ist es besonders vorteilhaft, wenn ein bei der Mustererkennung zu erkennendes Muster einen Rand der Feldfrucht-Bepflanzung aufweist, auf die das Blickfeld der Kamera gerichtet ist.
Unter einem Rand der Feldfrucht-Bepflanzung wird ein Übergang von der Feldfrucht-Bepflanzung zu einem unbepflanzten Teil des Ackers verstanden. Das zu erkennende Muster kann dabei insbesondere eine Oberkante und/oder eine Unterkante eines solchen Randes der Feldfrucht-Bepflanzung sein, also insbesondere ein Bereich, bei dem die randständigen Pflanzen der Feldfrucht-Bepflanzung aus dem Boden austreten bzw. mit ihren Spitzen (z.B. Ähren) enden.
Dabei ist es bevorzugt, wenn der Rand der Feldfrucht-Bepflanzung benachbart zu einer Fahrgasse ist.
Der Zustand der Feldfrucht-Bepflanzung kann einen Fruchtreifegrad, eine Fruchtgröße, eine Farbe, etc. sein.
Besonders bevorzugt ist es jedoch, wenn der Zustand der Feldfrucht-Bepflanzung eine Gewächshöhe der Feldfrucht-Bepflanzung ist.
Dieser Zustand kann insbesondere dazu genutzt werden, um eine Höhe einer Spritze bzw. einen Abstand der Spritze zu den Spitzen der Pflanze einzustellen, wenn die Bepflanzung mittels Sprüher besprüht wird.
Gemäß einer weiteren insgesamt bevorzugten Ausführungsform ist die Kamera an dem Kameraträger in einer solchen Kameraposition montiert, dass das Blickfeld der Kamera von schräg oben auf eine Fahrspur in der Feldfrucht-Bepflanzung gerichtet ist.
Durch das von schräg oben auf die Fahrspur gerichtete Blickfeld ist es möglich, den Rand der Feldfrucht-Bepflanzung am Übergang zu dieser Fahrspur gut zu erfassen. Das Blickfeld ist dabei vorzugsweise so, dass zu der Fahrspur benachbarte Feldfrüchte bzw. Pflanzen ausgehend von dem Boden bis zur Spitze der jeweiligen Pflanze zu sehen sind; bei einer zweispurigen Fahrgasse mit zwei Fahrspuren ist es bevorzugt, wenn die Kamera gegenüber einer Längs-Mittelachse des Kameraträgers bzw. des Fahrzeugs seitlich versetzt ist. Der seitliche Versatz kann beispielsweise in dem Bereich von 5 cm bis 150 cm liegen, insbesondere in einem Bereich von 10 cm bis 100 cm.
Hierdurch ist es möglich, den Rand der Feldfrucht-Bepflanzung von einer der zwei Fahrspuren der Fahrgasse optimiert aufzunehmen, derart, dass der Rand der Feldfrucht-Bepflanzung im Verhältnis zur Umgebung relativ groß ist.
Bei dem erfindungsgemäßen Verfahren ist es mit geringem Mehraufwand möglich, sogenannte „Ground Truth Werte“ für die Wuchshöhe mitzubestimmen, beispielsweise durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes.
Ferner wird eine Steuereinrichtung bereitgestellt, die eingerichtet ist, um das Verfahren gemäß einer der zuvor beschriebenen Ausführungsformen auszuführen. Die Steuereinrichtung kann verschiedene Schnittstellen zum Empfangen und Ausgeben der entsprechenden Signale aufweisen. Unter einer Einrichtung der Steuereinrichtung zum Ausführen einer bestimmten Funktion kann im Rahmen der Erfindung eine spezifische Herrichtung, beispielsweise eine Programmierung, der Steuereinrichtung zum Ausführen der Funktion verstanden werden.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

1 eine schematische Darstellung eines landwirtschaftlichen Fahrzeugs am Rand einer Feldfrucht-Bepflanzung;
2 ein mittels einer Kamera des Fahrzeugs der 1 aufgenommenes digitales Bild;
3 eine Zielregion des Bildes der 2;
4 eine schematische Darstellung eines erkannten Musters in der Zielregion der 3;
5 ein aus dem erkannten Muster der 4 ermittelter Zustand der Feldfrucht-Bepflanzung;
6 eine Draufsicht auf ein landwirtschaftliches Fahrzeug, das in einer zweispurigen Fahrgasse in einer Feldfrucht-Bepflanzung fährt;
7 ein mittels einer Kamera des Fahrzeugs der 6 aufgenommenes Bild;
8 eine Zielregion des digitalen Bildes der 7;
9 ein erkanntes Muster in der Zielregion der 8 mit einer Darstellung des ermittelten Zustandes der Feldfrucht-Bepflanzung;
10 eine schematische Darstellung eines Verfahrensablaufs ausgehend von einer Bild-Vorbearbeitung über die Anwendung eine Convolutional Neural Networks und das daraus abgeleitete Segmentierungsergebnis;
11 eine Darstellung eines mittels einer Kamera auf eine Fahrgasse aufgenommenen Bildes mit einer Mehrzahl von durch Verwendung eines neuronalen Netzes ermittelten Bildsegmenten und einer Vielzahl von Linien, die diese Segmente begrenzen; und
12 eine schematische Darstellung einer Mehrzahl von Linien im Kontext einer schematisch dargestellten Feldfrucht-Bepflanzung.

In 1 ist in schematischer Form ein landwirtschaftliches Fahrzeug in Form eines Fahrzeugs dargestellt und generell mit 10 bezeichnet. Das Fahrzeug 10 steht auf einem Acker 12, genauer auf dessen Ackerboden 14. In einem Bereich vor dem Fahrzeug 10 befindet sich auf dem Acker eine Feldfrucht-Bepflanzung 16, beispielsweise in Form eines Weizenfeldes, eines Maisfeldes, eines Rapsfeldes, etc.
Die Feldfrucht-Bepflanzung besteht aus Einzelpflanzen mit einem Halm 16a und einem Pflanzenkopf, beispielsweise einer Pflanzenähre 16b. Die Feldfrucht-Bepflanzung 16 weist einen Zustand in Form einer Gewächshöhe H auf, die ausgehend von dem Ackerboden 14 bis zu der Oberseite bzw. Fruchtspitze der Pflanzenenden 16b reicht.
Dem Fahrzeug 10 ist ein Fahrzeugkoordinatensystem mit einer x-Achse, die einer Fahrzeuglängsachse des Fahrzeugs 10 entspricht, einer y-Achse, die einer Querachse des Fahrzeugs 10 entspricht, und einer z-Achse zugeordnet, die einer Höhenrichtung entspricht. Die Gewächshöhe H verläuft parallel zu der z-Richtung.
Eine Achse der Hinterreifen des Fahrzeugs 10 befindet sich an einer x-Position von x₀ und einer z-Position von z₀. Die Oberseite bzw. Fruchtspitze der Pflanzenenden (16b) liegt vorzugsweise auf einer z-Position von z₁.
An dem Fahrzeug 10 ist eine digitale Kamera 20 fest montiert, und zwar in einer x-Position von x₁ und einer z-Position von z₂. Der Wert von z₂ ist vorzugsweise größer als eine maximale Gewächshöhe H. Eine alternative Montageposition für die digitale Kamera 20 ist bei 20' gezeigt.
Die Kamera 20 weist ein Blickfeld 22 auf, das generell nach vorne gerichtet ist, derart, dass die Feldfrucht-Bepflanzung 16 erfasst wird, und zwar einschließlich ihres Randes, an dem die Feldfrucht-Bepflanzung 16 endet (in x-Richtung gesehen).
Zwischen der Kamera 20 und dem Rand der Feldfrucht-Bepflanzung 16 ist ein Abstand von wenigstens einem Meter vorgesehen.
Ein unterer Rand des Blickfeldes 22 fällt in der dargestellten Ausführungsform an einer Position x₂ mit dem Ackerboden 14 zusammen. Die Position x₂ liegt vor einer Position x₃, die die x-Position des Randes der Feldfrucht-Bepflanzung 16 darstellt.
Mit anderen Worten ist das Blickfeld 22 der Kamera 20 so eingestellt, dass der Rand der Feldfrucht-Bepflanzung 16 ausgehend von dem Ackerboden 14 bis hin zu der Oberseite der einzelnen Pflanzen vollständig erfasst wird.
Ergänzend sei darauf hingewiesen, dass das landwirtschaftliche Fahrzeug 10 eine Steuereinrichtung 24 aufweist, die vorzugsweise mit der Kamera 20 verbunden ist. Ferner weist das landwirtschaftliche Fahrzeug 10 vorzugsweise eine Lenkeinrichtung 26 auf, die ein selbsttätiges Lenken des Fahrzeugs 10 ermöglicht, und zwar auf der Basis entweder ausschließlich von Daten der Kamera 20 und/oder auf der Basis von Daten eines GPS-Systems 28, das ebenfalls vorzugsweise in das Fahrzeug 10 integriert ist.
Die Lenkeinrichtung 26 und das GPS-System 28 befinden sich ebenfalls mit der Steuereinrichtung 24 in Verbindung. Die Steuereinrichtung 24 kann ferner dazu ausgebildet sein, einen an dem Fahrzeug 10 montierten Sprüher 29 hinsichtlich seiner Höhe zu verstellen, wie es durch einen Fall in 1 dargestellt ist, vorzugsweise in Abhängigkeit von der Gewächshöhe H.
In 2 ist ein mittels der Kamera 20) aufgenommenes Bild 30 zu sehen. Das Bild 30 zeigt einen Teil eines Himmels 32 sowie die Feldfrucht-Bepflanzung 16 im Bereich ihres Randes. Ferner ist ein kleiner Teil des Ackerbodens 14 zu erkennen. Das Bild 30 weist eine Breite B_B und eine Höhe B_H auf. Das Bild 30 weist eine Vielzahl von Pixeln 34 auf, von denen einer in 2 schematisch angedeutet ist. Das Bild kann beispielsweise eine Anzahl von Pixeln von > 500.000 und < 20.000.000 aufweisen, wobei jedem Pixel entweder ein einzelner Grauwert zugeordnet ist oder drei Farbwerte in Form eines Rot-, eines Grün- oder eines Blauwertes.
Die Kamera 20 und die damit aufgenommenen digitalen Bilder 30 werden bei dem Fahrzeug 10 vorzugsweise zur Navigation bzw. zum Zwecke des autonomen Fahrens verwendet, beispielsweise um eine in 1 nicht näher dargestellte Fahrgasse zu erkennen. Die Erkennung der Fahrgasse kann beispielsweise erfolgen, wie es den oben beschriebenen Dokumenten DE 10 2016 209 437 A1 und DE 103 51 861 A1 beschrieben ist.
Andererseits dient die Kamera 20 vorliegend auch zum Ermitteln eines Zustandes der Feldfrucht-Bepflanzung 16. Der Zustand kann ein Fruchtreifegrad sein, eine Fruchtgröße, eine Farbe oder Ähnliches. Vorzugsweise ist der Zustand jedoch die Gewächshöhe H, anhand derer das vorliegende Ermittlungsverfahren beispielhaft beschrieben wird.
Zum Ermitteln der Gewächshöhe H ist vorzugsweise nur ein Ausschnitt aus dem Bild 30 von Interesse. Der Ausschnitt, der vorliegend auch als Zielregion 36 bzw. „Region of Interest“ bezeichnet wird, ist in 3 vergrößert dargestellt. Man erkennt, dass hier die Gewächshöhe H' relativ zu der Höhe der Zielregion 36 einen relativ großen Wert einnimmt, so dass eine vergleichsweise gute Erkennung dieses Zustandes möglich ist. Die Gewächshöhe ist in 3 mit H' angegeben.
Das digitale Bild 30 und/oder die Zielregion 36 kann ferner einer weiteren Vorbearbeitung unterzogen werden, die beispielsweise eine Filterung beinhalten kann, einen Weißabgleich, eine Kontrasterhöhung oder -verringerung, eine Vergrößerung oder Verkleinerung des Dynamikumfanges etc. Ferner ist es möglich, Grauwerte zu filtern, beispielsweise auf die Farbe der Feldfrucht-Bepflanzung hin. Beispielsweise kann ein Gelbfilter verwendet werden, um auf diese Weise blau herauszufiltern, so dass der Himmel anschließend schwarz erscheint, wie es in der Zielregion 36A der 4 schematisch bei 32 angedeutet ist.
Die Arten der Vorbearbeitung des Bildes 30 bzw. der daraus abgeleiteten Zielregion 36 hängt maßgeblich von der Art der Feldfrucht-Bepflanzung sowie von sonstigen Umgebungsbedingungen ab.
In vielen Fällen beinhaltet die Vorbearbeitung auch einen Ausgleich von intrinsischen Fehlern der Kamera, beispielsweise ein Korrigieren einer Aberration, einer Verzerrung eines Objektives der Kamera, etc. Dies ist für eine Zielregion 36B schematisch in 5 dargestellt.
Schließlich kann eine Vorbearbeitung auch eine Funktion von äußeren Umgebungszuständen sein, beispielsweise eine Funktion einer Farbtemperatur (z.B. Aufnahme bei bewölktem Himmel oder bei Sonnenschein, etc.).
Nach dieser Vorbearbeitung des Bildes 30 bzw. der Zielregion 36 wird die so erzeugte digitale zweidimensionale Bilddatei einem Convolutional Neural Network zugeführt, das vorab auf die Erkennung von Segmenten in den Bilddaten trainiert worden ist.
Das Convolutional Neural Network, das im Folgenden kurz mit CNN bezeichnet wird, ist anhand einer Vielzahl (beispielsweise mehr als 1.000 und vorzugsweise weniger als 50.000) vergleichbaren Bilddaten trainiert worden, und zwar unter Verwendung von echten Messdaten zu diesen Bilddaten. Mit anderen Worten wurden der 2 vergleichbare Bilder aufgenommen und es wurde dann ein Training des CNN vorgenommen, dahingehend, dass zu den jeweiligen Bildern die richtigen (entweder manuell oder mittels Sensoren oder dergleichen) erfassten Segmente als Trainingsparameter verwendet wurden.
Das CNN führt an den Bilddaten des Bildes bzw. der Zielregion 36 eine Mustererkennung durch und erfasst die für die Ermittlung des Zustandes der Feldfrucht-Bepflanzung relevanten Segmente. Ein Segment kann beispielsweise ein Bodensegment sein, das einer Fahrspur oder dergleichen entspricht. Ein weiteres Segment kann eine Fläche von Fruchtspitzen der Feldfrucht-Bepflanzung sein. Ein drittes Segment ist vorzugsweise ein Rand zwischen einer solchen Bodenfläche und der Feldfrucht-Bepflanzungs-Oberseite.
In den Darstellungen der 4 und 5 wird durch die Segmentierung die Oberseite der Feldfrucht-Bepflanzung zusammen mit dem Himmel als ein Segment dargestellt.
5 zeigt dabei eine erste Linie 37, die einer Bodenlinie am Rand der Feldfrucht-Bepflanzung 16 entspricht. Ferner zeigt 5 eine zweite Linie 38, die einer Fruchtspitzenlinie am Rand der Feldfrucht-Bepflanzung 16 entspricht. Die Linien 37, 38 sind jeweils Übergangslinien zwischen Segmenten, die in 5 bei 14 für den Ackerboden, bei 16 für den Rand der Feldfrucht-Bepflanzung und bei 32 für eine Oberseite der Feldfrucht-Bepflanzung bzw. einen Himmel angegeben sind.
Unter der Annahme, dass die Pflanzen im Wesentlichen senkrecht wachsen und unter der Annahme, dass die Kamera so montiert ist, dass ihre Breitenrichtung parallel zum Horizont verläuft, lässt sich nun als ein Zustand die Gewächshöhe H wie folgt bestimmen.
Zum einen wird in der ersten Linie 37 eine erste Koordinate in Form einer Bodenlinien-Bildkoordinate herangezogen. Anschließend wird in der zweiten Linie 38 eine weitere Koordinaten in Form einer Fruchtspitzen-Bildkoordinate 39b angenommen. Die Bildkoordinaten 39a, 39b haben dabei den gleichen Breitenwert, der in 5 mit y₁ angegeben ist.
Die Gewuchshöhe H lässt sich nun durch die Differenz der Koordinaten 39b, 39a in z-Richtung ermitteln. Die Differenz in den Bild-Koordinaten wird dabei vorzugsweise über eine Koordinatentransformation in eine entsprechende Differenz in einem Kameraträgerkoordinatensystem x, y, z umgerechnet, wie es in 1 dargestellt ist.
Mittels des oben beschriebenen Verfahrens zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung kann der Zustand aus Bilddaten einer Kamera erfasst bzw. abgeleitet werden, und zwar mittels eines CNN, mittels einer Segmentierung von Bilddaten und durch eine rechnerische Ermittlung auf der Grundlage der segmentierten Bilddaten und von wenigstens einer Kamera-Randbedingung. Alternativ kann auch ein anderes neuronales Netzwerk verwendet werden, wobei ein CNN für Bilddaten das bevorzugte künstliche neurale Netzwerk ist.
Es ist folglich möglich, Sensoren wie Ultraschall-Sensoren einzusparen, die an dem Sprüher 29 befestigt werden müssen, um die Gewächshöhe H im Betrieb zu messen. Ferner liegt ein Vorteil darin, dass man während eines Fahrbetriebes des Fahrzeuges die Gewächshöhe quasi vorausschauend ermitteln kann, und die Einstellung der Höhe des Sprühers anschließend unter Berücksichtigung der zurückgelegten Wegstrecke und beispielsweise des Abstandes von dem gemessenen Abschnitt der Feldfrucht-Bepflanzung und dem Sprüher 29 in x-Richtung angepasst werden kann.
Nachstehend wird eine weitere Ausführungsform eines Verfahrens zum Ermitteln einer Gewächshöhe einer Feldfrucht-Bepflanzung beschrieben, das hinsichtlich Aufbau und Funktionsweise generell dem Verfahren der 1 bis 5 entspricht. Gleiche Elemente sind daher durch gleiche Bezugszeichen gekennzeichnet. Im Folgenden werden im Wesentlichen die Unterschiede erläutert.
In 6 ist zu erkennen, dass ein landwirtschaftliches Fahrzeug 10, das als zweispuriges Fahrzeug ausgebildet ist, entlang einer Fahrgasse 40 fährt, die eine linke Fahrspur 42 und eine rechte Fahrspur 44 beinhaltet. Die Fahrgasse 40 ist eine in der Feldfrucht-Bepflanzung 16 vorgesehene Fahrgasse, die regelmäßig zur Bewirtschaftung der Bepflanzung 16 befahren wird und folglich im Bereich der Fahrspuren 42, 44 direkt dem Ackerboden bzw. der Ackerbodenhöhe entspricht.
Das Fahrzeug 10 weist eine Mittelachse 46 in x-Richtung, d.h. in Längsrichtung auf. Die Kamera 20 weist eine Blickfeldachse 48 auf, die schräg verläuft zu der Mittelachse46, also unter einem Winkel von mehr als 1 Grad und vorzugsweise weniger als 30 Grad zu der Mittelachse 46 ausgerichtet ist. Ferner ist es alternativ oder zusätzlich bevorzugt, wenn die Kamera 20 gegenüber der Mittelachse 46 seitlich versetzt ist, und zwar in y-Richtung. Der Seitenabstand 50 zwischen der Mittelachse 46 und der Kamera 20 kann beispielsweise in einem Bereich von 5 cm bis 100 cm liegen, vorzugsweise in einem Bereich von 5 cm bis 50 cm.
Durch diese asymmetrische Anordnung bzw. Ausrichtung wird eine der zwei Fahrspuren von dem Blickfeld 22 so erfasst, dass ein Rand 52 der Feldfrucht-Bepflanzung 16 am Übergang von dieser Bepflanzung zu der Fahrspur (hier der linken Fahrspur 42) gut zu erkennen ist, und zwar ausgehend von dem Ackerboden 14 bis zu den oberen Spitzen der Feldfrucht-Bepflanzung 16 im Bereich dieses Randes 52.
Ein mittels der Kamera 20 aufgenommenes Bild 30 (entsprechend dem Bild 30 der 2) ist in 7 gezeigt.
Es ist zu erkennen, dass die zwei Fahrspuren 42, 44 zu sehen ist, wobei von der linken Fahrspur 42 ein überwiegender Teil des Ackerbodens 14 zu erkennen ist. Ferner ist für die linke Fahrspur 42 der Rand 52 ausgehend von der Fahrspur 42 bis hin zu der Oberseite der Feldfrucht-Bepflanzung 16 gut erkennbar, und zwar insbesondere in einem unteren Teilbereich des Bildes 30.
Folglich wird vorzugsweise eine Zielregion 36 aus dem unteren Teil des Bildes 30 ausgewählt, wie es in 8 bei 36A dargestellt ist. In dem Bild der 8 ist die rechte Fahrspur zwar noch ansatzweise zu erkennen, spielt jedoch für die weitere Mustererkennung und Zustandsermittlung keine Rolle mehr. 9 zeigt eine der 5 vergleichbare Darstellung und zeigt eine Zielregion 36B.
Entscheidend ist, dass sich aus der Darstellung der 8 und/oder der 9 und insbesondere von dem Rand 52 der Feldfrucht-Bepflanzung 16 unter Zuhilfenahme eines CNN die Höhe H der Feldfrucht-Bepflanzung errechnen lässt, und zwar auf gleiche Art und Weise wie oben unter Bezugnahme auf die 2 bis 5 beschrieben.
Die Höhe H kann als konkreter Wert ausgegeben werden oder als Gewächshöhen-Klasse.
Unter einer Gewächshöhen-Klasse wird verstanden, dass beispielsweise Werte ausgegeben werden von 10 cm bis 20 cm oder von 20 cm bis 30 cm oder von 30 cm bis 40 cm oder von ...
10 zeigt in schematischer Form einen Teil des dargestellten Ermittlungsverfahrens.
In einem Schritt 62 erfolgt eine Bild-Vorbearbeitung, wie sie ausführlich unter Bezugnahme auf die 2 und 3 beschrieben worden ist und die in gleicher Art und Weise auf die 7 und 8 anwendbar ist.
Anschließend wird die vorbearbeitete Bilddatei (bzw. deren Zielregion 36) in ein CNN 60 eingegeben, innerhalb dessen Faltungsoperationen 66, Auswahloperationen 68 (Pooling) und weitere aus dem Stand der Technik zu CNN bekannte Schritte erfolgen, sich eine Segmentierung der Bilddaten ergibt (wie bei 64 angedeutet), wie oben beschrieben.
In einer bevorzugten Variante erfolgt in dem CNN zunächst auch eine Segmentierung mit Mustererkennung, aus der die Fahrgasse bzw. wenigstens eine Fahrspur abgeleitet werden kann. Eine Layer, die Daten hinsichtlich der Fahrgasse darstellt, kann dann beispielsweise von einem selbsttätigen Lenksystem verwendet werden.
Bei dem Ermittlungsverfahren können mit etwas Mehraufwand Ground Truth Werte für die Gewächshöhe mitbestimmt werden, z.B. durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes. Dies Ground Truth Werte können zum fortlaufenden Training des CNN verwendet werden.
Dadurch, dass die Bilddaten auf eine Zielregion eingeschränkt werden, kann die Laufzeit des CNN positiv beeinflusst werden.
11 zeigt eine der 9 vergleichbare Darstellung eines Bildes auf eine Fahrgasse mit einer Mehrzahl von Segmenten 80A bis 80G, die durch jeweilige Linien 82A bis 82F voneinander getrennt sind.
In den dargestellten Linien entspricht die Linie 82A der Fruchtspitzen-Bildlinie 38 der 9. Die Linie 82B entspricht der Bodenlinien-Bildlinie 37 der 9.
In 12 sind die so ermittelten und gezeigten Linien 82A bis 82E schematisch im Kontext einer Feldfrucht-Bepflanzung 16 dargestellt. Es ist zu erkennen, dass sich aus der Position und Ausrichtung der Kamera 20 und den so erfassten Linien 82A, 82B durch trigonometrische Berechnungen die echten Koordinaten z₁, z₀ (siehe 1) errechnen lassen, die der Gewächshöhe H entsprechen.
Bezugszeichenliste

10: landwirtschaftliches Fahrzeug
12: Acker
14: Ackerboden
16: Feldfrucht-Bepflanzung
16a: Stängel
16b: Ähre
20: Kamera (digital)
22: Pixel
24: Steuereinrichtung
26: Lenkeinrichtung
28: GPS-System
29: Sprüher
30: Bild
32: Himmel
34: Pixel
36: Zielregion
37: Bild-Bodenlinie
38: Bild-Fruchtspitzenlinie
39a: Bodenlinien-Bildkoordinaten
39b: Fruchtspitzen-Bildkoordinaten
40: Fahrgasse
42: linke Fahrspur
44: rechte Fahrspur
46: Mittelachse (10)
48: Blickfeldachse
50: Seitenabstand
52: Rand (16)
60: Convolutional Neural Network
62: Vorverarbeiten Bilddaten
64: Klassifizierungs-/Approximierungsergebnis
66: Faltungen
68: Auswahloperationen (Pooling)
70: Fully-Connected Layer
80A -
80G: Bildsegmente
82A -
82F: Segmentbegrenzungslinie
H: Wuchshöhe
B_H: Höhe Bild 30
B_B: Breite Bild 30

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016209437 A1 [0006, 0082]
DE 10351861 A1 [0007, 0082]

Claims

Verfahren zum Ermitteln eines Zustandes (H) einer Feldfrucht-Bepflanzung (16) mittels eines landwirtschaftlichen Kameraträgers (10), an dem eine Kamera (20) montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung (16) gerichtetes Blickfeld (22) hat, mit den Schritten: - Aufnehmen wenigstens eines digitalen Bildes (30) mittels der Kamera (20); - Durchführen einer Mustererkennung an den Bilddaten (34) des Bildes (30); - Erfassen des Zustandes (H) der Feldfrucht-Bepflanzung (16) aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes (60) durchgeführt wird, derart, dass die Bilddaten (34) segmentiert werden, und wobei der Zustand (H) der Feldfrucht-Bepflanzung (16) auf der Grundlage der segmentierten Bilddaten (34') und von wenigstens einer Kamera-Randbedingung rechnerisch ermittelt wird.
Verfahren nach Anspruch 1, wobei das Blickfeld (22) der Kamera (20) auf einen Rand der Feldfrucht-Bepflanzung (16) gerichtet ist und wobei die Segmentierung der Bilddaten (34) beinhaltet, aus den Bilddaten eine erste Linie (37) zu extrahieren, die einer Bodenlinie am Rand der Feldfrucht-Bepflanzung (16) entspricht, und/oder eine zweite Linie (38) zu extrahieren, die einer Fruchtspitzenlinie am Rand der Feldfrucht-Bepflanzung (16) entspricht.
Verfahren nach Anspruch 1 oder 2, wobei die rechnerische Ermittlung des Zustandes (H) der Feldfrucht-Bepflanzung beinhaltet, wenigstens eine Bildkoordinate in einem Bild-Koordinatensystem der Bilddaten auf eine Systemkoordinate in einem Kameraträger-Koordinatensystem umzurechnen.
Verfahren nach Anspruch 2 oder 3, wobei die rechnerische Ermittlung des Zustandes (H) der Feldfrucht-Bepflanzung beinhaltet, eine Bodenlinien-Bildkoordinate (39a) auf der ersten Linie als eine Referenz-Systemkoordinate (x₃, z₀) in einem Kameraträger-Koordinatensystem festzulegen.
Verfahren nach einem der Ansprüche 2-4, wobei die rechnerische Ermittlung des Zustandes (H) der Feldfrucht-Bepflanzung (16) beinhaltet, eine Fruchtspitzen-Bildkoordinate (39b) auf der zweiten Linie (38) als eine Höhen-Systemkoordinate (x₃, z₁) in einem Kameraträger-Koordinatensystem festzulegen.
Verfahren nach Anspruch 4 und nach Anspruch 5, wobei die rechnerische Ermittlung des Zustandes (H) der Feldfrucht-Bepflanzung beinhaltet, eine Bildkoordinaten-Differenz (H) zwischen einer solchen Bodenlinien-Bildkoordinate (39a) und einer solchen Fruchtspitzen-Bildkoordinate (39b) zu bilden, die in dem Bild-Koordinatensystem den gleichen Breitenwert (y₁) haben, oder eine Kameraträgerkoordinaten-Differenz (z₁-z₀) zwischen einer Bodenlinien-Kameraträgerkoordinate (x₃, z₀) und einer Fruchtspitzen-Kameraträgerkoordinate (x₃, z₁) zu bilden, die der Bodenlinien-Bildkoordinate (39a) bzw. der Fruchtspitzen-Bildkoordinate (39b) entsprechen, die den gleichen Breitenwert (y₁) haben.
Verfahren nach einem der Ansprüche 1-6, wobei die rechnerische Ermittlung des Zustandes (H) der Feldfrucht-Bepflanzung (16) beinhaltet, den Zustand der Feldfrucht-Bepflanzung (16) für eine Mehrzahl von hinsichtlich des Breitenwertes (y₂, y₁) unterschiedlichen Bodenlinien-Bildkoordinaten (39a, 39b) eines Bildes und/oder für eine Mehrzahl von hinsichtlich des Breitenwertes (y₁) identischen, jedoch auf zeitlich aufeinanderfolgenden Bilddaten beruhenden Bildkoordinaten (39a, 39b) zu errechnen und anschließend einen Mittelwert zu bilden.
Verfahren nach einem der Ansprüche 1-7, wobei die Kamera-Randbedingung wenigstens einen extrinsischen Kameraparameter (z₂) und/oder wenigstens einen intrinsischen Kameraparameter (22) beinhaltet, insbesondere eine Kamera-Projektionsgleichung, die eine Funktion des Blickwinkels ist.
Verfahren nach einem der Ansprüche 1-8, wobei das neuronale Netz ein Convolutional Neural Network (60) ist.
Verfahren nach einem der Ansprüche 1-9, wobei der Zustand (H) der Feldfrucht-Bepflanzung (16) eine Gewächshöhe (H) der Feldfrucht-Bepflanzung ist.
Verfahren nach einem der Ansprüche 1-10, wobei die Kamera (20) an dem Kameraträger (10) in einer solchen Kameraposition montiert ist, dass das Blickfeld (22) der Kamera (20) von schräg oben auf eine Fahrspur (42) in der Feldfrucht-Bepflanzung (16) gerichtet ist.
Steuereinrichtung (24), die eingerichtet ist, um ein Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
Landwirtschaftliches Fahrzeug (10) mit einer Kamera (20) und mit einer Steuereinrichtung (24), auf der ein Verfahren gemäß einem der Ansprüche 1 bis 11 implementiert ist.