DE102022132304A1

DE102022132304A1 - Ernteverfahren und -vorrichtung

Info

Publication number: DE102022132304A1
Application number: DE102022132304.8A
Authority: DE
Inventors: Christopher Schindlbeck; Sebastian HENTZELT
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2022-12-06
Filing date: 2022-12-06
Publication date: 2024-06-06

Abstract

Es ist Aufgabe der vorliegenden Erfindung, solche fehlerhaften Mehrfacherkennungen abzustellen und einem Effizienzverlust entgegenzuwirken, d. h. so wenig wie möglich Zeit zu verlieren. Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass bei einer wiederholten Bilderfassung aus unterschiedlichen Positionen bzw. Blickwinkeln in Bezug auf Pflanzen mit zu erntenden Früchten 3 und wiederholten Zuordnungen von Positionsinformationen/- koordinaten zu Früchten 3 dadurch geprüft wird, ob eine Frucht 3, der zu einem späteren Zeitpunkt spezifische Positionsinformationen/-koordinaten zugeordnet wurden, einer Frucht 3 entspricht oder nicht, der schon zu einem früheren Zeitpunkt spezifische Positionsinformationen/-koordinaten zugeordnet wurden, dass die später und die früher zugeordneten Positionsinformationen/-koordinaten miteinander verglichen bzw. einander gegenübergestellt werden, wobei in Abhängigkeit einer Abweichung zwischen den Positionsinformationen/-koordinaten geschlussfolgert wird, ob es sich um ein und dieselbe Frucht 3 handelt oder um zwei voneinander unabhängige Früchte 3. Liegen die Positionsinformationen/-koordinaten nahe beieinander, ist es sehr wahrscheinlich, dass es sich nicht um mehrere Früchte 3 sondern nur um nur eine Frucht 3 handelt.

Description

Die vorliegende Erfindung betrifft ein Ernteverfahren und eine Erntevorrichtung mit den Merkmalen gemäß den Patentansprüchen.
Gemäß dem Dokument US 4 975 016 A ist eine Erntevorrichtung mit einem Bildverarbeitungssystem Stand der Technik, wobei eine zu erntende Frucht in Verbindung mit einer Aufnahme eines Bildes erkannt wird. Dargestellt sind mehrere mögliche Situationen. Ist die erkannte Frucht für einen Greifer erreichbar bzw. für eine Ernte geeignet, wird diese gepflückt. Wird keine Frucht mehr erkannt, werden mittels des Bildverarbeitungssystems neue Szenen untersucht. Ist in einer Szene eine zu erntende Frucht nicht erreichbar bzw. wird nach einer bestimmten Anzahl von Versuchen deutlich, dass es nicht gelingt, eine in einer Szene erkannte Frucht zu ernten, werden ebenfalls neue Szenen mittels des Bildverarbeitungssystems untersucht.
Insbesondere dadurch, dass in einer Abfolge von untersuchten Szenen die zu erntenden Früchte aus unterschiedlichen Blickrichtungen betrachtet werden, kann sich eine unerwünschte Erkennung ein und derselben Frucht als zwei oder mehrere Früchte ergeben. Infolge einer solchen fehlerhaften mehrfachen Erkennung tritt der Nachteil auf, dass Fehl-Pflückvorgänge vorgenommen werden, insbesondere Pflückbewegungen in Richtung einer schon längst gepflückten, jedoch mehrfach erkannten Frucht, was eben einem Effizienzverlust entspricht, weil Zeit verloren geht. Eine mehrfache Erkennung ein und derselben Frucht kann zum Beispiel dann auftreten, wenn in einer ersten Szene zunächst mehrere Früchte erkannt wurden, aber nicht alle Früchte gepflückt wurden bzw. werden konnten, sei es aufgrund von Wirtschaftlichkeitserwägungen, weil eine Frucht sehr wahrscheinlich im weiteren Verlauf mit weniger Aufwand erreichbar sein wird, einer Unerreichbarkeit der Frucht grundsätzlich oder weil nach einer bestimmten Anzahl von Versuchen deutlich wird, dass es nicht gelingt, eine in einer Szene erkannte Frucht zu ernten. Dabei ist stets auch die aktuelle Position der Erntevorrichtung gegenüber dem Erntegut zu berücksichtigen. Das betrifft auch die Eigenschaften der Erntevorrichtung, wie insbesondere der maximale Greifradius des Manipulators und so weiter. Wird jedenfalls eine neue Szene untersucht, also insbesondere die Erntevorrichtung in eine neue Position gegenüber dem Erntegut gebracht bzw. erfolgt eine Aufnahme eines Bildes aus einem anderen Blickwinkel, erfolgt nicht nur die Erkennung tatsächlich neuer bzw. weiterer noch zu pflückender Früchte, sondern es kann auch die erneute Erkennung schon einmal erkannter Früchte erfolgen, die jedoch bisher noch nicht gepflückt wurden bzw. noch nicht gepflückt werden konnten. Eben diese Erkennung kann fehlerhaft sein, weil sich die Blickrichtung des Bildverarbeitungssystems bzw. der Kamera verändert hat oder aus sonstigen Gründen, wie zum Beispiel eine Verschiebung noch zu pflückender Früchte durch Umwelteinflüsse (Wind) oder eine Interaktion mit dem Manipulator. Jedenfalls kann ein und dieselbe Frucht doppelt erkannt werden bzw. als zwei voneinander unabhängige Früchte erkannt werden, so dass zumindest ein Fehl-Pflückvorgang unvermeidbar ist, d. h. mehrere Pflückbewegungen zu ein und derselben Frucht erfolgen, die jedoch schon gepflückt wurde. Mit anderen Worten, wurde ein und dieselbe Frucht mehrfach erkannt, wurden ihr jedoch mehrere bzw. voneinander abweichende Positionsinformationen bzw. Raumkoordinaten zugeordnet, wobei die Pflückbewegungen des Greifers im weiteren Verlauf in Abhängigkeit dieser Informationen/Koordinaten erfolgen, dann wird wenigstes in einem Fall der Pflückvorgang gewissermaßen ins Leere gehen.
Es ist daher Aufgabe der vorliegenden Erfindung, die beschriebene Situation zu verbessern und einem Effizienzverlust entgegenzuwirken, d. h. so wenig wie möglich Zeit zu verlieren.
Diese Aufgabe wird erfindungsgemäß mittels eines Verfahrens und mittels einer Vorrichtung mit den Merkmalen gemäß den Patentansprüchen gelöst.
Weitere vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind dem nachfolgenden Ausführungsbeispiel sowie den abhängigen Patentansprüchen zu entnehmen.
Wie in 1 gezeigt, ist zum Ernten von Früchten ein Manipulator 1 vorgesehen. Der Manipulator 1 ist, wie allgemein bekannt, Teil einer komplexen Erntevorrichtung 2 bzw. eines Ernteroboters. Mittels des Manipulators 1 erfolgt insbesondere ein Greifen einer zu erntenden Frucht 3 sowie ein Trennen der Frucht 3 von der Pflanze. Das Greifen der Frucht 3 erfolgt insbesondere an dem Stängel 4 der Frucht 3. Das Trennen der Frucht 3 von der Pflanze erfolgt insbesondere durch ein Durchtrennen des Stängels 4. Besonders bevorzugt erfolgt eine Ernte von Erdbeeren. Natürlich ist die vorliegende Erfindung nicht auf die Ernte von bestimmten Früchten beschränkt. Auch das Greifen der Frucht und das Trennen der Frucht 3 von der Pflanze kann auf andere Weise erfolgen, als zuvor beschrieben, zum Beispiel durch ein Umgreifen und Drehen der Frucht, wie im Zusammenhang mit einer Erntevorrichtung 2 in der DE 10 2019 127 586 B4 offenbart. Weiterhin ist ein Bildverarbeitungssystem Bestandteil der Erntevorrichtung 2. In 1 ist davon zumindest die Kamera bzw. Bilderfassung 5 gezeigt. Weitere allgemein bekannte Elemente des Bildverarbeitungssystems, wie insbesondere Beleuchtung, Mittel zur (maschinellen) Bildverarbeitung, Überprüfung, zum Vergleichen, Vermessen und/oder Verifizieren bzw. Identifizieren und/oder Interpretieren spezifischer Merkmale der betrachteten Szene bzw. des Ernteguts 3 sind nicht weiter gezeigt, werden jedoch im weiteren Verlauf entsprechend ihrer Relevanz betrachtet. Hinsichtlich der Bilderfassung 5 werden sämtliche geeignete bildgebende Verfahren verstanden, also der Einsatz von klassischen halbleiterbasierten Bildsensoren oder zum Beispiel auch IR-Bildsensoren bzw. Hyperspektralkameras. Der gesamte Inhalt der Würdigung des Standes der Technik und der Problembeschreibung in der Einleitung der vorliegenden Beschreibung bis zur Formulierung der zu lösenden Aufgabe (siehe oben) sei hiermit vollständig in die detaillierte Beschreibung hier an dieser Stelle einbezogen.
Im praktischen Betrieb wird insbesondere die Erntevorrichtung 2 gegenüber den Pflanzen mit den zu erntenden Früchten 3 bewegt, beispielsweise innerhalb eines Pflanzzeltes entlang sogenannter Stellagen, welche die Pflanzen umfassen. Der Manipulator 1 und die Kamera 5 weisen in Richtung der zu erntenden Früchte 3. Mittels der Kamera 5 wird eine spezifische Szene betrachtet, d. h. ein insbesondere dreidimensionaler Ausschnitt der Umgebung zu einem bestimmten Zeitpunkt, nämlich die Pflanzen mit den zu erntenden Früchten 3, welche im weiteren Verlauf für eine Ernte in Frage kommen („Bereich von Interesse“).
Wie in 2 in einer Ansicht von oben gezeigt, weist die Szene drei Früchte 3a, 3b und 3c auf, welche mittels der Kamera 5 in einer ersten Position („Position 1“) erfasst werden, da diese im Sichtbereich der Kamera 5 erscheinen. Die Stängel 4 sind jeweils nicht dargestellt. Anhand der weiteren Bildverarbeitung werden diese drei Früchte 3a, 3b und 3c erkannt. Den drei Früchten 3a, 3b und 3c werden jeweils Raumkoordinaten bzw. Positionsinformationen x, y, z zugeordnet, d. h. es wird deren Position im Raum bestimmt, so dass in Abhängigkeit der Position der jeweiligen Frucht 3 sowohl der Manipulator 1 zum Pflücken der Frucht 3 bewegt wird, als auch eine Entscheidung getroffen werden kann, welche der drei Früchte 3a, 3b und 3c gepflückt werden soll und welche ggf. nicht gepflückt werden soll. Die beiden Früchte 3a und 3b sind zum Beispiel erreichbar für den Manipulator 1 und sollen gepflückt werden. Die eine Frucht 3c ist in der aktuellen Konstellation, d. h. der Positionierung der Erntevorrichtung 2 bzw. des Manipulators 1 gegenüber den Pflanzen bzw. Früchten 3, nicht erreichbar. Erfindungsgemäß können den Früchten 3a, 3b und 3c auch Informationen betreffend die Orientierung zugeordnet werden.
Anknüpfend an die schematische Darstellung in 2 wurden gemäß 3 die beiden Früchte 3a und 3b zwischenzeitlich gepflückt und sind daher hier nur noch angedeutet. Die Erntevorrichtung 2 wurde (gegenüber den Pflanzen) weiterbewegt und zwar von der in 2 gezeigten ersten Position („Position 1“) in eine zweite Position („Position 2“). Möglich ist natürlich auch, dass die Erntevorrichtung 2 (zunächst) nicht weiterbewegt wurde, jedoch der Manipulator 1, der wie in 1 gezeigt mit der Kamera 5 eine Einheit bildet, (weiter)bewegt wird bzw. einen Wechsel von der „Position 1“ in die „Position 2“ vollführt. Praktisch ist auch eine kombinierte Bewegung der Erntevorrichtung 2 und des Manipulators 1 möglich. Wieder in einer Ansicht von oben gezeigt, weist diese weitere Szene erneut drei Früchte 3c, 3d und 3e auf, welche mittels der Kamera 5 in der zweiten Position („Position 2“) erfasst werden, da diese jetzt im Sichtbereich der Kamera 5 erscheinen. D. h. es sind zu der noch nicht gepflückten Frucht 3c zwei weitere Früchte 3d und 3e hinzugekommen. Anhand der Bildverarbeitung werden auch diese drei Früchte 3c, 3d und 3e erkannt. Den drei Früchten 3c, 3d und 3e werden ebenfalls jeweils Raumkoordinaten bzw. Positionsinformationen x, y, z zugeordnet, d. h. es wird deren Position im Raum bestimmt, so dass in Abhängigkeit der Position der jeweiligen Frucht 3 sowohl der Manipulator 1 zum Pflücken der Frucht 3 bewegt wird, als auch eine Entscheidung getroffen werden kann, welche der drei Früchte 3c, 3d und 3e gepflückt werden soll und welche ggf. nicht gepflückt werden soll. Diesmal sind alle Früchte 3c, 3d und 3e erreichbar für den Manipulator 1 und sollen gepflückt werden.
Wie im Zusammenhang mit 4 gezeigt, kann durch die dargestellte Abfolge von untersuchten Szenen bzw. der Erfassung und Erkennung von Früchten 3 aus unterschiedlichen Positionen (erste Position und zweite Position), d. h. sich ändernden Blickwinkeln der Kamera 5 sowie die Zuordnung von einer Information zur Position im Raum bzw. Raumkoordinaten zu jeder einzelnen Frucht 3 eben bei dieser Zuordnung, insbesondere betreffend solche Früchte 3, die in einer vorherigen Position der Kamera 5 zwar erfasst, erkannt und hinsichtlich ihrer Position markiert bzw. erfasst aber (noch) nicht gepflückt wurden, der Fehler auftreten, dass eine spezifische Frucht 3 insofern mehrfach erkannt wird, als ihr voneinander abweichende Positionsinformationen bzw. Raumkoordinaten zugeordnet werden, was durch geringe Positionsabweichungen der Frucht 3 bzw. Toleranzen in der Positionserkennung begründet sein kann, siehe auch Beschreibungseinleitung. Im Ergebnis wird dann fälschlicherweise angenommen, dass der Manipulator 1 zwei Früchte 3 an zwei unterschiedlichen Positionen anfahren und ernten muss, obwohl es sich um ein und dieselbe Frucht 3 handelt. In Bezug auf das zuvor genannte Beispiel und 4 wird gewissermaßen eine scheinbar vorhandene Frucht 3c' erkannt, deren Positionsinformationen bzw. -koordinaten x'_3c, y'_3c, z'_3c von den Positionsinformationen bzw. -koordinaten x_3c, y_3c, z_3c der wahren Frucht 3c abweichen.
Gemäß 5 ist die Situation betreffend die tatsächlich vorhandene Frucht 3c und die scheinbar vorhandene Frucht 3c' im Detail dargestellt. Erfolgt die Zuordnung der Positionsinformation bzw. der Lage im Raum der jeweiligen Frucht 3 zum Beispiel in Bezug auf deren Schwerpunkt, wie in 5 schematisch jeweils mittels eines Kreuzes dargestellt, dann ergeben sich Differenzen Δx, Δy, Δz in Bezug auf das in 5 gezeigte Koordinatensystem hinsichtlich aller drei Koordinaten x, y, z zwischen den Positionsinformationen/-koordinaten x'_3c, y'_3c, z'_3c des Schwerpunkts der scheinbar vorhandenen Frucht 3c' und den Positionsinformationen/-koordinaten x_3c, y_3c, z_3c des Schwerpunkts der wahren Frucht 3c. Das in 5 dargestellte Koordinatensystem zeigt eine Ansicht von oben auf die x-z-Ebene, die y-Achse weist in Richtung des Betrachters bzw. tritt aus der x-z-Ebene heraus in Richtung des Betrachters, angedeutet durch den Kreis im Koordinatenursprung im Punkt x = z = 0 bzw. die nach oben weisende „Pfeilspitze“ (d. h. es handelt sich hier um ein „linkshändiges Koordinatensystem“ und nicht wie gewohnt um ein „rechtshändiges Koordinatensystem“). Selbstverständlich können sich derartige Differenzen Δx und/oder Δy und/oder Δz auch nur hinsichtlich einzelner Koordinaten ergeben. Die in den 2 bis 4 gezeigten Blickrichtungen der Kamera 5 sind jeweils in z-Richtung.
Erfindungsgemäß erfolgt im weiteren Verlauf ein Vergleich zwischen

a) Positionsinformationen, welche einer noch zu erntenden Frucht 3 bei einer ersten Position der Bilderfassung gegenüber dem Erntegut bzw. gegenüber zu erntenden Früchten 3 aufweisenden Pflanzen zugeordnet wurden

b) Positionsinformationen, welche einer noch zu erntenden Frucht 3 bei einer weiteren Position der Bilderfassung gegenüber dem Erntegut bzw. gegenüber zu erntenden Früchten 3 aufweisenden Pflanzen zugeordnet wurden,

c) von Positionsinformationen gemäß a) betätigt wird oder
d) von Positionsinformationen gemäß b) betätigt wird oder
e) von Positionsinformationen betätigt wird, die anhand der Positionsinformationen gemäß a) und Positionsinformationen gemäß b) gebildet werden, insbesondere durch Bildung eines Mittelwertes zwischen Positionsinformationen gemäß a) und Positionsinformationen gemäß b), wobei auch ein Mittelwert verarbeitet werden kann, der die zugeordneten Positionsinformationen so gewichtet, dass weiter in der Vergangenheit liegende Positionsinformationen, d. h. insbesondere die Positionsinformation gemäß a), schwächer gewichtet werden/wird, als weniger weit in der Vergangenheit liegende Positionsinformationen, d. h. insbesondere die Positionsinformation gemäß b). D. h. es erfolgt unter den genannten Bedingungen keine Betätigung des Manipulators 1 gemäß c) und auch d), so dass ein mehrfaches Anfahren ein und derselben Frucht nicht auftritt.

Mit anderen Worten wird erfindungsgemäß bei einer wiederholten Bilderfassung aus unterschiedlichen Positionen bzw. Blickwinkeln in Bezug auf Pflanzen mit zu erntenden Früchten 3 und wiederholten Zuordnungen von Positionsinformationen/-koordinaten zu Früchten 3 dadurch geprüft, ob eine Frucht 3, der zu einem späteren Zeitpunkt spezifische Positionsinformationen/-koordinaten zugeordnet wurden, einer Frucht 3 entspricht oder nicht, der schon zu einem früheren Zeitpunkt spezifische Positionsinformationen/-koordinaten zugeordnet wurden, dass die später und die früher zugeordneten Positionsinformationen/- koordinaten miteinander verglichen bzw. einander gegenübergestellt werden, wobei in Abhängigkeit einer Abweichung zwischen den Positionsinformationen/-koordinaten geschlussfolgert wird, ob es sich um ein und dieselbe Frucht 3 handelt oder um zwei voneinander unabhängige Früchte 3. Liegen die Positionsinformationen/-koordinaten nahe beieinander, ist es sehr wahrscheinlich, dass sich nicht um mehrere Früchte 3 sondern nur um nur eine Frucht 3 handelt.
Konkret erfolgt bevorzugt ein Vergleich zwischen

a) Positionskoordinaten x, y, z, welche einer noch zu erntenden Frucht 3 bei einer ersten Position der Bilderfassung gegenüber dem Erntegut bzw. gegenüber zu erntenden Früchten 3 aufweisenden Pflanzen zugeordnet wurden

b) Positionskoordinaten x', y', z', welche einer noch zu erntenden Frucht 3 bei einer weiteren Position der Bilderfassung gegenüber dem Erntegut bzw. gegenüber zu erntenden Früchten 3 aufweisenden Pflanzen zugeordnet wurden,

c) von Positionskoordinaten x, y, z gemäß a) betätigt wird oder
d) von Positionskoordinaten x', y', z' gemäß b) betätigt wird oder
e) von Positionskoordinaten x", y", z" betätigt wird, die anhand der Positionskoordinaten x, y, z gemäß a) und der Positionskoordinaten x', y', z' gemäß b) gebildet werden, insbesondere durch Bildung eines Mittelwertes zwischen den Positionskoordinaten x, y, z gemäß a) und den Positionskoordinaten x', y', z' gemäß b), wobei auch ein Mittelwert verarbeitet werden kann, der die zugeordneten Positionsinformationen so gewichtet, dass weiter in der Vergangenheit liegende Positionsinformationen, d. h. insbesondere die Positionsinformation gemäß a), schwächer gewichtet werden/wird, als weniger weit in der Vergangenheit liegende Positionsinformationen, d. h. insbesondere die Positionsinformation gemäß b).

Beispielsweise erfolgt zur Bestimmung, ob eine Abweichung A zwischen Positionsinformationen/-koordinaten gemäß a) und Positionsinformationen/-koordinaten gemäß b) besteht, ein Vergleich der Positionsinformationen/-koordinaten, die betreffend einer noch zu erntenden Frucht 3 zur Verfügung stehen aus insbesondere (nur) zwei unterschiedlichen Positionen der Bilderfassung, d. h. es wird bestimmt, ob eine Abweichung Ax zwischen x und x', ob eine Abweichung Ay zwischen y und y' und ob eine Abweichung Az zwischen z und z' vorliegt. Möglich ist es natürlich auch, nur einen Vergleich einzelner Positionsinformationen/-koordinaten gemäß a) und Positionsinformationen/-koordinaten gemäß b), wie z. B. nur x und x' zur Bestimmung einer Abweichung Ax heranzuziehen oder Gruppen von Positionsinformationen/-koordinaten gemäß a) und Positionsinformationen/- koordinaten gemäß b) wie z. B. nur x und x' und y und y' zur Bestimmung einer Abweichung Ax und Ay heranzuziehen. Möglich ist es auch, zur Bestimmung, ob eine Abweichung A zwischen Positionsinformationen/-koordinaten gemäß a) und Positionsinformationen/- koordinaten gemäß b) besteht, eine kartesische Abweichung Ak heranzuziehen, welche als $\sqrt (Ax 2 + Ay 2 + Az 2)$
definiert ist, in Verbindung mit einem geeigneten Grenzwert Gxyz für einen Vergleich zwischen der kartesischen Abweichung Ak und diesem Grenzwert Gxyz.
Ergibt sich nun, dass eine Abweichung Ax zwischen x und x', eine Abweichung Ay zwischen y und y' und eine Abweichung Az zwischen z und z' vorliegen, erfolgt ein Vergleich der jeweiligen Abweichung Ax/Ay/Az mit jeweils einem Grenzwert Gx, Gy, Gz bzw. mit einer (jeweiligen) Schwelle. Ist die jeweilige Abweichung Ax/Ay/Az (oder allgemein „An“) kleiner als der betreffende Grenzwert Gx, Gy, Gz (oder allgemein „Gn“) bzw. wird der betreffende Grenzwert Gn nicht verletzt, handelt es sich nicht um zwei unterschiedliche bzw. zwei voneinander unabhängige Früchte 3, sondern um ein und dieselbe (identische) Frucht 3. Ist auch nur eine Abweichung An größer als der betreffende Grenzwert Gn bzw. verletzt den betreffenden Grenzwert Gn, handelt es sich tatsächlich um zwei unterschiedliche bzw. zwei voneinander unabhängige Früchte 3, und nicht um ein und dieselbe Frucht 3. Es wird erfindungsgemäß gewissermaßen eine Hülle bzw. ein Volumen um eine Frucht 3 bzw. deren Schwerpunkt bzw. Mittelpunkt oder beispielsweise die erkannte bzw. nachgebildete Außenkontur der Frucht 3 gelegt bzw. um diesen Bezugspunkt/diese Bezugskontur/-fläche herum aufgespannt, welche(s) die Grenzwerte Gn repräsentiert.
Jedenfalls erfolgt erfindungsgemäß im weiteren Verlauf die Betätigung bzw. Führung, d. h. die Steuerung des Manipulators 1 eben nicht einfach nur in Abhängigkeit von

Erfindungsgemäß wird der Manipulator 1, wenn eine (noch zu erntende) Frucht 3 in einer Abfolge mehrfach hintereinander erkannt wurde (siehe oben), in Abhängigkeit

e) von Positionsinformationen betätigt, die anhand der Positionsinformationen gemäß a) und Positionsinformationen gemäß b) gebildet werden, insbesondere durch Bildung eines Mittelwertes zwischen Positionsinformationen gemäß a) und Positionsinformationen gemäß b)

e) von Positionskoordinaten x", y", z" betätigt, die anhand der Positionskoordinaten x, y, z gemäß a) und der Positionskoordinaten x', y', z' gemäß b) gebildet werden, insbesondere durch Bildung eines Mittelwertes zwischen den Positionskoordinaten x, y, z gemäß a) und den Positionskoordinaten x', y', z' gemäß b).

Beispielsweise erfolgt hierbei die Bildung eines arithmetischen Mittelwerts bezüglich der einzelnen Koordinaten x, y, z, so dass die Betätigung des Manipulators 1 gewissermaßen zwischen die erkannten Positionen fokussiert, d. h. der Manipulator 1 zwischen die erkannten Positionen geführt wird.
Erfindungsgemäß ist Abweichung A zwischen Positionsinformationen gemäß a) und Positionsinformationen gemäß b) bzw. die Abweichung An (Ax/Ay/Az) in Abhängigkeit der Sorte der Pflanze mit den zu pflückenden Früchten 3 anpassbar.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 4975016 A [0002]
DE 102019127586 B4 [0007]

Claims

Ernteverfahren, wobei - mittels eines Manipulators (1), der Bestandteil einer Erntevorrichtung (2) ist, Früchte (3) von Pflanzen getrennt werden, - in Verbindung mit einer Bilderfassung (5) eine Erkennung von zu erntenden Früchten (3) erfolgt, - bei einer wiederholten Bilderfassung (5) aus unterschiedlichen Positionen in Bezug auf Pflanzen mit zu erntenden Früchten (3) und wiederholten Zuordnungen von Positionsinformationen zu Früchten (3) geprüft wird, ob eine Frucht (3), der zu einem späteren Zeitpunkt Positionsinformationen zugeordnet wurden, einer Frucht (3) entspricht, der schon zu einem früheren Zeitpunkt Positionsinformationen zugeordnet wurden, - die später und die früher zugeordneten Positionsinformationen einander gegenübergestellt werden, - in Abhängigkeit einer Abweichung (A) zwischen den Positionsinformationen geschlussfolgert wird, ob es sich um ein und dieselbe Frucht (3) handelt oder um zwei voneinander unabhängige Früchte (3), - in Abhängigkeit dieser Schlussfolgerung eine Betätigung des Manipulators (1) zur Ernte von Früchten (3) erfolgt.
Ernteverfahren nach Patentanspruch 1, wobei ein Vergleich erfolgt zwischen a) Positionsinformationen, welche einer noch zu erntenden Frucht (3) bei einer ersten Position der Bilderfassung (5) gegenüber zu erntenden Früchten (3) aufweisenden Pflanzen zugeordnet wurden und b) Positionsinformationen, welche einer noch zu erntenden Frucht (3) bei einer weiteren Position der Bilderfassung (5) gegenüber zu erntenden Früchten (3) aufweisenden Pflanzen zugeordnet wurden, wobei wenn eine Abweichung (A) zwischen Positionsinformationen gemäß a) und Positionsinformationen gemäß b) besteht, die einen Grenzwert (G) nicht verletzt, der Manipulator (1) in Abhängigkeit c) von Positionsinformationen gemäß a) betätigt wird oder d) von Positionsinformationen gemäß b) betätigt wird oder e) von Positionsinformationen betätigt wird, die anhand der Positionsinformationen gemäß a) und Positionsinformationen gemäß b) gebildet werden.
Ernteverfahren nach Patentanspruch 1, wobei ein Vergleich erfolgt zwischen a) Positionskoordinaten (x, y, z), welche einer noch zu erntenden Frucht (3) bei einer ersten Position der Bilderfassung gegenüber zu erntenden Früchten (3) aufweisenden Pflanzen zugeordnet wurden und b) Positionskoordinaten (x', y', z'), welche einer noch zu erntenden Frucht (3) bei einer weiteren Position der Bilderfassung gegenüber zu erntenden Früchten (3) aufweisenden Pflanzen zugeordnet wurden, wobei wenn Abweichungen (An) zwischen Positionskoordinaten gemäß a) und Positionskoordinaten gemäß b) bestehen, die Grenzwerte (Gn) nicht verletzen, der Manipulator 1 in Abhängigkeit c) von Positionskoordinaten (x, y, z) gemäß a) betätigt wird oder d) von Positionskoordinaten (x', y', z') gemäß b) betätigt wird oder e) von Positionskoordinaten (x'', y'', z'') betätigt wird, die anhand der Positionskoordinaten (x, y, z) gemäß a) und der Positionskoordinaten (x', y', z') gemäß b) gebildet werden.
Ernteverfahren nach Patentanspruch 2, wobei gemäß e) die Bildung eines Mittelwertes zwischen Positionsinformationen gemäß a) und Positionsinformationen gemäß b) erfolgt.
Ernteverfahren nach Patentanspruch 3, wobei gemäß e) die Bildung eines Mittelwertes zwischen den Positionskoordinaten (x, y, z) gemäß a) und den Positionskoordinaten (x', y', z') gemäß b) erfolgt.
Ernteverfahren nach Patentanspruch 4 oder 5, wobei weiter in der Vergangenheit liegende Positionsinformationen/Positionskoordinaten (x, y, z) schwächer gewichtet werden als weniger weit in der Vergangenheit liegende Positionsinformationen/Positionskoordinaten (x', y', z').
Ernteverfahren nach Patentanspruch 3 oder 5, wobei sich die Positionskoordinaten (x, y, z) auf einen geometrischen Schwerpunkt, einen Massenmittelpunkt, die Kontur oder Oberfläche einer Frucht (3) beziehen.
Ernteverfahren nach Patentanspruch 1 bis 7, wobei die Abweichung (A, An) zwischen den Positionsinformationen/-koordinaten in Abhängigkeit der Sorte der Pflanze mit den zu pflückenden Früchten (3) angepasst wird.
Erntevorrichtung, die eingerichtet ist, ein Verfahren nach Patentanspruch 1 bis 8 auszuführen.