-
Stand der Technik
-
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus.
-
Der normierte differenzierte Vegetationsindex, kurz „NDVI“ (Normalized Difference Vegetation Index), ist ein Index, der die Bio-Masse, also den Pflanzenanteil, in einem Bild aufzeigt. Pflanzen reflektieren im roten Spektralbereich relativ wenig, im nahen infraroten Spektralbereich relativ viel Strahlung. Zum Bestimmen des NDVI können bei der Beobachtung der Vegetation Infrarotkameras oder Kameras mit Bayer-Sensoren eingesetzt werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich eine Bildverarbeitungseinrichtung gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass ein besonders exaktes NDVI-Bild erzeugt werden kann, welches lediglich relevante Pflanzen abbildet.
-
Es wird ein Verfahren zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild vorgestellt. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Vergleichens und einen Schritt des Erkennens auf. Im Schritt des Einlesens werden zumindest ein einen sensierten Rotwert repräsentierendes R-Farbsignal, das ein von einem Rotpixel eines Bildpunkts eines Bildsensors bereitgestelltes Signal repräsentiert, und ein einen sensierten infraroten Grauwert repräsentierendes NIR-Farbsignal, das ein von einem NIR-Pixel des Bildpunkts bereitgestelltes Signal repräsentiert, eingelesen. Im Schritt des Vergleichens wird der sensierte infrarote Grauwert mit einem definierten Mindestinfrarotgrenzwert verglichen, um ein erstes Vergleichsergebnis zu erhalten, der sensierte infrarote Grauwert mit einem definierten Maximalinfrarotgrenzwert verglichen, um ein zweites Vergleichsergebnis zu erhalten, und der sensierte Rotwert mit einem definierten Maximalrotgrenzwert verglichen, um ein drittes Vergleichsergebnis zu erhalten. Im Schritt des Erkennens wird der Bildpunkt unter Verwendung des ersten Vergleichsergebnisses, zweiten Vergleichsergebnisses und dritten Vergleichsergebnisses als Störpflanzenabbildung oder Pflanzenabbildung erkannt.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Für die Pflanzendetektion wird rotes und infrarotes Licht verwendet. Pflanzen reflektieren im roten Spektralbereich relativ wenig, im nahen infraroten Spektralbereich relativ viel Strahlung. Aus der normierten Differenz aus beiden Spektralbereichen entsteht ein NDVI-Bild, welches die Pflanzen abbildet. Es ist jedoch möglich, dass beispielsweise aufgrund von unvorteilhaften Lichtbedingungen wie Überbelichtung oder Unterbelichtung Bildbereiche im herkömmlichen NDVI-Bild fälschlicherweise Pflanzen kennzeichnen, wo jedoch gar keine Pflanzen sind, diese werden hier als „Störpflanzen“ und deren Abbildung als „Störpflanzenabbildung“ oder „Störobjekt“ bezeichnet. Dank des hier vorgestellten Verfahrens können diese Störpflanzenabbildungen unter Verwendung eines Vergleichs mit Grenzwerten erkannt werden.
-
Bei dem Bildsensor kann es sich um einen Infrarotsensor mit einem reinen Rotkanal und einem reinen Nahinfrarotkanal handeln. Es kann sich bei dem Bildsensor aber auch um einen Bayer-Sensor mit zumindest dem einen Rotpixel mit einem R-Farbfilterelement zum Durchlassen von rotem Licht und/oder Infrarotlicht und mit zumindest einem zum Durchlassen von Nahinfrarotlicht ausgebildeten NIR-Pixel handeln. Das NIR-Pixel kann ein Blaupixel mit einem B-Farbfilterelement zum Durchlassen von blauem Licht und Nahinfrarotlicht und/oder eines von zumindest zwei Grünpixeln mit je einem G-Farbfilterelement zum Durchlassen von grünem Licht und Infrarotlicht des Bildsensors sein. Der Bayer-Sensor kann ferner eine die Pixel des Bildsensors abdeckende Filtereinrichtung zum Durchlassen von rotem Licht und Nahinfrarotlicht und/oder zum Sperren von grünem Licht und/oder blauem Licht aufweisen. Bei einem solchen Bayer-Sensor mit Filtereinrichtung würde/n das Blaupixel und/oder Grünpixel als das NIR-Pixel lediglich Nahinfrarotlicht sensieren und das Rotpixel ein Mischlicht aus rotem Licht und Nahinfrarotlicht.
-
Gemäß einem Ausführungsform kann das Verfahren ferner einen Schritt des Entfernens aufweisen, in dem der als Störpflanzenabbildung erkannte Bildpunkt aus dem Kamerarohbild entfernt wird. Dadurch kann ein Abgleich mit einer Pflanzensegmentierung in einem NDVI-Bild durchgeführt werden. Wenn der Bildpunkt als Störpflanze erkannt wird, wird dieser auch nicht mehr im NDVI Bild als Pflanze segmentiert. So kann vorteilhafterweise in dem NDVI-Bild eine Störpflanzenabbildung vermieden werden.
-
Im Schritt des Erkennens kann der Bildpunkt als Störpflanzenabbildung erkannt werden, wenn das erste Vergleichsergebnis anzeigt, dass der sensierte infrarote Grauwert den definierten Mindestinfrarotgrenzwert unterschreitet und/oder das zweite Vergleichsergebnis anzeigt, dass der infrarote Grauwert den definierten Maximalinfrarotgrenzwert überschreitet und/oder das dritte Vergleichsergebnis anzeigt, dass der sensierte Rotwert den definierten Maximalrotgrenzwert überschreitet. Wenn der sensierte infrarote Grauwert den definierten Mindestinfrarotgrenzwert unterschreitet kann dies auf eine Unterbelichtung hindeuten, wenn der infrarote Grauwert den definierten Maximalinfrarotgrenzwert überschreitet, kann dies auf eine Überbelichtung hindeuten, wenn der sensierte Rotwert den definierten Maximalrotgrenzwert überschreitet, kann dies auf eine Überbelichtung hindeuten.
-
Es ist weiterhin von Vorteil, wenn gemäß einer Ausführungsform im Schritt des Erkennens der Bildpunkt als Pflanzenabbildung erkannt wird, wenn das erste Vergleichsergebnis anzeigt, dass der sensierte infrarote Grauwert den definierten Mindestinfrarotgrenzwert überschreitet und/oder das zweite Vergleichsergebnis anzeigt, dass der infrarote Grauwert den definierten Maximalinfrarotgrenzwert unterschreitet und/oder das dritte Vergleichsergebnis anzeigt, dass der sensierte Rotwert den definierten Maximalrotgrenzwert unterschreitet. So können Pflanzenabbildungen anhand von Grenzwerten als solche bestätigt werden. Gemäß dieser Ausführungsform bleibt ein Bildpunkt dessen Grauwert den Mindestgrenzwert besitzt genauso als Pflanzenabbildung bestehen, wie ein Bildpunkt dessen Grauwert den Maximalgrenzwert erreicht. In entsprechender Weise ist auch eine andere Zuordnung der auf einen Gremzwert liegenden Grauwerte möglich, wenn die Schwellenwerte entsprechend anders gewählt werden.
-
Das Verfahren kann auch einen Schritt des Plausibilisierens aufweisen, in dem der als Pflanzenabbildung erkannte Bildpunkt abgebildet wird, um einen Bereich eines NDVI-Bilds zu plausibilisieren. Pflanzen werden im NDVI Bild somit nicht erkannt, da das NDVI-Bild dann schon erzeugt ist. Jedoch können Bereiche im Bild durch die Grenzwerte im Infrarot-, Rot- und IR+Rot-Kanal plausibilisiert werden. D.h. als Beispiel an einer Stelle (Bildpunkt oder Pixel) im Bild darf keine Pflanze sein, weil die Plausibilisierung es so erkannt hat, und andersherum. Es könnte an einer Stelle plausibel sein dass da eine Pflanze sein könnte, dann kommt es noch auf das Ergebnis der NDVI-Segmentierung an, ob sich an dieser Stelle überhaupt eine Pflanze im NDVI-Bild befindet. So können Pflanzen sicher in dem NDVI-Bild angezeigt werden, um im Folgenden beispielsweise ein punktuelles Ausbringen von Herbiziden auf die Pflanzen zu ermöglichen.
-
Gemäß einer Ausführungsform kann das Verfahren ferner einen Schritt des Anwendens einer Dilatation aufweisen, in dem an den Bildpunkt angrenzende weitere Bildpunkte auch als Störpflanzenabbildung erkannt werden, wenn der Bildpunkt als Störpflanzenabbildung erkannt wurde, um eine erweiterte Störpflanzenabbildung zu erkennen. Eine solche Dilatation ist von Vorteil, da noch zu der Störpflanzenabbildung gehörende Randbereiche der Störpflanzenabbildung einen Farbwertverlauf aufweisen können, welcher Farbwerte aufweisen kann, die außerhalb der definierten Grenzwerte liegen können. Beispielsweise kann dann gemäß einer Ausführungsform im Schritt des Entfernens die erweiterte Störpflanzenabbildung aus dem Kamerarohbild entfernt werden. So kann sichergestellt werden, dass die gesamte Störpflanzenabbildung in dem NDVI-Bild nicht abgebildet wird.
-
Im Schritt des Anwendens kann eine Filtergröße für die Dilatation eingestellt werden. Dabei kann die Filtergröße unabhängig von der Anzahl an Störpflanzenabbildungen parametrisiert werden.
-
Im Schritt des Einlesens kann das NIR-Farbsignal von dem NIR-Pixel eingelesen werden, das ein Blaupixel und/oder Grünpixel des Bildsensors ist. Das Blaupixel kann ein B-Farbfilterelement zum Durchlassen von blauem Licht und Nahinfrarotlicht und/oder das Grünpixel kann ein G-Farbfilterelement zum Durchlassen von grünem Licht und Infrarotlicht aufweisen. An dem Blaupixel und/oder Grünpixel kann eine Filtereinrichtung zum Durchlassen von rotem Licht und Nahinfrarotlicht und/oder zum Sperren von grünem Licht und/oder blauem Licht angeordnet sein. Der Bildsensor kann ein Bayer-Sensor sein, welcher 50% Grünpixel, 25% Rotpixel und 25% Blaupixel aufweist, wobei die Grünpixel einander diagonal gegenüberliegend angeordnet sind. Ein solcher Bayer-Sensor ist vorteilhafterweise günstig in der Anschaffung.
-
Im Schritt des Einlesens kann das R-Farbsignal eingelesen werden, das einen Mischwert aus rotem Licht und Nahinfrarotlicht repräsentiert, wobei im Schritt des Vergleichens der Mischwert mit einem definierten Maximalmischgrenzwert verglichen wird, um ein viertes Vergleichsergebnis zu erhalten und/oder mit einem definierten Mindestmischgrenzwert verglichen wird, um ein fünftes Vergleichsergebnis zu erhalten, wobei im Schritt des Erkennens der Bildpunkt als Störpflanzenabbildung oder Pflanzenabbildung unter Verwendung des vierten Vergleichsergebnisses und fünften Vergleichsergebnisse erkannt wird. Dies kann unter Einsatz des vorangehend beschriebenen Bayer-Sensors mit Farbfiltereinrichtung erfolgen.
-
Im Schritt des Einlesens kann alternativ aber auch ferner ein einen sensierten Mischwert aus rotem Licht und Nahinfrarotlicht repräsentierendes Mischlichtsignal eingelesen werden, das ein von dem Rotpixel bereitgestelltes Signal repräsentiert, wobei im Schritt des Vergleichens der sensierte Mischwert mit einem definierten Maximalmischgrenzwert verglichen wird, um ein viertes Vergleichsergebnis zu erhalten und/oder mit einem definierten Mindestmischgrenzwert verglichen wird, um ein fünftes Vergleichsergebnis zu erhalten, wobei im Schritt des Erkennens der Bildpunkt als Störpflanzenabbildung oder Pflanzenabbildung unter Verwendung des vierten Vergleichsergebnisses und fünften Vergleichsergebnisse erkannt wird.
-
Im Schritt des Erkennens kann der Bildpunkt als Störpflanzenabbildung erkannt werden, wenn das vierte Vergleichsergebnis anzeigt, dass der Mischwert den definierten Mindestmischgrenzwert erreicht oder unterschreitet und/oder den definierten Maximalmischgrenzwert erreicht oder überschreitet. Wenn der Mischwert den definierten Mindestmischgrenzwert erreicht oder unterschreitet, kann dies auf eine Unterbelichtung hinweisen, wenn der Mischwert den definierten Maximalmischgrenzwert erreicht oder überschreitet, kann dies auf eine Überbelichtung hinweisen.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Es wird ferner eine Bildverarbeitungseinrichtung mit der vorangehend beschriebenen Vorrichtung und dem Bildsensor in einer der vorangehend beschriebenen Varianten vorgestellt. Eine solche Bildverarbeitungseinrichtung ist zur Pflanzendetektion geeignet, wobei vorteilhafterweise Störpflanzenabbildungen sicher als solche erkannt werden können.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung einer Bildverarbeitungseinrichtung mit einer Vorrichtung zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild und einem Bildsensor gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung eines unter Verwendung einer Vorrichtung erzeugten vorläufigen NDVI-Bilds gemäß einem Ausführungsbeispiel;
- 3 eine schematische Darstellung eines unter Verwendung einer Vorrichtung erzeugten NDVI-Bilds gemäß einem Ausführungsbeispiel;
- 4 ein Ablaufdiagramm eines Verfahrens zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild gemäß einem Ausführungsbeispiel; und
- 5 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Bildverarbeitungseinrichtung 100 mit einer Vorrichtung 105 zum Detektieren einer Störpflanzenabbildung 107 in einem Kamerarohbild 110 und einem Bildsensor 115 gemäß einem Ausführungsbeispiel.
-
Lediglich beispielhaft ist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel in oder an der Bildverarbeitungseinrichtung 100 aufgenommen. Die Vorrichtung 105 weist eine Einleseeinrichtung 120, eine Vergleichseinrichtung 125 und eine Erkenneinrichtung 130 auf. Optional weist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel ferner eine Plausibilisierungseinrichtung 135 auf.
-
Die Einleseeinrichtung 120 ist dazu ausgebildet, um zumindest ein einen sensierten Rotwert repräsentierendes R-Farbsignal 140, das ein von einem Rotpixel R eines Bildpunkts 150 des Bildsensors 115 bereitgestelltes Signal repräsentiert, und zumindest ein einen sensierten infraroten Grauwert repräsentierendes NIR-Farbsignal 155, das ein von einem NIR-Pixel NIR des Bildpunkts 150 bereitgestelltes Signal repräsentiert, einzulesen. Die Vergleichseinrichtung 125 ist dazu ausgebildet, um den sensierten infraroten Grauwert mit einem definierten Mindestinfrarotgrenzwert 160 zu vergleichen, um ein erstes Vergleichsergebnis 162 zu erhalten, den sensierten infraroten Grauwert mit einem definierten Maximalinfrarotgrenzwert 164 zu vergleichen, um ein zweites Vergleichsergebnis 166 zu erhalten, und den sensierten Rotwert mit einem definierten Maximalrotgrenzwert 168 verglichen, um ein drittes Vergleichsergebnis 170 zu erhalten. Die Erkenneinrichtung 130 ist dazu ausgebildet, um den Bildpunkt unter Verwendung des ersten Vergleichsergebnisses 162, zweiten Vergleichsergebnisses 166 und dritten Vergleichsergebnisses 170 als Störpflanzenabbildung 107 oder Pflanzenabbildung 175 zu erkennen.
-
Auf diese Weise kann basierend auf dem Kamerarohbild 110 ein NDVI-Bild erstellt werden.
-
Bei dem Bildsensor 115 handelt es sich gemäß diesem Ausführungsbeispiel um einen Infrarotsensor mit einem durch das Rotpixel R realisierten reinen Rotkanal und einem durch das NIR-Pixel NIR realisierten reinen Nahinfrarotkanal.
-
Der Bildsensor 115 umfasst neben dem Bildpunkt 150 eine Mehrzahl weiterer Bildpunkte, beispielsweise in einer matrixförmigen Anordnung aus mehreren Spalten und Zeilen. Gemäß einem Ausführungsbeispiel umfasst jeder Bildpunkt des Bildsensors 115 zumindest zwei Pixel. Gemäß einem Ausführungsbeispiel sind die Bildpunkte des Bildsensors 115 identisch ausgeführt.
-
Die Plausibilisierungseinrichtung 135 ist dazu ausgebildet, um Pflanzenabbildungen in dem NDVI-Bild zu plausibilisieren. So ist die Plausibilisierungseinrichtung 135 beispielsweise ausgebildet, um den als Störpflanzenabbildung 107 erkannte Bildpunkt 150 aus dem Kamerarohbild 110 zu entfernen oder eine Segmentierung des Bildpunkts 150 als Pflanze zu entfernen. Zusätzlich oder alternativ ist die Plausibilisierungseinrichtung 135 gemäß einem Ausführungsbeispiel dazu ausgebildet, um den als Pflanzenabbildung 175 erkannten Bildpunkt 150 abzubilden oder eine Segmentierung des Bildpunkts 150 als Pflanze beizubehalten. Wenn der Bildpunkt 150 als Störpflanze erkannt wird, wird dieser somit im bereits erzeugten NDVI-Bild nicht mehr als Pflanze segmentiert. Wird der Bildpunkt 150 dagegen als Pflanze erkannt, wird dieser Bildpunkt im bereits erzeugten NDVI-Bild als Pflanze segmentiert.
-
Die Erkenneinrichtung 130 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um den Bildpunkt 150 als Störpflanzenabbildung 107 zu erkennen, wenn das erste Vergleichsergebnis 162 anzeigt, dass der sensierte infrarote Grauwert den definierten Mindestinfrarotgrenzwert 160 unterschreitet und/oder das zweite Vergleichsergebnis 166 anzeigt, dass der infrarote Grauwert den definierten Maximalinfrarotgrenzwert 164 überschreitet und/oder das dritte Vergleichsergebnis 170 anzeigt, dass der sensierte Rotwert den definierten Maximalrotgrenzwert 168 überschreitet. Die Erkenneinrichtung 130 ist gemäß diesem Ausführungsbeispiel ferner dazu ausgebildet, um den Bildpunkt 150 als Pflanzenabbildung 175 zu erkennen, wenn das erste Vergleichsergebnis 162 anzeigt, dass der sensierte infrarote Grauwert den definierten Mindestinfrarotgrenzwert 160 überschreitet und/oder das zweite Vergleichsergebnis 166 anzeigt, dass der infrarote Grauwert den definierten Maximalinfrarotgrenzwert 164 unterschreitet und/oder das dritte Vergleichsergebnis 170 anzeigt, dass der sensierte Rotwert den definierten Maximalrotgrenzwert 168 unterschreitet. Gemäß diesem Ausführungsbeispiel sind die Grenzwerte 160, 164, 168 lediglich beispielhaft so gewählt, dass Bildpunkte 150 mit auf den Grenzwerten 160, 164, 168 liegenden Grauwerten als Pflanzenabbildungen 175 erkannt werden.
-
Gemäß einem alternativen Ausführungsbeispiel ist der Bildsensor 115 als ein Bayer-Sensor mit zumindest zwei Grünpixeln, einem Blaupixel und dem Rotpixel R ausgeformt, die zusammen den Bildpunkt 150 ausformen. Das Rotpixel R des Bayer-Sensors weist ein R-Farbfilterelement zum Durchlassen von rotem Licht und/oder Infrarotlicht und zumindest das zum Durchlassen von Nahinfrarotlicht ausgebildeten NIR-Pixel NIR auf. Das NIR-Pixel NIR ist gemäß einem Ausführungsbeispiel das Blaupixel des Bayer-Sensors, das ein B-Farbfilterelement zum Durchlassen von blauem Licht und Infrarotlicht aufweist und/oder das Grünpixel des Bayer-Sensors, das ein G-Farbfilterelement zum Durchlassen von grünem Licht und Infrarotlicht des Bildsensors 115 aufweist. In Form eines Bayer-Sensors weist der Bildsensor 115 gemäß dem alternativen Ausführungsbeispiel ferner eine die Pixel R, NIR des Bildsensors 115 abdeckende Filtereinrichtung zum Durchlassen von rotem Licht und Nahinfrarotlicht und/oder zum Sperren von grünem Licht und/oder blauem Licht auf. Somit dienen die Grünpixel und/oder Blaupixel des Bayer-Sensors gemäß einem Ausführungsbeispiel als reine Nahinfrarotkanäle und das Rotpixel R des Bayer-Sensors als ein Mischkanal zum Sensieren eines Mischwerts aus rotem Licht und Nahinfrarotlicht. Die Einleseeinrichtung 120 ist gemäß diesem Ausführungsbeispiel ausgebildet, um das R-Farbsignal 140 einzulesen, das einen solchen Mischwert aus rotem Licht und Nahinfrarotlicht repräsentiert, wobei die Vergleichseinrichtung 125 ausgebildet ist, um den Mischwert mit einem definierten Maximalmischgrenzwert zu vergleichen, um ein viertes Vergleichsergebnis zu erhalten und/oder mit einem definierten Mindestmischgrenzwert zu vergleichen, um ein fünftes Vergleichsergebnis zu erhalten, wobei die Erkenneinrichtung 130 ausgebildet ist, um den Bildpunkt 150 als Störpflanzenabbildung 107 oder Pflanzenabbildung 175 unter Verwendung des vierten Vergleichsergebnisses und fünften Vergleichsergebnisse zu erkennen.
-
Die Einleseeinrichtung 120 ist alternativ gemäß einem Ausführungsbeispiel ausgebildet, um ein einen sensierten Mischwert aus rotem Licht und Nahinfrarotlicht repräsentierendes Mischlichtsignal einzulesen, das ein von dem Rotpixel R bereitgestelltes Signal repräsentiert, wobei die Vergleichseinrichtung 125 ausgebildet ist, um den sensierten Mischwert mit dem definierten Maximalmischgrenzwert zu vergleichen, um das vierte Vergleichsergebnis zu erhalten und/oder mit dem definierten Mindestmischgrenzwert zu vergleichen, um das fünfte Vergleichsergebnis zu erhalten, wobei die Erkenneinrichtung 130 ausgebildet ist, um den Bildpunkt 150 als Störpflanzenabbildung 107 oder Pflanzenabbildung 175 unter Verwendung des vierten Vergleichsergebnisses und fünften Vergleichsergebnisse zu erkennen. Die Erkenneinrichtung 130 ist dann gemäß einem Ausführungsbeispiel ausgebildet, um den Bildpunkt 150 als Störpflanzenabbildung 107 zu erkennen, wenn das vierte Vergleichsergebnis anzeigt, dass der Mischwert den definierten Mindestmischgrenzwert unterschreitet und/oder den definierten Maximalmischgrenzwert überschreitet.
-
Werte für den definierten Mindestinfrarotgrenzwert 160, definierten Maximalinfrarotgrenzwert 164, definierten Maximalrotgrenzwert 168, definierten Maximalmischgrenzwert und/oder definierten Mindestmischgrenzwert sind gemäß diesem Ausführungsbeispiel in einer Speichereinrichtung der Vorrichtung 105 hinterlegt oder von der Vorrichtung 105 einlesbar.
-
Gemäß diesem Ausführungsbeispiel ist die Erkenneinrichtung 130 ferner ausgebildet, um eine Dilatation anzuwenden, bei der an den Bildpunkt 150 angrenzende weitere Bildpunkte auch als Störpflanzenabbildung 107 erkannt werden, wenn der Bildpunkt 150 als Störpflanzenabbildung 107 erkannt wurde, um eine erweiterte Störpflanzenabbildung zu erkennen. Gemäß einem Ausführungsbeispiel ist die Plausibilisierungseinrichtung 135135 ausgebildet, um die erweiterte Störpflanzenabbildung aus dem Kamerarohbild 110 zu entfernen. Die Erkenneinrichtung 130 ist gemäß einem Ausführungsbeispiel ausgebildet, um eine Filtergröße für die Dilatation einzustellen.
-
Pflanzen reflektieren im roten Spektralbereich, dem sogenannten „Rot-Kanal“, relativ wenig, im nahen infraroten Spektralbereich, dem sogenannten „NIR-Kanal“, relativ viel Strahlung.
Aus der normierten Differenz aus beiden Spektralbereichen entsteht das NDVI-Bild. Wobei der Index von -1 bis 1 reicht. Ein Index von -1 ist sichere keine Pflanze, wenn der Index nahezu 1 wird, handelt es sich relativ sicher um eine Pflanze. Wobei der Grauwert jedes Bildpixels des NDVI-Bilds identisch ist zu seinem NDVI-Index.
-
Im Bild kann durch Festlegung einer Schwelle, beispielsweise von 0,3, der Inhalt im NDVI-Bild in „Keine Pflanzen“ und „Pflanzen“ getrennt werden. Dadurch erhält man eine Klassifizierung des Pflanzenanteils im Bild. In der Realität gibt es sehr viele Störeinflüsse, die die Segmentierung/Erkennung von Pflanzen mittels NDVI negativ beeinflussen. D. h,. es gibt Nicht-Pflanzenobjekte, die aber im NDVI-Bild als Pflanze sichtbar werden. Auch bestimmte Lichtbedingungen (Unter- und Überbelichtung) führen dazu, dass Bereiche im NDVI-Bild fälschlicherweise als Pflanze segmentiert werden. Ein Hauptstörfaktor ist Überbelichtung. D. h., die Grauwerte im Bild erreichen den maximalen Wert. Das Signal wird sozusagen abgeschnitten. Wenn nun im NDVI das Verhältnis aus zwei Bild-Kanälen berechnet wird, kommt es zu einem falschen Index. Im schlimmsten Fall landet der Index genau in der Größenordnung, wie der Index von Pflanzen tendenziell ist. Somit führt dies zu einer falschen Segmentierung mittels NDVI.
-
Die hier vorgestellte Vorrichtung 100 verbessert die Qualität einer Segmentierung von Pflanzenanteilen mittels NDVI-Bild, indem beschriebene Störeinflüsse in den Roh-Bilddaten des NDVI, Rot+NIR-Bildkanal, erkannt und gemäß einem Ausführungsbeispiel vom Bildbereich von vornherein entfernt werden, sodass nur wirkliches Pflanzenmaterial segmentiert wird. Die Vorrichtung 105 ermöglicht somit vorteilhafterweise eine Erweiterung einer herkömmlichen NDVI-Segmentierung oder in anderen Worten einen erweiterten NDVI-Algorithmus.
-
Nach Erkennen von Bereichen in den Roh-Bildern, also dem Rot- und NIR-Bild, die zu solchen Störungen im NDVI führen, werden diese gemäß einem Ausführungsbeispiel von einer NDVI-Pflanzensegmentierungsmaske herausgefiltert oder entfernt. Dies verbessert sozusagen die Qualität des erkannten Pflanzenmaterials. Nicht-Pflanzen-Objekte die zuvor als Pflanze segmentiert und klassifiziert wurden, werden nun von der Vorrichtung 105 richtigerweise auch als „Keine-Pflanze“ klassifiziert. Beispielsweise beim punktuellen Aufbringen von Herbiziden auf Pflanzen werden mit einer sehr hohen optischen Auflösung Bilddaten von Feldern aufgenommen und anhand des NDVI Pflanzenteile klassifiziert. Dabei kann es zu folgenden Störeinflüsse kommen: Rauschen, nasse oder feuchte Erde, Risse in der Erde, bestimmte Reflexionseigenschaften von Erde, Steine, Stroh und andere abgestorbene Pflanzenreste, unter- oder überbelichteten Szenen aufgrund von wechselnden Lichtbedingungen. Selbst Segmentierungsfehler aufgrund von Abbildungsfehlern, die bei der Bildentstehung durch die Optik entstehen, beispielsweise Chromatische Aberration, können gut herausgefiltert werden. Nach einer weiteren Klassifizierung des segmentierten Pflanzenteils in Kulturpflanze und Unkraut wird je nach Bedeckungsgrad von Unkraut diese Stellen mit Herbiziden behandelt. Wenn jedoch in der Segmentierung von Pflanzenteilen viele Objekte enthalten sind, die gar keine Pflanzen sind, würde es die Entscheidung für den Einsatz von Herbiziden verfälschen.
-
Um ein möglichst optimales Ergebnis zu erreichen, wird der hier vorgestellte erweiterte NDVI-Algorithmus gemäß einem Ausführungsbeispiel durch viele Bilddaten parametrisiert. Die Parametrisierung ist abhängig von der gegebenen Bildqualität. Diese wird im Wesentlichen durch Kamera, Beleuchtung, Sensor und Optik bestimmt.
-
Es folgt ein Beispiel für eine Vorgehensweise unter Verwendung der Vorrichtung 105:
- Im Bildverarbeitungsalgorithmus wird folgendermaßen vorgegangen. Es wird mithilfe von Grauwertschwellen 160, 164 entschieden, ob ein Pixel aufgrund seiner Grauwerte im Rot- und NIR-Kanal schon pauschal gar keine Pflanze sein kann oder sein sollte. Beispielsweise hat ein 12bit-Rohkamerabild 110 Grauwerte von 0 bis 4095. Die Grauwerte der Pixel von Pflanzen im NIR-Kanal sind immer höher als die im Rot-Kanal.
-
Die erste Schwelle, der definierte Mindestinfrarotgrenzwert 160, ist die „Unterbelichtung im NIR-Kanal“. D. h., man entscheidet, dass nicht alle Pixel im Kamerarohbild 110 Pflanze sein können, sondern reduziert die möglichen Pflanzenpixel, indem alle Pixel im NIR-Kanal < „MinNIR“ keine Pflanzen sind. Dadurch werden Bildbereiche, wie Unterbelichtung und Schatten oder Schattenübergänge an Kanten und nasse/feuchte Erde pauschal zu „Keine Pflanze“ zugeordnet.
-
Die zweite Schwelle, der definierte Maximalinfrarotgrenzwert 164, ist die „Überbelichtung im NIR-Kanal“. D. h., man entscheidet, dass nicht alle Pixel im Kamerarohbild 110 Pflanze sein können, sondern reduziert die möglichen Pflanzenpixel, indem alle Pixel im NIR-Kanal > „MaxNIR“ keine Pflanzen sind. Dadurch werden Bildbereiche, wie Überbelichtung und sehr hell reflektierende Objekte wie Stroh, Steine, Objektivfehler, die sich an scharfen Kantenübergängen bemerkbar machen, pauschal zu „Keine Pflanze“ zugeordnet.
-
Die dritte Schwelle, der definierte Maximalrotgrenzwert 168, ist die „Überbelichtung im Rot-Kanal“. D. h., man entscheidet, dass nicht alle Pixel im Kamerarohbild 110 Pflanze sein können, sondern reduziert die möglichen Pflanzenpixel, indem alle Pixel im Rot-Kanal > „MaxRot“ keine Pflanzen sind. Da Pflanzen rotes Licht absorbieren, d. h., weniger rotes Licht reflektieren, Pflanzen im Rot-Kanal erscheinen sehr „dunkel“, ist die Idee, dass alle Pixel im Rot-Kanal, die einen höheren Grauwert aufweisen als „MaxRot“, keine Pflanzen sein können. Dadurch werden ebenfalls Bildbereiche, wie Überbelichtung und sehr hell reflektierende Objekte wie Stroh, Steine, Objektivfehler, die sich an scharfen Kantenübergängen bemerkbar machen, pauschal zu „Keine Pflanze“ zugeordnet.
-
Eine Schwelle für „Unterbelichtung im Rot-Kanal“ ist nicht sinnvoll, da wie bereits geschrieben, Pflanzen im Rot-Kanal sowieso sehr niedrige Grauwerte aufweisen. Da macht eine untere Grauwertschwelle zum Entfernen von Störbereichen an dieser Stelle keinen Sinn, denn sonst ist die Gefahr groß echte Pflanzenbereiche bei der Segmentierung im Bild zu entfernen. Die Parameter für die Schwellen „MinNIR“, „MaxNIR“ und „MaxRot“ sind anwendungsspezifisch an die Bildqualität anpassbar. Denn je nach Güte, abhängig von Kamera, Objektiv und Beleuchtung, sind die Störeinflüsse mal größer und mal weniger groß.
-
Wird gemäß einem alternativen Ausführungsbeispiel ein Kamerasetting mit einem Bayer-Sensor verwendet, werden zwei zusätzliche Schwellen benötigt, der zuvor beschriebene definierte Maximalmischgrenzwert und definierte Mindestmischgrenzwert. Da der Roh-Bildkanal für Infrarot eines Bayer-Sensors ein rotes und infrarotes Signal als Mischsignal enthält, gibt es für diesen Kanal (Rot+NIR) ebenfalls eine Schwelle für Unter- und Überbelichtung. Die Funktionsweise ist identisch zur ersten und zweiten Schwelle bei der Unter- und Überbelichtung im NIR-Kanal. Die Parameter für die Schwellen „MinRotNIR“ und „MaxRotNIR“ sind, wie die Parameter zuvor, anwendungsspezifisch an die Bildqualität und an das Kamerasetting anpassbar.
-
Zusätzlich wird von der Vorrichtung 105 gemäß einem Ausführungsbeispiel um die Störpflanzenabbildungen 107 in Form von gefundenen Störbereichen ein Sicherheitsbereich gezogen. Dieser erweiterte Bildbereich ist ebenfalls per Definition „Keine Pflanze“. Durch die definierten Schwellen zu Unter- und Überbelichtung“ können teilweise nicht die gesamten Störobjekte als Ganzes entfernt werden. Man verbessert den Ansatz dahingehend, da viele dieser Störungen im Bild sich örtlich über mehrere Pixel ausdehnen und einen Grauwertverlauf besitzen, der nicht immer mit den definierten Schwellen aus der Unter-und Überbelichtung übereinstimmt. Im Bildverarbeitungsalgorithmus wird gemäß einem Ausführungsbeispiel pro Schwelle für die Unter-und Überbelichtungen eine Dilatation in Form einer Morphologischen Operation nachgeschalten. Dies führt zu dem oben beschriebenen Verhalten. Die Dilatation wird gemäß einem Ausführungsbeispiel pro Schwelle und gewünschtem Verhalten parametrisiert. D. h. wenn im Bild schon relativ gut „nur Pflanze“ segmentiert wurde, wird unter Umständen keine Dilatation mehr benötigt oder nur mit einer niedrigen Filtergröße. Sind dagegen viele Störobjekte auch nach der Entfernung durch Unter- und Überbelichtung vorhanden, wird gemäß einem Ausführungsbeispiel die Filtergröße der Dilatation pro Schwelle vergrößert.
-
Eine Abbildung eines Stück Strohs beispielsweise würde ohne die hier vorgestellte Vorrichtung 105 im NDVI als Pflanze segmentiert. Das Stroh wird hingegen von dem hier vorgestellten erweiterten NDVI-Algorithmus im R+NIR-Kanal im Fall „Überbelichtung“ als „Keine Pflanze“ erkannt. Da das Stroh aber einen Grauwertverlauf von sehr hell bis weniger hell aufweist, würde mittels Überbelichtung aber ohne Dilatation nicht das ganze Störobjekt segmentiert, sondern nur ein sehr heller innerer Kern des Objekts. Deshalb wird bei einem solchen Ausführungsbeispiel im Algorithmus für dieses Kamerasetting eine Dilatation mit einem Filter einer beispielhaften Größe 5 Pixel im Durchmesser auf diese Segmentierung angewandt. Als Ergebnis erhält man ein erweitertes Objekt, das auch einen umlaufenden weniger hellen Bereich einschließt. So wird sichergestellt, dass das komplette Stroh über die ganze Ausdehnung als Störobjekt gefunden wird und vom möglichen Pflanzenbereich von vornherein abgezogen wird.
-
Gemäß einem Ausführungsbeispiel werden sämtliche erkannten Störpflanzenabbildungen 107, beispielsweise sämtliches Stroh, das potentiell die Pflanzensegmentierung negativ beeinflussen kann, durch eine Maske von vornherein als „Keine Pflanze“ definiert. Nachdem alle gefundenen Störbereiche aus allen Bild-Kanälen segmentiert und zusammengefasst wurden, wird gemäß einem Ausführungsbeispiel in diesen Bildbereichen im NDVI-Bild keine Pflanzensegmentierung mehr durchgeführt, da diese Bereiche durch die Segmentierungen (Störobjekte) zuvor als „Keine Pflanze“ definiert wurden.
-
Als Randbedingung gilt, dass es bei der Vorrichtung 105 wichtig ist, im Bildverarbeitungsalgorithmus den NDVI mit den Roh-Bild-Kanälen in Form des Rot- und NIR-Kanals zu verwenden, um die beschriebene Erweiterung des NDVI-Algorithmus verwenden zu können. Das von der Vorrichtung 105 durchführbare beschriebene Verfahren ist zur Detektion von Pflanzen, beispielsweise für die punktuelle Ausgabe von Herbiziden, einsetzbar.
-
2 zeigt eine schematische Darstellung eines unter Verwendung einer Vorrichtung erzeugten vorläufigen NDVI-Bilds 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die anhand von 1 beschriebene Vorrichtung handeln. In dem vorläufigen NDVI-Bild 200 sind gemäß diesem Ausführungsbeispiel sowohl Pflanzenabbildungen 175 als auch Störpflanzenabbildungen 107 oder erweiterte Störpflanzenabbildungen abgebildet. Beispielhaft sind gemäß diesem Ausführungsbeispiel in dem vorläufigen NDVI-Bild 200 vier erkannte Störpflanzenabbildungen 107/erweiterte Störpflanzenabbildungen abgebildet und acht Pflanzenabbildungen 175. Das hier gezeigte vorläufige NDVI-Bild 200 repräsentiert ein gängiges NDVI-Bild.
-
3 zeigt eine schematische Darstellung eines unter Verwendung einer Vorrichtung erzeugten NDVI-Bilds 177 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die anhand von 1 beschriebene Vorrichtung handeln. Gegenüber dem in 2 beschriebenen vorläufigen NDVI-Bild wurden gemäß diesem Ausführungsbeispiel die Störpflanzenabbildungen/erweiterten Störpflanzenabbildungen entfernt, um das NDVI-Bild 177 zu verbessern.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 400 handeln, das unter Verwendung der in einer der vorangegangenen Figuren vorgestellten Vorrichtung ansteuerbar oder ausführbar ist.
-
Das Verfahren 400 weist einen Schritt 405 des Einlesens, einen Schritt 410 des Vergleichens und einen Schritt 415 des Erkennens auf. Im Schritt 405 des Einlesens werden zumindest ein einen sensierten Rotwert repräsentierendes R-Farbsignal, das ein von einem Rotpixel eines Bildpunkts eines Bildsensors bereitgestelltes Signal repräsentiert, und ein einen sensierten infraroten Grauwert repräsentierendes NIR-Farbsignal, das ein von einem NIR-Pixel des Bildpunkts bereitgestelltes Signal repräsentiert, eingelesen. Im Schritt 410 des Vergleichens wird der sensierte infrarote Grauwert mit einem definierten Mindestinfrarotgrenzwert verglichen, um ein erstes Vergleichsergebnis zu erhalten, der sensierte infrarote Grauwerts mit einem definierten Maximalinfrarotgrenzwert verglichen, um ein zweites Vergleichsergebnis zu erhalten, und der sensierte Rotwert mit einem definierten Maximalrotgrenzwert verglichen, um ein drittes Vergleichsergebnis zu erhalten. Im Schritt 415 des Erkennens wird der Bildpunkt unter Verwendung des ersten Vergleichsergebnisses, zweiten Vergleichsergebnisses und dritten Vergleichsergebnisses als Störpflanzenabbildung oder Pflanzenabbildung erkannt. Auf diese Weise wird gemäß einem Ausführungsbeispiel ein NDVI-Bild erzeugt.
-
Optional weist das Verfahren 400 gemäß diesem Ausführungsbeispiel ferner einen Schritt 420 des Anwendens einer Dilatation, einen Schritt 425 des Entfernens und/oder einen Schritt 430 des Plausibilisierens auf. Dadurch kann das erzeugte NDVI-Bild verbessert werden, also beispielsweise von Störpflanzenabbildungen bereinigt werden.
-
Im Schritt 420 des Anwendens einer Dilatation wird eine Dilatation angewandt, bei der an den Bildpunkt angrenzende weitere Bildpunkte auch als Störpflanzenabbildung erkannt werden, wenn der Bildpunkt als Störpflanzenabbildung erkannt wurde, um eine erweiterte Störpflanzenabbildung zu erkennen. Im Schritt 425 des Entfernens wird der als Störpflanzenabbildung erkannte Bildpunkt aus dem Kamerarohbild entfernt, um das bereits bestehendes NDVI-Bild zu verbessern. Im Schritt 430 des Plausibilisierens wird der als Pflanzenabbildung erkannte Bildpunkt genutzt, um das NDVI-Bild zu plausibilisieren.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
5 zeigt ein Blockschaltbild einer Vorrichtung 105 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 beschriebene Vorrichtung 105 handeln, welche zur Durchführung des NDVI-Algorithmus ausgebildet ist. Ein erster Block 500 repräsentiert gemäß diesem Ausführungsbeispiel ein Eingangsbild im NIR-Kanal, welches bezüglich des definierten Mindestinfrarotgrenzwerts 160 in Form der Schwelle „Unterbelichtung NIR-Kanal“ und bezüglich des definierten Maximaltinfrarotgrenzwerts 164 in Form der Schwelle „Überbelichtung NIR-Kanal“ überprüft wird. Optional erfolgt anschließend jeweils in einem zweiten Block 505 nach dem Parameter „SizeMinNIR“ und in einem dritten Block 510 nach dem Parameter „SizeMaxNIR“ eine Dilatation. Ein vierter Block 515 repräsentiert gemäß diesem Ausführungsbeispiel ein Eingangsbild im Rot-Kanal, welches bezüglich des definierten Maximalrotgrenzwerts 168 in Form der Schwelle „Überbelichtung Rot-Kanal“ überprüft wird. Optional erfolgt anschließend in einem fünften Block 520 nach dem Parameter „SizeMaxRot“ eine Dilatation. Ein optionaler sechster Block 525 repräsentiert gemäß diesem Ausführungsbeispiel ein Eingangsbild im Rot+NIR-Kanal, welches bezüglich des definierten Mindestmischgrenzwerts 530 in Form der Schwelle „Unterbelichtung Rot+NIR-Kanal“ und des definierten Maximalmischgrenzwerts 535 in Form der Schwelle „Überbelichtung Rot+NIR-Kanal“ überprüft wird. Optional erfolgt anschließend jeweils in einem siebten Block 540 nach dem Parameter „SizeMinRotNIR“ und in einem achten Block 545 nach dem Parameter „SizeMaxRotNIR“ eine Dilatation. Ein neunter Block 550 kennzeichnet eine verbesserte Pflanzensegmentierung anhand NDVI.
