-
Die Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs, welche dem Klassifizieren eines Bildsegments als statisches oder dynamisches Bildsegment dient. Entsprechend betrifft die Erfindung eine Fahrerassistenzvorrichtung für ein Kraftfahrzeug, mit einer Recheneinrichtung, die ausgebildet ist, ein bereitgestelltes Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmenten zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren sowie einen jeweiligen Bildungsvektor für die detektierten Bildmerkmale zu ermitteln.
-
Das Detektieren von Bildmerkmalen (Feature Detection) und die Vorhersage eines Bildflusses (Flow Prediction), das heißt das Ermitteln jeweiliger Bewegungsvektoren für Bildmerkmale, sind zwei Herzstücke jedweden Verfahrens zum Detektieren und Klassifizieren von Objekten. Aufgrund von hardwareseitigen Beschränkungen, wird dabei die Anzahl der jeweils verfolgten Bildmerkmale auf eine vorgegebene Anzahl N, beispielsweise N=800 Merkmale pro Einzelbild, beschränkt. Dabei ist es wichtig, diese begrenzte Anzahl von (Bild-)Merkmalen so zu erkennen beziehungsweise innerhalb des Einzelbildes zu verteilen, dass jedem Objekt auf dem Einzelbild, das heißt jedem Objekt in der von dem Einzelbild repräsentierten Umgebung eines entsprechenden Kraftfahrzeugs, zumindest ein solches Bildmerkmal zugeordnet wird. Nur so kann jedes Objekt auch in entsprechenden nachgeordneten Verfahrensschritten erkannt und berücksichtigt werden, was für einen sicheren Betrieb einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs erforderlich ist.
-
Dabei ist im Bereich des Detektierens der Objekte eine Reihe von Problemen bekannt:
-
Erstens kann ein Objekt teilweise verdeckt sein, sodass nur ein Teil eines statischen Objektes detektiert wird.
-
Zweitens kann zufallsbedingt, beispielsweise durch eine Bildtextur bedingt, fälschlicherweise ein dynamisches Objekt beziehungsweise ein dynamisches Bildmerkmal erkannt werden.
-
Drittens kann ein und das gleiche Objekt teilweise als statisches Objekt und teilweise als dynamisches, sich bewegendes Objekt erkannt werden, indem beispielsweise unterschiedliche Bildmerkmale, welche dem gleichen Objekt zugehörig sind, unterschiedlich klassifiziert werden.
-
Viertens kommt es vor, dass Objekte gar nicht detektiert werden, beispielsweise wenn diese sich nahe an einem Expansionspunkt (Focus of Expansion) des Einzelbildes befinden. Der Expansionspunkt in einem Einzelbild ist der Punkt, in welchem die Bewegungsvektoren aller Merkmale konvergieren, beziehungsweise von welchem alle fortweisen. Grundsätzlich wird hier die Länge eines Bewegungsvektors eines entsprechenden Bildmerkmals gegen Null gehen, wenn das entsprechende Bildmerkmal näher an dem Expansionspunkt liegt. Da die Bewegungsvektoren nahe des Expansionspunktes, welcher auch als Fluchtpunkt bezeichnet werden kann, eine geringe Länge aufweisen, so führt dort bereits ein kleiner Fehler zu großen Folgefehlern in einer entsprechenden dreidimensionalen Rekonstruktion. Daher weisen einige Detektionsalgorithmen für Objekte einen Bereich um den Expansionspunkt herum auf, innerhalb dessen Bewegungsvektoren ausgefiltert werden. Daher kommt es hier zu einem unterbleibenden Detektieren der Objekte in der Nähe des Expansionspunktes.
-
Fünftens kommt es immer wieder dazu, dass statische Objekte als dynamische Objekte erkannt werden und umgekehrt. Beispielsweise ist ein dynamisches Objekt wie ein parallel zum eigenen Kraftfahrzeug bewegendes Fahrzeug im Vergleich zu dem eigenen Kraftfahrzeug statisch.
-
Sechstens ist schließlich der optische Fluss oder Bildfluss, das heißt die für die Bestimmung des Bildflusses genutzten Bewegungsvektoren, in den üblichen Ansätzen skalenvariant.
-
Sogar Bildmerkmale, welche auf einem entsprechenden Objekt detektiert und diesem zugeordnet sind, sind nicht notwendigerweise gut verfolgbare Bildmerkmale, die sich zum Berechnen des Bildflusses und/oder Bestimmen von Bildsegmenten oder Objekten als statisch oder dynamisch eignen. Dies ist der Hauptgrund dafür, dass Objekterkennungsalgorithmen oft daran scheitern, statische Objekte in großer Entfernung als solche zu erkennen.
-
Zumindest das Problem, dass für manche Objekte kein Bildmerkmal erkannt wird, das heißt einem Objekt kein Bildmerkmal zugeordnet wird, kann durch einen sogenannten dichten optischen Fluss, das heißt einer Steigerung der Anzahl der Bildmerkmale mit entsprechenden Bewegungsvektoren (oder Trajektorien), gelöst werden, wie es in künftigen Fahrerassistenzvorrichtungen hardwarebedingt möglich ist. Dabei ist jedoch ein dichter optischer Fluss genauso skalenvariant wie ein weniger dichter optischer Fluss. Wieder liegt auch das Problem vor, dass besser und schlechter verfolgbare Bildmerkmale schwer zu unterscheiden sind. Tatsächlich ist sogar ein in größerem Maß inkonsistenter und inhomogener optischer Fluss zu erwarten: Aufgrund der feineren Abtastung jeweiliger zufälliger Texturen wie beispielsweise Straße oder eine Vegetation in der Umgebung des Kraftfahrzeugs werden in den zufälligen Texturen nämlich auch irrtümlich Bildmerkmale erkannt. Damit wird die Anzahl der oben unter zweitens genannten falschen Positive steigen, sodass wiederum eine aufwändigere Klassifikation der Bildmerkmale erforderlich ist.
-
Es stellt sich somit die Aufgabe, die Objekterkennung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs zu verbessern, insbesondere ein Klassifizieren von Bildmerkmalen und/oder Bildsegmenten zu verbessern.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
-
Wie bereits angedeutet gibt es in jedem Bildbereich eines (Einzel-)Bildes besser und schlechter verfolgbare oder nachverfolgbare Bildmerkmale. Die Bildmerkmale sind also unterschiedlich gut für das Ermitteln von Bewegungen und repräsentativen Bewegungsvektoren geeignet. In bekannten Verfahren werden hier bei der Detektion von Objekten für sämtliche Bildmerkmale die gleichen Maßstäbe angesetzt, um gut und schlecht nachzuverfolgende Bildmerkmale als solche zu erkennen. Auch wird mit gegenwärtigen Ansätzen nicht sichergestellt, dass für jedes Objekt auf dem Bild ein gut verfolgbares Bildmerkmal vorhanden ist.
-
Ein derartiges gleichförmiges Kriterium für alle Bildmerkmale kann aufgrund der Vielzahl an Bildbereichen mit unterschiedlichen Eigenschaften, beispielsweise unterschiedlichen Textureigenschaften, nicht das Detektieren von gut nachverfolgbaren Bildmerkmalen in jedem Bildsegment oder jedem Bildbereich sicherstellen. Hier ist es sehr wichtig, sich jeweils konsistente verhaltende, gut nachverfolgbare Bildmerkmale individuell für jedes Bildsegment und/oder jedes Objekt zu detektieren, und zwar unabhängig davon, ob es sich um ein statisches und dynamisches Objekt und entsprechend ein statisches oder dynamisches Bildsegment handelt.
-
Es ist also entscheidend, in jedem Bildsegment des Einzelbildes möglichst gut nachverfolgbare Bildmerkmale zu finden. Diese im Folgenden auch als Referenz-Bildmerkmale bezeichneten gut nachverfolgbaren Bildmerkmale werden dann genutzt, um einen Bildbereich, das heißt ein Bildsegment, als statisch oder dynamisch einzustufen oder zu kategorisieren oder zu klassifizieren. Dabei werden in dem vorgeschlagenen Verfahren die statistischen Eigenschaften der gut nachverfolgbaren Bildmerkmale ausgenutzt. Die im Folgenden beschriebene Methode stellt sicher, dass in jedem Bildsegment gut nachverfolgbare Bildmerkmale vorhanden sind indem beispielsweise die Flusseigenschaften der Bildmerkmale in jedem Bildsegment separat analysiert werden.
-
Die Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs, mit einer Reihe von Verfahrensschritten. Ein Verfahrensschritt kann hier ein Aufnehmen einer Umgebung des Kraftfahrzeugs durch eine Kameraeinrichtung der Fahrerassistenzvorrichtung mit einem Bereitstellen eines aufgenommenen Einzelbilds seitens der Kameraeinrichtung sein. Ein Verfahrensschritt ist ein Segmentieren eines bereitgestellten Einzelbildes, beispielsweise des aufgenommenen Kamera-Einzelbilds der Kameraeinrichtung, in eine Vielzahl von Bildsegmenten in Abhängigkeit von zumindest einer Bildeigenschaft durch die Recheneinrichtung. Das Einzelbild kann aber beispielsweise auch eine Sensorkarte einer Sensoreinrichtung der Fahrerassistenzvorrichtung sein.
-
Das Segmentieren oder Clustern des Einzelbildes in Bildsegmente oder Bildcluster kann beispielsweise basierend auf einer jeweiligen Farbe als Bildeigenschaft erfolgen, sodass beispielsweise Bildbereiche mit der gleichen Farbe, oder bevorzugt zusammenhängende Bildbereiche mit der gleichen Farbe, als ein Bildsegment behandelt werden. Dabei kann grundsätzlich jedweder Segmentationsalgorithmus genutzt werden. Eine Möglichkeit ist hier das Einzelbild in jeweilige Sektoren aufzuteilen, was bei Beleuchtungswechseln vorteilhaft ist. Eine andere Möglichkeit ist hier beispielsweise eine semantische Klassifikation bei einer Bildsegmentierung, die zum Beispiel durchgeführt werden kann, indem ein Bild in Bildblöcke aufgeteilt wird und beispielsweise der Bildblock mit der jeweils kompliziertesten Textur in weitere Bildblöcke aufgeteilt wird.
-
Ein nächster Verfahrensschritt ist ein Detektieren von jeweils zumindest einem Bildmerkmal in den Bildsegmenten, bevorzugt allen Bildsegmenten, des segmentierten Einzelbildes durch die Recheneinrichtung. Hier kann beispielsweise gemäß einer vorgegebenen Algorithmus eine Anzahl N von Bildmerkmalen unter den Bildsegmenten aufgeteilt werden, das heißt jedem Bildsegment zumindest ein Bildmerkmal zugeordnet, beziehungsweise ein entsprechender Bearbeitungsplatz in der Recheneinrichtung zugeordnet werden und sodann in dem jeweiligen Bildsegment das entsprechende oder die entsprechenden Bildmerkmale erkannt beziehungsweise detektiert werden.
-
Ein weiterer Verfahrensschritt ist ein Ermitteln eines jeweiligen Bewegungsvektors für die detektierten Bildmerkmale durch die Recheneinrichtung. Dies kann anhand eines dem jeweiligen Bildmerkmal zugeordneten Bildmerkmals in dem oder einem (vorhergehenden) weiteren bereitgestellten und segmentierten Einzelbild erfolgen. Ein Bewegungsvektor kann hier und im Folgenden eine Länge und einen Winkel umfassen, welcher entsprechend eine Flussgröße oder Flussgeschwindigkeit des Bildmerkmales sowie einer Flussorientierung des Bildmerkmals, das heißt eine Größe und/oder Orientierung des durch das Bildmerkmal ausgelösten oder verursachten optischen Flusses beschreibt.
-
Ein anderer Verfahrensschritt ist ein Ermitteln eines jeweiligen Gesamt-Bewegungsvektors für die Bildsegmente insgesamt, also für die jeweiligen Bildsegmente als Ganzes, durch die Recheneinrichtung. Dies kann anhand zumindest eines Bildsegments eines weiteren bereitgestellten und segmentierten (vorhergehenden) Einzelbildes erfolgen. Beispielsweise kann hierfür ein Umriss des jeweiligen Bildsegments mit einem Polygon in dem Einzelbild und dem vorhergehenden Einzelbild angenähert werden und sodann die entsprechenden Positionen des Polygons verglichen werden, um eine Gesamtbewegung des jeweiligen Bildsegments mit dem entsprechenden Gesamt-Bewegungsvektor beschreiben zu können. Es sind somit einerseits für sämtliche detektierten Bildmerkmale eines Bildsegmentes jeweilige Bewegungsvektoren hinterlegt, sowie andererseits die Gesamtbewegung für das Bildsegment insgesamt.
-
Ein weiterer Verfahrensschritt ist sodann ein Definieren eines Bildmerkmales eines jeweiligen Bildsegments als Referenz-Bildmerkmal, falls der jeweilige Bewegungsvektor des Bildmerkmals und der Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Dieser Verfahrensschritt wird durch die Recheneinrichtung ausgeführt, und zwar insbesondere für alle Bildsegmente und dabei bevorzugt für alle jeweiligen Bildmerkmale.
-
Unter einem Übereinstimmen bis auf eine vorgebbare Toleranz kann dabei verstanden werden, dass die jeweiligen Bewegungsvektoren sich bis auf eine vorgegebene oder vorgebbare Abweichung gleichen, beispielsweise bis auf 10 Prozent oder bevorzugt 5 Prozent in einem Winkel und/oder einer Länge. In diesem Fall ist also die vorgebbare Toleranz auf 10 Prozent beziehungsweise 5 Prozent vorgegeben. Es werden somit die Bildmerkmale als Referenz-Bildmerkmale oder gut nachverfolgbare Bildmerkmale gekennzeichnet, deren durch den Bewegungsvektor repräsentierte Bewegung mit der durch den Gesamtbewegungsvektor repräsentierten Gesamtbewegung des zugehörigen Bildsegmentes übereinstimmt oder konsistent ist. Damit wird sichergestellt, dass die Bildmerkmale, welche sich konsistent zu dem Bildsegment bewegen, weiter genutzt werden und schlecht nachverfolgbare Bildmerkmale, beispielsweise die oben beschriebenen zufällig generierten falschen Positive, aussortiert werden.
-
Im Allgemeinen haben hier Merkmale, welche auf einem statischen Objekt der Umgebung der Fahrerassistenzvorrichtung angeordnet sind, eine höhere Konsistenz als Bildmerkmale auf dynamischen Objekten. Über die beschriebene Definition wird somit sichergestellt, dass die Referenz-Bildmerkmale sich konsistent mit dem Bildsegment und auch konsistent in eine Richtung bewegen, beispielsweise somit plötzliche Bewegungssprünge, die erkannt werden, aber für ein Bildmerkmal nicht plausibel sind, aussortiert werden. Dabei kann beispielsweise wie weiter unten noch ausgeführt bei einem iterativen Durchführen des Verfahrens jeweils eine vorbestimmte Anzahl von X Bildmerkmalen, welche sich konsistent bewegen, behalten werden, sodass in einem jeweiligen neuen Schritt des iterativen Verfahrens die Anzahl N - X an Merkmalen neu in dem Einzelbild zu detektieren ist.
-
Ein weiterer Verfahrensschritt ist ein Definieren von zumindest einem oder mehreren Bildsegmenten, welche auf dem Einzelbild einen Untergrund oder Boden der Umgebung des Kraftfahrzeugs repräsentieren, durch die Recheneinrichtung als Boden-Bildsegment. Dies kann beispielsweise geschehen, indem ein Bildbereich unmittelbar vor der Kamera, welcher aller Erfahrung nach aufgrund der Ausrichtung der für das Erzeugen des ausgewerteten Einzelbildes genutzten Kamera stets den Boden repräsentiert.
-
Ein weiterer Verfahrensschritt ist sodann ein Klassifizieren zumindest eines Nicht-Boden-Bildsegments, bevorzugt der restlichen Nicht-Boden-Bildsegmente als statisches oder dynamisches Bildsegment, wobei das oder ein jeweiliges Bildsegment insbesondere nur als dynamisches Bildsegment klassifiziert wird, falls sich der Bewegungsvektor oder eine Bewegungsvektorverteilung zumindest eines, bevorzugt aller, Referenz-Bildmerkmale des zu klassifizierenden Bildsegments von dem Bewegungsvektor oder einer Bewegungsvektorverteilung zumindest eines Referenz-Bildmerkmals oder bevorzugt aller Referenz-Bildmerkmale eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgegebenen oder vorgebbaren Wert unterscheidet.
-
Dabei kann entsprechend für die Länge des Bewegungsvektors, also eine Größe des Flusses oder der Bewegung ein Einzelwert vorgegeben sein und/oder für den Winkel des Bewegungsvektors oder die Orientierung ein entsprechender Einzelwert vorgegeben sein. Beispielsweise kann hier zum Ermitteln des Unterschiedes eine Differenz des jeweiligen Bewegungsvektors gebildet werden. Der entsprechende Unterschied zwischen jeweiligen Bewegungsvektorverteilungen kann beispielsweise durch eine Differenzbildung zwischen den Mittelwerten der Bewegungsvektorverteilung ermittelt werden oder aber durch einen Abstand der jeweiligen Verteilungen, welcher beispielsweise durch das Minimum der Differenzen zwischen allen Bewegungsvektoren der jeweiligen einen Verteilung mit den allen Bewegungsvektoren der jeweiligen anderen Verteilung ermittelt werden kann.
-
Das hat den Vorteil, dass die jeweiligen individuellen Eigenschaften der einzelnen Bildsegmente bei dem Klassifizieren des Bildsegments als entweder statisches oder dynamisches Bildsegment berücksichtigt werden und dabei sämtliche eingangs genannten Probleme der bekannten Ansätze zum Detektieren von Objekten überwunden werden. Dabei ist die vorgeschlagene Lösung einfach aufgebaut und kann leicht in bestehenden Recheneinrichtungen von Fahrerassistenzvorrichtungen implementiert werden. Zugleich eröffnet sie auch ein schrittweises genaueres Klassifizieren, wie im Folgenden anhand weiterer vorteilhafter Ausführungsformen beschrieben wird.
-
In einer solchen weiteren vorteilhaften Ausführungsform ist nämlich vorgesehen, dass, falls sich der Bewegungsvektor des zumindest einen Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor des Referenz-Bildmerkmals des Boden-Bildsegments nicht um mehr als den vorgegebenen Wert unterscheidet, bei dem Klassifizieren zumindest ein, insbesondere genau ein, dem zu klassifizierenden Bildsegment nächstliegendes Referenz-Bildmerkmal, also ein dem klassifizierenden Bildsegment nächstes Referenz-Bildmerkmal beziehungsweise ein Referenz-Bildmerkmal mit dem geringsten Abstand zu dem zu klassifizierenden Bildsegment, eines Boden-Bildsegments ausgewählt wird. Insbesondere ist das entsprechende Boden-Bildsegment dabei ein dem zu klassifizierenden Bildsegment nächstliegendes Boden-Bildsegment. Das zu klassifizierende Bildsegment wird dann als dynamisches Bildsegment klassifiziert, falls der Bewegungsvektor für mehr als einen vorgegebenen oder vorgebbaren Anteil der Referenz-Bildmerkmale des zu klassifizierenden Bildsegments bis auf die Toleranz nicht mit dem Bewegungsvektor des zumindest einen ausgewählten Referenz-Bildmerkmals des Boden-Bildsegments übereinstimmt. Ein solcher vorgegebener Anteil kann beispielsweise 80 Prozent betragen. Im Falle eines einzigen Referenz-Bildmerkmals entscheidet dann das Übereinstimmen zwischen dem einen Referenz-Bildmerkmal des zu klassifizierenden Bildsegments und das diesem nächstliegende Referenz-Bildmerkmal eines Boden-Bildsegments über das Ergebnis des Klassifizierens, ob also das Bildsegment als statisch oder dynamisch klassifiziert wird.
-
Das hat den Vorteil, dass, falls das Bildsegment nicht als dynamisches Bildsegment erkannt wird, das Ergebnis nochmals überprüft wird und somit eine Genauigkeit des Verfahrens erhöht wird. Zugleich erfolgt dieser, dann etwas aufwändigere Schritt nur in dem wirklich zunächst unklaren Fällen, wodurch Rechenkapazität gespart wird. Dadurch, dass gerade das dem zu klassifizierenden Bildsegment nächstliegende Referenzbildmerkmal zur Klassifizierung herangezogen wird, wird auch ein Einfluss von geometrischen Verzerrungen bei dem Verfahren verringert.
-
In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass für das bei dem Klassifizieren ausgewählte Boden-Bildsegment anhand der Bewegungsvektoren mehrerer Referenz-Bildmerkmale des Boden-Bildsegments in Abhängigkeit eines Minimalwerts und eines Maximalwerts der Längen und/oder Winkel der Bewegungsvektoren ein Längenintervall und/oder ein Winkelintervall als Toleranz vorgegeben wird, sodass der Bewegungsvektor des Referenz-Bildmerkmals des zu klassifizierenden Bildsegments mit dem Bewegungsvektor des ausgewählten Referenz-Bildmerkmals des Boden-Bildsegments übereinstimmt, falls Länge und/oder Winkel des Bewegungsvektors des zu klassifizierenden Bildsegments in dem entsprechenden Intervall, also dem Winkelintervall und/oder dem Längenintervall liegen. Die Intervallgrenzen können dabei insbesondere jeweils durch den Minimalwert und den Maximalwert der Längen und/oder Winkel der Bewegungsvektoren des Boden-Bildsegments vorgegeben werden.
-
Das hat den Vorteil, dass die jeweiligen Boden-Bildsegmente besonders genau charakterisiert werden und entsprechend auch die Bildsegmente besonders genau als sich relativ zu dem Boden-Bildsegment bewegend, also dynamische Bildsegmente, oder als relativ zu dem Boden-Bildsegment stehend, also statische Bildsegmente klassifiziert werden können.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Verfahren für eine Reihe von Zeitschritten mit aufeinanderfolgenden Einzelbildern durchgeführt wird, wobei die Gesamt-Bewegungsvektoren anhand eines Vergleichs einander entsprechender Bildsegmente in aufeinanderfolgenden Einzelbildern ermittelt werden und die Bewegungsvektoren der Bildmerkmale anhand eines Vergleichs einander entsprechender Bildmerkmale in aufeinanderfolgenden Einzelbildern.
-
Das hat den Vorteil, dass entsprechend flexibel und aktuell eine jeweilige Umgebung des Kraftfahrzeugs erfasst und analysiert werden kann, indem in den Einzelbildern die jeweiligen dynamischen und statischen Bildsegmente identifiziert beziehungsweise als solche klassifiziert werden.
-
In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass die Referenz-Bildmerkmale zwischengespeichert werden und für die Referenz-Bildmerkmale über mehrere aufeinanderfolgende Zeitschritte eine Übereinstimmung des jeweiligen Bewegungsvektors mit dem Gesamt-Bewegungsvektor überwacht wird, beispielsweise über ein geeignetes Maß, und nur ein vorgegebener Anteil, beispielsweise 80 Prozent, der Referenz-Bildmerkmale mit der größten Übereinstimmung, also die Referenz-Bildmerkmale mit der größten Konsistenz über einen vorgegebenen Zeitraum hinweg mit der Gesamtbewegung und/oder nur Referenz-Bildmerkmale mit einer einem vorgegebenen Grenzwert übertreffenden Übereinstimmung weiterhin als Referenz-Bildmerkmal definiert bleiben.
-
Das hat den Vorteil, dass jeweils nur die besten Referenz-Bildmerkmale weiterhin als solche genutzt werden und ein bestimmbarer Anteil an Referenz-Bildmerkmalen neu vergeben werden kann, das heißt die verfügbare Rechenkapazität mit einer Höchstanzahl N an verarbeitbaren Bildmerkmalen mit größtmöglicher Effizienz und Effektivität genutzt wird.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das oder die Referenz-Bildmerkmale für das Boden-Bildsegment oder die Boden-Bildsegmente mit dem zugehörigen Bewegungsvektor oder den zugehörigen Bewegungsvektoren über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden.
-
Das hat den Vorteil, dass sich eine Konsistenz der jeweiligen Bewegungen besonders gut beurteilen und überwachen lässt.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass eine oder mehrere Eigenschaften der Bildsegmente über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden, insbesondere jeweilige Positionen eines Umrisses für die jeweiligen Bildsegmente, beispielsweise der oben genannten Polygone als Annäherung für den Umriss, und/oder eine Größe der Bildsegmente. So lässt sich beispielsweise aus einer gleichmäßigen Vergrößerung der Größe des Bildsegments eine Bewegung des entsprechenden dem Bildsegment zugeordneten Objektes in der Umgebung des Kraftfahrzeugs auf die Kamera ableiten und umgekehrt aus einer konstanten Verkleinerung der Größe des Bildsegmentes eine Bewegung fort von der Kamera.
-
Das hat den Vorteil, dass zusätzliche Kriterien bei dem Klassifizieren berücksichtigt werden können, und so die Genauigkeit des Verfahrens weiter erhöht wird.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Gesamt-Bewegungsvektoren der Bildsegmente über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden und die Bildsegmente anhand der zwischengespeicherten Bewegungsvektoren in eine jeweilige Bewegungsklasse, insbesondere in eine Rotationsklasse und/oder eine Translationsklasse und/oder eine Skalierungsklasse eingeordnet werden. Gerade Bildsegmente und insbesondere entsprechend Bildmerkmale, welche einer Skalierungsklasse zugeordnet sind, können dabei durch die Recheneinrichtung weiteren Analyseschritten unterzogen werden, um die Klassifikation des Bildsegments als statisches oder dynamisches Bildsegment zu vereinfachen.
-
Das hat den Vorteil, dass das Verfahren weiter in der Genauigkeit erhöht wird, und nicht nur zwischen statischem und dynamischem Bildsegment unterschieden werden kann, sondern die dynamischen Bildsegmente weiter unterteilt werden können. Dies ist beispielsweise für eine Objektbildung vorteilhaft, bei welcher einem oder mehreren Objekten in der Umgebung des Kraftfahrzeugs jeweilige Bildsegmente zugeordnet werden. Beispielsweise können hier Bildsegmente, welche sich in ähnlicher oder identischer Weise bewegen, einem Objekt zugeordnet werden.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass nach dem Klassifizieren eine Freiraumerkennung für das Einzelbild durchgeführt wird, also auf dem Einzelbild ein jeweiliger Freiraum in der Umgebung des Kraftfahrzeugs erkannt wird, bei welcher ein erster Sicherheitsabstand zu als dynamisch klassifizierten Bildsegmenten ermittelt wird und ein von dem ersten verschiedener weiterer zweiter Sicherheitsabstand zu als statisch klassifizierten Bildsegmenten ermittelt wird. Dabei kann die Umgebung des Kraftfahrzeugs auf dem Einzelbild in Sektoren aufgeteilt werden, welche dann jeweils mit dynamischen oder statischen Bildsegmenten oder dynamischen oder statischen Objekten, welche sich jeweils aus einem oder mehreren Bildsegmenten zusammensetzen, zugeordnet werden. Die jeweiligen Sicherheitsabstände können dabei gemäß unterschiedlicher Vorgaben in Abhängigkeit der Klasse der Bildsegmente in dem jeweiligen Sektor oder entsprechenden Bewegungsklassen der Bildsegmente in dem jeweiligen Sektor vorgenommen werden. Die jeweiligen Sicherheitsabstände können auch in Abhängigkeit weiterer Faktoren wie beispielsweise eines aktivierten Parkmodus, einer Fahrzeuggeschwindigkeit oder weiteren Kraftfahrzeugparametern eingestellt werden.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Bildeigenschaft eine Leuchtdichte und/oder eine Farbe und/oder eine Textureigenschaft, beispielsweise eine Kontraststruktur, umfasst.
-
Diese Eigenschaften haben sich als besonders vorteilhaft für das Segmentieren von einem Bild in Bildsegmente im Bereich der Fahrerassistenzvorrichtungen für Kraftfahrzeuge herausgestellt.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Einzelbild von einer Kameraeinrichtung der Fahrerassistenzvorrichtung bereitgestellt wird und eine Umgebung des Kraftfahrzeugs repräsentiert.
-
Die Erfindung betrifft auch eine Recheneinrichtung für eine Fahrerassistenzvorrichtung eines Kraftfahrzeugs, die ausgebildet ist, ein bereitgestelltes Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmenten zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren, sowie einen jeweiligen Bewegungsvektor für die detektierten Bildmerkmale zu ermitteln.
-
Wichtig ist dabei, dass die Recheneinrichtung ausgebildet ist, für die Bildsegmente einen jeweiligen Gesamt-Bewegungsvektor zu ermitteln, und ein Bildmerkmal eines Bildsegments als Referenz-Bildmerkmal zu definieren, falls der jeweilige Bewegungsvektor des Bildmerkmals und der Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen, sowie Bildsegmente, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment zu definieren und schließlich zumindest ein Bildsegment als statisches oder dynamisches Bildsegment zu klassifizieren. Dabei wird das jeweilige Bildsegment als dynamisches Bildsegment klassifiziert, falls sich der Bewegungsvektor zumindest eines Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgebbaren Wert unterscheidet.
-
Vorteile und vorteilhafte Ausführungsformen der Fahrerassistenzvorrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.
-
Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Recheneinrichtung oder mit eine Fahrerassistenzvorrichtung mit einer solchen Recheneinrichtung.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:
- 1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Recheneinrichtung, welche Teil einer Fahrerassistenzvorrichtung ist;
- 2 eine schematische Darstellung einer beispielhaften Ausführungsform eines Verfahrens zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs; und
- 3 ein beispielhaftes Einzelbild, für welches eine Freiraumerkennung durchgeführt wurde.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente dabei mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine beispielhafte Ausführungsform einer Recheneinrichtung 1 einer Fahrerassistenzvorrichtung 2 in einem Kraftfahrzeug 3 dargestellt. Die Recheneinrichtung 1 ist dabei vorliegend mit einer Kameraeinrichtung 4 gekoppelt, welche ausgebildet ist, ein Einzelbild, vorliegend eine Folge von Einzelbildern, an die Recheneinrichtung 1 bereitzustellen. Das beziehungsweise die Einzelbilder repräsentieren dabei jeweils eine Umgebung 5 des Kraftfahrzeugs 3. Die Fahrerassistenzvorrichtung 2 ist dabei vorliegend auch mit einer Bremseinrichtung 6 gekoppelt, sodass beispielsweise ein Bremseingriff durch die Fahrerassistenzvorrichtung 2 vorgenommen werden kann.
-
Die Recheneinrichtung 1 ist dabei ausgebildet, das bereitgestellte Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmente zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren, sowie einen jeweiligen Bewegungsvektor für die detektierten Bildmerkmale zu ermitteln.
-
Wichtig ist hier, dass die Recheneinrichtung 1 auch ausgebildet ist, für die Bildsegmente einen jeweiligen Gesamtbewegungsvektor zu ermitteln und ein Bildmerkmal eines Bildsegments als Referenz-Bildmerkmal zu definieren, falls der jeweilige Bewegungswechsel des Bildmerkmals und der Gesamtbewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Die Recheneinrichtung 1 ist ferner ausgebildet, Bildsegmente, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment zu definieren und ein Bildsegment als statisches oder dynamisches Bildsegment zu klassifizieren. Dabei wird das Bildsegment als dynamisches Bildsegment klassifiziert, falls sich der Bewegungsvektor zumindest eines Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgegebenen Wert unterscheidet.
-
Insbesondere ist die Recheneinrichtung 1 also ausgebildet, ein Verfahren wie es anhand von 2 erläutert wird, durchzuführen.
-
In 2 ist eine beispielhafte Ausführungsform eines Verfahrens zum Betreiben der Recheneinrichtung 1 dargestellt. Zunächst erfolgt vorliegend ein Bereitstellen 7 eines Einzelbildes an die Recheneinrichtung 1. Hier kann es sich beispielsweise um ein Einzelbild der Kameraeinrichtung 4 (1) handeln. Ein Verfahrensschritt ist dabei ein Segmentieren 8 des bereitgestellten Einzelbildes in eine Vielzahl von Bildsegmenten. Dies geschieht in Abhängigkeit von zumindest einer Bildeigenschaft, beispielsweise einer Farbe oder einer Helligkeit, sodass Bildbereiche mit der gleichen Farbe und/oder der gleichen Helligkeit, bevorzugt zusammenhängende Bildbereiche der mit der jeweils gleichen Bildeigenschaft, zu einem Bildsegment segmentiert werden. Ein weiterer Verfahrensschritt ist ein Detektieren 9 jeweils zumindest eines Bildmerkmals in den Bildsegmenten des segmentierten Einzelbildes. In jedem Bildsegment wird somit ein Bildmerkmal, beispielsweise eine Kante oder eine sonstige Form als Bildmerkmal detektiert.
-
In einem weiteren Verfahrensschritt erfolgt ein entsprechendes Ermitteln 10 eines jeweiligen Bewegungsvektors für die detektierten Bildmerkmale. Für jedes Bildmerkmal wird somit vorliegend eine Bewegungsvektorgröße und damit eine Flussgeschwindigkeit eines optischen Flusses und eine Bewegungsvektororientierung und damit eine Flussorientierung bestimmt, welche durch den Bewegungsvektor quantifiziert wird. Aus den Bewegungsvektoren lässt sich somit ein optischer Fluss in dem Einzelbild für die jeweiligen Bildmerkmale bestimmen. Ein weiterer Schritt ist ein Ermitteln 11 eines jeweiligen Gesamt-Bewegungsvektors für die einzelnen Bildsegmente. Basierend auf den jeweiligen Bewegungsvektoren für die detektierten Bildmerkmale und den ermittelten Gesamt-Bewegungsvektorn erfolgt sodann ein Definieren 12 der Bildmerkmale der jeweiligen Bildsegmente als Referenz-Bildmerkmale, für welche die jeweiligen Bewegungsvektoren mit dem Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Die Toleranz kann dabei insbesondere für jedes Bildsegment einzeln vorgegeben werden. Selbst wenn jedoch eine einzige Toleranz für alle Bildsegmente vorgegeben wird, so ist doch, da der Gesamt-Bewegungsvektor für jedes Bildsegment spezifisch ist, mit dem Definieren 12 ein individuelles Auswahlkriterium für die Referenz-Bildmerkmale, also die Bildmerkmale, deren Bewegung konsistent mit der Bewegung des zugehörigen Bildsegments ist, erreicht. Damit bleiben irrtümlich erkannte Bildmerkmale oder andere Bildmerkmale, welche nicht zum unten beschriebenen Klassifizieren 14 des Bildsegments als statisches oder dynamisches Bildsegment tauglich sind, unberücksichtigt.
-
Ein weiterer Schritt ist basierend auf dem Segmentieren 8 ein Definieren 13 von Bildsegmenten, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment.
-
Schließlich erfolgt ein Klassifizieren 14 der jeweiligen Bildsegmente als entweder statisches oder dynamisches Bildsegment. Bei dem Klassifizieren 14 werden die Bildsegmente als dynamische Bildsegmente klassifiziert, für welche sich der Bewegungsvektor zumindest eines zu klassifizierenden Bildsegments gehörigen Referenz-Bildmerkmals von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals von zumindest einem Boden-Bildsegment um mehr als einen vorgegebenen Wert unterscheidet.
-
Dabei kann von dem Definieren 12 zu Detektieren 9 eine Rückkopplungsschleife realisiert werden, indem für die Referenz-Bildmerkmale über mehrere aufeinanderfolgende Zeitschritte eine Übereinstimmung des jeweiligen Bewegungsvektors mit dem Gesamt-Bewegungsvektor überprüft wird und nur ein vorgegebener Anteil der Referenz-Bildmerkmale mit der größten Übereinstimmung und/oder nur Referenz-Bildmerkmale mit einer vorgegebenen Grenzwert übertreffenden Übereinstimmung weiterhin als Referenz-Bildmerkmal definiert bleiben.
-
Es wird das Verfahren somit für eine Reihe von Zeitschritten mit aufeinanderfolgenden Einzelbildern durchgeführt, und einmal als solche erkannte und definierte Referenz-Bildmerkmale weiterhin als Bildmerkmal genutzt, dabei jedoch auf ihre fortbestehende Tauglichkeit überprüft.
-
Im vorliegenden Beispiel wird basierend auf dem Klassifizieren 14 ein Erkennen 15 eines Freiraums für das Einzelbild durchgeführt, also die Umgebung 5 (1) hinsichtlich vorhandener Freiräume analysiert und der Umgebung für Objekte, welche einem als dynamisch klassifizierten Bildsegment entsprechen, ein Sicherheitsabstand zugeordnet und Objekten, welche einem als statisch klassifizierten Bildsegment entsprechen, ein weiterer Sicherheitsabstand. Schließlich erfolgt vorliegend basierend auf den ermittelten Sicherheitsabständen ein Ausgeben 16 eines Brems- und/oder Beschleunigungssignales oder eines Richtungssignales für eine sichere Fahrt.
-
In 3 ist ein beispielhaftes Einzelbild 17 der Umgebung 5 dargestellt. Dabei wird ein Bodenbereich 18 des Einzelbildes vorliegend in eine Vielzahl von Sektoren 19a bis 19v unterteilt. Basierend auf den als dynamisch erkannten Bildsegmenten, welche vorliegend zwei jeweilige Objekte 20a, 20b repräsentieren, wurden hier für die Sektoren 19f bis 19k sowie 19n bis 19q jeweilige erste Sicherheitsabstände df bis dk beziehungsweise dn bis dq ermittelt. Basierend auf als statisch klassifizierten Bildsegmenten wurden dabei vorliegend zweite Sicherheitsabstände da bis de und dl und dm ermittelt. Die Abstände dq bis dv, welche entsprechend den Vektoren 19q bis 19v zugeordnet sind, wurden hier basierend auf der Freiraumerkennung und entsprechend ebenfalls basierend auf als statisch klassifizierten Bildsegmenten ermittelt.
-
Die beschriebene Verfahrensweise zum Klassifizieren von Bildsegmenten als statisch oder dynamisch führt so zu einer äußerst nützlichen Freiraumerkennung, bei welcher basierend auf den ermittelten Abständen da bis dv und beispielsweise weiteren Informationen wie einem Lenkwinkel des Kraftfahrzeugs das Ausgeben 16 entsprechender Brems- und/oder Lenk- und/oder Beschleunigungs-Signale erfolgen kann.
