-
Die vorliegende Erfindung betrifft die Ermittlung von abgegrenzter Bereiche sowie von Bewegungspfaden an Hand von Bildern, insbesondere für den Einsatz in Land-, Wasser- oder Luftfahrzeugen.
-
Stand der Technik
-
Für Fahrerassistenzsysteme oder das zumindest teilweise automatisierte Fahren ist eine robuste Umfelderfassung von großer Wichtigkeit. Von Bedeutung ist insbesondere das Bestimmen der befahrbaren Fläche, die von anderen Fahrzeugen oder auch von feststehenden Objekten, wie Mauern und Leitplanken, begrenzt wird.
-
In den letzten Jahren wurden vermehrt Verfahren des maschinellen Lernens und speziell des Deep Learnings verwendet, um besagte Umfeldmerkmale robust erkennen zu können. Dabei erfolgt häufig eine Klassifikation auf Basis der Messdaten. Ein Extremfall ist die sogenannte Semantische Segmentierung (oder Pixellabeling) von Kamerabildern, bei der für jeden einzelnen Pixel eine zugehörige Klasse (z.B. Straße, Auto, Gebäude) bestimmt wird. Ein Beispiel hierfür gibt (E. Shelhamer, J. Long, T. Darrell, „Fully Convolutional Networks for Semantic Segmentation“, arXiv:1605.06211 (2016)).
-
Die
US 2015/206 015 A1 offenbart einen alternativen Ansatz. Hier wird ein eindimensionaler Graph erstellt, worin ein jeder Knoten zu einer Bildspalte korrespondiert. Auf der Basis einer Merkmalserkennung wird eine Energiefunktion auf dem Graphen konstruiert. Diese Energiefunktion wird maximiert, um die Freifläche nahe eines bewegten Objekts zu bestimmen.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde eine Vorrichtung zur Ermittlung eines abgegrenzten Bereichs, und/oder eines Bewegungspfads mindestens eines Objekts, aus mindestens einem Bild entwickelt.
-
Der abgegrenzte Bereich kann beispielsweise ein begehbarer oder befahrbarer Bereich in dem Sinne sein, dass er frei von bestimmten Objekten ist, mit denen eine Kollision vermieden werden soll. Der Begriff umfasst aber beispielsweise auch die Abgrenzung eines Grünstreifens oder einer Grasfläche von einer Fahrbahn, einer Hausfassade von einem Fenster, eines Meers vom Strand oder einer Gangway von Wasser. Die Trennung zwischen den Bereichen kann auch lediglich semantischer Natur sein, wie im Beispiel zweier Fahrspuren, die durch eine durchgezogene Linie voneinander getrennt sind.
-
Der Bewegungspfad gibt allgemein eine Abfolge von Orten an, an denen sich das Objekt nacheinander befindet. Wenn diese Abfolge zusätzlich noch Zeiten enthält, zu denen sich das Objekt an den jeweiligen Orten befindet, spricht man von einer Trajektorie.
-
Dabei ist der Begriff des begehbaren oder befahrbaren Bereichs nicht daran gebunden, dass die Kamera, mit der das Bild aufgenommen wurde, mobil ist. Die Kamera kann ebenso stationär sein und beispielsweise den Füllungsgrad eines Parkplatzes oder eines Geländes für eine Großveranstaltung überwachen.
-
Ebenso ist der Begriff des Objekts, dessen Bewegungspfad bestimmt wird, nicht auf ein Objekt beschränkt, an dem die Kamera angebracht ist. Es kann beispielsweise mit einer stationär montierten Kamera der fließende Verkehr überwacht werden. Ebenso kann ein mit einer mobilen Kamera ausgerüstetes Fahrzeug neben dem eigenen Bewegungspfad auch die Bewegungspfade von Fremdfahrzeugen, Fußgängern oder beliebigen anderen Objekten überwachen. Der Begriff des Bildes ist nicht an eine bestimmte Art der Bildaufnahme gebunden, und auch nicht daran, dass das Bild ein optisches Bild ist. So sind beispielsweise Farbbilder, Grauwertbilder und Tiefenbilder gleichermaßen geeignet. Das Bild kann beispielsweise von einer einzelnen Kamera, von einer Stereokamera, von einer Fisheye-Kamera oder mit einem anderen Kontrastmechanismus, wie etwa Structure-from-Motion, LIDAR oder Time-of-Flight) erfasst worden sein. Das Bild kann auch aus einer Fusionierung von mit unterschiedlichen Kameras, aus unterschiedlichen Blickwinkeln, und/oder mit unterschiedlichen Kontrastmechanismen, erfassten Bilder hervorgegangen sein.
-
Der untersuchte abgegrenzte Bereich muss nicht zwangsläufig vor einem Fahrzeug liegen. Beispielsweise kann bei Abbiegevorgängen oder Spurwechseln untersucht werden, inwieweit ein mit Spiegeln nicht einsehbarer „Toter Winkel“ frei ist.
-
Die Vorrichtung umfasst mindestens ein künstliches neuronales Netzwerk, KNN, aus mehreren aufeinanderfolgenden Schichten, wobei eine erste Schicht des KNN das mindestens eine Bild oder einen Teil hiervon als Eingabe erhält.
-
Eine zweite Schicht des KNN ist dazu ausgebildet, eine Grenzlinie des abgegrenzten Bereichs, einen linienförmigen Verlauf des Bewegungspfads, oder einen Abschnitt der Grenzlinie oder des Bewegungspfads, als Ausgabe zu liefern. Die Dimensionalität der zweiten Schicht ist kleiner als die Dimensionalität der ersten Schicht.
-
In diesem Zusammenhang sind die Begriffe „erste Schicht“ und „zweite Schicht“ lediglich zur Unterscheidung der beiden Schichten voneinander zu verstehen und nicht etwa dahingehend eingeschränkt, dass die erste Schicht die unmittelbar am Eingang des KNN liegende Schicht ist und dass die zweite Schicht die unmittelbar hierauf folgende Schicht ist. Der „ersten Schicht“ und der „zweiten Schicht“ können im KNN also durchaus mehrere Schichten vorausgehen und auch noch mehrere Schichten folgen.
-
Unter der Dimensionalität einer Schicht des KNN ist insbesondere die Dimensionalität einer Ein- oder Ausgabe dieser Schicht zu verstehen.
-
Beispielsweise kann unter der Dimensionalität der ersten Schicht die Dimensionalität der eingegebenen Bilddaten verstanden werden. Beispielsweise kann unter der Dimensionalität der zweiten Schicht die Dimensionalität eines Parameterraums, in dem eine parametrisierte Repräsentation der Grenzlinie oder des Bewegungspfades ermittelt wird, oder die Dimensionalität einer sonstigen Form, in der die Grenzlinie bzw. der Bewegungspfad ermittelt wird, verstanden werden.
-
Weiterhin ist das KNN auch nicht darauf beschränkt, ausschließlich die Grenzlinie, bzw. den Bewegungspfad, zu liefern. Es können beispielsweise auch verschiedene „zweite Schichten“ in einem einzigen KNN mehrere Grenzlinien oder Bewegungspfade auf einmal liefern. Das KNN kann beispielsweise auch neben der Grenzlinie in einem Arbeitsgang verschiedene Klassen von Objekten entlang der Grenzlinie liefern.
-
Beispielsweise kann das KNN gleichzeitig den Bereich einer eigenen Fahrspur, den von durchgezogenen Linien, den Bereich bis zum Bordstein und den asphaltierten Bereich insgesamt liefern. Verschiedene Fahrfunktionen können dann auf den jeweils geeigneten Bereich zurückgreifen. So bremst etwa eine Felgenschutzfunktion vor dem Bordstein ab, während ein Fußgängerschutz im Notfall auch eine Fahrt über den Bordstein oder über eine durchgezogene Linie gebietet.
-
In einer vorteilhaften Ausgestaltung hat die Ausgabe, die eine jede Schicht des KNN liefert, höchstens eine genauso große Dimensionalität wie die Eingabe, die diese Schicht des KNN erhält. Dann findet in dem KNN keinerlei Upsampling statt, was besonders rechenintensiv ist. Es kann jedoch auch Anwendungen geben, in denen dieser Preis für ein zwischenzeitliches Upsampling gerechtfertigt ist.
-
Es wurde erkannt, dass die semantische Segmentierung deutlich mehr Information enthält als dies etwa für die Bewältigung von Fahraufgaben erforderlich ist. Ist etwa eine Autobahn durch bauliche Begrenzungen eingefasst, so ist es nicht mehr relevant, welche Typen von Objekten sich jenseits dieser nicht überwindbaren Begrenzungen befinden. Daher kann der Aufwand für die detaillierte Klassifikation von Pixeln, die sich auf Bereiche jenseits der Begrenzungen beziehen, ersatzlos eingespart werden.
-
Dass die Ersparnis durchaus beträchtlich ist, verdeutlicht ein Zahlenbeispiel. Eine typische Serienkamera nimmt pro Sekunde 30 Bilder mit 1280x720 Pixeln auf. Um diese Pixel in 10 Klassen von Objekten zu segmentieren, muss zu jeder Zeit für jedes Pixel ein Satz von 10 Wahrscheinlichkeiten berechnet werden, dass das Pixel zu einem Objekt der betreffenden Klasse gehört. Dies sind insgesamt pro Sekunde über 276 Millionen Wahrscheinlichkeiten. Wird hingegen beispielsweise lediglich eine Grenzlinie des begehbaren oder befahrbaren Bereichs gesucht, die durch 64 Polygonstützstellen parametrisiert ist, so müssen hierfür pro Sekunde nur maximal 64*30*10=19.200 Werte berechnet werden, also um einen Faktor von mehr als 10.000 weniger. Eine weitere Ersparnis ist möglich, wenn an der Grenzlinie nicht danach gefragt wird, welcher Objekttyp genau dort jeweils den begehbaren oder befahrbaren Bereich begrenzt.
-
In diesem Beispiel kann die Anzahl der eingegebenen Bildpixel (1280x720) als Dimensionalität der ersten Schicht verstanden werden, während die Anzahl der Polygonstützstellen (64) als Dimensionalität der zweiten Schicht verstanden werden kann. Die Dimensionalität der zweiten Schicht ist also um einen Faktor von mehr als 10.000 geringer als die Dimensionalität der ersten Schicht.
-
Weiterhin wurde erkannt, dass bei der vollständigen semantischen Segmentierung mittels KNN ein erheblicher zusätzlicher Aufwand dadurch entsteht, dass die Dimensionalität des eingegebenen Bildes zunächst sukzessive reduziert wird, jedoch am Ende durch Upsampling wieder auf ihr ursprüngliches Maß angehoben werden muss. Dieser Aufwand kann ersatzlos eingespart werden. Damit geht weiterhin einher, dass das KNN deutlich weniger Speicher benötigt.
-
Der reduzierte Rechen- und Speicheraufwand wiederum hat zur Folge, dass für die Implementierung der Vorrichtung in Hardware kompaktere Hardware mit geringerem Energieverbrauch ausreicht. Insbesondere beim zumindest teilweise automatisierten Fahren ist dies eine wesentliche Forderung für den Übergang vom Laborstadium zur Serienapplikation.
-
Der Aufwand ist somit bewältigbar, obwohl als Eingabe das vollständige Bild verwendet wird. Es ist also nicht notwendig, das Bild zur Reduzierung der Komplexität in Ausschnitte zu unterteilen, die getrennt voneinander verarbeitet werden. Dies ist vorteilhaft für das Trainingsprozess des KNN, in dem jeweils der komplette Szenenkontext mitgelernt werden kann, etwa dass Fahrzeuge auf Straßen fahren und sich der Himmel im oberen Teil des Kamerabildes befindet.
-
Schließlich kann auch das KNN selbst von vornherein deutlich kleiner ausgelegt werden, da das zu lösende Problem deutlich kompakter formuliert ist, d.h. es wird von vornherein nur nach der Information gefragt, die für das Fahren, bzw. für ein das Fahren unterstützendes Assistenzsystem, tatsächlich benötigt wird.
-
Speziell bei der Anwendung in Fahrzeugen hat eine kompakte Repräsentation des abgegrenzten Bereichs, bzw. des Bewegungspfads, als (parametrisierte) Linie den weiteren Vorteil, dass sie bei der Übertragung an andere Systeme innerhalb des Fahrzeugs wenig Bandbreite beansprucht. Um Material und Gewicht für Kabelbäume einzusparen, haben sich für die Kommunikation zwischen Fahrzeugsystemen Bussysteme, wie etwa der CAN-Bus, durchgesetzt. Die Material- und Gewichtsersparnis kommt letzten Endes dadurch zustande, dass sich viele Systeme ein und dasselbe Medium teilen. Die Übertragung hochaufgelöster, vollständig semantisch segmentierter Bilder verbraucht in einer solchen Umgebung vergleichsweise viel Bandbreite, so dass andere Systeme möglicherweise warten müssen, bevor sie mit ihren Übertragungen an der Reihe sind.
-
Die Umwandlung des Bildes in die Grenzlinie oder in den Bewegungspfad geschieht in der Vorrichtung auf direktem Wege, also ohne eine spezielle und möglicherweise intransparente Vor- oder Nachverarbeitung der Daten. Umgekehrt ermöglicht dies auch ein transparentes und deutlich weniger aufwändiges Labeln von Trainingsbildern oder Trainings-Bildsequenzen mit „Musterlösungen“ für die Grenzlinie bzw. den Bewegungspfad. Statt in einem Trainingsbild jedes einzelne Pixel mit derjenigen Klasse zu labeln, in die das KNN das Pixel im Realbetrieb einordnen sollte, genügt es beispielsweise, in das Trainingsbild diejenige Grenzlinie bzw. den Bewegungspfad einzuzeichnen, die das KNN im Realbetrieb sinnvollerweise ermitteln sollte.
-
Das Training des KNN wird somit deutlich vereinfacht und beschleunigt. Dadurch wird es für den Hersteller einer Applikation praktikabler, das Training vollständig selbst durchzuführen, statt vortrainierte KNN zu verwenden. Der Hersteller der Applikation kann also ein KNN in Hardware zukaufen und frei nutzen, ohne sich an gesonderte Lizenzbedingungen für die darin hinterlegten Trainingsergebnisse binden zu müssen.
-
Vorteilhaft sind mindestens zwei KNN vorgesehen. Dabei ist das erste KNN dazu ausgebildet, eine Grenzlinie zwischen dem abgegrenzten Bereich einerseits und einem ersten diesen Bereich begrenzenden Objekttyp andererseits zu bestimmen. Das zweite KNN ist dazu ausgebildet, eine Grenzlinie zwischen dem abgegrenzten Bereich einerseits und einem zweiten diesen Bereich begrenzenden Objekttyp andererseits zu bestimmen.
-
Beide KNN können dann unabhängig voneinander jeweils auf die Erkennung eines Objekttyps spezialisiert trainiert werden. Im Verlauf dieses Trainings ist gewährleistet, dass Lernfortschritte bei der Erkennung eines Objekttyps nicht auf Kosten der Erkennung eines anderen Objekttyps gehen.
-
Insbesondere können sich die KNN unabhängig voneinander auf unterschiedliche Anforderungen einstellen, die mit der Erkennung verschiedener Objekttypen verbunden sind. So sind beispielsweise Fahrbahnbegrenzungen statisch, d.h. sie verändern ihr Aussehen nicht spontan. Ein vorausfahrendes Fahrzeug hingegen kann bei einem Abbiegen oder einem Spurwechsel die Perspektive, aus der es von einer Kamera erfasst wird, spontan ändern. Es kann auch sein Aussehen ändern, beispielsweise, wenn der Fahrer Blinker oder andere Leuchten betätigt oder während der Fahrt das Verdeck eines Cabrios öffnet.
-
Sind mehrere KNN vorhanden, kann weiterhin in besonders einfacher Weise zusammen mit der Grenzlinie eine Klassifikation ermittelt werden, durch welche Objekttypen der abgegrenzte Bereich im Einzelnen begrenzt ist. Beispielsweise ist es für die Planung einer zumindest teilweise automatisierten Fahrt relevant, ob es sich bei dem Objekt um ein feststehendes Objekt handelt oder aber um ein anderes Fahrzeug. Die Vermeidung einer Kollision mit einem feststehenden Objekt hängt nur vom Verhalten des eigenen Fahrzeugs ab, während bei einem anderen Fahrzeug einzukalkulieren ist, dass dieses beispielsweise spontan beschleunigen, bremsen oder die Spur wechseln kann. Weiterhin können in dem Fall, dass ein Aufprall nicht mehr zu vermeiden ist, die Unfallfolgen dadurch gemildert werden, dass der Aufprall durch einen Steuereingriff auf ein „geeigneteres Objekt“ umgelenkt wird. So ist etwa der Aufprall auf eine massive Betonmauer, bei dem die Verformungsenergie von der hierfür ausgelegten Front des Fahrzeugs absorbiert wird, weniger folgenschwer als das Verkeilen unter einem Sattelschlepper, bei dem die Verformungsenergie auf die Fahrgastzelle konzentriert wird. Auch können Unfallfolgen beispielsweise dadurch gemildert werden, dass eine möglichst große Kontaktfläche zwischen dem eigenen Fahrzeug und dem Kollisionsobjekt angestrebt wird, um die Verformungsenergie auf eine möglichst große Fläche zu verteilen. Es ist davon auszugehen, dass es diesbezüglich bei der Zulassung des zumindest teilweise automatisierten Fahrens regulatorische Vorgaben geben wird, insbesondere zum Schutz „weicher“ Verkehrsteilnehmer, wie Fußgängern oder Radfahrern.
-
Besonders vorteilhaft ist somit die Vorrichtung allgemein, unabhängig vom Vorhandensein zweier oder mehrerer KNN, dazu ausgebildet, an verschiedenen Positionen entlang der ermittelten Grenzlinie des abgegrenzten Bereichs jeweils Wahrscheinlichkeiten dafür zu ermitteln, dass der abgegrenzte Bereich dort von bestimmten Objekttypen begrenzt wird.
-
In einer weiteren besonders vorteilhaften Ausgestaltung sind die Ausgaben des ersten KNN und des zweiten KNN in mindestens einen Aggregator geführt, wobei der Aggregator dazu ausgebildet ist, eine Einhüllende einer Überlagerung der von beiden KNN gelieferten Grenzlinien als alleinige oder zusätzliche Grenzlinie des abgegrenzten Bereichs zu ermitteln.
-
Ein derartiger Aggregator ermöglicht es beispielsweise, die Ausgaben mehrerer KNN in flexibler Weise zu kombinieren, um unterschiedliche Fragestellungen zu beantworten. Dabei kann ein und dieselbe Ausgabe eines KNN mehrfach genutzt werden. So können beispielsweise für eine aktive Steuerung der Fahrt neben Fahrbahnbegrenzungen und Leitplanken insbesondere andere Fahrzeuge relevant sein. Für die Planung, ob etwa die Durchfahrthöhe einer Einfahrt für ein beladenes Fahrzeug ausreicht, ist es hingegen sinnvoll, andere Fahrzeuge auszublenden und stattdessen mehr Informationen über Objekte zu berücksichtigen, die die Durchfahrthöhe beschränken.
-
Allgemein ermöglicht es die Aggregation mit einer Einhüllenden, die Bestimmung einer vergleichsweise komplexen Grenzlinie in deutlich einfachere Teilaufgaben zu zerlegen, die von den einzelnen KNN durchgeführt werden können.
-
Ist nur ein einziges KNN vorhanden, so kann dieses inhärent schon als Aggregator mehrere in dem KNN simultan ermittelter Grenzlinien dienen.
-
Die flexible Kombinierbarkeit von Grenzlinien und Bewegungspfaden ermöglicht eine Vielzahl von Anwendungen, ohne dass die zu Grunde liegenden KNN geändert oder neu trainiert werden müssen. Beispielsweise können Höhen von Objekten identifiziert oder Objekte zu Umrissen („Bounding Boxes“) abstrahiert werden. Es können beabsichtigte Bewegungspfade oder Trajektorien für Überholvorgänge dahingehend geprüft werden, ob der Vorgang im Lichte des zu erwartenden Verhaltens anderer Verkehrsteilnehmer sicher ist.
-
Es können auch einzelne Instanzen von Objekten identifiziert und über eine Sequenz aus mehreren Bildern hinweg verfolgt werden, beispielsweise, indem entlang der Grenzlinie des abgegrenzten Bereichs für jedes Objekt der (vorzeichenbehaftete) Abstand in Pixeln zum Mittelpunkt der jeweiligen Objektinstanz mittels Regression bestimmt wird. Mit der Wiedererkennung von Objektinstanzen kann beispielsweise das Verhalten eines aufmerksamen menschlichen Fahrers nachgebildet werden, der beispielsweise bestimmte andere Fahrzeuge in der Umgebung des eigenen Fahrzeugs verfolgt und aktiv im „Toten Winkel“ sucht, wenn diese plötzlich nicht mehr zu sehen sind.
-
Besonders vorteilhaft ist das KNN dazu ausgebildet, die Grenzlinie, den Bewegungspfad oder den entsprechenden Abschnitt als Parametersatz für eine Darstellung der Linie mit einer parametrisierten Funktion, und/oder für eine Darstellung einer Linie in Vektorgrafik, zu liefern. Die parametrisierte Funktion kann eine beliebige stetige oder unstetige Funktion sein. Geeignet sind insbesondere ein Polygonzug, eine Polylinie, ein Polynom, eine Klothoide oder Kombinationen hiervon. Mit diesen Funktionen lassen sich auch vergleichsweise komplexe Linienverläufe in nur wenigen Parametern zusammenfassen.
-
Vorteilhaft ist das KNN dazu ausgebildet, jeder Spalte des Bildes, oder einer Auswahl von Spalten des Bildes, mindestens eine Position innerhalb dieser Spalte zuzuordnen, an der eine Grenzlinie des abgegrenzten Bereichs verläuft. Die Bestimmung der Grenzlinie ist dann von einer Klassifikationsaufgabe auf eine Regressionsaufgabe zurückgeführt.
-
Analog lässt sich auch ein Bewegungspfad mittels Regression bestimmen. Hierzu ist das KNN vorteilhaft dazu ausgebildet, jeder Zeile des Bildes, oder einer Auswahl von Zeilen des Bildes, mindestens eine Position innerhalb dieser Zeile zuzuordnen, an der der Bewegungspfad verläuft.
-
Das Treffen einer Auswahl von Spalten bzw. Zeilen des Bildes vermindert die Anzahl der Stützstellen für die gesuchte Grenzlinie, bzw. für den gesuchten Bewegungspfad, und vermindert so den Rechenaufwand auf Kosten der Präzision.
-
In einer weiteren vorteilhaften Ausgestaltung ist das KNN dazu ausgebildet, auf mindestens einer Strecke, die das Bild durchquert, das erste Vorkommen einer Grenzlinie des abgegrenzten Bereichs zu ermitteln. Gerade bei der Bewältigung von Fahraufgaben ist nur die in der beabsichtigten Fahrtrichtung nächstgelegene Grenzlinie relevant. Bei einer vorwärtsgerichteten Kamera und Vorwärtsfahrt etwa ist ausgehend vom unteren Bildrand die erste erkannte Grenzlinie relevant. Bei beabsichtigten Abbiegevorgängen oder Spurwechseln kann es hingegen sinnvoll sein, die Richtung, in der das Bild auf das erste Vorkommen einer Grenzlinie untersucht wird, zu ändern.
-
Die Vorrichtung kann beispielsweise in Assistenzsysteme zur Überwachung und/oder Steuerung der Bewegung eines Fahrzeugs oder sonstigen Objekts eingesetzt werden. Das Fahrzeug kann dann insbesondere ein Objekt sein, dessen Bewegungspfad von der Vorrichtung überwacht wird. Das Fahrzeug kann ein Land-, Wasser- oder Luftfahrzeug sein. Das Assistenzsystem kann der Unterstützung des manuellen Fahrens, aber auch dem zumindest teilweise automatisierten Fahren dienen.
-
In einer vorteilhaften Ausgestaltung ist in dem Assistenzsystem eine Vergleichseinheit vorgesehen ist, die dazu ausgebildet ist, zu überwachen, ob der von der Vorrichtung ermittelte Bewegungspfad innerhalb eines Toleranzbandes verläuft. Die Vergleichseinheit ist zusätzlich dazu ausgebildet, eine akustische, optische oder haptische Warneinrichtung anzusteuern, wenn das Toleranzband verletzt ist.
-
Ein solches Assistenzsystem kann beispielsweise ein Spurhalteassistent sein, der überwacht, ob der Fahrer in einer vorgegebenen Spur bleibt. Wenn der Fahrer, etwa auf Grund von Ablenkung oder Übermüdung, der Spur nicht mehr folgt und dies von der Vorrichtung erkannt wird, wird von der Vergleichseinheit die Warneinrichtung angesteuert. Alternativ oder in Kombination kann von der Vergleichseinheit auch durch Ansteuerung mindestens eines Aktors ein Eingriff in den Steuerkurs des Fahrzeugs vorgenommen werden, der den künftigen Bewegungspfad des Fahrzeugs in das Toleranzband zurückführt.
-
Das Toleranzband kann beispielsweise zumindest teilweise durch die von der Vorrichtung ermittelte Grenzlinie des abgegrenzten Bereichs festgelegt sein. Daneben können insbesondere beispielsweise auch Fahrbahnmarkierungen berücksichtigt werden. In diesem Zusammenhang ist es vorteilhaft, wenn, wie zuvor erwähnt, verschiedene KNN für die Erkennung der Grenzlinie zu verschiedenen Objekttypen einzusetzen.
-
Vorteilhaft ist mindestens ein Sensor, und/oder mindestens eine Schnittstelle, zur Erfassung eines Steuerkurses, und/oder der Geschwindigkeit, des Fahrzeugs vorgesehen. Der Steuerkurs kann beispielsweise über einen Lenk- oder Ruderwinkel erfasst werden.
-
Es kann dann beispielsweise erkannt werden, ob der Bewegungspfad des Fahrzeugs in der zu erwartenden Weise auf eine Änderung des Steuerkurses reagiert. Ist dies nicht der Fall, kann dies etwa als Anzeichen dafür gewertet werden, dass das Fahrzeug ausbricht, und es kann zur Korrektur ein ESP-System entsprechend angesteuert werden, so dass gezielt einzelne Räder gebremst werden.
-
In einer besonders vorteilhaften Ausgestaltung ist eine Regelschleife vorgesehen, in der eine Abweichung des von der Vorrichtung ermittelten Bewegungspfads von dem erfassten Steuerkurs als Regelabweichung fungiert. Dabei ist die Regelschleife dazu ausgebildet, diese Regelabweichung durch Ansteuerung mindestens eines Aktors, und/oder mindestens einer optischen, akustischen oder haptischen Anzeigevorrichtung, auszuregeln.
-
Beispielsweise kann starker Seitenwind es erforderlich machen, gegenzulenken, damit das Fahrzeug in der Spur bleibt. Fährt das Fahrzeug nun beispielsweise auf eine Brücke oder tritt es beim Überholen aus dem Windschatten eines LKW hervor, kann sich die Kraft des angreifenden Windes plötzlich ändern und eine Gegenreaktion erforderlich machen. Eine Automatisierung dieser Gegenreaktion mit dem Assistenzsystem kann verhindern, dass der Fahrer erschrickt und etwa in einer Überreaktion das Steuer verreißt.
-
In einer weiteren vorteilhaften Ausgestaltung ist eine Regelschleife vorgesehen, die dazu ausgebildet ist, eine verbleibende Wegstrecke, und/oder eine verbleibende Zeit, bis zum Erreichen der von der Vorrichtung ermittelten Grenzlinie auf einen Sollwert zu regeln, und/oder oberhalb eines Mindestniveaus zu halten. Es kann also beispielsweise im Rahmen einer adaptiven Abstandsregelung ein als Strecke oder als Zeit (etwa Zwei-Sekunden-Regel) spezifizierter Mindestabstand zum Vordermann eingehalten werden. Der Regeleingriff kann durch Ansteuerung mindestens eines Aktors erfolgen, alternativ oder in Kombination aber auch durch Ansteuerung mindestens einer optischen, akustischen oder haptischen Anzeigevorrichtung, um den Fahrer zu einer Reaktion aufzufordern.
-
Das KNN kann insbesondere ganz oder teilweise in Software implementiert sein. Es kann beispielsweise in konfigurierbarer Hardware ausgeführt sein, der durch Software die Schichtstruktur mit der progressiv abnehmenden und nicht wieder zunehmenden Dimensionalität aufgeprägt wird. Insbesondere kann auch eine bereits bestehende Vorrichtung durch Software entsprechend umkonfiguriert werden. Eine entsprechende Software ist insofern ein eigenständig vermarktbares Produkt. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Vorrichtung gemäß der Erfindung aufwerten, und/oder dazu veranlassen, die Funktion der Vergleichseinheit, und/oder der Regelschleife, in dem Assistenzsystem gemäß der Erfindung auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel einer Vorrichtung 1 zur Bestimmung der Grenzlinie 20 (1a), Schema des inneren Aufbaus eines KNN 5, 5a, 5b (1b);
- 2 Ausführungsbeispiel einer Vorrichtung 1 zur Bestimmung des Bewegungspfads 3 des eigenen Fahrzeugs;
- 3 Ermittlung der Grenzlinie 20-22 mit spaltenweiser Regression (3a), Ermittlung des Bewegungspfads 3 mit zeilenweiser Regression (3b);
- 4 Beispiele für Assistenzsysteme 100: Überwachung des Bewegungspfads 3 (4a), Überwachung von Wegstrecke oder Zeitdauer bis zur Grenzlinie 20-22, 25 (4b).
-
Nach 1a zeigt das in Vorwärtsrichtung von einer an einem Fahrzeug montierten Kamera aufgenommene Bild 4 eine Szenerie 1000 mit einer Vielzahl von Objekten 1001a-1009. Auf einer Fahrbahn 1002, die von einer linken baulichen Fahrbahnbegrenzung 1003 und von einer rechten baulichen Fahrbahnbegrenzung 1004 begrenzt wird, fährt eine Vielzahl von Fahrzeugen 1001a-1001f voraus. Zusätzlich sind Bewaldung 1005, eine Schilderbrücke 1006, Leitungsmasten 1007a-1007d, eine Straßenlaterne 1008 und schließlich auch der Himmel 1009 zu erkennen. Der vor dem eigenen Fahrzeug liegende freie Bereich der Fahrbahn 1002 ist der befahrbare Bereich 2.
-
Das gesamte Bild 4 wird zwei KNN 5a, 5b gleichzeitig zugeführt. Das erste KNN 5a ist darauf spezialisiert, in dem Bild 4 ausgehend vom unteren Rand eine durch Objekte vom mit dem Bezugszeichen 28 bezeichneten Objekttyp Fahrbahnbegrenzung gesetzte Grenzlinie 21 des befahrbaren Bereichs 2 zu ermitteln. Das zweite KNN 5b ist darauf spezialisiert, in dem Bild 4 ausgehend vom unteren Rand eine durch Objekte vom mit dem Bezugszeichen 29 bezeichneten Objekttyp Fremdfahrzeug gesetzte Grenzlinie 22 des befahrbaren Bereichs 2 zu ermitteln.
-
Beide Grenzlinien 21 und 22 werden einem Aggregator 6 zugeführt, der eine Überlagerung der beiden Grenzlinien 21 und 22 bestimmt und hieraus eine Einhüllende 25 bestimmt. Diese Einhüllende 25 ist die von der Vorrichtung 1 insgesamt als Endergebnis gelieferte Grenzlinie 20 des befahrbaren Bereichs 2.
-
Die Grenzlinie 20 lässt sich auch in einem Arbeitsgang direkt aus dem Bild 4 ermitteln. Es kann dann beispielsweise an den Positionen 20a und 20b entlang der Grenzlinie 20 klassifiziert werden, welcher Objekttyp dort jeweils für den Grenzverlauf maßgeblich ist. In dem in 1 gezeigten Beispiel wird an dem Punkt 20a eine hohe Wahrscheinlichkeit dafür festgestellt werden, dass die Grenzlinie 20 dort durch den Objekttyp Fahrbahnbegrenzung 28 gebildet wird. Hingegen wird am Punkt 2b eine überwiegende Wahrscheinlichkeit für den Objekttyp Fremdfahrzeug 29 sprechen, aber auch eine relevante Wahrscheinlichkeit für den Objekttyp Fahrbahnbegrenzung 28.
-
1b verdeutlicht schematisch den inneren Aufbau eines KNN 5, 5a, 5b. Das KNN 5, 5a, 5b besteht hier beispielhaft aus sieben Schichten 51-57, die in der in 1b gewählten Perspektive von oben nach unten durchlaufen werden. Die erste Schicht 51 erhält das Bild 4 als Eingabe. Die letzte Schicht 57 liefert die Grenzlinie 20-22 des befahrbaren Bereichs 2 als Ausgabe. Die Dimensionalität der Schichten 51-57 ist in 1b durch die quadratischen Grundflächen der Quader angedeutet, die jeweils die Schichten 51-57 symbolisieren.
-
Ausgehend von der ersten Schicht 51 nimmt die Dimensionalität bis hin zur Schicht 56 erst langsam und dann immer schneller ab, bevor sie beim Übergang zur letzten Schicht 57 auf einem konstanten Niveau verharrt. Entsprechend ist auch die von dieser letzten Schicht 57 gelieferte Ausgabe sehr niederdimensional. Im Vergleich hierzu wäre es für eine vollständige semantische Segmentierung des Bildes 4 notwendig gewesen, an die Schicht 57 ein Upsampling auf die ursprüngliche Dimensionalität des eingegebenen Bildes 4 anzuschließen. Der hierfür erforderliche beträchtliche Aufwand ist eingespart.
-
2 zeigt ein Ausführungsbeispiel der Vorrichtung 1 zur Bestimmung des Bewegungspfads 3 des eigenen Fahrzeugs mit einem KNN 5. Dieses KNN 5 kann beispielsweise mit den KNN 5a, 5b gemäß 1 kombiniert werden, um anhand ein und desselben Bildes 4 sowohl die Grenzlinie 20 des befahrbaren Bereichs 2 als auch den Bewegungspfad 3 des eigenen Fahrzeugs zu bestimmen.
-
In 2 ist zur Verdeutlichung speziell des Bewegungspfads 3 eine andere Szenerie 1010 gewählt als in 1 dargestellt. Eine linke Fahrbahnmarkierung 1011 und eine rechte Fahrbahnmarkierung 1012 begrenzen eine Fahrspur 1013. Die linke Fahrbahnmarkierung 1011 trennt darüber hinaus die Fahrspur 1013 von der Gegenspur 1014 ab. Zusätzlich sind eine die Straße 1011-1014 überspannende Brücke 1015 sowie Bewaldung 1016 und schließlich auch ein Himmel 1017 zu erkennen.
-
Das Bild 4 wird dem KNN 5 als Eingabe zugeführt. Das KNN 5 ermittelt hieraus den Bewegungspfad 3.
-
3a verdeutlicht schematisch die Ermittlung der Grenzlinie 20-22 mittels spaltenweiser Regression. Dabei wird jeder Spalte 41 des Bildes 4 mindestens eine Position 42 innerhalb der Spalte 41 zugeordnet, an der die gesuchte Grenzlinie 20-22 verläuft. Aus Gründen der Übersichtlichkeit sind in 3a nur drei Spalten mit dem Bezugszeichen 41 und drei Positionen mit dem Bezugszeichen 42 bezeichnet. Die ermittelten Positionen 42 können beispielsweise als Stützstellen für das Anfitten einer parametrisierten Funktion dienen, mit der die Grenzlinie 20-22 letztendlich ausgedrückt wird.
-
3b verdeutlicht schematisch die Ermittlung des Bewegungspfads 3 mittels zeilenweiser Regression. Dabei wird jeder Zeile 43 des Bildes 4 mindestens eine Position 44 innerhalb der Zeile 43 zugeordnet, an der der gesuchte Bewegungspfad 3 verläuft. Aus Gründen der Übersichtlichkeit sind in 3b nur drei Zeilen mit dem Bezugszeichen 43 und drei Positionen mit dem Bezugszeichen 44 bezeichnet. Analog zu 3a können die Positionen 44 als Stützstellen für das Anfitten einer parametrisierten Funktion dienen, mit der der Bewegungspfad 3 letztendlich ausgedrückt wird.
-
4a zeigt ein Ausführungsbeispiel des Assistenzsystems 100, das der Überwachung des Bewegungspfads 3 dient. Hier prüft eine Vergleichseinheit 110, ob der von der Vorrichtung 1 ermittelte Bewegungspfad 3 innerhalb des Toleranzbandes 105 liegt, wobei das Toleranzband 105 beispielsweise zumindest teilweise durch die von der Vorrichtung 1 ermittelte Grenzlinie 20-22, 25 festgelegt sein kann. Beispielsweise kann das Toleranzband 105 durch die in 2 eingezeichneten Fahrbahnmarkierungen 1011 und 1012 bestimmt sein.
-
Wenn das Toleranzband 105 verletzt ist, wird eine akustische, optische oder haptische Warneinrichtung 120 angesteuert, um die Aufmerksamkeit eines möglicherweise abgelenkten oder übermüdeten Fahrers zu wecken.
-
Der von der Vorrichtung 1 ermittelte Bewegungspfad 3 wird alternativ oder auch in Kombination der Regelschleife 160 zugeführt, die von einem Sensor 130 und/oder einer Schnittstelle 140 eine Information über den Steuerkurs 151 des Fahrzeugs erhält. Eine Abweichung des Bewegungspfads 3 vom Steuerkurs 151 wird als Regelabweichung 161 gewertet. Durch Ansteuerung 165 eines Aktors 170, und/oder einer weiteren akustischen, optischen oder haptischen Warneinrichtung 175, als Stelleingriff wird diese Regelabweichung 161 ausgeregelt. Einige mögliche Ursachen für eine Regelabweichung 161 sind ein Ausbrechen des Fahrzeugs, ein Schleudern, Aquaplaning und starker Seitenwind. Der Aktor kann beispielsweise auf die Lenkung, auf das einzelne Räder abbremsende ESP und/oder auf die Kupplung wirken.
-
4b zeigt ein weiteres Ausführungsbeispiel des Assistenzsystems 100. Dieses Ausführungsbeispiel ist dazu ausgebildet, die verbleibende Wegstrecke 181, und/oder die verbleibende Zeit 182, bis zum Erreichen der von der Vorrichtung 1 ermittelten Grenzlinie 20-22, 25 zu überwachen und zu regeln.
-
Zu diesem Zweck werden der Regelschleife 180 des Assistenzsystems 100 sowohl die Grenzlinie 20-22, 25 als auch der Bewegungspfad 3 zugeführt. In einer Auswerteeinheit 180a der Regelschleife 180 werden aus der Grenzlinie 20-22, 25 sowie aus dem Bewegungspfad 3 die verbleibende Wegstrecke 181, und/oder die verbleibende Zeit 182, bis zum Erreichen der Grenzlinie 20-22, 25 ermittelt. Die verbleibende Wegstrecke 181, und/oder die verbleibende Zeit 182, wird mit dem diesbezüglichen Sollwert 183, und/oder mit dem diesbezüglichen Mindestniveau 184, verglichen. Analog zu 4a erfolgt als Stelleingriff der Regelschleife 180 eine Ansteuerung 185 eines Aktors 170, und/oder einer optischen, akustischen oder haptischen Warneinrichtung 175, um entsprechende Defizite auszugleichen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
