-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs sowie ein mit einer solchen Vorrichtung ausgestattetes Kraftfahrzeug. Darüber hinaus betrifft die Erfindung ein Verfahren zum Steuern eines Fahrerassistenzsystems eines Kraftfahrzeugs in Abhängigkeit von einem vorhergesagten Verhalten.
-
Heutzutage weisen bereits viele Kraftfahrzeuge Einrichtungen zum Erfassen einer Fahrzeugumgebung auf. Von diesen Einrichtungen, beispielsweise Kameras oder sonstigen Sensoren, gelieferte Daten können insbesondere für Fahrerassistenzsysteme genutzt werden. Die bisherigen Einrichtungen, Verfahren und Systeme bedürfen jedoch noch weiterer Verbesserungen, um einen Pilotierung beziehungsweise autonomes Kraftfahrzeug zu realisieren, insbesondere hinsichtlich der Anforderungen gemäß NHTSA Level 5 (National Highway Traffic Safety Administration). Zu diesen Verbesserungen kann eine verbesserte Vorhersage von Verhaltensweisen beziehungsweise Bewegungsabläufen anderer Verkehrsteilnehmer gehören.
-
Die
DE 103 25 762 A1 beschreibt ein Bildverarbeitungssystem für ein Fahrzeug. Beim Betrieb des Bildverarbeitungssystems werden mittels eines Bildsensors erfasste Umgebungsinformationen ausgewertet, um das Vorhandensein von Verkehrsteilnehmern zu erkennen. Dabei wird die Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer erfasst. So soll eine verlässliche Personenerfassung insbesondere im Hinblick auf eine mögliche Abschätzung eines Kollisionsrisikos ermöglicht werden.
-
Die
DE 10 2014 201 159 A1 offenbart ein Verfahren zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs. Dabei wird ein Sensorsignal eingelesen, um den Fußgänger und eine Umfeldinformation zu erfassen. Weiter wird eine physikalische Größe eines Zusammenhangs zwischen dem Fußgänger und der Umfeldinformation ermittelt und das Verhalten des Fußgängers unter Verwendung der physikalischen Größe klassifiziert.
-
Aus der
EP 2 209 091 A1 sind ein Verfahren und ein System zur Erkennung von Objektbewegungen auf Basis von mehrfacher 3D-Verzerrung (3D warping) bekannt. Dabei wird aus Sensordaten ein Szenenmodell in 3D-Weltkoordinaten generiert. Zudem wird ein Szenenmodell in 3D-Weltkoordinaten unter Berücksichtigung einer gemessenen Eigenbewegung des Fahrzeugs vorhergesagt. Das generierte und das vorhergesagte Szenenmodell werden dann in 3D-Weltkoordinaten miteinander verglichen, um dynamische Objekte in der Szenenrepräsentation zu detektieren.
-
Die
EP 2 256 690 A1 beschreibt ein System zur Detektion einer Objektbewegung basierend auf einer Kombination von 3D-Verzerrungstechniken (warping) und einer Detektion einer Objekteigenbewegung. Die Eigenbewegung von Objekten in einem Sensorerfassungsbereich wird dabei basierend auf einem optischen Fluss detektiert. Zusätzlich wird eine Eigenbewegung von Objekten basierend auf einem dreidimensionalen repräsentativen Modell der Umgebung und einer 3D-Verzerrung basierend auf vorhergesagten und sensierten 3D-Daten detektiert. Die vorhergesagten 3D-Daten werden dabei generiert basierend auf gemessenen 3D-Daten und Daten, welche eine Eigenbewegung des Fahrzeugs repräsentieren. Die mittels 3D-Verzerrung und aus dem optischen Fluss erhaltenen detektierten Objektbewegungen werden dann miteinander kombiniert. Es werden also zwei unterschiedliche Methoden zur Bewegungsdetektion angewendet, wobei ein Suchraum und eine Parametrisierung einer der beiden Methoden basierend auf den Berechnungsergebnissen der anderen der beiden Methoden eingeschränkt wird.
-
Aufgabe der vorliegenden Erfindung ist es, eine verbesserte automatische Vorhersage von Verhaltensweisen anderer Verkehrsteilnehmer zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen sowie in der nachfolgenden Beschreibung und den Zeichnungen angegeben.
-
Bei einem erfindungsgemäßen Verfahren zum Vorhersagen eines Verhaltens zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs werden die Umgebung charakterisierende Umgebungsdaten erfasst. Die Umgebungsdaten können beispielsweise mittels einer Sensorik des Kraftfahrzeugs erfasst werden, wobei die Sensorik beispielsweise eine oder mehrere Kameras, ein Radar-, Lidar-, Ultraschall- und/oder Laserscanner-System umfassen kann. Insbesondere können die erfassten Umgebungsdaten bevorzugt Entfernungs- oder Tiefendaten umfassen, also 3D-Umgebungsdaten sein. Auf Basis dieser erfassten Umgebungsdaten wird eine virtuelle Repräsentation, also ein Modell, der Umgebung erzeugt. Die virtuelle Repräsentation kann dabei abstrakt sein, bevorzugt jedoch aus Voxeln, das heißt dreidimensionalen Bildelementen, aufgebaut sein. Anhand der erfassten Umgebungsdaten wird das zumindest eine Objekt automatisch erkannt, also detektiert. Da die virtuelle Repräsentation der Umgebung auf den erfassten Umgebungsdaten basiert, kann das Erkennen des Objekts also entweder auf Basis oder anhand der Umgebungsdaten selbst, das heißt von entsprechenden Rohdaten, oder auf Basis beziehungsweise anhand der daraus erzeugten virtuellen Repräsentation erkannt werden.
-
Ob mehrere Objekte erkannt werden, kann im Einzelfall von der tatsächlichen Umgebung beziehungsweise einer Umgebungssituation abhängen, da sich in unterschiedlichen Umgebungssituationen unterschiedlich viele Objekte in der Umgebung befinden können. Bevorzugt können mehrere oder alle in der Umgebung befindlichen Objekte, zumindest jedoch mehrere oder alle sich in der Umgebung aufhaltenden Verkehrsteilnehmer, erkannt werden. Bei dem Objekt kann es sich also bevorzugt um einen Verkehrsteilnehmer, beispielsweise ein Fahrzeug oder eine Person, handeln. Im Sinne der vorliegenden Erfindung kann das Objekt jedoch ebenso ein Gegenstand, eine Person oder ein Tier sein. Dementsprechend können auch Infrastrukturelemente, wie beispielsweise eine Bebauung, eine Straße oder ein Straßenabschnitt, ein Verkehrszeichen, ebenso wie etwa eine Bepflanzung, Grünfläche oder Grünanlage oder etwa ein Baum Objekte im Sinne der vorliegenden Erfindung sein.
-
Um eine verbesserte automatische Vorhersage des Verhaltens des Objekts, insbesondere also eines anderen Verkehrsteilnehmers, zu ermöglichen, ist es erfindungsgemäß vorgesehen, dass das erkannte Objekt automatisch klassifiziert wird. Auch hier ist das Objekt also - ebenso wie im Folgenden - stellvertretend für einige oder alle der erkannten Objekte zu verstehen. Die Klassifizierungen des Objekts kann beispielsweise auf Basis von mehreren vorgegebenen Klassen oder Typen vorgenommen werden. Dabei kann das Objekt beispielsweise klassifiziert, typisiert oder eingeordnet werden als statisches Objekt, Infrastrukturelement, dynamisches Objekt, Verkehrsteilnehmer oder dergleichen mehr. Ebenso ist eine Klassifizierung des Objekts nach einer oder mehreren Eigenschaften möglich. So kann das Objekt beispielsweise gemäß seiner Größe, Position, Bewegungsgeschwindigkeit und/oder -richtung - absolut und/oder relativ zu dem Kraftfahrzeug - und/oder dergleichen mehr klassifiziert werden. Als Ergebnis oder Ausgangsdaten liefert die Klassifizierung also eine Klassifikation des Objekts, durch welche das Objekt beschrieben oder charakterisiert wird. Dabei kann die Klassifikation eine Einordnung in mehrere unterschiedliche Klassen beziehungsweise eine Zuordnung oder Zuweisung von mehreren unterschiedlichen Eigenschaften zu dem Objekt umfassen. Beispielsweise kann ein Kraftwagen sowohl als dynamisches Objekt als auch als Verkehrsteilnehmer klassifiziert werden.
-
Besonders bevorzugt umfasst die Klassifizierung eine Identifizierung des Objekts, das heißt eine Ermittlung, um was es sich bei dem Objekt tatsächlich handelt. Mit anderen Worten wird also nicht nur erkannt, ob sich das Objekt bewegt, sondern konkret, ob es sich beispielsweise um einen Kraftwagen, einen Fußgänger, ein Fahrrad oder dergleichen handelt. Ebenso können vorteilhaft auch statische Objekte klassifiziert und identifiziert werden. So kann beispielsweise ermittelt werden, ob es sich bei einem bestimmten statischen Objekt um ein Gebäude oder einen Verkehrsweg, beispielsweise einen Fahrstreifen, einen Fahrradweg oder einen Fußweg beziehungsweise Gehweg oder dergleichen handelt. Für die Klassifizierung beziehungsweise die Identifizierung des zumindest einen Objekts kann beispielsweise eine automatische Bilderkennung oder Bildauswertung ebenso verwendet werden, wie zusätzliche Daten. Derartige zusätzliche Daten können beispielsweise bereitgestellte Verkehrs- und/oder Kartendaten sein. Ebenso können die zusätzlichen Daten aus weiteren Quellen, wie beispielsweise einer Car2Car-, Car2X- oder X2Car-Kommunikation bezogen werden, welche beispielsweise eine jeweilige Identifizierung und/oder Positionsangabe anderer Objekte, insbesondere anderer Verkehrsteilnehmer, liefern kann.
-
Als weiterer Verfahrensschritt werden auf der virtuellen Repräsentation der Umgebung und der Klassifizierung des zumindest einen objektsbasierende Eingangsdaten an ein neuronales Netz bereitgestellt. Die Eingangsdaten können also die Repräsentation der Umgebung und die Klassifikation des Objekts sein oder aus daraus abgeleitet sein. Zusätzlich können die Eingangsdaten ergänzende Daten umfassen, wie beispielsweise eine - etwa mittels eines globalen Navigationssatellitensystems ermittelte - Position des Kraftfahrzeugs, Daten zu einer oder mehreren Umgebungsbedingungen, wie beispielsweise einer Tageszeit, einer Wetterlage und/oder dergleichen mehr.
-
Die Eingangsdaten werden dann von dem neuronalen Netz verarbeitet. Mittels des neuronalen Netzes wird also aus den Eingangsdaten ein Verhalten des zumindest einen Objekts vorhergesagt. Dazu kann das neuronale Netz bevorzugt vor Durchführung des erfindungsgemäßen Verfahrens mit einer Vielzahl von entsprechenden Eingangsdaten, welche unterschiedliche Umgebungen und Umgebungssituationen beschreiben, trainiert sein. Dabei können sowohl überwachte als auch unüberwachte Trainingsmethoden oder Lernverfahren verwendet werden, um das neuronale Netz zur Vorhersage des Verhaltens des Objekts zu trainieren beziehungsweise einzurichten. Die Vorhersage, das heißt also von dem neuronalen Netz gelieferten Ausgangsdaten können beispielsweise Veränderungen gegenüber einem Istzustand der erfassten Umgebung sein, beispielsweise repräsentiert durch jeweilige Vektoren für jedes erkannte Objekt. Ebenso kann als Vorhersage beispielsweise eine vollständige erwartete virtuelle Repräsentation der Umgebung zu einem zukünftigen Zeitpunkt oder für einen zukünftigen Zeitraum sein oder umfassen.
-
Bei dem erfindungsgemäßen Verfahren wird vorteilhaft also nicht einfach eine klassische Bewegungsdetektion oder -extrapolation durchgeführt. Vielmehr kann bei der vorliegenden Erfindung durch das neuronale Netz zwischen unterschiedlichen Objekten unterschieden werden, deren Klassifikation und/oder Eigenschaften bei der Vorhersage durch das neuronale Netz automatisch berücksichtigt werden. Dies ist besonders vorteilhaft, da unterschiedliche Verkehrsteilnehmer unterschiedlichen Bewegungsmustern folgen beziehungsweise unterschiedliche Bewegungsabläufe und auch unterschiedliche Bewegungsmöglichkeiten, insbesondere beispielsweise hinsichtlich einer Geschwindigkeit und einer Agilität, aufweisen. Bei bisherigen Vorhersageverfahren werden diese zusätzlichen Eigenschaften und Daten nicht berücksichtigt, was zu unrealistischen Vorhersagen führen kann. Im Gegensatz zu herkömmlichen Verfahren kann das neuronale Netz der vorliegenden Erfindung eine Vielzahl von auch komplexen und impliziten Eigenschaften der jeweiligen Umgebung oder Situation automatisch berücksichtigen, welche bei herkömmlichen Interpolations- oder Extrapolations- beziehungsweise Verzerrungsverfahren unberücksichtigt bleiben. So können verschiedene Verkehrsteilnehmer beispielsweise unterschiedliche Verhaltensweisen aufweisen, je nach Art der Umgebung, je nach Wetterlage, je nach Tageszeit und dergleichen mehr. Besonders vorteilhaft ist dabei, dass das neuronale Netz einfach dadurch trainiert und somit die Vorhersage verbessert werden kann, dass zusätzliche Trainingsdaten beziehungsweise Eingangsdaten bereitgestellt werden, sodass nicht sämtliche Eigenschaften und Muster explizit in einen Vorhersagealgorithmus programmiert werden müssen.
-
Zur Durchführung des vorliegenden erfindungsgemäßen Verfahrens kann das Kraftfahrzeug beispielsweise eine entsprechend eingerichtete Berechnungs- und Auswerteeinrichtung aufweisen, welche beispielsweise entsprechende Sensoren und/oder Schnittstellen zum Empfang von Sensordaten, eine Prozessoreinheit und eine Speichereinheit umfassen kann. Dementsprechend kann also auch das neuronale Netz in dem Kraftfahrzeug selbst angeordnet sein. Dabei kann das neuronale Netz in Software und/oder in Hardware realisiert sein. Ebenso kann es jedoch möglich sein, dass das neuronale Netz ganz oder teilweise separat von dem Kraftfahrzeug angeordnet und mit diesem über eine bidirektionale, insbesondere kabellose, Datenverbindung verbunden ist. So kann das neuronale Netz beispielsweise ganz oder teilweise in einer zentralen Servereinrichtung angeordnet sein, wodurch gegebenenfalls ein größeres beziehungsweise umfangreicheres oder komplexeres neuronales Netz und/oder mehr Rechenkapazität und/oder eine umfangreichere Datenbasis für das erfindungsgemäße Verfahren verwendet oder bereitgestellt werden können. Ebenso kann es jedoch möglich sein, dass erfindungsgemäße Verfahren mittels eines mobilen Endgeräts durchzuführen, welches beispielsweise in dem Kraftfahrzeug mitgeführt wird. Dabei kann das mobile Endgerät bevorzugt über eine Datenverbindung mit dem Kraftfahrzeug verbunden sein, um beispielsweise Sensordaten, insbesondere also die Umgebungsdaten, von einer Sensorik des Kraftfahrzeugs zu empfangen beziehungsweise zu beziehen.
-
In jedem Fall kann auch Sensor- oder Umgebungsdaten von fahrzeugexternen Quellen berücksichtigt werden. Dies kann beispielsweise von Infrastrukturelementen ausgesendete Daten umfassen.
-
Das neuronale Netz kann vor seinem Einsatz zur Durchführung des erfindungsgemäßen Verfahrens trainiert werden beziehungsweise trainiert sein.
-
Dies ermöglicht vorteilhaft ein besonders zuverlässiges Trainieren des neuronalen Netzes, bei dem vorteilhaft beispielsweise durch eine gezielte Auswahl der Trainingsdaten ein Bias des neuronalen Netzes vermieden werden kann. Ebenso ist vorteilhaft eine Absicherung oder Verifikation des neuronalen Netzes möglich, wodurch ein besonders sicherer Betrieb in einem realen Verkehrsgeschehen sichergestellt werden kann. Zusätzlich oder alternativ kann es möglich sein, das neuronale Netz während eines Einsatzes, das heißt während der Durchführung des erfindungsgemäßen Verfahrens in einem realen Verkehrsgeschehen, zu trainieren. Mit anderen Worten kann das neuronale Netz also selbstlernend beziehungsweise flexibel oder anpassbar ausgebildet sein. Dann kann das neuronale Netz vorteilhaft die auf der Repräsentation der Umgebung und der Klassifizierung des zumindest einen Objekts basierenden Eingangsdaten sowohl zur Vorhersage des Verhaltens des Objekts als auch als Trainingsdaten, das heißt zum selbsttätigen Lernen, verwenden beziehungsweise verarbeiten. Hierdurch kann das neuronale Netz vorteilhaft spezifisch an seinen jeweiligen Einsatz beziehungsweise an seine jeweilige spezifische Verwendung angepasst werden. Dies kann besonders vorteilhaft sein, da in unterschiedlichen Umgebungen - beispielsweise in einer städtischen gegenüber einer ländlichen Umgebung oder in verschiedenen Ländern - auch gleichartige oder gleich klassifizierte Objekte, insbesondere Verkehrsteilnehmer, signifikant unterschiedliche Verhaltensweisen aufweisen können. Ebenso können die mittels des neuronalen Netzes gemachten Vorhersagen hierdurch gegebenenfalls verbessert werden, da durch die im Laufe der Zeit wachsende, also umfangreicher werdende Menge von verarbeiteten Trainingsdaten mehr unterschiedliche Situationen abdeckt und/oder einzelne Situationen und/oder Verhaltensweisen in ihrer Signifikanz genauer in den Gewichten des neuronalen Netzes repräsentiert werden.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die Umgebungsdaten kontinuierlich erfasst und als kontinuierlich aktualisierte Sequenz vorgegebener Länge gespeichert. Dabei wird die virtuelle Repräsentation der Umgebung auf Basis der jeweils aktuellen Sequenz erzeugt. Ebenso kann auch das zumindest eine Objekt jeweils anhand der aktuellen Sequenz erkannt und/oder klassifiziert werden. Mit anderen Worten wird also nur eine vorgegebene Menge von Umgebungsdaten gespeichert und für das Verfahren verwendet, also ausgewertet. Diese vorgegebene Menge von Umgebungsdaten kann die jeweilige Umgebung in einem Zeitraum vorgegebener Länge charakterisieren, welcher mit dem jeweils aktuellen Zeitpunkt oder Moment endet. Dabei werden die jeweils ältesten, das heißt am weitesten zurückliegenden, Umgebungsdaten oder Teile der Sequenz verworfen, sobald neue Umgebungsdaten erfasst werden. Beispielsweise kann die Sequenz eine Länge von 1 bis 10 Sekunden, bevorzugt von 2 bis 3 Sekunden, haben. Die Sequenz gibt also die Umgebung nicht nur statisch zu einem bestimmten Zeitpunkt wieder, sondern beschreibt einen zeitlichen Verlauf oder eine zeitliche Veränderung der jeweils erfassten Umgebung. Anhand der Sequenz lassen sich dadurch vorteilhaft besonders einfach tatsächliche, das heißt also während der Dauer der Sequenz tatsächlich erfolgte Verhaltensweisen, insbesondere Bewegungsabläufe des zumindest einen Objekts, ermitteln. Diese tatsächlichen Verhaltensweisen oder Bewegungsabläufe können dann als Grundlage oder Datenbasis für das neuronale Netz beziehungsweise die im neuronalen Netz bereitgestellten Eingangsdaten dienen. Dies ermöglicht eine besonders zuverlässige Vorhersage des weiteren Verhaltens des Objekts. Beispielsweise können sich aus dem tatsächlich während der Sequenz aufgetretenen Verhalten Begrenzungen, Einschränkungen oder Randbedingungen für das zukünftige Verhalten ergeben. Diese Randbedingungen können dabei abhängig sein von der Klassifikation des Objekts. Beispielsweise kann ein Kraftwagen seine Geschwindigkeit und Bewegungsrichtung nicht beliebig ändern, sondern unterliegt letztlich zumindest durch physikalische Gesetzmäßigkeiten vorgegebenen Grenzen.
-
Notwendigerweise handelt es sich bei der Vorhersage stets um eine Abschätzung des Verhaltens, welche also mit einer Unsicherheit behaftet ist. Dies ist darin begründet, dass ein tatsächliches Verhalten von Verkehrsteilnehmern, auch bei Berücksichtigung der geltenden Verkehrsregeln, nicht vollständig deterministisch oder durch erfassbare externe Gegebenheiten bestimmt ist und sich dynamisch verändern kann. Durch eine längere Sequenz kann also nicht notwendigerweise eine bessere oder weiterreichendere Vorhersage des zukünftigen Verhaltens des Objekts erreicht werden. Aus dieser Erkenntnis heraus bietet die zeitliche Begrenzung der Sequenz den Vorteil, eine Vorhersage mit begrenztem Aufwand von Berechnungsleistung und Speicherkapazität zu ermöglichen, ohne dass hierdurch eine Genauigkeit oder Zuverlässigkeit der Vorhersage signifikant eingeschränkt würde. Da also nur eine begrenzte Menge von Umgebungsdaten verarbeitet wird, kann die Vorhersage vorteilhaft besonders schnell, insbesondere in Echtzeit, durchgeführt werden. Dadurch weist die Vorhersage eine besonders große zeitliche Relevanz auf und kann daher vorteilhaft beispielsweise als Basis für Entscheidungen oder Steuerungsvorgänge verwendet werden.
-
Vorteilhaft können die Repräsentation der Umgebung, das Erkennen und/oder die Klassifizierung des Objekts kontinuierlich aktualisiert werden. Hierdurch können gegebenenfalls lediglich erfasste Veränderungen berücksichtigt werden, wodurch eine Ausführungsgeschwindigkeit des Verfahrens verbessert werden kann.
-
In der vorliegenden Erfindung wird die virtuelle Repräsentation als dreidimensionales Modell der Umgebung erzeugt. Mit anderen Worten werden also jedem erfassten Bildelement drei räumliche Koordinaten zugewiesen. Dadurch kann eine besonders genaue, realistische und zuverlässige Charakterisierung beziehungsweise Modellierung der Umgebung und somit eine besonders genaue und zuverlässige Vorhersage des Verhaltens erreicht werden. Besonders bevorzugt kann die virtuelle Repräsentation der Umgebung als vierdimensionales Modell erzeugt werden, in dem also eine zeitliche Sequenz von dreidimensionalen Modellen enthalten ist. Dabei werden also jedem erfassten drei räumliche und eine zeitliche Koordinate zugewiesen. Hierdurch kann vorteilhaft beispielsweise eine tatsächliche Bewegung des Objekts im Raum und in der Zeit besonders genau erfasst und abgebildet werden. Dies ermöglicht eine bessere Beschreibung der Umgebung und eine bessere Vorhersage des Verhaltens als beispielsweise eine Auswertung eines optischen Flusses in einer Abfolge von zweidimensionalen Bildern.
-
In der vorliegenden Erfindung wird in der virtuellen Repräsentation eine virtuelle Kamera positioniert. Die auf der Repräsentation der Umgebung basierenden Eingangsdaten für das neuronale Netz werden dann mittels einer 2D-Orthogonalprojektionen des 3D-Modells der Umgebung von einer Position der virtuellen Kamera aus in Abhängigkeit von der Zeit erzeugt. Mit anderen Worten kann also aus einer Sequenz oder Abfolge von 3D-Modellen, welche also ein 4D-Modell darstellen, der Umgebung eine Sequenz oder Abfolge von 2D-Projektionen der räumlichen Anteile erzeugt werden. Somit sind die so erzeugten auf der Repräsentation der Umgebung basierenden Eingangsdaten für das neuronale Netz ein dreidimensionales Objekt mit zwei räumlichen Dimensionen und einer zeitlichen Dimension. Durch die Orthogonalprojektion kann dabei vorteilhaft eine perspektivische Verzerrung vermieden werden. Durch eine geschickte Positionierung der virtuellen Kamera kann vorteilhaft zudem eine Verdeckung von Objekten oder Teilbereichen in der Umgebung vermieden werden, wie sie beispielsweise aus Sicht einer bestimmten an dem Kraftfahrzeug angeordneten Kamera auftreten könnte.
-
Die 2D-Orthogonalprojektion des 3D-Modells kann realisiert oder aufgefasst werden als Orthogonalprojektion auf einen niedrigerdimensionalen Raum im Sinne der linearen Algebra. Durch die 2D-Orthogonalprojektion kann eine Datenmenge, welche dem neuronalen Netz als Eingangsdaten zugeführt wird, vorteilhaft verringert werden, wodurch sich vorteilhaft ein geringerer Berechnungsaufwand und eine verbesserte Berechnungsgeschwindigkeit der Vorhersage erreichen lässt. Zusätzlich oder alternativ kann durch die Verwendung von mittels der die 2D-Orthogonalprojektion erhaltenen Daten für die Vorhersage diese mit einem weniger komplexen und damit einfacher zu handhabenden neuronalen Netz realisiert werden. Vorteilhaft kann dabei beispielsweise im Straßenverkehr jedoch eine Qualität der Vorhersage trotz der reduzierten Menge oder des durch die Orthogonalprojektion reduzierten Informationsgehaltes der Eingangsdaten aufrechterhalten werden, da sich die Verkehrsteilnehmer im Straßenverkehr - zumindest im Wesentlichen - nur in einer Ebene bewegen.
-
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird die virtuelle Kamera oberhalb des Kraftfahrzeugs mit Blickrichtung nach unten positioniert. Die erfasste Umgebung wird dann mittels der 2D-Orthogonalprojektion von oben nach unten virtuell auf eine Ebene eines von dem Kraftfahrzeug befahrenen Untergrundes, beispielsweise einer Fahrbahn, projiziert. Diese Perspektive der virtuellen Kamera erlaubt vorteilhaft eine Berücksichtigung des gesamten das Kraftfahrzeug umgebenden Verkehrsgeschehens, sodass beispielsweise nicht nur vor dem Kraftfahrzeug befindliche Objekte für die Vorhersage berücksichtigt werden. Für die Orthogonalprojektion kann die virtuelle Kamera beispielsweise ebenso groß gewählt werden wie eine Fläche der erfassten Umgebung in der Projektionsebene, das heißt der Ebene des Untergrundes, auf die das jeweilige 3D-Modell projiziert wird. Mit anderen Worten können anschaulich von jedem Punkt der virtuellen Kamera aus senkrecht von oberhalb des Kraftfahrzeugs nach unten auf die Projektionsebene gerichtete Strahlen ausgehen. Dabei kann beispielsweise also eine raycasting-Methode verwendet werden. Um diese Projektion beziehungsweise Perspektive zu realisieren, kann das Kraftfahrzeug beispielsweise mehrere, insbesondere wenigstens vier, Kameras und/oder Sensoren zur Umgebungserfassung aufweisen, welche beispielsweise an vier unterschiedlichen Seiten des Kraftfahrzeugs angeordnet sein können. Durch die Kameras beziehungsweise Sensoren kann also die Umgebung in einem Umkreis von 360° um das Kraftfahrzeug erfasst werden. Durch Kombination der Daten der unterschiedlichen Kameras beziehungsweise Sensoren kann so die Umgebung drei- beziehungsweise vierdimensional abgebildet und modelliert werden, wobei die virtuelle Kamera in dem Umgebungsmodell, das heißt in der virtuellen Repräsentation der Umgebung, zur Erzeugung beliebiger Ansichten oder Blick- beziehungsweise Betrachtungswinkel der modellierten Umgebung beliebig positioniert und ausgerichtet werden kann.
-
Sofern ausreichend Rechen- und Speicherkapazität zur Verfügung steht, kann gegebenenfalls auf die 2D-Orthogonalprojektion verzichtet werden, sodass dann die vollständige virtuelle Repräsentation der Umgebung mit drei räumlichen Dimensionen als Eingangsdaten dem neuronalen Netz bereitgestellt beziehungsweise zugeführt werden kann. Hierbei kann aufgrund des größeren Informationsgehaltes eine verbesserte Vorhersage erzielt werden. Dabei kann je nach verfügbarer Rechen- und Speicherkapazität sowie jeweiligen individuellen Anforderungen beispielsweise eine Auflösung zur Verringerung der zu verarbeitenden Datenmenge gegenüber der Auflösung der 2D-Orthogonalprojektion reduziert werden.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung werden alle auf der Repräsentation basierenden Bildelemente der Eingangsdaten klassifiziert. Die Bildelemente können hier beispielsweise die dreidimensionalen Voxel der virtuellen Repräsentation der Umgebung oder zweidimensionale Pixel jeder 2D-Orthogonalprojektion sein. Die Klassifizierung kann dabei für jedes Bildelement in jedem einzelnen Frame der Umgebungsdaten beziehungsweise für jede Instanz der virtuellen Repräsentation oder deren Orthogonalprojektion durchgeführt werden. Ebenso kann es jedoch möglich sein, zur Verringerung des Berechnungsaufwandes beispielsweise bestimmte Bildelemente nach einer initialen Klassifizierung erst bei einer Veränderung oder Überdeckung des jeweiligen Bildelements erneut zu klassifizieren. Durch die Klassifizierung aller Bildelemente kann beispielsweise neben dynamischen Objekten, insbesondere also Verkehrsteilnehmern, auch eine Situation oder Umgebung, in der sich diese dynamischen Objekte bewegen für die Vorhersage berücksichtigt werden. So kann ein Verhalten eines Verkehrsteilnehmers beispielsweise von einer Untergrundbeschaffenheit abhängen und/oder davon, ob er sich auf einer Fahrbahn, einer Parkfläche oder einem Gehweg befindet, in welcher Richtung und Entfernung sich eine Grünfläche befindet, wie breit ein Fahrstreifen oder ein Gehweg ist, wie weit entfernt von einem Rand eines Fahrweges oder eines Gebäudes entfernt sich der Verkehrsteilnehmer befindet und dergleichen mehr. Durch die Klassifizierung aller Bildelemente können dem neuronalen Netz also detailliertere Eingangsdaten bereitgestellt werden, sodass das neuronale Netz für die Vorhersage die jeweilige tatsächliche Umgebungssituation vollständig berücksichtigen kann.
-
Der notwendige Berechnungsaufwand kann ebenso beispielsweise dadurch reduziert werden, dass anhand der Klassifikation der Bildelemente und/oder mittels einer Bild- oder Objekterkennung Objektgrenzen definiert werden, wobei dann nicht mehr sämtliche Bildelemente innerhalb jeder Objektgrenze oder jeden Objektrandes in weiteren Berechnungsschritten verwendet oder beispielsweise neu klassifiziert werden müssen. Dabei kann bevorzugt auch eine Höheninformation berücksichtigt werden. Beispielsweise kann ein bestimmter Teilbereich der erfassten Umgebung als Gebäude klassifiziert sein, wobei dann lediglich dessen äußere Begrenzung für das Verhalten von dynamischen Objekten relevant ist. Dementsprechend kann ein eine Fläche des Gebäudes repräsentierender Bereich, welcher also innerhalb der äußeren Begrenzung oder des äußeren Randes des Gebäudes liegt, in nachfolgenden Berechnungsschritten vernachlässigt werden. Dies ist beispielsweise deshalb gerechtfertigt, weil ausgeschlossen ist, dass sich beispielsweise ein Aufenthaltsort eines Kraftwagens und eine Position oder Fläche eines Gebäudes, zumindest bestimmter Gebäudetypen, jedenfalls aus der Perspektive der oberhalb des Kraftfahrzeugs beziehungsweise der Umgebungsszene positionierten virtuellen Kamera, überlappen.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung ist es vorgesehen, dass das neuronale Netz bei der Vorhersage des Verhaltens des zumindest einen Objekts eine Bewegung des Kraftfahrzeugs, das heißt also eine Eigenbewegung, berücksichtigt. Dies kann insbesondere eine Berücksichtigung der Eigenbewegung einer Sensorik zum Erfassen der Umgebungsdaten sein oder einschließen. Dazu kann beispielsweise automatisch eine Abfrage entsprechender Betriebsparameter des Kraftfahrzeugs durchgeführt werden - beispielsweise einer Geschwindigkeit, einer Pedalstellung, eines Lenkwinkels, eines Betriebszustandes eines Fahrtrichtungsanzeigers und dergleichen mehr. Anhand dieser Daten kann eine Abschätzung der Bewegung des Kraftfahrzeugs während eines Vorhersagezeitraumes, für den das Verhalten des zumindest einen Objekts vorhergesagt wird, durchgeführt werden. Diese oder daraus abgeleitete Daten können dann dem neuronalen Netz als Teil der Eingangsdaten bereitgestellt werden. Es kann für die Abschätzung der Eigenbewegung des Kraftfahrzeugs auch die erfasste Umgebung, insbesondere beispielsweise ein Verlauf eines von dem Kraftfahrzeug befahrenen Fahrstreifens und/oder beispielsweise ein Zustand einer Lichtsignalanlage, berücksichtigt werden. Im einfachsten Fall kann davon ausgegangen werden, dass das Kraftfahrzeug seinen aktuellen Bewegungszustand aufrecht erhält und sich somit beispielsweise mit gleichförmiger Geschwindigkeit oder Beschleunigung dem Verlauf des Fahrstreifens folgend fortbewegen wird.
-
Ebenso kann jedoch die zukünftige Bewegung oder Position des Kraftfahrzeugs beispielsweise ebenfalls mittels eines neuronalen Netzes vorhergesagt werden, welchem beispielsweise ebenfalls auf der Repräsentation der Umgebung und der Klassifizierung des zumindest einen objektsbasierende Eingangsdaten bereitgestellt werden können. Prinzipiell kann sowohl das Verhalten des Objekts als auch die Bewegung des Kraftfahrzeugs mittels desselben neuronalen Netzes vorhergesagt werden.
-
Durch die Berücksichtigung der Eigenbewegung des Kraftfahrzeugs kann vorteilhaft eine Relevanz des vorhergesagten Verhaltens des zumindest einen Objekts für das Kraftfahrzeug besser beurteilt werden. Beispielsweise kann unter Berücksichtigung der Eigenbewegung des Kraftfahrzeugs genauer ermittelt werden, ob durch ein vorhergesagtes Verhalten des zumindest einen Objekts eine Kollisionsgefahr zwischen dem Objekt und dem Kraftfahrzeug besteht. Ist dies der Fall, so kann beispielsweise automatisch eine Warnung an jeweilige Fahrzeuginsassen des Kraftfahrzeugs und/oder an das Objekt beziehungsweise umgebende Verkehrsteilnehmer ausgegeben werden. Besonders vorteilhaft kann durch die Berücksichtigung der Eigenbewegung des Kraftfahrzeugs gegebenenfalls auch eine verbesserte Vorhersage des Verhaltens des zumindest einen Objekts erzielt werden, da dessen Verhalten von der Bewegung, Position und/oder einem Betriebsparameter wie einem Aktivierungszustand eines Fahrtrichtungsanzeigers des Kraftfahrzeugs abhängen beziehungsweise beeinflusst werden kann.
-
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Verfahren zum Steuern zumindest eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei dem ein Verhalten zumindest eines Objekts in einer Umgebung des Kraftfahrzeugs mittels eines erfindungsgemäßen Verfahrens zum Vorhersagen des Verhaltens des zumindest einen Objekts vorhergesagt wird. Das Fahrerassistenzsystem wird dann in Abhängigkeit von dem vorhergesagten Verhalten gesteuert. Das Fahrerassistenzsystem kann in einfachsten Fall beispielsweise eine Warn, oder Hinweiseinrichtung sein, welche in Abhängigkeit von dem vorhergesagten Verhalten, beispielsweise bei einer erkannten Kollisionsgefahr, aktiviert wird. Ebenso kann das Fahrerassistenzsystem jedoch beispielsweise ein komplexes System zum teilweisen oder vollständigen autonomen Betrieb beziehungsweise Führen des Kraftfahrzeugs sein. Zwischen diesen Fällen sind zahlreiche Abstufungen der Komplexität und der Funktionen des Fahrerassistenzsystems möglich. Die Verwendung des vorhergesagten Verhaltens des Objekts beziehungsweise anderer Verkehrsteilnehmer kann vorteilhaft einen wesentlichen Beitrag zur Verbesserung oder zum Erreichen eines vollautomatisierten beziehungsweise vollständig autonomen Fahrbetriebs des Kraftfahrzeugs darstellen. Dies ist insbesondere dann besonders vorteilhaft, wenn an dem Verkehrsgeschehen sowohl autonom oder teilautonom agierende Fahrzeuge, Geräte oder Maschinen als auch menschliche Verkehrsteilnehmer beteiligt sind. Hier kann durch das neuronale Netz das Verhalten insbesondere nicht-automatisch, also maschinell gesteuerter Verkehrsteilnehmer besonders genau und zuverlässig abgebildet und vorhergesagt werden.
-
Ein weiterer Aspekt der vorliegenden Erfindung betrifft eine Vorhersagevorrichtung für ein Kraftfahrzeug zum Vorhersagen eines Verhaltens zumindest eines Objekts in einer Umgebung des Kraftfahrzeugs. Die Vorhersagevorrichtung umfasst dabei eine erste Schnittstelle zum Empfang von die Umgebung charakterisierenden Umgebungsdaten sowie eine Erzeugungseinrichtung, eine Erkennungseinrichtung, eine Klassifizierungseinrichtung, eine zweite Schnittstelle und ein neuronales Netz. Die Erzeugungseinrichtung ist eingerichtet zum Erzeugen einer virtuellen Repräsentation der Umgebung auf Basis der Umgebungsdaten. Die Erkennungseinrichtung ist eingerichtet zum Erkennen des zumindest einen Objekts anhand der Umgebungsdaten. Die Klassifizierungseinrichtung ist eingerichtet zum automatischen Klassifizieren des zumindest einen erkannten Objekts. Die zweite Schnittstelle dient zum Bereitstellen von auf der Repräsentation der Umgebung und der Klassifizierung beziehungsweise Klassifikation des zumindest einen Objekts basierenden Eingangsdaten an das neuronale Netz. Das neuronale Netz ist eingerichtet zum Vorhersagen des Verhaltens des zumindest einen Objekts aus den Eingangsdaten. Die Einrichtungen der Vorhersagevorrichtung können dabei jeweilige Prozessor- und/oder Speichereinheiten, Mikrocontroller, Schaltungen sowie Datenverbindungen zu den anderen Einrichtungen und/oder zu dem Kraftfahrzeug umfassen. Mit anderen Worten kann die Vorhersagevorrichtung also zum Durchführen zumindest einer Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet sein. Die Vorhersagevorrichtung kann optional eine Sensorik zum Erfassen der Umgebungsdaten umfassen.
-
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Kraftfahrzeug mit einer erfindungsgemäßen Vorhersagevorrichtung. Das Kraftfahrzeug kann optional ein Fahrerassistenzsystem aufweisen, welches in Abhängigkeit von dem mittels der Vorhersagevorrichtung vorhergesagten Verhalten des zumindest einen Objekts gesteuert wird.
-
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorhersagevorrichtung und des erfindungsgemäßen Kraftfahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den erfindungsgemäßen Verfahren und deren Weiterbildungen beschrieben worden sind und umgekehrt. Aus diesem Grund sind um Wiederholungen zu vermeiden nicht alle Merkmalskombinationen beziehungsweise die entsprechenden Weiterbildungen noch einmal explizit beschrieben.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Draufsicht auf eine Verkehrsszene, in der eine Verhalten anderer Verkehrsteilnehmer von einer Vorhersagevorrichtung eines Kraftfahrzeugs vorhergesagt wird;
- 2 einen beispielhaften schematischen Ablaufplan eines Verfahrens zum Vorhersagen eines Verhaltens zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
1 zeigt eine schematische und ausschnittweise Draufsicht auf eine Verkehrsszene 1. In der Verkehrsszene 1 sind eine Straße 2 und eine von dieser abzweigende Seiten- oder Nebenstraße 3 dargestellt. Neben einer Fahrbahn der Straße 2 erstreckt sich ein Gehweg 4, neben welchem sich auf einer der Fahrbahn der Straße 2 abgewandten Seite sich ein bebauter Bereich 5 erstreckt. Quer über die Fahrbahn der Straße 2 verläuft ein Fußgänger Überweg 6 (Zebrastreifen). Vorliegend befinden sich auf der Straße 2 ein Kraftfahrzeug 7, auf der Nebenstraße 3 ein Fremdfahrzeug 8 und auf dem Gehweg 4 ein Fußgänger 9.
-
Das Kraftfahrzeug 7 weist eine Sensorik 10 auf, welche zumindest vier Kameras 11, 12, 13, 14 umfasst. Mittels der Sensorik 10 wird eine Umgebung 15 des Kraftfahrzeugs 7 erfasst. Die Umgebung 15 umfasst hier also zumindest einen Teilbereich der Verkehrsszene 1. Die erfasste Umgebung 15 kann beispielsweise eine Größe von 50x50 m aufweisen, wobei je nach Umgebungsbedingungen und Ausgestaltung der Sensorik 10 unterschiedliche Größen der erfassten Umgebung 15 möglich sind.
-
2 zeigt einen beispielhaften schematischen Ablaufplan 16 eines Verfahrens zum Vorhersagen eines Verhaltens zumindest eines Objekts in der Umgebung 15 des Kraftfahrzeugs 7. Objekte in diesem Sinne sind hier das Fremdfahrzeug 8 und der Fußgänger 9.
-
Im Folgenden werden 1 und 2 gemeinsam näher erläutert.
-
In einem Verfahrensschritt S1 wird das Verfahren gestartet. Dies kann beispielsweise eine Inbetriebnahme des Kraftfahrzeugs 7, der Sensorik 10 und einer zur Durchführung des Verfahrens eingerichteten Vorhersagevorrichtung 17 des Kraftfahrzeugs 7 umfassen. Ebenso können hier beispielsweise ergänzende Daten, wie beispielsweise Navigationsdaten für die Umgebung 15, eine zu befahrene Route, welche sich insbesondere entlang der Straße 2 erstrecken kann, und dergleichen mehr bereitgestellt werden. Bezogen auf die in 1 dargestellte Verkehrsszene 1 kann der Verfahrensschritt S1 in einer Vergangenheit, also zu einem früheren als dem dargestellten Zeitpunkt, erfolgt sein. Zu diesem früheren Zeitpunkt kann sich das Kraftfahrzeug 7 beispielsweise an einer hier angedeuteten Ausgangsposition 18 befunden haben. In entsprechender Weise können sich das Fremdfahrzeug 8 an einer vorherigen Position 19 und der Fußgänger 9 an einer vorherigen Position 20 befunden haben.
-
In einem Verfahrensschritt S2 wird zwischen dem Start des Verfahrens und dem in 1 dargestellten Zeitpunkt die Umgebung 15 erfasst. Während dieser Zeitspanne, während der die Umgebung 15 erfasst wird, können sich, wie hier durch jeweilige Pfeile angedeutet, das Kraftfahrzeug 7 aus der Ausgangsposition 18, das Fremdfahrzeug 8 aus seiner vorherigen Position 19 und der Fußgänger 9 aus seiner vorherigen Position 20 fortbewegt haben. Diese Zeitspanne kann beispielsweise eine Länge von 2 bis 3 Sekunden umfassen, während derer die Sensorik 10 beispielsweise 10 bis 100 einzelne Frames der Umgebung 15 erfassen kann. Der Erfassungsbereich der Sensorik 10 kann sich dabei mit dem Kraftfahrzeug 7 mitbewegen, ist hier jedoch nur schematisch für einen bestimmten Zeitpunkt angedeutet.
-
Eine derartige Umgebungserfassung ist heutzutage bereits mit bekannten Sensoriken 10 möglich. Für eine Realisierung pilotierter oder autonomer Fahrfunktionen ist jedoch eine Vorhersage des Verhaltens, insbesondere eine Vorhersage von Bewegungsabläufen anderer Verkehrsteilnehmer, hier also insbesondere des Fremdfahrzeugs 8 und des Fußgängers 9, wünschenswert. Dies können bisher bekannte Systeme noch nicht, zumindest nicht in ausreichender Güte, leisten.
-
Vorliegend ist es vorgesehen, dass aus der erfassten Umgebung 15, das heißt aus von der Sensorik 10 gelieferten entsprechenden Sensordaten in einem Verfahrensschritts S3 eine virtuelle Repräsentation, also ein Modell der erfassten Umgebung 15 erzeugt wird. Diese Repräsentation kann ein vierdimensionales Modell, das heißt eine zeitliche Abfolge von dreidimensionalen räumlichen Modellen der Umgebung 15 sein. Dabei kann beispielsweise für jeden von den Kameras 11, 12, 13, 14 erfassten oder aufgenommenen Frame ein eigenes dreidimensionales Modell der Umgebung 15 erzeugt werden. Beispielsweise können zum Erzeugen der virtuellen Repräsentation aus den Umgebungsdaten abgeleitete räumliche und zeitliche Koordinaten für jedes Bildelement, also beispielsweise für jeden Voxel der virtuellen Repräsentation der Umgebung 15, in eine entsprechende Containerdatei geschrieben werden.
-
Anhand der mittels der Sensorik 10 erfassten Umgebungsdaten und/oder anhand der aus diesen Umgebungsdaten erzeugten virtuellen Repräsentation der Umgebung 15 wird dann in einem Verfahrensschritt S4 eine Objekterkennung durchgeführt. Dabei werden bevorzugt sowohl die anderen Verkehrsteilnehmer, also das Fremdfahrzeug 8 und der Fußgänger 9 als auch deren Bewegungen während des Erfassungszeitraumes der Umgebungsdaten erkannt beziehungsweise detektiert. Zudem können die erkannten Objekte, also das Fremdfahrzeug 8 und der Fußgänger 9, klassifiziert werden. Durch die Klassifizierung können den erkannten Objekten jeweilige Eigenschaften zugeordnet werden. Hierfür kann beispielsweise eine vorgegebene Zuordnungstabelle oder -matrix verwendet werden. So können beispielsweise bestimmte Beschränkungen oder Randbedingungen für mögliche Verhaltensweisen der erkannten Objekte festgelegt oder fixiert werden.
-
In einem Verfahrensschritt S5 kann zur Reduzierung der im Weiteren zu verarbeitenden Datenmenge eine 2-D-Orthogonalprojektion der räumlichen Anteile der dreidimensionalen virtuellen Modelle der Umgebung 15 durchgeführt werden. Dazu kann beispielsweise eine virtuelle Kamera in der virtuellen Repräsentation oberhalb des Kraftfahrzeugs 7 positioniert werden. Diese virtuelle Kamera kann in ihrer Größe beispielsweise der gesamten Fläche der erfassten Umgebung 15 entsprechen, wodurch eine perspektivische Verzerrung bei der 2D-Orthogonalprojektion vermieden werden kann. Somit kann also die virtuelle Repräsentation der erfassten Umgebung 15 beispielsweise auf eine Ebene der Straße 2 projiziert werden. Da dies über die Zeit, beispielsweise also für jedes der zeitlich aufeinanderfolgenden dreidimensionalen virtuellen Modelle durchgeführt werden kann, ergibt sich im Ergebnis anstelle des durch einen vierdimensionalen Tensor mit drei räumlichen und einer zeitlichen Koordinate oder Komponente beschriebenen virtuellen Repräsentation der Umgebung 15 nunmehr eine durch eine dreidimensionale Matrix oder einen dreidimensionalen Tensor mit zwei räumlichen und einer zeitlichen Koordinate oder Komponente beschriebene virtuelle Repräsentation der Umgebung 15. Die dreidimensionale Umgebung 15 beziehungsweise deren virtuelle Repräsentation kann also bevorzugt auf eine Ebene projiziert oder abgebildet werden, auf oder in der sich die Verkehrsteilnehmer 7, 8, 9 in der Verkehrsszene 1 bewegen. Die Verfahrensschritte S4 und S5 können dabei parallel oder nacheinander durchgeführt werden. Je nach Implementierung kann die Objekterkennung beispielsweise anhand der vollständigen vierdimensionalen Umgebungsdaten oder anhand eines Ergebnisses der 2D-Orthogonalprojektion durchgeführt werden.
-
Bevorzugt können nicht nur die anderen Verkehrsteilnehmer 8, 9 erkannt und klassifiziert werden, sondern sämtliche Bildelemente der virtuellen Repräsentation der Umgebung 15. Dies kann also eine Klassifizierung von Voxeln des vierdimensionalen Modells oder von Pixeln des dreidimensionalen Modells mit zwei räumlichen und einer zeitlichen Komponente erfolgen. Durch die Klassifizierung sämtlicher Bildelemente, also Voxel oder Pixel, kann vorteilhaft exakt und voxel- oder pixelgenau die Umgebung 15 beschrieben werden. So kann beispielsweise für jedes Bildelement festgelegt werden, ob es beispielsweise der Straße 2, der Nebenstraße 3, dem Fremdfahrzeug 8, dem Fußgänger 9, dem Gehweg 4, dem Fußgängerüberweg 6 oder dem bebauten Bereich 5 zuzuordnen ist.
-
Basierend auf den jeweiligen Ergebnissen der 2D-Orthogonalprojektion, der Objekt- und/oder Bewegungserkennung und der Klassifizierung werden Eingangsdaten erzeugt. Diese Eingangsdaten können neben den Klassifikationen und der durch die 2D-Orthogonalprojektion erhaltenen virtuellen Repräsentation der Umgebung 15 weitere Daten umfassen. Diese weiteren Daten können beispielsweise eine Wetterlage, eine Untergrundbeschaffenheit, eine geographische Position, ein Datum und dergleichen mehr umfassen. Ebenso können beispielsweise von dem Fremdfahrzeug 8 und/oder von einem von dem Fußgänger 9 mitgeführten mobilen elektronischen Gerät empfangene Daten in die Eingangsdaten einfließen.
-
Diese Eingangsdaten werden einem neuronalen Netz der Vorhersagevorrichtung 17 bereitgestellt beziehungsweise zugeführt. Zusätzlich oder alternativ zu dem mittels der 2D-Orthogonalprojektion erhaltenen virtuellen Repräsentation der Umgebung 15 können die dem neuronalen Netz bereitgestellten Eingangsdaten die vollständige vierdimensionale virtuelle Repräsentation der Umgebung 15 umfassen, wie im Ablaufplan 16 durch einen Verfahrensschritt S6 angedeutet. In letzterem Fall kann zur Reduktion des notwendigen Datenverarbeitungsaufwandes beispielsweise eine räumliche und/oder zeitliche Auflösung der virtuellen Repräsentation der Umgebung 15 reduziert werden. So kann beispielsweise bei der Verwendung der mittels der 2D-Orthogonalprojektion erhaltenen virtuellen Repräsentation eine räumliche Auflösung von 500x500 Pixeln für die Umgebung 15 verwendet werden. Demgegenüber kann bei der Verwendung der vollständigen vierdimensionalen Repräsentation der Umgebung 15 beispielsweise eine räumliche Auflösung von 100x100 Pixeln in der Ebene, in der sich das Kraftfahrzeug 7, das Fremdfahrzeug 8 und der Fußgänger 9 bewegen, verwendet werden. Ebenso kann auch eine Auflösung in der dritten räumlichen Dimension, welche hier senkrecht auf der Zeichnungsebene der 1 steht, reduziert werden.
-
In einem Verfahrensschritt S7 wird anhand der Eingangsdaten mittels des neuronalen Netzes eine Vorhersage generiert, welche ein jeweiliges zu erwartendes Verhalten, insbesondere eine jeweilige zu erwartende Bewegung, der erkannten Objekte, hier also des Fremdfahrzeugs 8 und des Fußgängers 9, charakterisiert oder beschreibt. Ein Vorhersagezeitraum, für den das jeweilige Verhalten beziehungsweise die jeweiligen Bewegungen vorhergesagt werden, kann vorgegeben oder situationsabhängig dynamisch bestimmt werden. Der Vorhersagezeitraum kann beispielsweise auf 2 bis 5 Sekunden vorgegeben beziehungsweise festgelegt sein. Es kann möglich sein, ein Maß für eine Unsicherheit der Vorhersage zu definieren, welches zunimmt, je weiter in die Zukunft das jeweilige Verhalten beziehungsweise die jeweilige Bewegung vorhergesagt wird. Vorhersagen für Verhaltensweisen, Bewegungen oder Zustände, welche weiter in der Zukunft liegen weisen also eine größere Unsicherheit auf als solche, die zeitlich Näher an der Gegenwart oder einem Ausgangszeitpunkt der Vorhersage liegen. Es dann ein Schwellenwert für diese Unsicherheit beziehungsweise dieses Unsicherheitsmaß vorgegeben werden. Die Vorhersage kann dann so weit in die Zukunft erfolgen oder erstreckt werden, bis der vorgegebene Schwellenwert erreicht wird. Bereits bei einer Vorhersage für einen Vorhersagezeitraum von beispielsweise zwei Sekunden kann eine signifikante Verbesserung einer Verkehrssicherheit erzielt werden.
-
Als Ergebnis der Vorhersage kann das neuronale Netz beispielsweise eine Veränderung der Situation oder der Verkehrsszene 1 gegenüber einem jeweils aktuellen Istzustand ausgeben. Ebenso kann die Vorhersage beispielsweise eine zukünftige Position 21 des Fremdfahrzeugs 8 und/oder eine zugehörige zukünftige Bewegung 22 des Fremdfahrzeugs 8 sowie eine zukünftige Position 23 des Fußgängers 9 und/oder eine zugehörige zukünftige Bewegung 24 des Fußgängers 9 sein oder umfassen.
-
Besonders bevorzugt kann bei der Vorhersage auch eine zukünftige Eigenbewegung des Kraftfahrzeugs 7 in eine zukünftige Eigenposition 25 des Kraftfahrzeugs 7 berücksichtigt werden.
-
Die Funktionsweise des neuronalen Netzes kann ganz oder teilweise durch einen Kalman-Filter beschrieben und/oder ergänzt werden. Je nach Ausgestaltung, Komplexität und Anforderung kann eine Anzahl von Gewichten des neuronalen Netzes beispielsweise in der Größenordnung von wenigstens 106 liegen, um eine geeignete Vorhersage auch für komplexe Verkehrsszenen 1 liefern zu können.
-
Besonders bevorzugt wird die von dem neuronalen Netz beziehungsweise der Vorhersagevorrichtung 17 gelieferte Vorhersage in einem Verfahrensschritt S8 zur Steuerung eines Fahrerassistenzsystems 26 des Kraftfahrzeugs 7 verwendet. Das Fahrerassistenzsystem kann bevorzugt beispielsweise autonome Fahrfunktionen des Kraftfahrzeugs 7, wie beispielsweise eine Längs- und/oder Querführung des Kraftfahrzeugs 7, steuern. In der vorliegend dargestellten Verkehrsszene 1 kann mittels des neuronalen Netzes unter Berücksichtigung der erfassten Bewegung des Fußgängers 9 aus der vorherigen Position 20 beispielsweise vorhergesagt werden, dass der Fußgänger 9 die Straße 2 auf dem Fußgängerüberweg 6 überqueren wird. Unter Berücksichtigung der Eigenbewegung des Kraftfahrzeugs 7 kann dabei abgeschätzt werden, ob das Kraftfahrzeug 7 den Fußgängerüberweg 6 ohne Gefährdung des Fußgängers 9 überfahren kann oder ob das Kraftfahrzeug 7 vor dem Fußgängerüberweg 6 zum Stehen zu bringen ist, um den Fußgänger 9 passieren zu lassen. Es kann also in letzterem Fall beispielsweise bereits eine Verringerung der Geschwindigkeit des Kraftwagens 7 veranlasst werden, bevor der Fußgänger 9 den Fußgängerüberweg 6 überhaupt betreten hat. Hierdurch kann vorteilhaft nicht nur eine Sicherheit für den Fußgänger 9, sondern auch ein Fahrkomfort für Insassen des Kraftfahrzeugs 7 durch Vermeidung hoher Bremsbeschleunigungen erzielt werden, da durch die Vorhersage des Verhaltens des Fußgängers 9 zusätzliche Zeit zum Abbremsen des Kraftfahrzeugs 7 zur Verfügung steht. Weiterhin kann die Vorhersage beispielsweise ergeben, dass aufgrund des Anhaltens des Kraftfahrzeugs 7 vor dem Fußgängerüberweg 6 das Fremdfahrzeug 8 sich in Bewegung setzen und auf die Straße 2 auffahren wird. Dies kann beispielsweise zur Vorausplanung einer Beschleunigung und/oder Geschwindigkeit, das heißt also einer Fahr- oder Betriebsstrategie für das Kraftfahrzeug 7 beim weiteren Befahren der Straße 2 jenseits des Fußgängerüberwegs 6 nachdem der Fußgänger 9 diesen passiert hat, genutzt werden.
-
Das beschriebene Verfahren kann kontinuierlich in einer Schleife durchlaufen werden. Dabei können also beispielsweise mittels der Sensorik 10 permanent Umgebungsdaten erfasst werden. Diese kontinuierlich erfassten Umgebungsdaten können beispielsweise in einen vorgegebenen Speicherbereich, insbesondere einen Ringspeicher, der Vorhersagevorrichtung 17 geschrieben werden, wobei mit jedem neuen Schreibvorgang die jeweils ältesten vorliegenden Umgebungsdaten durch die jeweils neuesten erfassten Umgebungsdaten ersetzt werden können. Dadurch findet also eine kontinuierliche Aktualisierung der vorliegenden, also gespeicherten Umgebungsdaten statt. Die weiteren Verfahrensschritte können dann jeweils basierend auf den jeweils aktualisierten Umgebungsdaten durchlaufen beziehungsweise durchgeführt werden. Dabei können gegebenenfalls statt einer vollständigen Neuberechnung, beispielsweise der virtuellen Repräsentation anhand der jeweils zuletzt geschriebenen oder erfassten Umgebungsdaten, lediglich jeweilige differenzielle oder inkrementelle Aktualisierungen durchgeführt werden. Dies kann auch für die Objekterkennung, die Bewegungserkennung und/oder die Klassifizierung ebenso wie für die Vorhersage gelten. Ein solches Vorgehen, kann vorteilhaft einen Berechnungsaufwand minimieren.
-
Insgesamt zeigen die beschriebenen Beispiele, wie eine Prädiktion von Verkehrssituationen und Verhaltensweisen basierend auf einer virtuellen Repräsentation, insbesondere einer Voxel-Repräsentation, einer Umgebung unter Verwendung eines angebundenen neuronalen Netzes vorteilhaft realisiert werden kann.
