DE102020117811A1

DE102020117811A1 - Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion und Assistenzeinrichtung für ein Kraftfahrzeug

Info

Publication number: DE102020117811A1
Application number: DE102020117811.5A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-07-07
Filing date: 2020-07-07
Publication date: 2022-01-13

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion sowie eine entsprechende Assistenzeinrichtung für ein Kraftfahrzeug zum Identifizieren von Interessenregionen in Umgebungsdaten. Bei dem Verfahren werden ein Ausgangsmodell und Trainingsdaten, die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen abbilden, bereitgestellt. Aus dem Ausgangsmodell werden mehrere richtungsspezifische Modelle für jeweils einen anderen der unterschiedlichen Blickwinkelbereiche erzeugt. Dazu wird das Ausgangsmodell jeweils unter Priorisierung von solchen der bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in einem bestimmten Blickwinkelbereich abbilden, nachtrainiert. Die so erzeugten mehreren richtungsspezifischen Modelle werden dann als Teile der Assistenzeinrichtung bereitgestellt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeug- oder Fahrfunktion sowie eine entsprechende Assistenzeinrichtung für ein Kraftfahrzeug.
Im Fahrzeug- und Verkehrsbereich wird eine zunehmende Unterstützung von menschlichen Fahrern beim Ausführen einer Fahraufgabe bzw. eine zunehmende Automatisierung von Fahrzeug- oder Fahraufgaben angestrebt. Als Grundlage dafür dienen Sensordaten, die eine jeweilige Fahrzeugumgebung abbilden. Eine korrekte Interpretation und Verarbeitung solcher Sensordaten stellt jedoch weiterhin eine technische Herausforderung dar. Ein Ansatz hierfür besteht in der Bestimmung von sogenannten Interessenregionen (englisch: Rol, Regions of Interest), also Bereichen, die zum Ausführen der jeweiligen Unterstützungs- oder Fahrzeugfunktion von besonderer Relevanz sind. Grundsätzlich gibt es bereits entsprechende technische Ansätze, wie beispielsweise eine automatische Objekterkennung oder eine automatische Bestimmung von Aufmerksamkeitskarten (englisch: Attention Maps) für künstliche neuronale Netze als Grundlage für die weitere Datenverarbeitung bzw. die jeweilige Funktionsausübung. Weitere Verbesserungen sind hier jedoch stets wünschenswert, da diese unmittelbar zu einer verbesserten Sicherheit im Verkehrsgeschehen beitragen können.
Als einen Ansatz für den Bereich des computerbasierten Sehens (Computer Vision) beschreibt die DE 10 2017 120 112 A1 eine Tiefenkartenschätzung mit Stereobildern.
Dabei werden erste und zweite stereoskopische Bilder auf verschiedene Weisen durch Schichten eines tiefen neuronalen Netzes verarbeitet, um eine oder mehrere Tiefenkarten zu ermitteln. Basierend darauf wird dann ein Fahrzeug gesteuert. Dabei kann das tiefe neuronale Netz dazu trainiert werden, eine Stereodisparität und dadurch Tiefenkarten durch das Vergleichen von Tiefenkarten mit einer Ground Truth zu vergleichen. Als Ausgangsdaten dienen darin aus unterschiedlichen aber einander überlappenden Blickwinkeln aufgenommene Stereokamerabilder. Es hat sich jedoch gezeigt, dass hier noch weiteres Verbesserungspotenzial besteht.
Ein Ansatz zur Verbesserung der Sicherheit im Verkehrsgeschehen ist aus der US 2011 / 0 298 603 A1 bekannt. Dort ist ein System zum Vorhersagen einer Kollision an einer Kreuzung von wenigstens zwei Fahrspuren beschrieben. Das System umfasst in einer ersten Gruppe und einer zweiten Gruppe vor der Kreuzung angeordnete Sensorknoten zur Fahrzeugdetektion auf den beiden Fahrspuren. Die Gruppen von Sensorknoten umfassen dabei jeweils wenigstens drei in bekannten Abständen in einem Bewegungspfad jeweiliger Fahrzeuge angeordnete Sensorknoten. Von diesen werden Zeit- und Positionsdaten jeweiliger Fahrzeuge an eine Basisstation übermittelt. Diese bestimmt daraus eine Wahrscheinlichkeit dafür, dass die sich auf den beiden Fahrspuren bewegenden Fahrzeuge miteinander kollidieren und erzeugt gegebenenfalls ein entsprechendes Warnsignal. Dieses Warnsignal wird von einer vor der Kreuzung positionierten Warnsignalvorrichtung empfangen, um einen Fahrer eines der Fahrzeuge vor der bevorstehenden Kollision zu warnen.
Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Erkennung von Interessenregionen in Umgebungsdaten für eine automatisierte Fahrzeugfunktion zu ermöglichen, insbesondere um dadurch letztlich eine Sicherheit im Verkehrsgeschehen zu erhöhen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Zeichnungen angegeben.
Ein erfindungsgemäßes Verfahren dient zum Bereitstellen oder Erzeugen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeug- oder Fahrfunktion eines Kraftfahrzeugs in Umgebungsdaten, die eine Fahrzeugumgebung abbilden. Die Umgebungsdaten können von einer Umgebungssensorik, insbesondere einer Umgebungssensorik des Kraftfahrzeugs, erfasste oder bereitgestellte Sensordaten sein oder umfassen oder aus solchen Sensordaten erzeugt sein. Bevorzugt können die Umgebungsdaten die Fahrzeugumgebung optisch abbilden, also beispielsweise Kameradaten oder Kamerabilder sein oder umfassen. Ebenso können in die Umgebungsdaten jedoch andere Arten von Daten, beispielsweise Lidardaten oder dergleichen sein oder umfassen.
Bei dem erfindungsgemäßen Verfahren wird ein zum Bestimmen von solchen Interessenregionen trainiertes oder zumindest vortrainiertes Ausgangsmodell, also ein entsprechendes Basis- oder Startmodell bereitgestellt. Ein Modell kann im Sinne der vorliegenden Erfindung insbesondere ein entsprechend eingerichtetes, also beispielsweise trainiertes oder vortrainiertes, künstliches neuronales Netz sein oder umfassen. Ebenso kann ein Modell im Sinne der vorliegenden Erfindung aber grundsätzlich ein entsprechendes Computer- oder Berechnungsmodell, das mittels Trainingsdaten trainierbarer oder anfassbar ist, sein oder umfassen.
Weiter werden bei dem erfindungsgemäßen Verfahren Trainingsdaten bereitgestellt, die Fahrzeugumgebungen in bezogen auf eine Fahrzeugrichtung unterschiedlichen Blickwinkelbereichen abbilden. Diese Blickwinkelbereiche können dabei insbesondere in einer Horizontal- oder Azimutebene, in der sich das jeweilige Fahrzeug bewegt oder die sich beispielsweise zumindest im Wesentlichen parallel zu einem von dem jeweiligen Fahrzeug befahrenen Untergrund erstreckt, definiert sein. Jeder der Blickwinkelbereiche ist dabei kleiner als 360°, bevorzugt kleiner gleich 180°. Die unterschiedlichen Blickwinkelbereiche stellen also von dem jeweiligen Fahrzeug aus unterschiedlich ausgerichtete oder orientierte Sichtkegel oder Blickrichtungen dar, sind von dem Fahrzeug aus also in unterschiedliche Richtungen gerichtet.
Die Fahrzeugrichtung kann dabei beispielsweise eine jeweilige Fahrzeuglängsrichtung oder Fahrzeugquerrichtung sein, die als Referenzrichtung zum Unterscheiden der Blickwinkelbereiche bzw. der unterschiedlichen Ausrichtung oder Orientierungen der Blickwinkelbereiche vorgegeben sein kann. Die Trainingsdaten bilden also gemäß ihren unterschiedlichen Blickwinkelbereichen von dem jeweiligen Fahrzeug aus betrachtet unterschiedliche Bereiche oder Teile der jeweiligen Fahrzeugumgebung oder unterschiedlicher Fahrzeugumgebungen ab. Die Trainingsdaten zu unterschiedlichen Blickwinkelbereichen können dabei zu den gleichen oder zu unterschiedlichen Zeitpunkten sowie an den gleichen oder unterschiedlichen Positionen aufgenommen oder erzeugt sein. Unterschiedliche Blickwinkelbereiche oder Blickrichtungen, also unterschiedliche Aufnahme- oder Abbildungsbereiche der Trainingsdaten können in diesem Sinne beispielsweise durch eine Vorwärtsrichtung, eine Rückwärtsrichtung oder eine Seitenrichtung oder seitliche Richtung - jeweils von dem oder einem Fahrzeug aus betrachtet - gegeben oder bestimmt sein.
Die bereitgestellten Trainingsdaten können u.a. durch Kennzeichnung oder Annotation von Interessenregionen in Umgebungsdaten, also entsprechendes Labeln von Umgebungsdaten, erzeugt sein. Dazu können reale, also in einer realen Umgebung aufgenommene, und/oder simulierte, also künstlich erzeugte, Umgebungsdaten verwendet werden.
Erfindungsgemäß werden aus dem bereitgestellten Ausgangsmodell mehrere richtungsspezifische Modelle für jeweils einen anderen der unterschiedlichen Blickwinkelbereiche erzeugt. Dazu wird jeweils das Ausgangsmodell unter Priorisierung von solchen der bereitgestellten Trainingsdaten, welche die Fahrzeugumgebung oder Fahrzeugumgebungen in einem bestimmten der unterschiedlichen Blickwinkelbereiche abbilden, nachtrainiert. Es werden mit anderen Worten also für das jeweilige Nachtrainieren zum Erzeugen eines der richtungsspezifischen Modelle Trainingsdaten mit einem Blickwinkelbereichs- oder Blickrichtungsbias, also einem bevorzugten oder überrepräsentierten Blickwinkelbereich, verwendet. Dabei werden zum Erzeugen unterschiedlicher, also für unterschiedliche Blickwinkelbereiche spezifischerer Modelle Trainingsdaten mit entsprechend unterschiedlichem Bias bzw. solche der Trainingsdaten verwendet, welche die Fahrzeugumgebung oder Fahrzeugumgebungen bevorzugt oder überproportional häufig - gegebenenfalls sogar ausschließlich - in einem bestimmten der unterschiedlichen Blickwinkelbereiche abbilden im Vergleich zu den übrigen der unterschiedlichen Blickwinkelbereiche. Zum Erzeugen jedes der richtungsspezifischen Modelle wird dabei jeweils von dem Ausgangsmodell, insbesondere einer Kopie oder neuen Instanz des Ausgangsmodells ausgegangen. Ein derartiges Nachtrainieren wird fachüblich auch als Tuning oder Feintuning, also als Anpassung oder Adaptierung des jeweiligen Ausgangsmodells bezeichnet. Die richtungsspezifischen Modelle sind erfindungsgemäß also für unterschiedliche Blickwinkelbereiche getuned oder angepasst.
Das Erzeugen der richtungsspezifischen Modelle ausgehend von dem bereitgestellten Ausgangsmodell, also das jeweilige Nachtrainieren des Ausgangsmodells, kann vorteilhaft mit einem vergleichsweise geringen Zeit- und Rechenaufwand sowie einer vergleichsweise kleinen Menge von Trainingsdaten realisiert werden im Vergleich zum Erzeugen oder Trainieren eines jeweiligen neuen richtungsspezifischen Modells von Grund auf. Dadurch kann also der Aufwand zum Erzeugen der mehreren richtungsspezifischen Modelle praktikabel gering gehalten werden.
Die so erzeugten mehreren richtungsspezifischen Modelle werden dann als Teile der Einrichtung zum Ermitteln der Interessenregionen bereitgestellt.
Durch die vorliegende Erfindung kann eine verbesserte Ermittlung oder Vorhersage von Interessenregionen, also beispielsweise Bereichen oder Teilen einer jeweiligen Umgebung, die für die jeweilige automatisierte Fahrzeugfunktion besonders relevant sind und/oder beispielsweise auch von einem menschlichen Fahrer des Kraftfahrzeugs besonders oder bevorzugt beachtet würden, ermöglicht werden. Dies ist insbesondere im Gegensatz zu bisherigen Ansätzen zu sehen, die nur für einen einzigen Blickwinkelbereich, beispielsweise nur für in einer Vorwärtsrichtung oder einem nach vorne gerichteten Blickwinkelbereich oder Sichtkegel aufgenommenen oder erzeugte Trainingsdaten verwenden. In heutigen Kraftfahrzeugen stehen typischerweise mehrere Umgebungssensoren zur Verfügung, die unterschiedliche Blickwinkelbereiche abdecken. Die vorliegende Erfindung beruht auf der Erkenntnis, dass durch Verwendung entsprechender richtungs- oder blickwinkelbereichsspezifischer Modelle die jeweiligen relevanten Interessenregionen mit verbesserter Genauigkeit und Zuverlässigkeit ermittelt werden können im Vergleich zur Verwendung eines einzigen Modells für alle unterschiedlichen Blickwinkelbereiche.
Beispielsweise können zwar bezüglich einer Kollisionsvermeidung sich dem jeweiligen Kraftfahrzeug nähernde Fremdobjekte unabhängig von ihrer Annäherungsrichtung, also unabhängig von dem Blickwinkelbereich relevant sein, also eine entsprechende Interessenregionen darstellen. Für einen sicheren Betrieb des Kraftfahrzeugs in Vorwärtsfahrtrichtung entlang einer gegebenen Straße kann jedoch beispielsweise eine in Vorwärtsfahrtrichtung dem Kraftfahrzeug vorausliegende Lichtsignalanlage oder ein in Fahrtrichtung voraus angeordnetes Verkehrszeichen oder dergleichen von wesentlich größerer Bedeutung sein als die gleiche Lichtsignalanlage oder das gleiche Verkehrszeichen, wenn diese bzw. dieses sich entgegengesetzt der Fahrtrichtung des Kraftfahrzeugs hinter diesem befindet. Somit kann für die Lichtsignalanlage oder das Verkehrszeichen in ersterem Fall die Ermittlung einer entsprechenden Interessenregion in einem die Lichtsignalanlage oder das Verkehrszeichen erfassenden vorwärts gerichteten Blickwinkelbereich korrekt sein, in letzterem Fall hingegen inkorrekt, wenn sich die Lichtsignalanlage oder das Verkehrszeichen in einem nach hinten gerichteten Rückwärtsblickwinkelbereich befindet. Analog kann es in dem rückwärtigen, also entgegen der Fahrtrichtung nach hinten gerichteten Blickwinkelbereich andere Interessenregionen oder andere Merkmale, die Interessenregionen darstellen oder charakterisieren, geben, die für den sicheren Betrieb des Kraftfahrzeugs relevant sein können, jedoch in dem in Fahrtrichtung, also nach vorne gerichteten Blickwinkelbereich keine Interessenregionen für den sicheren Betrieb des Kraftfahrzeugs darstellen oder charakterisieren würden.
Insgesamt können durch die vorliegende Erfindung also richtungsspezifisch oder richtungsabhängig relevante Interessenregionen als Datengrundlage oder Basis für unterschiedliche automatisierte Fahrzeugfunktionen mit verbesserter Genauigkeit bestimmt werden. Dadurch kann letztendlich eine verbesserte Sicherheit im Verkehrsgeschehen erreicht werden.
Die mittels des erfindungsgemäßen Verfahrens bereitgestellte oder erzeugte Einrichtung kann insbesondere dazu eingerichtet sein, Umgebungsdaten für unterschiedliche Blickwinkelbereiche zu erfassen und automatisch dem korrespondierenden richtungsspezifischen Modell zur Verarbeitung zuzuführen. Weiter kann die Einrichtung dazu eingerichtet sein, von den richtungsspezifischen Modellen erzeugte Ausgangsdaten, welche die jeweiligen ermittelten Interessenregionen angeben oder kennzeichnen, auszugeben oder bereitzustellen, beispielsweise über eine entsprechende Ausgangsschnittstelle. Diese Ausgangsdaten können dann beispielsweise an eine weitere Einrichtung oder Funktionalität des Kraftfahrzeugs übermittelt bzw. durch diese zum Ausüben der automatisierten Fahrzeugfunktion auf Basis der Ausgangsdaten verarbeitet werden.
In vorteilhafter Ausgestaltung der vorliegenden Erfindung werden als unterschiedliche Blickwinkelbereiche wenigstens ein bezogen auf eine Fahrzeuglängsrichtung nach vorne gerichteter Vorwärtsblickwinkelbereich und ein bezogen auf die Fahrzeuglängsrichtung nach hinten gerichteter Rückwärtsblickwinkelbereich verwendet. Durch die Verwendung oder Unterscheidung dieser einander entgegengesetzten Blickwinkelbereiche, die insbesondere überlappungsfrei sein können, kann eine besonders klare und vorteilhafte Spezialisierung der entsprechenden richtungsspezifischen Modelle erreicht werden. Dies kann letztlich zu einer besonders großen Verbesserung der Genauigkeit oder Zuverlässigkeit beim Ermitteln der jeweiligen Interessenregionen beitragen. Die Vorwärts- und Rückwärtsblickwinkelbereiche können bevorzugt um die Fahrzeuglängsrichtung bzw. eine Fahrzeugmittellängsachse zentriert sein. Bevorzugt können die Vorwärts- und Rückwärtsblickwinkelbereiche zudem vollständig auf einer jeweiligen Seite einer Fahrzeugmittelquerachse des Kraftfahrzeugs liegen. Der Vorwärtsblickwinkelbereich kann sich also vollständig in einer vorderen Fahrzeughälfte oder von einer vorderen Fahrzeughälfte ausgehend von dem Kraftfahrzeug weg erstrecken, während sich der Rückwärtsblickwinkelbereich sollständig in einer hinteren Fahrzeughälfte oder von einer hinteren Fahrzeughälfte ausgehend von dem Kraftfahrzeug weg erstrecken kann.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als einer der unterschiedlichen Blickwinkelbereiche eine Kombination von bezogen auf die Fahrzeuglängsrichtung nach links und nach rechts gerichteten oder ausgerichteten Seitenblickwinkelbereichen verwendet. Diese Seitenblickwinkelbereiche können beispielsweise um eine zumindest im Wesentlichen senkrecht zu der Fahrzeuglängsrichtung verlaufende Fahrzeugquerrichtung zentriert sein. Es hat sich gezeigt, dass sich in dem nach links ausgerichteten Seitenblickwinkelbereich und in dem nach rechts ausgerichteten Seitenblickwinkelbereich aufgenommene Umgebungsdaten hinsichtlich ihrer Interessenregionen nicht fundamental unterscheiden. Durch die Kombination dieser Seitenblickwinkelbereiche, also der Erzeugung eines gemeinsamen richtungsspezifischen Modells für die beiden entgegengesetzten oder einander gegenüberliegenden Seitenblickwinkelbereiche, kann somit ohne signifikanten Genauigkeits- oder Sicherheitsverlust vorteilhaft Datenverarbeitungsaufwand eingespart werden im Vergleich zur Erzeugung individueller richtungsspezifischer Modelle für den nach links ausgerichteten Seitenblickwinkelbereich und den nach rechts ausgerichteten Seitenblickwinkelbereich.
Der Vorwärtsblickwinkelbereich, der Rückwärtsblickwinkelbereich, der nach links gerichtete Seitenblickwinkelbereich und/oder der nach rechts gerichtete Seitenblickwinkelbereich kann durch jeweils einen entsprechend ausgerichteten Sensor des Kraftfahrzeugs erfasst oder abgedeckt werden. Ebenso können einer oder mehrere dieser Blickwinkelbereiche aus mehreren Teilbereichen zusammengesetzt sein, die mittels verschiedener Sensoren erfasst oder abgedeckt werden. Dabei können sich die Teilbereiche jeweils eines Blickwinkelbereiche - ohne Einschränkungen - überlappen, wodurch beispielsweise eine Zuverlässigkeit oder Redundanz erhöht werden kann.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung weisen die unterschiedlichen Blickwinkelbereiche eine Überlappung, also einen räumlichen Überlapp oder eine Überdeckung, von höchstens 20 % oder höchstens 20°, bevorzugt von höchstens 10 % oder höchstens 10°, auf. Besonders bevorzugt können einige oder alle der unterschiedlichen Blickwinkelbereiche zumindest im Wesentlichen überlappungsfrei sein. Durch diese Anordnung oder Aufteilung der unterschiedlichen Blickwinkelbereiche können entsprechend gute Spezialisierungen die richtungsspezifischen Modelle erreicht und somit die dadurch ermöglichten Genauigkeitsvorteile besonders effektiv realisiert werden. Weist das Kraftfahrzeug beispielsweise mehrere Sensoren auf, deren Blickwinkelbereiche, also deren Erfassungswinkel oder Sichtkegel, sich stärker, also in einem größeren Maße überlappen, können diese zu einem einzigen Blickwinkelbereich im Sinne der vorliegenden Erfindung zusammengefasst werden, für den dann also ein einziges richtungsspezifisches Modell trainiert, also erzeugt werden kann. Dadurch kann die vorliegende Erfindung letztlich besonders effektiv und hinsichtlich eines benötigten Aufwands besonders effizient realisiert, also angewendet werden. Eine größere Überlappung der Blickwinkelbereiche als hier vorgeschlagen ist ebenso möglich. Dadurch kann sich aber gegebenenfalls eine verringerte Effizienz ergeben, da zum einen entsprechend mehr Sensoren oder Kameras benötigt werden und zum anderen eine größere Überlappung eine schlechtere Spezialisierung der richtungsspezifischen Modelle bedeuten kann. Andererseits kann eine größere Überlappung eine verbesserte Redundanz, also Ausfallsicherheit bedeuten.
Es gibt mehrere Möglichkeiten, um die richtungsspezifischen Modelle aus dem Ausgangsmodell zu erzeugen. Dazu kann das bereitgestellte Ausgangsmodell jeweils mittels Ausgangstrainingsdaten trainiert oder erzeugt sein, die Fahrzeugumgebungen bezogen auf die Fahrzeugrichtung zumindest im Wesentlichen in nur einem Blickwinkelbereich abbilden. Darauf basierend wird das bereitgestellte Ausgangsmodell in einer ersten vorteilhaften Variante der vorliegenden Erfindung zunächst mit den bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen abbilden, nachtrainiert. Damit wird also ein nachtrainiertes Ausgangsmodell erzeugt, das während seines Trainings also Umgebungsdaten bzw. Trainingsdaten für unterschiedliche Blickwinkelbereiche gesehen, also verarbeitet hat. Danach wird das so für die mehreren Blickwinkelbereiche nachtrainierte Ausgangsmodell bzw. eine jeweilige Kopie oder Instanz des so nachtrainierten Ausgangsmodells zum Erzeugen der mehreren richtungsspezifischen Modelle jeweils nochmals mit einer jeweiligen Auswahl oder Teilmenge der Trainingsdaten, welche die Fahrzeugumgebungen in nur einem der unterschiedlichen Blickwinkel abbildet, nachtrainiert. Mit anderen Worten werden die Trainingsdaten also in unterschiedliche Gruppen oder Teilmengen aufgeteilt, die jeweils nur Trainingsdaten für genau einen einzigen Blickwinkelbereich umfassen. Zum Erzeugen eines jeden der richtungsspezifischen Modelle wird dann eine jeweilige Instanz des nachtrainierten Ausgangsmodells mit nur den Trainingsdaten einer dieser Teilmengen oder Gruppen nachtrainiert. Zum Erzeugen der richtungsspezifischen Modelle werden in dieser Variante der vorliegenden Erfindung also nacheinander mindestens zwei Nachtrainings oder Nachtrainingsvorgänge oder -schritte durchlaufen, also durchgeführt. Es hat sich gezeigt, dass auf diese Weise insbesondere für einen Blickwinkelbereich, der dem für das Training des ursprünglichen Ausgangsmodells verwendeten Blickwinkelbereich entgegengesetzt ist, eine besonders große Verbesserung der Genauigkeit oder Qualität beim Ermitteln der Interessenregionen durch die richtungsspezifischen Modelle im Vergleich zu dem Ausgangsmodell erzielt werden kann.
Eine zweite vorteilhafte Variante der vorliegenden Erfindung geht ebenfalls von dem nur für einen Blickwinkelbereich trainierten Ausgangsmodell aus. In dieser zweiten Variante wird das Ausgangsmodell zum Erzeugen der mehreren richtungsspezifischen Modelle jeweils mit Nachtrainingsdaten nachtrainiert, die zumindest im Wesentlichen alle der bereitgestellten Trainingsdaten umfassen, die Fahrzeugumgebungen also in mehreren Blickwinkelbereichen abbilden. Dabei werden zum Erzeugen der richtungsspezifischen Modelle jedoch unterschiedliche Sätze von Nachtrainingsdaten bzw. unterschiedliche Variationen der Nachtrainingsdaten verwendet. Für jeden zum Erzeugen eines der richtungsspezifischen Modelle verwendeten Satz von Nachtrainingsdaten wird dabei eine vorgegebene Übergewichtung von Trainingsdaten für einen der unterschiedlichen Blickwinkelbereiche verwendet. Bevorzugt kann in jedem dieser Sätze von Nachtrainingsdaten ein bestimmter der unterschiedlichen Blickwinkelbereiche zumindest zweifach übergewichtet sein im Vergleich zu den jeweiligen übrigen der unterschiedlichen Blickwinkelbereiche. In einem bestimmten Satz von Nachtrainingsdaten, der zum Erzeugen eines entsprechenden der richtungsspezifischen Modelle aus dem bereitgestellten Ausgangsmodell vorgesehen ist, also verwendet wird, können also beispielsweise für einen bestimmten Blickwinkelbereich eine entsprechend größere Anzahl von Trainingsdaten, beispielsweise von entsprechenden Trainingsbildern, enthalten sein. Zusätzlich oder alternativ können die Trainingsdaten für einen der unterschiedlichen Blickwinkelbereiche dem Ausgangsmodell beim Erzeugen des entsprechenden richtungsspezifischen Modells mit einer entsprechend größeren Häufigkeit zugeführt, also als Eingangsdaten bereitgestellt werden. Bei dieser Variante der vorliegenden Erfindung ist es möglich, dass zum Erzeugen der richtungsspezifischen Modelle ausgehend von dem ursprünglichen bereitgestellten Ausgangsmodell nur ein Nachtraining oder Nachtrainingsschritt durchlaufen oder durchgeführt wird. Dadurch kann gegebenenfalls entsprechender Datenverarbeitungsaufwand eingespart werden. Es hat sich gezeigt, dass mit den durch diese Variante erzeugten richtungsspezifischen Modellen insbesondere für den auch zum Trainieren oder Erzeugen des ursprünglichen Ausgangsmodells verwendeten Blickwinkelbereich eine besonders große Verbesserung der Genauigkeit oder Qualität beim Ermitteln der Interessenregionen erreicht werden kann.
In den beiden hier beschriebenen Varianten kann letztlich die gewünschte Spezialisierung oder Anpassung der richtungsspezifischen Modelle für einen bestimmten Blickwinkelbereich und somit die damit einhergehende Verbesserung beim Ermitteln der Interessenregionen erreicht werden. Darüber hinaus kann es weitere Arten und Weisen zum Erzeugen der richtungsspezifischen Modelle aus dem Ausgangsmodell geben, die ebenfalls Teil der vorliegenden Erfindung sein können.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die bereitgestellten Trainingsdaten und/oder zum Erzeugen des Ausgangsmodells verwendete Ausgangstrainingsdaten erzeugt, indem auf für das jeweilige Training bereitgestellte Umgebungsdaten eine automatische Objekterkennung angewendet wird. Zudem wird für die Umgebungsdaten eine automatische Erkennung von durch wenigstens einen menschlichen Betrachter bevorzugt betrachteten Aufmerksamkeitsregionen der Umgebungsdaten oder in den Umgebungsdaten durchgeführt. Mit anderen Worten wird hier also automatisch detektiert, welchen Teilen oder Bereichen der Umgebungsdaten der menschliche Betrachter die meiste Aufmerksamkeit zukommen lässt. Basierend auf den so ermittelten Aufmerksamkeitsregionen und den automatisch in den Umgebungsdaten erkannten Objekten werden dann die Interessenregionen festgelegt. Mit diesen Interessenregionen werden die Umgebungsdaten dann annotiert oder gelabelt, um die jeweiligen Trainingsdaten zu erzeugen. Auf diese Weise können nicht nur für das Ausüben der jeweiligen Fahrzeugfunktion relevante Objekte, sondern beispielsweise auch freie Bereiche oder Freiräume, in die sich das Kraftfahrzeug sicher bewegen kann oder die beispielsweise als Ausweichbereich für das Kraftfahrzeug dienen können, besonders zuverlässig als Interessenregionen erkannt bzw. gekennzeichnet werden. Besonders bevorzugt können die Aufmerksamkeitsregionen dabei Mittelwerte von für mehrere unterschiedliche menschliche Betrachter erkannten individuellen Aufmerksamkeitsregionen sein. Dadurch können die Aufmerksamkeitsregionen und somit die Interessenregionen besonders zuverlässig bestimmt werden.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden als die bereitgestellten Trainingsdaten manuell mit Interessenregionen annotierte oder gelabelte Umgebungsdaten verwendet, in denen jeweils alle Interessenregionen gekennzeichnet sin, die für wenigstens eines von mehreren in der jeweils abgebildeten Fahrzeugumgebung für das jeweilige Fahrzeug möglichen Fahrmanövern relevant sind, also eine Interessenregion darstellen. Mit anderen Worten wird also für das Bestimmen oder Kennzeichnen der Interessenregionen nicht vorab festgelegt oder berücksichtigt, welches von mehreren möglichen Fahrmanövern das jeweilige Fahrzeug in der jeweils abgebildeten Fahrzeugumgebung ausführt oder ausführen soll. Stellt eine abgebildete Fahrzeugumgebung beispielsweise eine in Fahrtrichtung vorausliegende Kreuzung dar, so könnten mögliche Fahrmanöver ein Geradeausfahren, ein Abbiegen nach links oder ein Abbiegen nach rechts sein oder umfassen. Indem die Interessenregionen für alle diese möglichen unterschiedlichen Fahrmanöver in den Trainingsdaten berücksichtigt werden, kann vorteilhaft letztlich eine besonders genaue, vollständige und zuverlässige Ermittlung von Interessenregionen durch die richtungsspezifischen Modelle erreicht werden. Die entsprechenden Annotationen oder Labels der Trainingsdaten können dabei automatisch erstellt werden, ausgehend davon manuell ergänzt oder korrigiert werden oder vollständig manuell erzeugt werden. Dies kann beispielsweise abhängig sein von einem im jeweiligen Einzelfall praktikablen Aufwand.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung umfasst das bereitgestellte Ausgangsmodell wenigstens ein LSTM-Modul (englisch, fachsprachlich: long short-term memory, langes Kurzzeitgedächtnis). Das bereitgestellte Ausgangsmodell ist oder wird dabei mit Sequenzen von vorgegebenen Ausgangstrainingsdaten trainiert, die eine Übergewichtung von sicherheitskritischen Fahrsituationen aufweisen. Sicherheitskritische Fahrsituationen sind in diesem Sinne Fahrsituationen, also Verkehrs- oder Umgebungssituationen, die in den Trainingsdaten abgebildet sind, in denen es statistisch zu besonders vielen Unfällen oder zu einem gehäuften Versagen von automatisierten Fahrfunktionen oder Fahrassistenzsystemen von Kraftfahrzeugen kommt oder in der Vergangenheit gekommen ist. Dies können beispielsweise Abbiegesituationen, insbesondere in innerstädtischen Umgebungen, oder beispielsweise Überholsituationen, beispielsweise auf Landstraßen oder Autobahnen, sein. Durch die Übergewichtung solcher sicherheitskritischer Fahrsituationen können die richtungsspezifischen Modelle letztlich darauf trainiert sein oder werden, insbesondere bezüglich der Sicherheit besonders relevante Interessenregionen mit verbesserter Genauigkeit oder Zuverlässigkeit zu ermitteln. Damit kann letztlich die Sicherheit im Verkehrsgeschehen bei Nutzung oder Anwendung der vorliegenden Erfindung weiter verbessert werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Assistenzeinrichtung für ein Kraftfahrzeug zum automatischen Identifizieren, also zum automatischen Erkennen oder Vorhersagen, von Interessenregionen in - beispielsweise von einer Umgebungssensorik des Kraftfahrzeugs - bereitgestellten Umgebungsdaten. Die erfindungsgemäße Assistenzeinrichtung ist dabei mittels eines erfindungsgemäßen Verfahrens erzeugt oder bereitgestellt. Die erfindungsgemäße Assistenzeinrichtung kann also insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Einrichtung zum Ermitteln von Interessenregionen sein und dementsprechend einige oder alle der in diesem Zusammenhang genannten Eigenschaften und/oder Merkmale aufweisen. Die erfindungsgemäße Assistenzeinrichtung kann beispielsweise eine Eingangsschnittstelle zum Erfassen von Sensor- oder Umgebungsdaten, eine damit verbundene Datenverarbeitungseinrichtung und eine mit dieser verbundene Ausgangsschnittstelle zum Ausgeben von Ausgangsdaten aufweisen. Diese Ausgangsdaten können insbesondere durch die Datenverarbeitungseinrichtung automatisch ermittelte Interessenregionen oder die mit solchen automatisch ermittelten Interessenregionen markierten oder gekennzeichneten zuvor erfassten Sensor- oder Umgebungsdaten sein oder umfassen. Die Datenverarbeitungseinrichtung kann dazu insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen mehreren richtungsspezifischen Modelle umfassen oder enthalten. Insbesondere kann die Datenverarbeitungseinrichtung einen computerlesbaren Datenspeicher aufweisen, in dem diese richtungsspezifischen Modelle gespeichert oder hinterlegt sind. Zudem kann die Datenverarbeitungseinrichtung eine mit dem Datenspeicher verbundene Prozessoreinrichtung zum Ausführen der richtungsspezifischen Modelle oder eines diese umfassenden oder referenzierenden Programmcodes oder Computerprogramms aufweisen. Ein solches Computerprogramm und/oder ein solcher computerlesbarer Datenspeicher können ihrerseits eigene Aspekte der vorliegenden Erfindung sein.
Ein weiterer Aspekt der vorliegenden Erfindung kann ein Kraftfahrzeug sein, das eine Umgebungssensorik zum Abbilden oder Erfassen einer jeweiligen Fahrzeugumgebung des Kraftfahrzeugs aus oder in unterschiedlichen Blickwinkeln oder Blickwinkelbereichen sowie eine mit dieser Umgebungssensorik verbundene erfindungsgemäße Assistenzeinrichtung aufweist. Dieses Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung genannte Kraftfahrzeug sein.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnungen zeigen in:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Assistenzeinrichtung; und
2 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Bereitstellen einer entsprechenden Assistenzeinrichtung.

Zumindest teilweise autonomes Fahren erhält derzeit viel Aufmerksamkeit sowohl in der Grundlagenforschung als auch in industriellen Anwendungen. Viele Ansätze verwenden sichtbasierte Algorithmen und Modelle zum Wahrnehmen einer Fahrzeugumgebung. Eine Erkenntnis ist hier, dass es vorteilhaft sein kann, vorherzusagen oder abzuschätzen, wohin ein menschlicher Fahrer in einer jeweiligen Situation gucken würde, da die menschliche visuelle Wahrnehmung und Interpretation der Umgebung oftmals als Referenzwahrheit (englisch: Ground Truth) angesehen werden kann. Vorliegend kann also die Idee verfolgt werden, vorherzusagen oder abzuschätzen, was ein menschlicher Fahrer in einer bestimmten Situation als interessant, relevant oder wichtig zum erfolgreichen und sicheren Führen eines Fahrzeugs oder zum entsprechenden Ausüben einer Fahrzeugfunktion oder Fahraufgabe einstufen würde. Dies kann durch sogenannte Interessenregionen (englisch: Regions Of Interest, Rols) angegeben werden. Das Vorhersagen jeweiliger aktueller Interessenregionen kann es vorteilhaft beispielsweise erlauben, besser zu bestimmen oder zu unterscheiden, ob ein Analysefehler in einem bestimmten Teil jeweiliger Umgebungsdaten, beispielsweise in einem bestimmten Teil eines Umgebungsbildes, wichtig für eine aktuelle Fahrzeugfunktion oder Fahraufgabe ist oder nicht. Beispielsweise kann ein Fehler oder Versagen beim Detektieren eines Fußgängers unmittelbar vor einem Fahrzeug kritischer sein als ein Fehler bei der korrekten Erkennung von Gebäuden oder Bäumen oder dergleichen im Hintergrund. Zum Ausüben der Fahraufgabe sollten dabei nicht alle hervorstechenden oder auffallenden Teile oder Regionen berücksichtigt, also als wichtig eingestuft werden. Beispielsweise können Bildbereiche, in denen eine Werbetafel oder dergleichen dargestellt ist, Aufmerksamkeit auf sich ziehen, was jedoch für das sichere Führen des jeweiligen Fahrzeugs irrelevant oder sogar nachteilig sein kann.
Nicht nur das vollständig autonome Verfahren, sondern auch Fahraufgaben mit menschlicher Beteiligung (englisch: Human-in-the-Loop Tasks), wie etwa Tele-Fahren, also ein ferngesteuertes Führen eines Fahrzeugs, können von einer Anwendung der Vorhersage von Interessenregionen profitieren, beispielsweise als Maß für ein Situationsbewusstsein. Ansätze zum Modellieren eines menschlichen Situationsbewusstseins können ein Wissen über alle Elemente in einer jeweiligen Situation oder Umgebung erfordern, die der jeweilige Mensch im Idealfall wahrgenommen haben sollte. Diese Elemente oder Objekte können als optimale Situationselemente (OSEs, Optimal Situation Elements) bezeichnet werden. Diese OSEs können situationsabhängig unterschiedlich sein. Beim Führen eines Flugzeugs können die OSEs beispielsweise hauptsächlich jeweilige Cockpitinstrumente und daher statisch sein. Beim Führen eines Kraftwagens im Straßenverkehr können zumindest einige der OSEs außerhalb des Kraftwagens sein und sich während der Fahrt dynamisch ändern. Ein möglicher Lösungsansatz zum Bestimmen oder Erkennen solcher dynamisch wechselnder OSEs kann in der Vorhersage von Interessenregionen, also die Rol-Vorhersage liegen.
Bisherige Modelle und Umgebungsdatensätze für die Rol-Vorhersage, wie beispielsweise Dr(EYE)ve oder Berkeley Deep Drive Attention (BDD-A) basieren typischerweise auf Umgebungsdaten, die mittels einer einzigen, bezogen auf eine Fahrzeuglängsrichtung nach vorne gerichteten, Kamera aufgenommen wurden. Eine vorliegende Erkenntnis ist, dass ein solches herkömmliches, für eine Vorwärtsblickrichtung trainiertes Modell typischerweise nicht die gleiche Vorhersagegüte oder Vorhersagegenauigkeit für andere Blickrichtungen, beispielsweise eine Rückwärtsblickrichtung, erreichen wird. Dies hängt damit zusammen, dass gemäß einer weiteren vorliegenden Erkenntnis unterschiedliche Blickrichtungen zu unterschiedlichen Interessenregionen führen, also unterschiedliche Rols aufweisen oder enthalten können. Dies kann berücksichtigt werden, da heutige Fahrzeuge oftmals eine Vielzahl von Sensoren aufweisen, die unterschiedliche Blickrichtungen abdecken, also erfassen.
1 zeigt dazu eine schematische Darstellung eines entsprechenden Kraftfahrzeugs 10, das eine mehrteilige Umgebungssensorik 12 aufweist. Die Umgebungssensorik 12 umfasst hier schematisch in verschiedene Richtungen gerichtete Sensoren, insbesondere optische Kameras. Diese sind hier beispielhaft verteilt an verschiedenen Positionen des Kraftfahrzeugs 10 angeordnet, etwa an jeder Seite des Kraftfahrzeugs 10.
Das Kraftfahrzeug 10 umfasst weiter eine Assistenzeinrichtung 14 zum Identifizieren von Interessenregionen in Umgebungsdaten. Dies können insbesondere Umgebungsdaten sein, die mittels der Umgebungssensorik 12 aufgenommen werden und eine jeweilige Fahrzeugumgebung des Kraftfahrzeugs 10 abbilden. Dazu sind die Umgebungssensorik 12 und die Assistenzeinrichtung 14 vorliegend über ein Bordnetz 16 des Kraftfahrzeugs 10 miteinander gekoppelt. Über dieses Bordnetz 16 können entsprechende Daten sowie gegebenenfalls in Reaktion auf diese erzeugte Steuersignale übertragen werden.
Schematisch sind hier mehrere unterschiedliche Blickwinkelbereiche 18 angedeutet, die von verschiedenen Sensoren der Umgebungssensorik 12 abgedeckt, also abgebildet oder erfasst werden und unterschiedliche Teile oder Bereiche der jeweiligen Fahrzeugumgebung des Kraftfahrzeugs 10 umfassen oder darstellen. Die unterschiedlichen Ausrichtungen oder Orientierungen der Blickwinkelbereiche 18 können hier in Bezug auf eine in Fahrzeuglängsrichtung des Kraftfahrzeugs 10 nach vorne gerichtete Vorwärtsrichtung 20 definiert oder angegeben sein. Beispielhaft sind hier als Blickwinkelbereiche 18 ein in der Vorwärtsrichtung 20 nach vorne gerichteter Vorwärtsblickwinkelbereich 22, ein entgegen der Vorwärtsrichtung 20 nach hinten gerichteter Rückwärtsblickwinkelbereich 24 und ein quer zu der Vorwärtsrichtung 20 gerichteter Seitenblickwinkelbereich 26 angedeutet. Der Seitenblickwinkelbereich 26 kombiniert hier nach links und nach rechts, also zu beiden Seiten des Kraftfahrzeugs 10 gerichtete Teilbereiche. Ebenso können mehr und/oder anders geformte Blickwinkelbereiche 18 vorgesehen sein, die sich teilweise überlappen können und/oder jeweils aus mehreren aneinandergrenzenden oder teilweise überlappenden Teilbereichen zusammengesetzt sein können.
Die für die verschiedenen Blickwinkelbereiche 18 mittels der Umgebungssensorik 12 erfassten Umgebungsdaten werden von der Assistenzeinrichtung 14 über eine Datenschnittstelle 28 empfangen. Die empfangenen Umgebungsdaten können dann mittels eines Prozessors 30 der Assistenzeinrichtung 14 verarbeitet und dabei beispielsweise in einem Datenspeicher 32 der Assistenzeinrichtung 14 abgelegt oder zwischengespeichert werden. Ebenso können die Umgebungsdaten abhängig von dem Blickwinkelbereich 18, den sie abbilden, entsprechenden richtungsspezifischen Modellen 34, die hier beispielsweise in dem Datenspeicher 32 hinterlegt sind, als jeweilige Eingangsdaten zugeführt werden. Vorliegend können also beispielsweise in dem oder für den Vorwärtsblickwinkelbereich 22 erfasste Umgebungsdaten einem dafür richtungsspezifischen Vorwärtsmodell 36 zur Verarbeitung zugeführt werden. Analog können für den Rückwärtsblickwinkelbereich 24 erfasste Umgebungsdaten einem entsprechenden richtungsspezifischen Rückwärtsmodell 38 und für den Seitenblickwinkelbereich 26 erfasste Umgebungsdaten einem für dafür richtungsspezifischen Seitenmodell 40 zugeführt werden.
Die richtungsspezifischen Modelle 34 sind darauf trainiert, in entsprechend richtungsspezifischen Umgebungsdaten automatisch für wenigstens eine zumindest teilweise automatisierte Fahrzeugfunktion des Kraftfahrzeugs 10 relevante Interessenregionen zu identifizieren. Dazu können die richtungsspezifischen Modelle 34 beispielsweise ein jeweiliges entsprechend trainiertes tiefes neuronales Netz, beispielsweise ein tiefes faltendes neuronales Netz (CNN), sein oder umfassen.
2 zeigt dazu einen beispielhaften schematischen Ablaufplan 42 für ein Verfahren zum Bereitstellen der Assistenzeinrichtung 14 bzw. der richtungsspezifischen Modelle 34.
In einem Verfahrensschritt S1 werden Ausgangstrainingsdaten bereitgestellt oder erzeugt. Diese Ausgangstrainingsdaten können beispielsweise mittels einer einzigen Kamera, also für einen einzigen Blickwinkel oder Blickwinkelbereich 18 aufgenommene und mit jeweiligen Interessenregionen annotierte Umgebungsdaten sein oder umfassen. Derartige Umgebungsdaten, die verschiedene Fahrzeugumgebungen in oder aus einer Blickrichtung, also einem Blickwinkelbereich 18 abbilden, sind vorteilhaft frei und in relativ großem Umfang verfügbar. Die Annotationen oder Labels, die hier also als Basis- oder Referenzwahrheit (Ground Truth) dienen, können automatisch generiert werden. Dazu kann beispielsweise eine Kombination von automatischer Objekterkennung und einer Blick- oder Aufmerksamkeitsdetektion menschlicher Betrachter angewendet werden. Für Letzteres können beispielsweise aufgenommene Umgebungsdaten nachträglich menschlichen Betrachtern vorgeführt werden unter automatischer Nachverfolgung der Betrachtungsrichtungen der Betrachter oder der bevorzugten Betrachtungsbereiche in den Umgebungsdaten. Bevorzugt können dabei Umgebungsdaten verwendet werden, die eine höhere Gewichtung sicherheitskritischer Verkehrssituationen oder Szenarien aufweisen. Ebenso können dabei in jeweils einem Kamera- oder Umgebungsbild der Umgebungsdaten gleichzeitig mehrere Interessenregionen gekennzeichnet werden.
In einem Verfahrensschritt S2 wird mit den Ausgangstrainingsdaten ein Ausgangsmodell zum Identifizieren von Interessenregionen in Umgebungsdaten, insbesondere eines einzigen Blickwinkelbereichs 18, trainiert. Damit ergibt sich ein relativ robustes Ausgangsmodell, also ein Modell, das hier als Ausgangspunkt oder Basis zur letztendlichen Erzeugung der richtungsspezifischen Modelle 34 dient. Als dieses oder ein solches Ausgangsmodell kann beispielsweise BDD-A verwendet werden.
Wie anhand des Kraftfahrzeugs 10 beschrieben, können heutige Fahrzeuge ihre jeweilige Fahrzeugumgebung in mehreren verschiedenen Blickwinkelbereichen 18 erfassen. Beispielsweise können heutige Fahrzeuge sechs oder mehr verschiedenen ausgerichtete Kameras aufweisen. Zudem ist zu beachten, dass basierend auf der automatischen Objekterkennung in den Umgebungsdaten nicht immer alle tatsächlich wichtigen oder relevanten Interessenregionen, insbesondere nicht an spezifische Objekte gebundene Interessenregionen, automatisch erkannt werden. Diesen Problemen soll vorliegend durch Bereitstellung weiterer Trainingsdaten und Erweiterung des Ausgangsmodells für die Rol-Vorhersage für mehrere unterschiedliche Blickwinkelbereiche 18 begegnet werden.
Wie bereits angedeutet sind im Kontext des Verfahrens oder Verkehrsgeschehens Interessenregionen nicht immer nur durch Vordergrundobjekte bestimmt. Vielmehr kann beispielsweise auch ein bestimmter leerer oder freier Raumbereich eine Interessenregion sein, beispielsweise ein freier oder leerer Abschnitt eines angrenzenden Fahrstreifens für ein Manöver, das einen Fahrstreifenwechsel umfasst. Derartige Interessenregionen werden typischerweise nicht von einem auf automatischer Objekterkennung basierenden Modell erkannt. Daher können manuell gekennzeichnete oder annotierte Interessenregionen die Fahrzeugumgebungen oder Situationen, also die Umgebungsdaten besser oder vollständiger beschreiben und daher zu einer verbesserten Basis- oder Referenzwahrheit, also verlässlicheren Trainingsdaten führen. Durch manuelle Annotierung der Umgebungsdaten mit den Interessenregionen können also sowohl die Herausforderung von durch freie Räume gebildeten Interessenregionen als auch die Blickrichtungsabhängigkeit der Interessenregionen adressiert oder gelöst werden.
Dementsprechend werden in einem Verfahrensschritt S3 Trainingsdaten bereitgestellt, die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen 18 abbilden. Diese Trainingsdaten können bevorzugt zumindest teilweise manuell annotiert sein.
Beispielsweise können automatisch Pseudo-Label durch ein Modell generiert werden, das mit einem manuell annotierten Datensatz trainiert oder getuned wurde. Anstatt dann aber im Folgenden diese Pseudo-Label zu verwenden, können diese manuell überarbeitet oder korrigiert werden, um auf besonders effiziente Weise eine besonders genaue und verlässliche Basis- oder Referenzwahrheit, also entsprechend genauer und zuverlässig annotierte Trainingsdaten zu generieren.
Vorliegend können dafür Umgebungsdaten für unterschiedliche Blickwinkelbereiche 18 beispielsweise künstlich erzeugt werden. Dafür können entsprechende Multi-Blickwinkel-Umgebungsdaten für verschiedene Fahrsituationen in einer entsprechenden Simulation, beispielsweise mittels des CARLA Simulators, generiert und erfasst werden. Diese Umgebungsdaten können ebenso - zumindest initial - ohne automatisch generierte Annotationen oder Vorschläge rein manuell annotiert werden, um ein Bias zu vermeiden. Der Einfachheit halber können beispielsweise runde, also kreisförmige oder scheibenförmige, Markierungen als Annotationen oder Label für die Interessenregionen verwendet werden.
Da ein späteres Modell typischerweise nicht im Vorhinein wissen wird, welches Fahrmanöver als nächstes ausgeführt werden wird, kann es sicherer sein, mehr Interessenregionen vorherzusagen oder zu kennzeichnen als minimal nötig anstatt eine tatsächliche Interessenregionen in fehlerhafter Weise nicht zu kennzeichnen. Daher können vorliegend alle Interessenregionen als solche gekennzeichnet werden, die für eine oder mehrere Fahrsituationen, Verkehrsszenarien oder Fahrmanöver in der jeweiligen Fahrzeugumgebung benötigt werden oder relevant sind.
Ausgehend von den im Verfahrensschritt S3 bereitgestellten Trainingsdaten können die richtungsspezifischen Modelle 34 auf unterschiedliche Arten und Weisen aus dem Ausgangsmodell generiert werden. In dem Ablaufplan 42 sind dafür zwei mögliche Varianten durch parallele Zweige repräsentiert.
Für die erste Variante wird in einem Verfahrensschritt S4a das Ausgangsmodell zunächst mit den im Verfahrensschritt S3 bereitgestellten Trainingsdaten für mehrere unterschiedliche Blickwinkelbereiche 18 nachtrainiert, also getuned oder feingetuned. Hier kann also beispielsweise das BDD-A Modell als Basis verwendet und dann angepasst werden mit manuell annotierten Umgebungsdaten für unterschiedliche Blickwinkelbereiche 18.
Für eine Testanwendung wurden als Umgebungs- bzw. Trainingsdaten beispielhaft zehn Fahrsequenzen verwendet, die unterschiedliche Verkehrssituationen abbilden. Jede dieser Fahrersequenzen wurde dabei mit sechs unterschiedlichen Kamerasichtfeldern mit einer Bildfrequenz von 10 Hz aufgenommen. Die sechs Kamerasichtfelder können dabei beispielsweise den Vorwärtsblickwinkelbereich 22 und den Rückwärtsblickwinkelbereich 24 mit jeweils drei Teilbereichen abbilden oder abdecken, also bilden. Für die Testanwendung wurden neun der Fahrsequenzen für das Nachtrainieren des Ausgangsmodells und eine Fahrsequenz zum Testen verwendet. Das im Verfahrensschritt S4a erzeugte nachtrainierte Ausgangsmodell kann beispielsweise als Rol-Single bezeichnet werden. Dieses Modell Rol-Single ist also mit verlässlichen Trainingsdaten getuned, berücksichtigt aber noch nicht unterschiedliche Arten, Strukturen oder Eigenschaften von Interessenregionen in den unterschiedlichen Blickwinkelbereichen 18, beispielsweise dem Vorwärtsblickwinkelbereich 22 im Gegensatz zu dem Rückwärtsblickwinkelbereich 24. Der Rückwärtsblickwinkelbereich 24 kann - zumindest bei einer Fahrt des Kraftfahrzeugs 10 in der Vorwärtsrichtung 20 - typischerweise weniger Interessenregionen enthalten als der Vorwärtsblickwinkelbereich 22. Dies kann gerade in urbanen Umgebungen beispielsweise daran liegen, dass Lichtsignalanlagen in dem Vorwärtsblickwinkelbereich 22 eine relevante Rol darstellen, in dem Rückwärtsblickwinkelbereich 24 jedoch nicht mehr relevant oder von Interesse sind, da das Kraftfahrzeug 10 dort auftauchende oder abgebildete Lichtsignalanlagen bereits passiert hat.
Daher werden in einem Verfahrensschritt S5a die bereitgestellten Trainingsdaten nach Blickwinkeln oder Blickwinkelbereichen 18 sortiert oder aufgeteilt. Es werden aus den bereitgestellten Trainingsdaten, die Fahrzeugumgebungen aus oder in mehreren Blickrichtungen oder Blickwinkelbereichen 18 abbilden, also mehrere richtungsspezifische Trainingsdatensätze erzeugt, die jeweils nur Trainingsdaten für einen einzigen Blickwinkelbereich 18 enthalten.
In einem Verfahrensschritt S6a werden dann mehrere Instanzen des im Verfahrensschritt S4a erzeugten nachtrainierten Ausgangsmodells mit jeweils einem dieser richtungsspezifischen Trainingsdatensätze nachtrainiert, um die richtungsspezifischen Modelle 34 zu erzeugen. Beispielsweise können also die in den Vorwärtsblickwinkelbereich 22 abbildenden richtungsspezifischen Trainingsdaten verwendet werden, um aus dem nachtrainierten Ausgangsmodell das Vorwärtsmodell 36 zu erzeugen. Ebenso können die richtungsspezifischen Trainingsdaten für den Rückwärtsblickwinkelbereich 24 als Trainings- oder Feintuning-Daten zum Erzeugen des Rückwärtsmodell 38 aus dem nachtrainierten Ausgangsmodell verwendet werden.
In der anderen Variante des Verfahrens werden in einem Verfahrensschritt S4b aus den im Verfahrensschritt S3 bereitgestellten Trainingsdaten mehrere Trainingsdatensätze mit unterschiedlichen Übergewichtungen jeweils eines Blickwinkelbereichs 18 erzeugt. Diese für einen Blickwinkelbereich 18 übergewichteten Trainingsdatensätze enthalten dabei aber weiterhin Trainingsdaten für mehrere oder alle unterschiedliche Blickwinkelbereiche 18.
In einem Verfahrensschritt S5b werden mehrere Instanzen des im Verfahrensschritt S2 bereitgestellten Ausgangsmodells mit jeweils einem der für einen der Blickwinkelbereiche 18 übergewichteten Trainingsdatensätze nachtrainiert oder getuned, um auf diese Weise die richtungsspezifischen Modelle 34 zu erzeugen. Die in dieser Variante erzeugten richtungsspezifischen Modelle 34 sind also mit allen Trainingsdaten trainiert, jedoch mit unterschiedlichen Gewichtungen der verschiedenen Blickwinkelbereiche 18. Beispielsweise können beim Erzeugen des Vorwärtsmodell 36 solche Teile oder Bilder der Trainingsdaten, die den Vorwärtsblickwinkelbereich 22 abbilden, häufiger, beispielsweise zweimal so häufig, als Trainingsdaten verwendet werden wie solche Teile oder Bilder der Trainingsdaten, die den Rückwärtsblickwinkelbereich 24 abbilden. Entsprechendes gilt für die übrigen richtungsspezifischen Modelle 34 und die entsprechenden anderen Blickwinkelbereiche 18.
Unabhängig davon wie die richtungsspezifischen Modelle 34 erzeugt wurden, können diese dann aus jeweiligen richtungsspezifischen Umgebungsdaten, die also jeweils den entsprechenden der Blickwinkelbereiche 18 abbilden, Interessenregionen vorhersagen. Experimentell hat sich gezeigt, dass in der beschriebenen Weise erzeugte richtungsspezifische Modelle 34 eine um beispielsweise bis zu 4,9% gegenüber dem Standard-BDD-A Modell verbesserte Genauigkeit beim Identifizieren von Interessenregionen erreichen können. Die so erzeugten Rol-Vorhersagen können auch zum Erzeugen von Annotationen oder Labels neuer Umgebungsdaten verwendet werden, um die Erzeugung neuer Trainingsdaten zu beschleunigen.
Die erzeugten mehreren richtungsspezifischen Modelle 34 können dann in dem Datenspeicher 32 abgelegt werden, um die Assistenzeinrichtung 14 zu erzeugen.
Insgesamt zeigen die beschriebenen Beispiele wie eine Multi-View Rol-Vorhersage unter Verwendung eines halb-beaufsichtigten Annotierungssystems (englisch: semi-supervised annotation framework) beispielsweise als Basis für autonome Fahrfunktionen realisiert werden kann.
Bezugszeichenliste

10: Kraftfahrzeug
12: Umgebungssensorik
14: Assistenzeinrichtung
16: Bordnetz
18: Blickwinkelbereiche
20: Vorwärtsrichtung
22: Vorwärtsblickwinkelbereich
24: Rückwärtsblickwinkelbereich
26: Seitenblickwinkelbereich
28: Datenschnittstelle
30: Prozessor
32: Datenspeicher
34: richtungsspezifische Modelle
36: Vorwärtsmodell
38: Rückwärtsmodell
40: Seitenmodell
42: Ablaufplan
S1 - S7: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017120112 A1 [0003]

Claims

Verfahren (42) zum Bereitstellen einer Einrichtung (14) zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion eines Kraftfahrzeugs (10) in Umgebungsdaten, die eine Fahrzeugumgebung abbilden, wobei - ein zum Bestimmen von solchen Interessenregionen trainiertes Ausgangsmodell bereitgestellt wird, - Trainingsdaten bereitgestellt werden, die Fahrzeugumgebungen in bezogen auf eine Fahrzeugrichtung (20) unterschiedlichen Blickwinkelbereichen (18) abbilden, - aus dem Ausgangsmodell mehrere richtungsspezifische Modelle (34) für jeweils einen anderen der unterschiedlichen Blickwinkelbereiche (18) erzeugt werden, indem jeweils das Ausgangsmodell unter Priorisierung von solchen der bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in einem bestimmten Blickwinkelbereich (18) abbilden, nachtrainiert wird, und - die so erzeugten mehreren richtungsspezifischen Modelle (34) als Teile (34, 36, 38, 40) der Einrichtung (14) bereitgestellt werden.
Verfahren (42) nach Anspruch 1, dadurch gekennzeichnet, dass als unterschiedliche Blickwinkelbereiche (18) ein bezogen auf eine Fahrzeuglängsrichtung (20) nach vorne gerichteter Vorwärtsblickwinkelbereich (22) und ein bezogen auf die Fahrzeuglängsrichtung (20) nach hinten gerichteter Rückwärtsblickwinkelbereich (24) verwendet werden.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als einer der unterschiedlichen Blickwinkelbereiche (18) eine Kombination von bezogen auf eine Fahrzeuglängsrichtung (20) nach links und nach rechts gerichteten Seitenblickwinkelbereichen (26) verwendet wird.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die unterschiedlichen Blickwinkelbereiche (18) eine Überlappung von höchstens 20 % oder höchstens 20° aufweisen, bevorzugt überlappungsfrei sind.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - das bereitgestellte Ausgangsmodell mittels Ausgangstrainingsdaten trainiert ist, die Fahrzeugumgebungen bezogen auf die Fahrzeugrichtung (20) in nur einem Blickwinkelbereich (18) abbilden, - das Ausgangsmodell zunächst mit den bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen (18) abbilden, nachtrainiert wird, und dann - das so für die mehreren Blickwinkelbereiche (18) nachtrainierte Ausgangsmodell zum Erzeugen der mehreren richtungsspezifischen Modelle jeweils nochmals mit einer jeweiligen Auswahl der Trainingsdaten, welche die Fahrzeugumgebungen in nur einem der unterschiedlichen Blickwinkel (18) abbildet, nachtrainiert wird.
Verfahren (42) nach einem der Ansprüche 1 bis 4 dadurch gekennzeichnet, dass - das bereitgestellte Ausgangsmodell mittels Ausgangstrainingsdaten trainiert ist, die Fahrzeugumgebungen bezogen auf die Fahrzeugrichtung (20) in nur einem Blickwinkelbereich (18) abbilden, und - das Ausgangsmodell zum Erzeugen der mehreren richtungsspezifischen Modelle (34) jeweils mit Nachtrainingsdaten nachtrainiert wird, die zumindest im Wesentlichen alle der bereitgestellten Trainingsdaten umfassen, aber eine vorgegebene Übergewichtung von Trainingsdaten für einen der unterschiedlichen Blickwinkelbereiche (18) aufweisen, bevorzugt eine zumindest zweifache Übergewichtung.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bereitgestellten Trainingsdaten und/oder zum Erzeugen des Ausgangsmodells verwendete Ausgangstrainingsdaten erzeugt werden, indem auf Umgebungsdaten eine automatische Objekterkennung und eine Erkennung von durch wenigstens einen menschlichen Betrachter bevorzugt betrachteten Aufmerksamkeitsregionen zum Festlegen von Interessenregionen kennzeichnenden Annotationen angewendet werden.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als die bereitgestellten Trainingsdaten manuell mit Interessenregionen annotierte Umgebungsdaten verwendet werden, in denen jeweils alle für wenigstens eines von mehreren in der jeweils abgebildeten Fahrzeugumgebung für das jeweilige Fahrzeug möglichen Fahrmanövern relevanten Interessenregionen gekennzeichnet sind.
Verfahren (42) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das bereitgestellte Ausgangsmodell wenigstens ein LSTM-Modul umfasst und mit Sequenzen von Ausgangstrainingsdaten trainiert ist, die eine Übergewichtung von sicherheitskritischen Fahrsituationen aufweisen.
Assistenzeinrichtung (14) für ein Kraftfahrzeug (10) zum Identifizieren von Interessenregionen in Umgebungsdaten, wobei die Assistenzeinrichtung (14) mittels eines Verfahrens (42) nach einem der vorhergehenden Ansprüche erzeugt ist.