-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels.
-
Moderne Fortbewegungsmittel sind typischerweise mit einer Vielzahl von Sensoren (z.B. Kameras, Lidar-, Radar- und Ultraschallsensoren) zur Erfassung eines Umfeldes der Fortbewegungsmittel ausgestattet. Die Umfelderfassung und eine darauf basierende automatische Erkennung von Objekten im Umfeld der Fortbewegungsmittel werden vorteilhaft in Verbindung mit Systemen für einen autonomen Fahrbetrieb und/oder in Verbindung mit Fahrerassistenzsystemen der jeweiligen Fortbewegungsmittel eingesetzt. Jeweilige Ausgangssignale der hierfür verwendeten Sensoren werden in der Regel durch eines oder mehrere der vorstehend genannten Systeme ausgewertet und in geeignete Steuersignale für die Fortbewegungsmittel umgesetzt. Alternativ oder zusätzlich können durch die vorstehend genannten Systeme auch Hinweis- und/oder Warnmeldungen im Fortbewegungsmittel ausgelöst werden. Eine visuelle Ausgabe dieser Ausgangssignale im Fortbewegungsmittel findet meist nicht statt. Dies liegt unter anderem darin begründet, dass die durch die eingesetzten Sensoren erzeugten Ausgangssignale überwiegend keine direkte visuelle Repräsentation des erfassten Umfeldes erlauben, da diese Ausgangssignale beispielsweise eindimensionale Messsignale empfangener Radarechos oder Ultraschallechos usw. repräsentieren.
-
Darüber hinaus sind aus dem Stand der Technik maschinelle Lernverfahren auf Basis unterschiedlicher Algorithmen bekannt, welchen in einer Trainingsphase Trainingsdaten und mit diesen Trainingsdaten korrespondierende Zielgrößen zugeführt werden, um eine Korrelation zwischen den Trainingsdaten und den Zielgrößen automatisch zu erlernen. In einer der Trainingsphase nachgelagerten Ausführungsphase können die Algorithmen anschließend von den Trainingsdaten abweichende Eingangsdaten in Übereinstimmung mit einem trainierten Zustand der Algorithmen verarbeiten.
-
DE102017204107A1 beschreibt ein Informationsverarbeitungssystem zur Anreicherung von Umgebungsinformationen über ein Gebiet auf Basis mindestens einer Erfassungseinrichtung. Die Erfassungseinrichtung kann zur Erfassung von relevanten Objekten jede Art von Sensoren aufweisen, die geeignet sind, Objekte und deren Positionen zu detektieren. Mit Hilfe dieser Sensoren und mit Hilfe von Bild- und Objekterkennungsalgorithmen ist die Erfassungseinrichtung eingerichtet, eine Position, eine Art, eine Haltung, eine Orientierung, eine Geschwindigkeit usw. einer Person zu erkennen.
-
US9715016B2 beschreibt eine Methode zur Datenfusion von Lidar-, Radar- und Infrarotkamerasignalen bezüglich einer Geländekarte (terrain map), um eine fusionierte synthetische Darstellung für Anwendungen in der Luftfahrtnavigation zu generieren.
-
US20150145995A1 beschreibt eine Fahrzeug-zu-Fahrzeug-Kommunikation, um eine in einem ersten Fahrzeug dargestellte Ansicht einer Umgebung mittels Sensorinformationen der Umgebung aus einem zweiten Fahrzeug zu erweitern. Dies kann zum Beispiel für eine Hinderniserkennung eingesetzt werden.
-
US20100289632A1 beschreibt ein Verwenden eines Nachtsichtsystems zur Projektion kritischer Information mittels eines Head-up-Displays auf eine Windschutzscheibe eines Fahrzeugs, um einen Fahrer des Fahrzeugs zu warnen.
-
US20100104199A1 beschreibt ein Verwenden unterschiedlicher Sensoren zur Detektion eines freien Fahrpfades („free path“) für ein Fahrzeug, den das Fahrzeug autonom abfahren kann.
-
Die vorliegende Erfindung schlägt vor, insbesondere im Zusammenhang mit ungünstigen Sichtbedingungen für einen Benutzer eines Fortbewegungsmittels multimodale Informationen über ein Umfeld des Fortbewegungsmittels, welche von unterschiedlichen Sensoren aufgenommen werden können, zu fusionieren, und die Daten in ihrer Gesamtheit in eine natürliche visuelle Repräsentation zu transformieren, so dass einem Benutzer des Fortbewegungsmittels eine Wahrnehmung des Umfeldes ermöglicht wird, welche eine ähnliche Detailtreue/Detailtiefe bereitstellen kann, wie ein videobasiertes System bei guten Sichtbedingungen.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels vorgeschlagen. Das Fortbewegungsmittel kann beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Schienenfahrzeug oder ein Luftfahrzeug/Flugzeug und/oder ein Wasserfahrzeug sein. In einem ersten Schritt des erfindungsgemäßen Verfahrens wird mittels eines Dateneingangs einer erfindungsgemäßen Auswerteeinheit ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels von einer nicht videobildbasierten ersten Sensorik des Fortbewegungsmittels empfangen. Zu diesem Zweck kann die Auswerteeinheit beispielsweise über ein Bordnetz des Fortbewegungsmittels informationstechnisch mit der ersten Sensorik verbunden sein. Die erste Sensorik kann bevorzugt einen oder mehrere Sensoren umfassen, wobei die Sensoren weiter bevorzugt eingerichtet sein können, ein jeweiliges Umfeld des Fortbewegungsmittels zu erfassen. Des Weiteren können die Sensoren bereits bestehende Sensoren des Fortbewegungsmittels sein, welche parallel für das erfindungsgemäße Verfahren genutzt werden können. Alternativ oder zusätzlich können für das erfindungsgemäße Verfahren auch eigenständige Sensoren eingesetzt werden. Die erste Sensorik des Fortbewegungsmittels kann beispielsweise einen Ultraschallsensor und/oder einen Lidar-Sensor und/oder einen Radar-Sensor und/oder eine Infrarotkamera umfassen. Darüber hinaus ist es auch denkbar, weitere Sensorarten im Zusammenhang mit dem erfindungsgemäßen Verfahren einzusetzen. Eine Anordnung und/oder eine Ausrichtung der jeweiligen Sensoren am Fortbewegungsmittel unterliegen grundsätzlich keinen Beschränkungen, eine bevorzugte Anordnung wenigstens eines der verwendeten Sensoren kann im Bereich einer Frontschürze und/oder in einem vorderen Bereich eines Fahrzeugdaches sein, wobei der auf diese Weise angeordnete Sensor weiter bevorzugt in Richtung einer Hauptfahrtrichtung (d. h., aus Fahrersicht nach vorne gerichtet) des Fortbewegungsmittels ausgerichtet sei kann.
-
In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird eine einem vordefinierten Sichtfeld entsprechende videobildbasierte Repräsentation des Umfeldes des Fortbewegungsmittels auf Basis des ersten Signals und einer vordefinierten Abbildungsvorschrift erzeugt. Das heißt konkret, dass die videobildbasierte Repräsentation des Umfeldes im Wesentlichen einer Bewegtbildsequenz entsprechen kann, wie sie von einem videobildbasierten Sensor bzw. von einer Videokamera bei für einen solchen Sensor geeigneten Sichtbedingungen erzeugt würde, ohne dass ein solcher videobildbasierter Sensor im Fortbewegungsmittel tatsächlich vorhanden sein muss. Eine solche videobildbasierte Repräsentation des Umfeldes kann insbesondere auch bei schlechten Sichtbedingungen wie bei Dunkelheit oder bei Nebel erzeugt werden. Aus diesem Grund sieht das erfindungsgemäße Verfahren für die erste Sensorik Sensoren vor, deren Ausgangssignale von den Ausgangssignalen einer Videokamera (z. B. RGB-, FBAS-, Komponenten-, DVI-, HDMI-Signale usw.) abweichen. Insbesondere Sensoren wie Radar-, Ultraschall- und Lidar-Sensoren erzeugen i. d. R. keine pixelbasierten 2D-Aufnahmen und sind aus diesem Grund nicht ohne eine weitere Verarbeitung mit einer videobildbasierten Repräsentation vergleichbar. Diese weitere Verarbeitung erfolgt durch den hier beschriebenen Verfahrensschritt, indem das erste Signal durch die Auswerteeinheit mittels der Abbildungsvorschrift in geeigneter Weise transformiert wird. Das vordefinierte Sichtfeld kann bevorzugt einem Sichtfeld eines Benutzers und insbesondere einem Sichtfeld eines Fahrers des Fortbewegungsmittels entsprechen. Alternativ kann das Sichtfeld einem beliebigen gewünschten Sichtfeld entsprechen, welches beispielsweise mittels einer Benutzereingabe im Fortbewegungsmittel festgelegt werden kann.
-
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird die videobildbasierte Repräsentation des Umfeldes in einem Display des Fortbewegungsmittels angezeigt. Hierfür kann die durch die Auswerteeinheit erzeugte videobildbasierte Repräsentation mittels eines Datenausgangs der Auswerteeinheit über das Bordnetz des Fortbewegungsmittels an das Display bzw. an ein das Display ansteuerndes Steuergerät des Fortbewegungsmittels übertragen werden. Das Display des Fortbewegungsmittels kann beispielsweise ein Display eines Bordcomputersystems und/oder ein Head-up-Display und/oder ein Display eines Entertainmentsystems und/oder ein Display eines Kombiinstrumentes des Fortbewegungsmittels sein. Alternativ oder zusätzlich kann das Display ein Display einer mit dem Fortbewegungsmittel informationstechnisch verbundenen Datenbrille (z. B. eine AR-Brille oder eine VR-Brille) und/oder ein Display eines informationstechnisch mit dem Fortbewegungsmittel verbundenen tragbaren Endgerätes (z. B. ein Smart-Phone oder ein Tablet-Computer) sein. Auf diese Weise kann die erzeugte videobildbasierte Repräsentation des Umfeldes des Fortbewegungsmittels insbesondere einem Fahrer des Fortbewegungsmittels, aber auch weiteren Insassen zur Verfügung gestellt werden. In Abhängigkeit jeweiliger technischer Eigenschaften eines jeweiligen genutzten Displays und/oder in Abhängigkeit einer Benutzerpräferenz und/oder in Abhängigkeit weiterer (z. B. technischer) Randbedingungen, kann die erzeugte videobildbasierte Repräsentation in Form einer 2D-Darstellung und/oder einer Pseudo-3D-Darstellung und/oder einer 3D-Darstellung erzeugt werden.
-
Es sei darauf hingewiesen, dass das erfindungsgemäße Verfahren bevorzugt auf Basis einer Mehrzahl von Sensoren ausgeführt werden kann, welche weiter bevorzugt unterschiedliche Sensor- bzw. Wandlertypen umfassen können, so dass auf Basis solcher das erste Signal bildender multimodaler Informationen eine besonders zuverlässige Transformation des ersten Signals zur videobildbasierten Repräsentation erfolgen kann.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung umfasst das erste Signal durch die erste Sensorik erzeugte Rohwerte und/oder eine auf Basis der Rohwerte ermittelte symbolische Beschreibung von Objekten im Umfeld des Fortbewegungsmittels. Die durch die erste Sensorik erzeugten Rohwerte können beispielsweise durch einen Ultraschallsensor empfangene Ultraschallechos oder durch einen Lidar-Sensor empfangene Lichtsignale sein, welche jeweils keine direkte videobildbasierte Repräsentation des erfassten Umfeldes darstellen bzw. ermöglichen. Des Weiteren sollen unter diesen Rohwerten Werte verstanden werden, welche im Ansprechen auf eine erfolgte Messung mittels eines jeweiligen Sensors unmittelbar als Ausgangssignale bereitgestellt werden. Eine die Rohwerte stark verändernde Vorverarbeitung der Rohwerte findet dementsprechend bevorzugt nicht statt. Dies steht im Gegensatz zur symbolischen Beschreibung, welche eine entsprechende Vorverarbeitung der jeweiligen Sensorsignale erfordert. Hierfür können beispielsweise aus dem Stand der Technik bekannte Verfahren zur Bild- bzw. Objekterkennung angewendet werden, um Objekte im Umfeld des Fortbewegungsmittels auf Basis des ersten Signals identifizieren zu können. Dies bietet u. a. den Vorteil, dass auch Ausgangssignale bereits bestehender Systeme zur Umfelderkennung im Fortbewegungsmittel mittels der Abbildungsvorschrift in die videobildbasierte Repräsentation des Umfeldes überführt werden können.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird die Abbildungsvorschrift auf Basis eines maschinellen Lernverfahrens und insbesondere auf Basis eines neuronalen Netzes realisiert und/oder trainiert. Hierfür kann das maschinelle Lernverfahren zur Umsetzung der Abbildungsvorschrift derart trainiert werden, dass das erste Signal (in Form von Rohwerten und/oder symbolischer Beschreibungen jeweiliger Sensordaten) als Eingabegröße einer Eingabeschicht des maschinellen Lernverfahrens verwendet wird, während eine videobildbasierte Repräsentation des Umfeldes in Form eines zweiten Signals einer zweiten Sensorik (z. B. einer Videokamera) des Fortbewegungsmittels als Zielgröße einer Ausgabeschicht des maschinellen Lernverfahrens verwendet wird. Dies kann konkret derart umgesetzt werden, dass für eine Trainingsphase eines solchen Lernverfahrens eine geeignete repräsentative Stichprobe von Sensordaten herangezogen werden kann. Diese Stichprobe kann beispielsweise aufgezeichnete Sensordaten von einem oder von einer Mehrzahl von Fortbewegungsmitteln umfassen, welche bevorzugt eine multimodale Sensoranordnung aufweisen können. Diese Sensoranordnungen können beispielsweise multimodalen Sensoranordnungen entsprechen, wie sie im Stand der Technik für einen autonomen Fahrbetrieb von Fortbewegungsmitteln verwendet werden. Darüber hinaus können die Fortbewegungsmittel in der Trainingsphase mit einer mit der Auswerteeinheit informationstechnisch gekoppelten Videokamera ausgestattet sein, welche eingerichtet ist, das Umfeld aus einer Perspektive aufzunehmen, welche bevorzugt einem Sichtfeld des Benutzers des Fortbewegungsmittels entspricht. Hierfür kann die Videokamera in der Trainingsphase derart im bzw. am Fortbewegungsmittel angeordnet und/oder ausgerichtet werden, dass das Sichtfeld der Videokamera im Wesentlichen dem Sichtfeld des Benutzers entspricht. Des Weiteren kann die Stichprobe vorteilhaft Sensordaten umfassen, welche eine möglichst große Vielfalt bzw. Variation von Fahrsituationen bzw. Umfeldbedingungen umfassen. Zu diesem Zweck können in der Trainingsphase u. a. unterschiedliche Straßenarten wie Landstraßen, Autobahnen und städtische Straßen mit unterschiedlicher Bebauung, unterschiedliche Vegetationen usw. berücksichtigt werden. Zusätzlich können unterschiedliche Typen von Fortbewegungsmitteln im Umfeld des Fortbewegungsmittels, Fußgänger, unterschiedliche Straßenbeschaffenheiten und -verläufe usw. berücksichtigt werden. Mittels der Daten der Stichprobe kann ein durch die erfindungsgemäße Auswerteeinheit ausgeführter Algorithmus für ein maschinelles Lernverfahren trainiert werden. Hierfür kann bevorzugt ein Deep-Learning Verfahren eingesetzt werden, um ein Deep Neural Network (DNN) mit einer vordefinierten Architektur (z. B. Generative Adversarial Networks, kurz GAN, mit einer entsprechenden „cycle consistent loss function“) zu trainieren, ohne das maschinelle Lernverfahren darauf einzuschränken. Der Algorithmus kann bevorzugt mit voraufgezeichneten Daten in mehreren Iterationen trainiert werden, bis ein optimaler „loss value“ erreicht ist. Die Parameter des trainierten maschinellen Lernverfahrens können im Falle einer verwendeten DNN-Architektur anschließend in Form von Gewichten in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt werden. Die für das Training verwendete Hardware kann zum Beispiel eine Graphical Processing Unit (GPU) und/oder eine Central Processing Unit (CPU) sein. Diese Hardware kann identisch mit der oben beschriebenen erfindungsgemäßen Auswerteeinheit sein. Alternativ oder zusätzlich kann diese Hardware auch eine separate Hardware sein, welche aufgrund hierfür benötigter umfangreicher Rechen- und/oder Speicherressourcen auch eine gesonderte Hardware des Fortbewegungsmittels sein kann, welche entsprechend nur in der Trainingsphase eingesetzt werden muss. Die Parameter des auf diese Weise trainierten neuronalen Netzes können für die nachgelagerte Ausführungsphase anschließend auf die erfindungsgemäße Auswerteeinheit (bzw. deren Speichereinheit) übertragen und dort angewendet werden.
-
Im Zuge der Ausführungsphase des erfindungsgemäßen Verfahrens kann das trainierte neuronale Netz eingesetzt werden, um das erste Signal, bevorzugt auf Basis der multimodalen Sensordaten, zu verarbeiten und dadurch die videobildbasierte Repräsentation zu erzeugen, welche im Wesentlichen dem Kamerabild in der Trainingsphase entsprechen kann, unabhängig davon, ob die tatsächlichen Sichtverhältnisse während der Ausführungsphase gut oder schlecht sind. Auf diese Weise kann zum Beispiel ein Tageslichtbild bei nächtlichen Umfeldbedingungen und/oder bei Nebel erzeugt werden.
-
Es sei darauf hingewiesen, dass die Trainingsphase des maschinellen Lernverfahrens bevorzugt während einer Entwicklungsphase des Fortbewegungsmittels durchgeführt werden kann, so dass die hierfür erforderliche zweite Sensorik im Zuge einer regulären Nutzung des Fortbewegungsmittels (also nach dessen Fertigstellung) nicht mehr erforderlich ist. Zudem kann es vorteilhaft sein, die Stichprobendaten auf Basis einer Mehrzahl von Trainingsfortbewegungsmitteln zu ermitteln und diese im Zuge der Trainingsphase in geeigneter Weise zusammenzuführen. Es sei außerdem darauf hingewiesen, dass das erfindungsgemäße Verfahren für das Ermitteln der Stichprobe und die Trainingsphase alternativ oder zusätzlich während der regulären Nutzung des Fortbewegungsmittels angewendet werden kann. Auf diese Weise kann das trainierte neuronale Netz stetig an aktuelle Gegebenheiten angepasst bzw. stetig verbessert werden.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung umfasst die Abbildungsvorschrift jeweilige Zuordnungen zwischen einer Mehrzahl symbolischer Beschreibungen für Objekte im Umfeld des Fortbewegungsmittels und einer Mehrzahl von Grafikdaten. Die Grafikdaten können bevorzugt in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt sein. Die Grafikdaten können beispielsweise pixelbasierte Bilddaten und/oder vektorbasierte Bilddaten und/oder 3D-Modelldaten umfassen. Die symbolischen Beschreibungen können beispielsweise Informationen über eine Position und/oder eine Ausrichtung und/oder eine Geometrie und/oder eine Farbe und/oder eine Oberflächenstruktur und/oder eine Gattung eines jeweiligen Objektes im Umfeld des Fortbewegungsmittels umfassen. Die Abbildungsvorschrift kann auch in diesem Fall auf Basis eines maschinellen Lernverfahrens realisiert werden. In einer bevorzugten Ausführungsform kann die Abbildungsvorschrift dagegen mittels eines manuell programmierten Algorithmus umgesetzt werden, da auf diese Weise eine besonders gute Kontrolle hinsichtlich einer Zuordnung jeweiliger Parameter der symbolischen Beschreibung zu den jeweiligen Grafikdaten erfolgen kann. Hierfür kann beispielswiese eine Zuordnungstabelle vorgesehen werden, auf deren Basis die Auswerteeinheit in die Lage versetzt wird, die symbolische Beschreibung der Objekte im Umfeld in die videobildbasierte Repräsentation des Umfeldes zu überführen.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung entspricht die videobildbasierte Repräsentation des Umfeldes unabhängig von einer aktuellen Helligkeit und/oder aktueller Sichtbedingungen (z. B. aufgrund von Einschränkungen durch Nebel, Regen, Rauch usw.) einer tageslichtähnlichen Darstellung und/oder einer hinsichtlich der Sichtbedingungen im Wesentlichen störungsfreien Darstellung. Dies bietet den Vorteil, dass insbesondere ein Fahrer des Fortbewegungsmittels in die Lage versetzt wird, eine jeweilige Verkehrssituation trotz eingeschränkter Sichtbedingungen besser beurteilen zu können.
-
Es sei allgemein darauf hingewiesen, dass sowohl im Zusammenhang mit der Verwendung eines maschinellen Lernverfahrens, als auch im Zusammenhang mit der Verwendung einer manuell programmierten Abbildungsvorschrift für die symbolischen Beschreibungen, zusätzliche Einflussparameter berücksichtigt werden können, um eine Zuverlässigkeit der darauf basierenden Abbildungsvorschrift zu verbessern. So kann es beispielsweise sinnvoll sein, Positionsinformationen des Fortbewegungsmittels (welche z. B. durch ein satellitengestütztes Ortungssystem ermittelt werden) als zusätzliche Eingangsgrößen in die Eingabeschicht des neuronalen Netzes einfließen zu lassen, um positionsabhängige Einflüsse des Umfeldes auf das Erzeugen der videobildbasierten Repräsentation des Umfeldes berücksichtigen zu können (z. B. Einflüsse eines Höhenprofils einer Straße).
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels vorgeschlagen. Die Vorrichtung umfasst eine Auswerteeinheit mit einem Dateneingang und einem Datenausgang. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, Graphical Processing Unit (GPU), Central Processing Unit (CPU) o.ä., ausgestaltet und informationstechnisch mit einer internen und/oder externen Speichereinheit verbunden sein, in welcher durch die Auswerteeinheit empfangene und/oder berechnete Daten für eine nachgelagerte Verarbeitung abgelegt werden können. Die Auswerteeinheit ist in Verbindung mit dem Dateneingang eingerichtet, ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels von einer nicht videobildbasierten ersten Sensorik des Fortbewegungsmittels zu empfangen. Ferner ist die Auswerteeinheit eingerichtet, eine einem vordefinierten Sichtfeld entsprechende videobildbasierte Repräsentation des Umfeldes des Fortbewegungsmittels auf Basis des ersten Signals und einer vordefinierten Abbildungsvorschrift zu erzeugen und in Verbindung mit dem Datenausgang die videobildbasierte Repräsentation des Umfeldes in einem Display des Fortbewegungsmittels anzuzeigen.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:
- 1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
- 2 eine schematische Übersicht einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel; und
- 3 ein Beispiel für eine Abbildung eines nicht videobildbasierten Ausgangssignals einer Sensorik auf eine videobildbasierte Repräsentation eines Umfeldes eines Fortbewegungsmittels.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels. Im Schritt 100 des erfindungsgemäßen Verfahrens wird von einer Auswerteeinheit des Fortbewegungsmittels, welche hier ein Mikrocontroller ist, ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels empfangen. Das erste Signal umfasst eine Mehrzahl von Ausgangssignalen einer Mehrzahl von Ultraschallsensoren, wobei ein Ultraschallsensor in Hauptfahrtrichtung, ein Ultraschallsensor entgegen der Hauptfahrtrichtung, ein Ultraschallsensor zur linken Seite und ein Ultraschallsensor zur rechten Seite des Fortbewegungsmittels ausgerichtet ist. Zusätzlich umfasst das erste Signal ein Ausgangssignal eines Frontradarsensors und ein Ausgangssignal eines Heckradarsensors des Fortbewegungsmittels. Die Auswerteeinheit ist eingerichtet, eine Konfiguration eines in einer Trainingsphase angelernten neuronalen Netzes aus einer an die Auswerteeinheit informationstechnisch angebundenen Speichereinheit zu laden und auszuführen. Das neuronale Netz ist wiederum eingerichtet, die durch das erste Signal repräsentierten Umfeldinformationen der Mehrzahl von Sensoren in eine videobildbasierte 2D-Darstellung des Umfeldes zu transformieren. Im Schritt 200 des erfindungsgemäßen Verfahrens wird eine einem Sichtfeld eines Fahrers (bezogen auf eine durchschnittliche Augenhöhe und eine Hauptblickrichtung des Fahrers) des Fortbewegungsmittels entsprechende, videobildbasierte Repräsentation des Umfeldes des Fortbewegungsmittels auf Basis des ersten Signals und auf Basis des neuronalen Netzes erzeugt. Im Schritt 300 des erfindungsgemäßen Verfahrens wird die videobildbasierte Repräsentation des Umfeldes in Form von Daten von der Auswerteeinheit über ein Bordnetz des Fortbewegungsmittels an ein Bordcomputersystem des Fortbewegungsmittels übertragen. Das Bordcomputersystem ist eingerichtet, die Daten an ein informationstechnisch an das Bordcomputersystem angebundenes Zentraldisplay des Fortbewegungsmittels zu übertragen und die videobildbasierte Repräsentation in diesem zur Anzeige zu bringen.
-
2 zeigt eine schematische Übersicht einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel 80. Das Fortbewegungsmittel 80 umfasst eine Auswerteeinheit 10, welche hier ein Mikrocontroller ist. Die Auswerteeinheit 10 ist informationstechnisch mit einer an die Auswerteeinheit 10 angebundenen Speichereinheit 20 verbunden. Über jeweilige Dateneingänge 12 der Auswerteeinheit 10 ist die Auswerteeinheit 10 informationstechnisch über ein Bordnetz des Fortbewegungsmittels mit einem Lidar-Sensor 30 und einem Radarsensor 70 verbunden. Zusätzlich ist die Auswerteeinheit 10 mit einer Videokamera 40 informationstechnisch über das Bordnetz verbunden, wobei die Videokamera derart in einem Innenraum des Fortbewegungsmittels 80 angeordnet ist, dass ihr Sichtfeld im Wesentlichen einem Sichtfeld eines Fahrers des Fortbewegungsmittels entspricht. Der Lidar-Sensor 30, der Radarsensor 70 und die Videokamera 40 sind jeweils eingerichtet, ein aktuelles Umfeld 85 des Fortbewegungsmittels 80 zu erfassen. Die Auswerteeinheit 10 ist eingerichtet, auf Basis eines Algorithmus', welcher ein neuronales Netz realisiert, das neuronale Netz in Übereinstimmung mit dem oben beschriebenen, erfindungsgemäßen Verfahren zu trainieren. Zu diesem Zweck werden jeweilige Ausgangssignale des Lidar-Sensors 30 und des Radarsensors 70 in eine Eingangsschicht des neuronalen Netzes eingespeist, während ein Ausgangssignal der Videokamera 40 in Form einer Trainings-Zielgröße in eine Ausgangsschicht des neuronalen Netzes eingespeist wird. Nach Abschluss einer Mehrzahl von Trainingsfahrten zum Trainieren des neuronalen Netzes ist die Auswerteeinheit 10 eingerichtet, auf Basis des trainierten neuronalen Netzes und der jeweiligen Ausgangssignale des Lidar-Sensors 30 und des Radarsensors 70 eine videobildbasierte Repräsentation des aktuellen Umfeldes 85 des Fortbewegungsmittels 80 zu erzeugen. Die Auswerteeinheit 10 ist des Weiteren über einen Datenausgang 14 der Auswerteeinheit 10 informationstechnisch mit einem Bordcomputersystem 60 des Fortbewegungsmittels 80 verbunden. Über diese Verbindung ist die Auswerteeinheit 10 in der Lage, die erzeugte videobildbasierte Repräsentation des aktuellen Umfeldes 85 des Fortbewegungsmittels 80 an das Bordcomputersystem 60 zu übertragen. Das Bordcomputersystem 60 ist wiederum eingerichtet, die empfangene videobildbasierte Repräsentation an ein an das Bordcomputersystem 60 informationstechnisch angebundenes Display 50 des Fortbewegungsmittels 80 zu übertragen und diese im Display 50 zur Anzeige zu bringen.
-
3 zeigt ein Beispiel für eine Abbildung eines nicht videobildbasierten Ausgangssignals einer Sensorik eines Fortbewegungsmittels auf eine videobildbasierte Repräsentation eines Umfeldes 85 des Fortbewegungsmittels. Das linke Bild in 3 entspricht einer symbolischen Beschreibung eines auf Basis eines Lidar-Sensors des Fortbewegungsmittels ermittelten Umfeldes 85. Die auf Basis einer Punktwolke ermittelten Objekte 90 im Umfeld 85 des Fortbewegungsmittels, werden mittels des erfindungsgemäßen Verfahrens auf Basis einer Zuordnungstabelle in eine 2D-Repräsentation des Umfeldes 85 überführt. Ein Ergebnis dieser Überführung ist im rechten Bild in 3 dargestellt, welches die erzeugte Repräsentation des Umfeldes 85 in einem Display 50 des Fortbewegungsmittels zeigt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017204107 A1 [0004]
- US 9715016 B2 [0005]
- US 20150145995 A1 [0006]
- US 20100289632 A1 [0007]
- US 20100104199 A1 [0008]
