-
Die Erfindung betrifft ein Verfahren, ein Computerprogrammprodukt und eine Vorrichtung zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs.
-
Die Entwicklung und Validierung von Fahrerassistenzsystemen in Fahrzeugen werden insbesondere mit neuen Funktionen zunehmend aufwendiger und komplexer. Die anfallenden Datenmengen erreichen eine Größe, die mit traditionellen Methoden nicht mehr überblickt oder effizient ausgewertet werden können.
-
Aktuell werden einzelne Annotierungen/Labels von Daten, wie Testdaten, vorgenommen und einzeln voneinander gespeichert. Beispielsweise werden GPS-Pfade/Tracks mit manuellen Annotierungen aufgenommen und lokal gespeichert oder besondere Ereignisse, wie zum Beispiel eine automatische Sicherheitsbremsung („automated emergency braking“, AEB) automatisch zu einem Cloudspeicher übertragen. Daher sind mehrere verschiedene, voneinander unabhängige Systeme vorhanden, die parallel gepflegt werden müssen und keine effiziente Indexierung der Daten und keinen Überblick über alle Daten erlauben.
-
Beispielsweise ist aus dem Dokument
DE 10 2018 000 101 A1 ein Steuerungssystem und ein Steuerungsverfahren bekannt, bei dem jeweils nach dem Verstreichen eines vorbestimmten Zeitintervalls ein Datensatz mit Umfelddaten, Positionsdaten, Geschwindigkeitsdaten und einer Zeitinformation wiederholt erstellt und an eine Datenbank übermittelt wird, welche die übermittelten Datensätze speichern und bereitstellen kann.
-
Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes Verfahren und Computerprogrammprodukt funktionell zu verbessern. Außerdem liegt der Erfindung die Aufgabe zugrunde, eine eingangs genannte Vorrichtung strukturell und/oder funktionell zu verbessern.
-
Die Aufgabe wird gelöst mit einem Verfahren mit den Merkmalen des Anspruchs 1. Außerdem wird die Aufgabe gelöst mit einem Computerprogrammprodukt mit den Merkmalen des Anspruchs 11. Ferner wird die Aufgabe gelöst mit einer Vorrichtung mit den Merkmalen des Anspruchs 12. Vorteilhafte Ausführungen und/oder Weiterbildungen sind Gegenstand der Unteransprüche.
-
Ein Verfahren zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs, kann den Schritt umfassen: Erfassen wenigstens einer manuellen Annotierung von Rohdaten mittels einer Benutzerschnittstelle. Der Datenindex kann eine Indexierung, beispielsweise von Daten, wie Informationen, sein oder aufweisen. Die Rohdaten können von dem Fahrerassistenzsystems, beispielsweise mittels Sensoren, erfasst und/oder bereitgestellt werden. Die Rohdaten können Umfelddaten und/oder Fahrzeugdaten und/oder Positionsdaten und/oder Geschwindigkeitsdaten und/oder Zeitinformationen umfassen. Die Sensoren können Kamerasensoren, Radarsensoren, Lidarsensoren oder dergleichen sein. Eine Annotierung kann Annotierungsdaten aufweisen oder daraus gebildet sein. Eine Annotierung kann auch als Annotierungsdaten bezeichnet werden. Eine Annotierung kann ein Label sein. Eine Annotierung kann ein Datensatz, beispielsweise ein Annotierungsdatensatz, sein. Eine manuelle Annotierung kann durch einen Benutzer, beispielsweise durch manuelle Auswahl und/oder manuelles Eingeben einer Annotierung, erfolgen. Die Benutzerschnittstelle kann zum Übertragen und/oder Bereitstellen einer, beispielsweise manuell eingegebenen und/oder ausgewählten, Annotierung ausgebildet sein. Die Benutzerschnittstelle kann eine Mensch-Maschine-Schnittstelle sein. Die Benutzerschnittstelle kann eine Eingabevorrichtung, wie eine Tastatur oder dergleichen aufweisen. Die Benutzerschnittstelle kann zum Eingeben und/oder Auswählen von Daten und/oder Informationen und/oder wenigstens einer Annotierung ausgebildet sein. Die Benutzerschnittstelle kann eine Anzeigevorrichtung aufweisen. Die Anzeigevorrichtung kann ein Bildschirm, wie ein Display, sein. Die Anzeigevorrichtung kann beispielsweise ein berührungssensitiver Bildschirm, wie Touchdisplay, sein. Die Anzeigevorrichtung kann zur Informationsdarstellung und/oder Bedienung einer Anwendung, beispielsweise zum Erfassen wenigstens einer manuellen Annotierung, ausgebildet sein. Die Benutzerschnittstelle und/oder Anzeigevorrichtung kann als mobiles Gerät, wie ein Mobiltelefon, Smartphone oder Tablet, ausgebildet sein oder darin implementiert sein. Die Benutzerschnittstelle und/oder Anzeigevorrichtung kann Teil eines Computers oder Computersystems sein.
-
Das Verfahren kann ferner den Schritt umfassen: Erfassen wenigstens einer automatischen Annotierung von Rohdaten mittels einer elektronischen Datenschnittstelle. Die automatische Annotierung kann eine, beispielsweise basierend auf den Rohdaten, automatisch generierte Annotierung sein. Die automatische Annotierung kann eine ad-hoc oder eine zuvor, z.B. basierend auf Rohdaten, generierte Annotierung sein. Die automatische Annotierung kann im Kraftfahrzeug oder außerhalb des Kraftfahrzeugs generiert werden. Die automatische Annotierung kann durch ein elektronisches System, wie eine Recheneinheit oder Steuereinheit, beispielsweise ein Computer oder Prozessor, oder dergleichen erfolgen oder generiert sein. Die elektronische Datenschnittstelle kann in dem elektronischen System und/oder in der Recheneinheit implementiert sein. Die elektronische Datenschnittstelle kann wenigstens eine, beispielsweise automatisch generierte, Annotierung bereitstellen. Die elektronischen Datenschnittstelle kann zum Übertragen und/oder Bereitstellen einer, beispielsweise automatisch generierten, Annotierung ausgebildet sein.
-
Die wenigstens eine manuelle Annotierung und/oder die wenigstens eine automatische Annotierung kann getrennt und/oder zusätzlich zu den Rohdaten erfasst werden. Die Rohdaten können von den Annotierungen getrennt gespeichert und/oder behandelt und/oder verarbeitet werden. Die Rohdaten können an einen lokalen und/oder externen Speicher, wie ein Cloudspeicher, übermittelt werden.
-
Das Verfahren kann ferner den Schritt umfassen: Übermitteln der wenigstens einen manuellen Annotierung und der wenigstens einen automatischen Annotierung an eine Datenbank. Die Datenbank kann eine Datenbank für einen Datenindex sein oder zum Speichern und/oder Bereitstellen des Datenindex ausgebildet sein. Die Datenbank kann dazu ausgebildet sein, die wenigstens eine übermittelte manuelle Annotierung und die wenigstens eine übermittelte automatische Annotierung derart zu speichern und/oder zu fusionieren, so dass ein Datenindex erstellt wird. Der Datenindex kann ein fusionierter Index/Datenindex sein. Das Verfahren kann den Schritt umfassen: Speichern und/oder Fusionieren der wenigstens einen, insbesondere übermittelten, manuellen Annotierung und der wenigstens einen, insbesondere übermittelten, automatischen Annotierung in der Datenbank. Der Datenindex kann in der Datenbank gespeichert und/oder implementiert sein. Der Datenindex kann Annotierungen, wie manuelle und/oder automatische Annotierungen, aufweisen. Die Datenbank kann dazu ausgebildet sein, die Annotierungen und/oder den Datenindex zu speichern und/oder gespeicherte Annotierungen bereitzustellen. Die Datenbank kann dazu ausgebildet sein, die Annotierungen zu fusionieren. Ein elektronisches System, wie eine Recheneinheit oder Steuereinheit, beispielsweise ein Computer oder Prozessor, oder dergleichen kann dazu eingereicht sein, die wenigstens eine manuelle Annotierung und/oder die wenigstens eine automatische Annotierung an die Datenbank zu übermitteln und/oder darin zu speichern und/oder darin zu fusionieren. Die Datenbank kann zumindest einen physischen Datenspeicher und/oder eine Datenbanklogigeinheit aufweisen. Datenbanklogigeinheit kann dazu ausgebildet sein, die Annotierungen bzw. Annotierungsdatensätze strukturiert in der Datenbank abzulegen und/oder zu speichern und/oder zu fusionieren und/oder aus der Datenbank abzurufen.
-
Bei dem Verfahren kann zumindest eine, beispielsweise zusätzliche, Annotierung von Rohdaten von einem lokalen Speicher und/oder von einem Cloudspeicher abgerufen werden. Hierfür kann ein Kommunikationsmodul, beispielsweise ein Empfangsmodul und/oder Sendemodul, dienen oder vorgesehen sein. Diese Annotierung kann zusätzlich zu der wenigstens einen manuellen Annotierung und der wenigstens einen automatischen Annotierung abgerufen und/oder erfasst und/oder an die Datenbank zur Speicherung und/oder Fusionierung übermittelt werden. Das Verfahren kann den Schritt umfassen: Speichern und/oder Fusionieren der wenigstens einen, insbesondere übermittelten, manuellen Annotierung, der wenigstens einen, insbesondere übermittelten, automatischen Annotierung und der zusätzlich abgerufenen Annotierung in der Datenbank. Es kann eine Datenschnittstelle zum Erfassen der zusätzlichen Annotierung vorgesehen sein. Die von dem lokalen Speicher und/oder von dem Cloudspeicher abgerufene Annotierung kann eine manuelle und/oder automatische Annotierung sein. Das Kraftfahrzeug und/oder ein Steuersystem des Kraftfahrzeugs kann den lokalen Speicher aufweisen. Der Cloudspeicher kann teil eines externen Rechenzentrums und/oder Datenbankservers sein. Auf dem lokalen Speicher und/oder dem Cloudspeicher können Annotierungen oder Annotierungsdatensätze gespeichert sein. Der lokale Speicher und/oder der Cloudspeicher kann Annotierungen oder Annotierungsdatensätze, beispielsweise über eine Datenschnittstelle, bereitstellen. Die Datenschnittstelle kann ein Übertragungsmodul, beispielsweise zur drahtlosen Übertragung, aufweisen. Die von dem lokalen Speicher und/oder von dem Cloudspeicher abgerufene Annotierung kann an die Datenbank zur Speicherung und/oder Fusionierung der abgerufenen Annotierung übermittelt werden.
-
Die Datenbank kann innerhalb oder außerhalb des Kraftfahrzeugs, beispielsweise in einem im Kraftfahrzeug vorhandenen lokalen Datenbankserver oder in einem außerhalb vom Kraftfahrzeug realisierten Datenbankserver, implementiert sein. Die wenigstens eine manuelle Annotierung und die wenigstens eine automatische Annotierung kann zu einem lokalen Speicher, externen Speicher oder einem Cloudspeicher, beispielsweise zum Speichern in der Datenbank, übermittelt werden. Die Datenbank kann in einem externen Speicher, einer Cloud oder einem Cloudspeicher realisiert sein. Der lokale Speicher, externe Speicher oder Cloudspeicher kann ein Netzwerkspeicher sein.
-
Die Übermittlung an die Datenbank kann durch eine drahtlose Verbindung erfolgen. Hierfür kann ein Kommunikationsmodul oder Übertragungsmodul dienen oder vorgesehen sein. Die drahtlose Verbindung kann eine Mobilfunkverbindung oder Satellitenkommunikationsverbindung sein. Die drahtlose Verbindung kann zumindest zeitweise und/oder für einen definierten Zeitraum hergestellt sein. Die drahtlose Verbindung kann durch einen manuellen oder automatischen Befehl veranlasst sein.
-
Das Verfahren kann während einer Fahrt, beispielsweise Testfahrt, des Kraftfahrzeugs durchgeführt werden. Ausgewählte Schritte des Verfahrens können auch vor und/oder nach einer Fahrt durchgeführt werden. Beispielsweise kann ein Kraftfahrzeug mittels einem Kommunikationsmodul mit einem externen System, beispielsweise eine Cloud/Cloudspeicher und/oder ein Rechensystem und/oder ein Steuersystem, verbunden bzw. an dieses angeschlossen sein.
-
Bei dem Verfahren kann ein Index der Daten, wie Datenindex, insbesondere von Annotierungen, während der Fahrt, beispielsweise Testfahrt, des Kraftfahrzeugs aus Fusion verschiedener einzelner Annotierungen/Labels angelegt werden. Diese können auf einem Server on-premise oder in einer Cloud, wie Cloudspeicher, abgelegt werden. Die verschiedenen einzelnen Annotierungen können wenigstens eine manuelle Annotierung und/oder wenigstens eine automatische Annotierung und/oder wenigstens eine von einem externen Speicher, wie Cloud- und/oder Internetspeicher, abgerufene Annotierung aufweisen. Bei dem Verfahren kann die gleichzeitige Verwendung von Daten, wie Annotierungen, aus manueller Eingabe, automatisch generierten Daten/Annotierungen im Fahrzeug oder extern und aus dem Cloud- und/oder Internetspeicher vorgesehen sein.
-
Die jeweilige Annotierung kann eines oder mehrere, beispielsweise zwei oder drei, der folgenden Informationen umfassen: Referenzsensor und/oder Referenzsensortyp (zum Beispiel: GNSS, IMU, Referenzkamera, Referenzradar, Referenzlidar, Regensensor oder dergleichen), Referenz und/oder Dateiname zu den Rohdaten (diese können beispielsweise getrennt gespeichert und/oder behandelt werden), Fahrzeugsignal und/oder Fahrzeugsensor, kontinuierliches Signal oder ereignisbasiertes Signal (zum Beispiel ausgelöst durch eine automatische Sicherheitsbremsung, AEB, Kamerablendung, Schwellwertunterschreitung oder Schwellwertüberschreitung), Statusinformation (zum Beispiel S/W-Version, VIN, etc.), Signalstatistik, EDR Daten, manuelle Annotierung und/oder manuelles Label (zum Beispiel durch Benutzer, wie Fahrer, Beifahrer, Mitfahrer, Beobachter, Entwickler, etc.), Benutzerinformation, lokale Daten oder externe und/oder online Daten (zum Beispiel lokale Karte oder von einem Navigationssystem), Online Service oder Online Dienst, Clouddaten oder Cloudspeicherdaten, Online Wetterdaten (zum Beispiel Temperatur, Regenstärke, Luftfeuchtigkeit, Bewölkung, Sonnensand, etc.), Online Kartedaten (zum Beispiel HD-Karten, etc.), Offline Karten.
-
Die jeweilige Annotierung und/oder Information kann getrennt und/oder zusätzlich zu den Rohdaten aufgenommen bzw. erfasst und/oder gespeichert und/oder fusioniert werden. Die Informationen können als Eingabe verwendet werden. Zur Erzeugung der Indexierung, beispielsweise Indexierung der Daten, können wenigstens zwei oder mehrere der vorstehend genannten Informationen gespeichert und/oder fusioniert werden. Bei dem Verfahren kann einem Benutzer (zum Beispiel Annotierer, Labler, Fahrer, Beifahrer, Mitfahrer, Beobachter, Entwickler, etc.) wenigstens ein Annotierungsvorschlag mittels der Benutzerschnittstelle zur Auswahl vorgeschlagen und/oder angezeigt werden. Der Annotierungsvorschlag kann wenigstens eine der vorstehend genannten Informationen aufweisen. Falls ein Signal oder Rohdaten eine niedrige Konfidenz hat, kann dem Benutzer zumindest ein entsprechender Annotierungsvorschlag zur Auswahl vorgeschlagen und/oder angezeigt werden. Beispielsweise wenn eine Geschwindigkeitsbeschränkung zwar erkannt, aber der Wert nicht richtig interpretiert werden kann.
-
Bei der Speicherung und/oder Fusionierung der Annotierungen/Labeldaten können sowohl klassische Methoden als auch Methoden der künstlichen Intelligenz (KI) zur Anwendung kommen. Bei dem Verfahren kann die Speicherung und/oder Fusionierung der wenigstens einen manuellen Annotierung und der wenigstens einen automatischen Annotierung unter Verwendung von künstlicher Intelligenz, beispielsweise ein künstliches neuronales Netz, erfolgen. Bei dem Verfahren kann die Speicherung und/oder Fusionierung der wenigstens einen manuellen Annotierung, der wenigstens einen automatischen Annotierung und der wenigstens einen zusätzlich von einem Speicher abgerufenen Annotierung unter Verwendung von künstlicher Intelligenz, beispielsweise ein künstliches neuronales Netz, erfolgen.
-
Eine Methode der künstlichen Intelligenz kann maschinelles Lernen sein, zum Beispiel Überwachtes Lernen (supervised learning) oder Unüberwachtes Lernen (unsupervised learning). Bei dem Verfahren kann die Speicherung und/oder Fusionierung und/oder Indexierung durch maschinelles Lernen, wie Überwachtes Lernen oder Unüberwachtes Lernen, erfolgen.
-
Beim Überwachten Lernen kann dem künstlichen neuronalen Netz ein Eingangsmuster gegeben werden. Die Ausgabe, die das neuronale Netz in seinem aktuellen Zustand produziert, kann mit dem Wert verglichen werden, den es eigentlich ausgeben soll. Durch Vergleich von Soll- und Istausgabe kann auf die vorzunehmenden Änderungen der Netzkonfiguration geschlossen werden. Beim Überwachten Lernen kann dem Benutzer ein Vorschlag, wie Annotierungsvorschlag oder Labelvorschlag, gemacht bzw. angezeigt werden. Dies kann beispielsweise dann erfolgen, wenn die Konfidenz der Detektion oder des Signals oder Rohdaten, niedrig ist. Zum Beispiel wenn ein Straßenschild gesehen, dessen Inhalt aber nicht genau zugeordnet werden konnte (z.B. 70 km/h oder 90 km/h), oder ob die Stadt verlassen wurde oder nicht. Der Benutzer kann eine Alternative zu dem Vorschlag auswählen oder den Vorschlag bestätigen oder korrigieren. Damit kann das System bzw. das künstliche neuronale Netz lernen. Zusätzlich oder alternativ können hierzu auch die Rohdaten, wie Fahrzeugsignale, und/oder die oben genannten Informationen, wie Referenzsensor, online/offline Karte oder online Dienst/Cloud, dienen. Dadurch können zukünftige Vorhersagen beim Annotieren/Labeln verbessert werden.
-
Das Unüberwachte Lernen kann durch Eingabe der zu lernenden Muster erfolgen. Das künstliche neuronale Netz kann sich entsprechend den Eingabemustern von selbst verändern. Die Daten, wie Annotierungen oder Annotierungsdaten, können beim Unüberwachte Lernen in einen n-dimensionalen Zustandsraum projiziert werden (zum Beispiel Ort, Zeit, Jahreszeit, Lichtverhältnisse, Wetter, Straßentyp, Geschwindigkeit, Slip des ESP, Objektkonstellationen und deren Bewegungen, etc.). Durch Analyse des Zustandsraums können n-dimensionale Cluster und/oder Ausreißer davon gefunden werden (wie z.B. Anomalie-Detektion). Dem Benutzer können die Cluster und/oder die Ausreißer/Anomalien gemeldet und/oder angezeigt werden. Der Benutzer kann darauf entweder sofort reagieren oder zumindest eine gezielte Prüfung bei der Datenauswertung und/oder ein manuelles Annotieren/Labeln (Hand Labeling) vornehmen. Das Unüberwachte Lernen kann online oder offline, beispielsweise im Batch Modus, ausgeführt werden.
-
Beispielsweise kann ein trainiertes System bzw. künstliches neuronales Netz, dass auf einer Autobahn einen Zebrastreifen gemeldet bekommt, diesen als Ausreißer im Zustandsraum wahrnehmen bzw. identifizieren und sowohl den Benutzer informieren als auch die Daten speziell markieren. Dadurch können die Daten später ausgewertet und plausibilisiert werden. Der Benutzer oder Fahrer könnte so die gleiche Stelle noch mehrmals anfahren und so sehen, unter welchen Umständen die (wahrscheinliche) Fehldetektion auftritt. Zudem ist der Benutzer oder Fahrer/Beifahrer in der Lage viel mehr Daten direkt aufzunehmen, um gleich erkennen zu können, was die tatsächliche zugrundeliegende Wahrheit (ground truth) ist und nicht erst später während einer Nachanalyse.
-
Die Randbedingungen der Anomalie können analysiert werden. Dem Benutzer kann wenigstens ein Vorschlag gemacht oder angezeigt werden, um ein Szenario mit ähnlichen Zuständen aufzunehmen. Andere Kraftfahrzeuge einer Test- und/oder Validierungsflotte können, beispielsweise mittels einer drahtlosen Verbindung und/oder online, informiert werden, dass Szenen mit ähnlichen Zuständen benötigt werden. Die anderen Kraftfahrzeuge der Test- und/oder Validierungsflotte können zu entsprechenden Orten gesandt werden.
-
Falls ein Kraftfahrzeug zufällig einen Zustand einfährt, der von einem anderen Kraftfahrzeug eingefahren werden sollte (z.B. eine Tagesbaustelle auf einer Landstraße bei Nacht und Regen), kann dies dem anderen Kraftfahrzeug mitgeteilt und/oder in dessen Planung aufgenommen werden.
-
Die Abdeckung des Zustandsraumes kann, insbesondere parallel und/oder laufend, beobachtet werden. Es können Vorschläge ausgegeben und/oder angezeigt werden, welche Zustände noch validiert werden sollen, um den Zustandsraum sinnvoll abzudecken. Beispielsweise kann Vorgeschlagen werden, eine Parallelstraße zu wählen, um dort aktuell auftretende Anomalien, wie z.B. eine Demo auf einer Bundestraße, aufzunehmen.
-
Das Verfahren kann nicht nur für die Entwicklung und/oder Validierung verwendet werden, sondern auch nach dem sog. „Start of Operation“ (SOP), also wenn ein Kraftfahrzeug von einem Kunden genutzt wird. So kann bei einem solchen Kraftfahrzeug, dass beispielsweise drahtlos mit einem externen System, wie eine Cloud oder Cloudspeicher oder Rechenzentrum/Steuerzentrum, verbunden ist, die vorstehend und/oder nachfolgend genannten Annotierungen und/oder Informationen verwendet werden, um einen Datenindex aufzubauen. Damit können verschiedene Anwendungen abgedeckt werden. Jede Anwendung kann einzeln oder in Kombination mit einer oder mehreren anderen Anwendungen laufen bzw. durchgeführt werden.
-
Mittels des Datenindex können interessante Szenen bestimmt werden, zum Beispiel Auslösung einer automatischen Sicherheitsbremsung (AEB) im Dunkeln und bei Regen in Frankreich, und/oder entsprechende tiefergehende Daten, zum Beispiel dazugehörige Bilder im Ereignis-Daten-Recorder (Event Data Recorder) zusammen mit internen Daten der Steuergeräte, aufgezeichnet und/oder in die Cloud bzw. Cloudspeicher zur Evaluierung gesandt werden. Das kann automatisch erfolgen oder, beispielsweise im Nachhinein, auf eine Benutzeranforderung, jeweils für einzelne Kraftfahrzeuge, Teilflotten von Kraftfahrzeugen oder die komplette Flotte. Zum Beispiel kann eine Anforderung eine Anforderung der detaillierten Daten zu allen AEB Ereignissen im letzten Monat bei Dunkelheit und Regen in Deutschland sein.
-
Der Fahrer kann eine Rückmeldung geben, ob eine Fehlfunktion stattgefunden hat oder eine Funktion anders als gewünscht funktioniert hat. Diese Rückmeldung kann zusammen mit den Datenindizes aufgenommen werden. Die Rückmeldung kann automatisch oder manuell ausgewertet werden. Bei vorbestimmten Rückmeldungen oder Rückmeldungen unter bestimmten Bedingungen können entsprechend tiefergehende Daten, zum Beispiel dazugehörige Bilder im Ereignis-Daten-Recorder (Event Data Recorder) zusammen mit internen Daten der Steuergeräte, aufgezeichnet und/oder in die Cloud/Cloudspeicher zur Evaluierung gesandt werden. Das kann automatisch erfolgen oder, beispielsweise im Nachhinein, auf eine Benutzeranforderung, jeweils für einzelne Kraftfahrzeuge, Teilflotten von Kraftfahrzeugen oder die komplette Flotte. Zum Beispiel kann eine Anforderung eine Anforderung der detaillierten Daten zu allen AEB Ereignissen im letzten Monat bei Dunkelheit und Regen in Deutschland sein.
-
Die vorstehend genannten Schritte bzw. Punkte (nach dem „Start of Operation“) können jeweils einzeln oder zusammen mit den vorstehend beschriebenen Methoden der Künstlichen Intelligenz kombiniert werden.
-
Beim Unüberwachten Lernen kann der aufgenommene bzw. erstellte Datenindex in einen n-dimensionalen Zustandsraum projiziert und/oder geclustert werden. Dabei können zum Beispiel Ausreißer identifiziert und/oder detaillierte Daten zur Untersuchung von den jeweiligen Kraftfahrzeugen, z.B. direkt automatisch oder auf Anforderung, angefordert und/oder übermittelt werden.
-
Beim Überwachten Lernen kann der Fahrer eine Rückmeldung, zum Beispiel über das (nicht)erwünschte Verhalten, geben. Mittels der gesammelten Daten und einer Künstlichen Intelligenz, wie ein künstliches neuronales Netz, kann eine Vorhersage und/oder eine Optimierung der Funktion bis zum gewünschten Verhalten erfolgen.
-
Mit den vorstehend genannten Anwendungen und/oder Schritten zum Datenerfassen/Datensammeln bzw. Datenindizierung können Fahrerassistenzfunktionen, wie AD/ADAS Funktionen, die bereits in Kraftfahrzeugen von Kunden implementiert sind und/oder laufen, evaluiert werden. Die Evaluierung kann unter anderem zur Optimierung der Funktion verwendet werden. So können zum Beispiel neue Parameter entweder offline oder online in ein Steuersystem eines Kraftfahrzeugs oder einer Flotte von Kraftfahrzeugen eingespielt werden. Ferner können die Daten zur Verbesserung zukünftiger Funktionen verwendet werden.
-
Das Verfahren kann als Computerprogramm zumindest teilweise auf einem Computer, Mikrocomputer, in einer elektronischen Steuer- und/oder Recheneinheit oder auf einem Speichermedium abgespeichert und/oder dort implementiert sein. Das Computerprogramm kann software-technisch auf eine oder mehrere Speichermedien, Steuer- und/oder Recheneinheiten oder Computer, etc. verteilt sein.
-
Ein Computerprogrammprodukt kann eine Vorrichtung, wie eine Steuerung, eine Steuer- und/oder Recheneinheit/gerät, ein Steuerungssystem, einen Prozessor oder einen Computer, dazu veranlassen, das vorstehend und/oder nachfolgend beschriebene Verfahren zum Erzeugen eines Datenindex auszuführen. Hierzu kann das Computerprogrammprodukt entsprechende Datensätze und/oder das Computerprogramm aufweisen.
-
Eine Vorrichtung kann einen Prozessor, einen Speicher, eine Benutzerschnittstelle und/oder eine elektronischen Datenschnittstelle aufweisen. Die Vorrichtung kann ein Kommunikationsmodul und/oder Übertragungsmodul aufweisen. Die Vorrichtung kann dazu eingerichtet und bestimmt sein, das vorstehend und/oder nachfolgend beschriebene Verfahren zum Erzeugen eines Datenindex auszuführen. Das Computerprogrammprodukt kann in dem Speicher der Vorrichtung gespeichert sein.
-
Mit der Erfindung können alle an der Entwicklung und/oder Validierung von Fahrerassistenzfunktionen, wie AD/ADAS-Funktionen, Beteiligten schnell und effizient den Überblick über alle Daten erhalten. Der fusionierte Index, wie Datenindex, ist um mehrere Größenordnungen kleiner als die Rohdaten und kann somit datengrößeneffizient auf einem Server on-premise oder in einem Cloudspeicher berechnet/erstellt und gehostet/gespeichert werden. Dies erlaubt ein anschließendes automatisches Ablegen/Speichern der Rohdaten auf Servern/Speichern basierend auf den Informationen aus dem fusionierten Index. Ein schnelles und effizientes Auffinden von Daten durch Filter und durch alle Beteiligten wird ermöglicht. Eine Statistik der fusionierten Annotierungen/Labels kann, ohne die Rohdaten auswerten zu müssen, schnell und effizient erstellt werden. Dies kann auch schon dann erfolgen, bevor eine breite/hohe oder schnelle Datenverbindung mit den Kraftfahrzeugen, in denen die Daten aufgenommen werden, hergestellt worden ist. Eine schnelle und effiziente Analyse von Daten durch klassische Methoden oder mit Methoden der Künstlichen Intelligenz kann, ohne die Rohdaten auswerten zu müssen, erfolgen.
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren näher beschrieben, dabei zeigen schematisch und beispielhaft:
- 1 ein Flussdiagramm eines Verfahrens zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs; und
- 2 eine Vorrichtung zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs.
-
1 zeigt ein Flussdiagram eines Verfahrens zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs.
-
In einem Schritt 1 wird wenigstens eine manuelle Annotierung von Rohdaten mittels einer Benutzerschnittstelle erfasst. Die manuelle Annotierung wurde von einem Benutzer mittels der Benutzerschnittstelle manuell eingegeben.
-
In einem Schritt 2 wird wenigstens eine automatisch generierte Annotierung von Rohdaten mittels einer elektronischen Datenschnittstelle erfasst. Die automatische Annotierung wurde basierend auf den Rohdaten automatisch generiert.
-
In einem Schritt 3 wird wenigstens eine von einem externen Cloudspeicher abgerufene Annotierung von Rohdaten erfasst. Die abgerufene Annotierung kann eine zuvor manuell durch einen Benutzer eingegebene Annotierung oder eine ad-hoc oder zuvor basierend auf Rohdaten automatisch generierte Annotierung sein.
-
In einem Schritt 4 wird die wenigstens eine manuelle Annotierung, die wenigstens eine automatisch generierte Annotierung und die aus dem externen Cloudspeicher abgerufene Annotierung an eine Datenbank übermittelt.
-
In einem Schritt 5 wird die wenigstens eine manuelle Annotierung, die wenigstens eine automatisch generierte Annotierung und die aus dem externen Cloudspeicher abgerufene Annotierung in der Datenbank derart gespeichert und fusioniert, so dass ein fusionierter Datenindex erstellt wird.
-
Das vorstehend mit Bezug auf 1 beschriebene Verfahren kann teil eines Computerprogrammprodukts sein, dass eine Vorrichtung dazu veranlasst, das Verfahren zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs auszuführen.
-
2 zeigt eine Vorrichtung 6 zum Erzeugen eines Datenindex basierend auf Rohdaten eines Fahrerassistenzsystems eines Kraftfahrzeugs.
-
Die Vorrichtung 6 weist einen Prozessor 7, einen Speicher 8, eine Benutzerschnittstelle 9 und eine elektronischen Datenschnittstelle 10 auf. Die Benutzerschnittstelle 9 ist dazu eingerichtet, eine durch einen Benutzer manuell eingegebene manuelle Annotierung zu erfassen. Die elektronische Datenschnittstelle 10 ist dazu eingerichtet, eine automatisch generierte Annotierung zu erfassen.
-
Die Vorrichtung 6 weist ferner ein Kommunikationsmodul 11 zum drahtlosen Empfangen und Senden von Daten, wie Annotierungen und/oder Rohdaten, auf. Das Kommunikationsmodul 11 ist mit einem externen Cloudspeicher 12 verbunden und kann von diesem Daten empfangen und an diesen übermitteln. Im Cloudspeicher 12 ist eine Datenbank für den Datenindex implementiert.
-
Die Vorrichtung 6 weist ein Computerprogrammprodukt mit Datensätzen auf, das die Vorrichtung 6 dazu veranlasst, das vorstehend und/oder nachfolgend beschriebene Verfahren zum Erzeugen eines Datenindex auszuführen. Das Computerprogrammprodukt ist in dem Speicher 8 der Vorrichtung 6 gespeichert.
-
Im Übrigen wird ergänzend insbesondere auf 1 und die zugehörige Beschreibung verwiesen.
-
Mit „kann“ sind insbesondere optionale Merkmale der Erfindung bezeichnet. Demzufolge gibt es auch Weiterbildungen und/oder Ausführungsbeispiele der Erfindung, die zusätzlich oder alternativ das jeweilige Merkmal oder die jeweiligen Merkmale aufweisen.
-
Aus den vorliegend offenbarten Merkmalskombinationen können bedarfsweise auch isolierte Merkmale herausgegriffen und unter Auflösung eines zwischen den Merkmalen gegebenenfalls bestehenden strukturellen und/oder funktionellen Zusammenhangs in Kombination mit anderen Merkmalen zur Abgrenzung des Anspruchsgegenstands verwendet werden. Die Reihenfolge und/oder Anzahl aller Schritte des Verfahrens kann variiert werden.
-
Bezugszeichenliste
-
- 1
- Schritt zur Erfassung einer manuellen Annotierung
- 2
- Schritt zur Erfassung einer automatischen Annotierung
- 3
- Schritt zur Erfassung einer vom Cloudspeicher abgerufenen Annotierung
- 4
- Schritt zur Übermittlung der Annotierungen
- 5
- Schritt zur Speicherung und Fusionierung der Annotierungen
- 6
- Vorrichtung zum Erzeugen eines Datenindex
- 7
- Prozessor
- 8
- Speicher
- 9
- Benutzerschnittstelle
- 10
- elektronischen Datenschnittstelle
- 11
- Kommunikationsmodul
- 12
- Cloudspeicher
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018000101 A1 [0004]
