DE102021214334B3 - Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors - Google Patents

Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors Download PDF

Info

Publication number
DE102021214334B3
DE102021214334B3 DE102021214334.2A DE102021214334A DE102021214334B3 DE 102021214334 B3 DE102021214334 B3 DE 102021214334B3 DE 102021214334 A DE102021214334 A DE 102021214334A DE 102021214334 B3 DE102021214334 B3 DE 102021214334B3
Authority
DE
Germany
Prior art keywords
data
environment detection
input data
vehicle
monitor system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021214334.2A
Other languages
English (en)
Inventor
Karl Matthias Nacken
Michelle Karg
Armin Staudenmaier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102021214334.2A priority Critical patent/DE102021214334B3/de
Priority to PCT/DE2022/200295 priority patent/WO2023110034A1/de
Application granted granted Critical
Publication of DE102021214334B3 publication Critical patent/DE102021214334B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Fahrzeugdatensystem (10) und ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors (1) und kann beispielsweise im Kontext der Weiterentwicklung von Systemen für Assistiertes oder Automatisiertes Fahren Anwendung finden.Das Fahrzeugdatensystem (10) umfasst ein Umgebungsdetektionssystem (16) und ein Monitorsystem (15) im Fahrzeug. Das Umgebungsdetektionssystem (16) ist dazu konfiguriert, Eingangsdaten X eines Umgebungserfassungssensors (1) zu empfangen und auszuwerten. Die Eingangsdaten X werden mittels eines ersten trainierten künstlichen neuronalen Netzwerks K ausgewertet und als Ergebnis der Auswertung werden Umgebungsdetektionsdaten Y' ausgegeben.Das Monitorsystem (15) ist dazu konfiguriert, dieselben Eingangsdaten X des Umgebungserfassungssensors (1) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KRauszuwerten und als Ergebnis der Auswertung werden Rekonstruktionsdaten X' ausgegeben. Im Fall, dass das Monitorsystem (15) eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt, veranlasst das Monitorsystem (15) eine Übertragung der Eingangsdaten X an eine separate Dateneinheit (20).Dadurch können Szenarien und Objekte (44) gezielt abgedeckt werden, die während der Entwicklung des Umgebungsdetektionssystems unzureichend oder gar nicht waren und folglich beim Training der neuronalen Netze als Edge Cases (Grenzfälle) nicht (hinreichend) berücksichtigt worden waren.

Description

  • Die Erfindung betrifft ein Fahrzeugdatensystem und ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors und kann beispielsweise im Kontext der Weiterentwicklung von Systemen für Assistiertes oder Automatisiertes Fahren Anwendung finden.
  • Der Stand der Technik umfasst das Trainieren von Netzwerken für Detektionsfunktionen und für Fahrzeugfunktionen basierend auf Trainingsdaten, welche beispielsweise durch Testfahrzeuge während der Entwicklung eingefahren werden. Dies beschränkt die Daten auf Szenarien, welche hierbei aufgetreten sind. Für eine umfassende Abdeckung vorn Straßenverkehrsszenarien ist eine Datensammlung im Realbetrieb von Fahrzeugen vorteilhaft. Dies ermöglicht eine weitreichende Diversität der Daten für die Selektion von Trainingsdaten.
  • Eine Datenaufnahme mit Testfahrzeugen während der Entwicklung deckt die hierbei aufgenommenen Szenarien ab. Jedoch treten während des Betriebs in Serienfahrzeugen weitere Szenarien auf, die unzureichend oder kaum von den Szenarien während der Entwicklung abgedeckt werden. Dies sind insbesondere Edge Cases (gemeint sind hiermit Grenzfälle, Sonderfälle, Einzelfälle bzw. Spezialfälle, die so selten auftreten, dass sie typischerweise von Testfahrzeugen nicht oder nur vereinzelt aufgenommen werden). Um künstliche Intelligenz (KI) zu entwickeln, welche auch die Edge Cases adressiert, ist eine Datenaufnahme im Realbetrieb der KI hilfreich. Um hierbei die Anzahl der zu übertragenden Daten an die weiterführende Entwicklung zu reduzieren, ist eine Datenselektion in den Fahrzeugen notwendig. Hierbei ist es erforderlich den Rechenaufwand für die Datenselektion so gering wie möglich zu halten, da das Budget auf dem Embedded Systems in den Fahrzeugen hierfür begrenzt ist.
  • Somit ist ein Verfahren vorteilhaft, welches wenig Rechenzeit benötigt, um die Relevanz von Straßenverkehrsszenarien für die Entwicklung von KI-Algorithmen für ADAS und AD in den Serienfahrzeugen zu bewerten.
  • Ein allgemeines Verfahren zum Erhalten von Trainingsdaten aus Serienfahrzeugen wird in WO 2020/ 056 331 A1 für einzelne Sensoren beschrieben.
  • Im Fahrzeug befindet sich ein künstliches neuronales Netzwerk, das Sensordaten auswertet. Ein Triggerklassifikator wird auf ein Zwischenergebnis des neuronalen Netzwerks angewandt, um einen Klassifikations-Score der Sensordaten zu bestimmen. Basierend zumindest teilweise auf dem Klassifikations-Score wird eine Entscheidung getroffen, ob über ein Computernetzwerk zumindest Teile der Sensordaten übertragen werden. Bei einer positiven Entscheidung werden Sensordaten übertragen und zur Generierung von Trainingsdaten verwendet.
  • Aus der DE 10 2020 205 315 A1 ist es bekannt geworden, ein autonomes Fahrzeug bei Identifikation kritischer Fahrsituationen anhand von in einem Backend-Server hinterlegter Daten zu ähnlichen kritischen Fahrsituationen nachzutrainieren.
  • DE 10 2019 127 229 A1 beschreibt Möglichkeiten zur Identifizierung nicht erlernter Objekte und Szenarien anhand eines Szenendetektionsvorgangs, bei welchem ein erzeugter Vektor von Zielobjektattributen der Fahrzeugsensordaten mit einem Vertrautheitsvektor verglichen wird, um eine Wirksamkeit des Szenendetektionsvorgangs darzustellen und zu bewerten.
  • In DE 10 2019 124 257 A1 wird vorgeschlagen, KI-Trainingsdaten extern zum Fahrzeug bereitzustellen. Im Falle, dass eine vorgebbare Filterbedingung in Abhängigkeit von einer Nutzereingabe oder von anhand eines Messsignals eines Sensors des Fahrzeugs erzeugter Fahrzeugdaten erfüllt ist, werden entsprechende Trainingsdaten ermittelt und über eine Kommunikationsschnittstelle des Fahrzeugs bereitgestellt.
  • EP 3 961 511 A1 offenbart, anhand eines semantischen Autoencoders und eines Diskriminators automatisiert relevante Trainingsdaten zu erkennen, welche noch nicht zum Training von ML-Komponenten verwendet wurden und/oder noch nicht als dauerhaft verwendete Trainingsdaten in einer Datenbasis gespeichert wurden.
  • Es ist eine Aufgabe der Erfindung, eine optimierte Möglichkeit zum effizienten Sammeln von relevanten Daten aus Fahrzeugen bereitzustellen.
  • Ein Aspekt betrifft die Identifikation von relevanten Samples und Edge Cases aus Fahrzeugflotten für eine datenbasierte Algorithmik bzw. datengetriebene Optimierung von maschinellen Lernsystemen und Verfahren.
  • Ein erfindungsgemäßes Fahrzeugdatensystem umfasst ein Umgebungsdetektionssystem und ein Monitorsystem im Fahrzeug. Das Umgebungsdetektionssystem ist dazu konfiguriert, Eingangsdaten X eines Umgebungserfassungssensors zu empfangen und auszuwerten. Die Eingangsdaten X werden mittels eines ersten trainierten künstlichen neuronalen Netzwerks K ausgewertet und als Ergebnis der Auswertung werden Umgebungsdetektionsdaten Y' ausgegeben.
  • Das Monitorsystem ist dazu konfiguriert, dieselben Eingangsdaten X des Umgebungserfassungssensors mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR auszuwerten und als Ergebnis der Auswertung werden Rekonstruktionsdaten X' ausgegeben.
  • Im Fall, dass das Monitorsystem eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt (→potentieller Edge Case), veranlasst das Monitorsystem eine Übertragung der Eingangsdaten X an eine separate Dateneinheit. Die separate Dateneinheit kann beispielsweise ein externer Server, Cloudspeicher oder ein Backbone eines V2X-Systems sein. V2X, vehicle-to-X bedeutet ein Kommunikationssystem bzw. Telematiksystem, bei dem das Fahrzeug mit anderen Teilnehmern kommuniziert.
  • In einem Ausführungsbeispiel ist das zweite künstliche neuronale Netzwerk KR ein Auto-Encoder.
  • Das beschriebene „nicht sicherheitskritische“ (Monitoring-) System wird durch einen Auto-Encoder realisiert. Dieser wird basierend auf denselben Eingangsdaten wie der betrachtete Detektionsalgorithmus oder die Funktion entwickelt. Durch sein Funktionsprinzip bietet der Auto-Encoder einen signifikanten Vorteil gegenüber möglichen anderen Ansätzen.
  • Am Beispiel von Bilddaten als Sensordaten wird dies veranschaulicht:
    • Wird ein Bild in den Auto-Encoder gegeben, versucht er dieses in der Ausgabe zu rekonstruieren. Der Auto-Encoder kann somit ohne Verwendung von zusätzlichen Labeln ausschließlich mit dem Eingangssignal trainiert werden. Dies bietet zum einen den Vorteil, dass kein Mehraufwand hinsichtlich Annotation entsteht und zum anderen den entscheidenden Vorteil, dass zu jeder Zeit (auch auf unbekannten Daten) ein Fehler in Relation zu den Eingangsdaten quantifiziert ermittelt werden kann. Hierbei bietet sich eine geeignete Schwellwertbildung an. Der Autoencoder kann auf das gesamte Bild oder auf Teilausschnitte angewandt werden.
  • Der Autoencoder kann somit bei jeden möglichen Eingangssignal seinen eigenen Fehler messen. Im Allgemeinen sind bei Methoden des maschinellen Lernens höhere Fehlerwerte zu erwarten auf Eingabedaten die nicht hinreichend mit den Trainingsdaten übereinstimmen. Dadurch dass der Autoencoder und die Detektionsfunktion auf den gleichen Daten basieren ergibt sich hierbei folgender Vorteil: unbekannte oder ungewisse Szenarien identifiziert durch den Autoencoder weisen darauf hin, dass diese Szenarien nicht ausreichend in den Trainingsdaten enthalten sind und somit für eine weitreichende Abdeckung von Verkehrsszenarien der Funktionsentwicklung relevant sind.
  • Gemäß einer Ausführungsform berechnet das Monitorsystem einen Score, der auf Grundlage der Abweichung eine Relevanz der Eingangsdaten X abschätzt.
  • In einem Ausführungsbeispiel ist das erste künstliche neuronale Netzwerk K anhand von vorgegebenen Trainingsdaten trainiert worden ist, wobei zu Eingangsdaten X_1, X_2, ..., X_n jeweils Soll-Ausgabedaten Y_1, Y_2, ..., Y_n verwendet wurden. Durch Anpassen von Gewichten des ersten neuronalen Netzwerks K wurde eine erste Fehlerfunktion minimiert, die Abweichungen zwischen Ausgaben des ersten neuronalen Netzwerks K für Eingangsdaten X_1, X_2, ..., X_n von korrespondierenden Soll-Ausgabedaten Y_1, Y_2, ..., Y_n angibt.
  • Gemäß einer Ausführungsform ist das zweite künstliche neuronale Netzwerk KR trainiert worden durch Anpassen von Gewichten des zweiten neuronalen Netzwerks KR, wobei eine zweite Fehlerfunktion minimiert wurde, die die Abweichung von Rekonstruktionsdaten X' zu Eingangsdaten X des Umgebungserfassungssensors angibt.
  • In einem Ausführungsbeispiel werden zusätzlich zu den Eingangsdaten X des Umgebungserfassungssensors Metainformationen übertragen. Metainformationen entsprechen einer oder mehrerer Information(en) aus der folgenden Gruppe: aktuelle Softwareversion, berechnete Scores des Monitorsystems, GPS-Daten, Datum, Uhrzeit, Fahrzeugidentifikationsnummer (FIN) und Cloud-Daten, die ein Nachvollziehen der Szene und/oder der Fahrzeugsituation ermöglichen. Basierend hierauf kann beispielsweise die Szene in der Entwicklung exakt nachvollzogen werden (Simulation mit demselben Softwarestand). Durch diesen Informationsgewinn können unbekannte Szenarien und Edge-Cases ausgewählt werden und direkt in den Entwicklungsprozess der Fahrzeug- bzw. Umgebungsdetektionsfunktion einfließen. Dadurch kann ein kontinuierlicher Qualitätssicherungsprozess etabliert werden. Mit jedem Entwicklungsschritt fließen mehr und mehr relevante Daten in das System ein.
  • Zusätzlich lässt sich auch ein Reifegrad der Software über die Anzahl der eintreffenden Datenübermittlungen ableiten. Je geringer die Anzahl der Datenübermittlungsvorgänge aufgrund nicht hinreichend zutreffender Prädiktionen, desto höher ist der Reifegrad der Software.
  • Gemäß einer Ausführungsform ist das Umgebungsdetektionssystem dazu konfiguriert, Eingangsdaten X einer Mehrzahl von Umgebungserfassungssensoren zu empfangen und diese gemeinsam auszuwerten.
  • Dies entspricht einem Multi-Sensor-Setup. Multi-Sensor Systeme haben den Vorteil durch Verifikation der Detektionen mehrerer Umgebungserfassungssensoren die Sicherheit von Detektionsalgorithmen für den Straßenverkehr zu erhöhen. Multi-Sensorsysteme können beispielsweise eine beliebige Kombination aus:
    • - einer bis mehreren Kameras,
    • - einem bis mehreren Radaren,
    • - einem bis mehreren Ultraschallsystemen,
    • - einem bis mehreren Lidaren,
    • - und / oder einem bis mehreren Mikrofonen
    sein.
  • Ein Multi-Sensor-System besteht hierbei aus mindestens zwei Sensoren. Die Datenaufnahme eines dieser Sensoren s zum Zeitpunkt t kann mit D_(s,t) bezeichnet werden. Die Daten D können Bilder und/oder Audioaufnahmen, sowie Messungen von Winkel, Entfernung, Geschwindigkeit und Reflexionen von Objekten in der Umgebung sein.
  • Erfindungsgemäß ist das Monitorsystem dazu konfiguriert, die Eingangsdaten X des Umgebungserfassungssensors parallel zum Umgebungsdetektionssystem zu verarbeitenund/oder das Monitorsystem ist als zusätzlicher Detektor-Head im Umgebungsdetektionssystem integriert. Das Monitorsystem und das Umgebungsdetektionssystem nutzen dann einen gemeinsamen Encoder.
  • In einem Ausführungsbeispiel sind die Eingangsdaten des Umgebungserfassungssensors Bilddaten. Das Monitorsystem ist dazu konfiguriert, das gesamte Bild oder einen Teilausschnitt des Bildes zu rekonstruieren. Es kann zusätzlich einen Wert für den Fehler der Rekonstruktion schätzen und auszugeben.
  • Gemäß einer Ausführungsform ist das Monitorsystem dazu konfiguriert, ein Unsicherheitsmaß zu bestimmen und auszugeben. Das Unsicherheitsmaß gibt an, wie sicher sich das Monitorsystem bei der Ausgabe seiner Rekonstruktionsdaten X' ist.
  • In einem Ausführungsbeispiel ist das Monitorsystem dazu konfiguriert, eine zeitliche Konsistenz der Rekonstruktionsdaten X' zu berücksichtigen.
  • Gemäß einer Ausführungsvariante wird dabei unterschieden, ob eine Abweichung der Rekonstruktionsdaten X' des Monitorsystems von den Eingangsdaten X kontinuierlich oder nur für begrenzte Zeiträume auftritt.
  • In einem Ausführungsbeispiel sind das Umgebungsdetektionssystem und das Monitorsystem derart konfiguriert, dass beide over the air - updatefähig sind.
  • Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors. Das Verfahren umfasst die Schritte:
    • Auswerten von Eingangsdaten X des Umgebungserfassungssensors durch ein Umgebungsdetektionssystem mittels eines ersten trainierten künstlichen neuronalen Netzwerks;
    • Ausgeben der beim Auswerten ermittelten Umgebungsdetektionsdaten Y';
    • Auswerten derselben Eingangsdaten X des Umgebungserfassungssensors durch ein Monitorsystem mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR;
    • Ausgeben der beim Auswerten ermittelten Rekonstruktionsdaten X';
    • Veranlassen einer Übertragung der Eingangsdaten X an eine separate Dateneinheit in dem Fall, dass eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X festgestellt wird, die einen Schwellwert übersteigt.
  • Verarbeiten der Eingangsdaten X des Umgebungserfassungssensors (1) parallel zum Umgebungsdetektionssystem (16) und/oder gemeinsames Nutzen eines Encoders durch das Monitorsystem (15), welches als zusätzlicher Detektor-Head im Umgebungsdetektionssystem (16) integriert ist, und das Umgebungsdetektionssystem (16).
  • Die Bewertung der Relevanz von Verkehrsszenarien kann weiterhin verbessert werden durch die Berücksichtigung von Multi-Sensor-Setups, des zeitlichen Verlaufs, und der Schätzung von Sicherheit, mit welchem ein Netzwerk eine Ausgabe prädiziert. Weiterhin ist ein geringer Rechenzeitaufwand für eingebettete Systeme vorteilhaft.
  • Diese Punkte werden z.B. dadurch adressiert, dass ein rechenarmer Monitorsystem bzw. Autoencoder-Ansatz gewählt wird und dieser für Multi-Sensor-Systeme, um Konfidenzschätzungen und um zeitliche Verifikation erweitert wird.
  • Im Folgenden werden Ausführungsbeispiele und Figuren näher erläutert. Dabei zeigen
    • 1 ein Fahrzeug mit einem Umgebungserfassungssensor und einem Datensystem,
    • 2 einen Umgebungserfassungssensor, ein Datensystem und eine separate Dateneinheit,
    • 3 ein Ausführungsbeispiel eines Klassifikationssystems als Umgebungsdetektionssystem und eines Monitorsystems,
    • 4 ein Fahrzeug, welches eine unbekannten Szene/ Situation erfasst,
    • 5 ein Graustufenbild einer Fahrzeugkamera, welches eine Überbelichtung aufgrund von fehlerhafter Belichtungssteuerung aufweist und
    • 6 ein Graustufenbild einer Fahrzeugkamera, welches ein Kunstwerk enthält, was zu einer unerwarteten Situation bei der Auswertung führen kann.
  • 1 zeigt ein Fahrzeug 2 mit einem Umgebungserfassungssensor 1 und einem Datensystem 10. Der dargestellte Umgebungserfassungssensor 1 entspricht einer Kamera, die im Inneren des Fahrzeugs 2 angeordnet ist - etwa im Bereich des Rückspiegels - und durch die Windschutzscheibe des Fahrzeugs 2 die Umgebung des Fahrzeugs erfasst. Weitere Umgebungserfassungssensoren 1 des Fahrzeugs 2 können beispielsweise Kamera-, Radar-, Lidar- und/oder Ultraschallsensoren sein (nicht dargestellt). Sämtliche Umgebungserfassungssensoren 1 zeichnen Daten auf, die Informationen über die Umgebung des Fahrzeugs 2 enthalten. Die Daten werden an das Datensystem 10 des Fahrzeugs übertragen und von diesem verarbeitet. Das Datensystem kann beispielsweise ein Steuergerät umfassen, z.B. ein Steuergerät für Assistiertes oder Automatisiertes Fahren (ADAS oder AD, z.B. eine Automated Driving Control Unit, ADCU), welches aus den Sensordaten Detektionen ableitet und ein gewisses Verständnis der Fahrzeugumgebung und der Verkehrssituation gewinnt. Aufgrund dieser Detektionen können beim Assistierten Fahren Warnungen an den Fahrer oder begrenzte Eingriffe in die Fahrzeugsteuerung erfolgen, beim Automatisierten Fahren kann eine ADCU die Kontrolle über das Fahrzeug 2 insgesamt ausüben.
  • 2 zeigt einen Umgebungserfassungssensor 1, ein Datensystem 10 und eine separate Dateneinheit 20.
  • Das Datensystem 10 ist mit mindestens einem Umgebungserfassungssensor 1, z.B. einer Bildaufnahmevorrichtung, in einem Fahrzeug 2 elektrisch verbunden ist. Die Bildaufnahmevorrichtung kann eine Frontkamera eines Fahrzeugs sein. Die Frontkamera dient als Sensor der Erfassung der Umgebung, die vor dem Fahrzeug liegt. Basierend auf den Signalen bzw. Bilddaten der Frontkamera kann die Umgebung des Fahrzeugs 2 detektiert werden. Auf Grundlage der Umgebungsdetektion können ADAS- oder AD-Funktionen durch eine ADAS/AD-Steuereinheit bereitgestellt werden, z.B. eine Fahrspurerkennung, Spurhalteunterstützung, Verkehrszeichenerkennung, Tempolimit-Assistenz, Verkehrsteilnehmererkennung, Kollisionswarnung, Notbremsassistenz, Abstandsfolgeregelung, Baustellenassistenz, ein Autobahnpilot, eine Cruising-Chauffeurfunktion und/oder ein Autopilot.
  • Die Bildaufnahmevorrichtung umfasst typischerweise eine Optik bzw. ein Objektiv und einen Bildaufnahmesensor, z.B. einen CMOS-Sensor.
  • Die vom Umgebungserfassungssensor 1 erfassten Daten bzw. -signale werden an eine Eingangsschnittstelle 12 des Datensystems 10 übertragen. Die Daten werden im Datensystem 10 von einem Datenprozessor 14 prozessiert. Der Datenprozessor 14 umfasst ein Umgebungsdetektionssystem 16 und ein Monitorsystem 15. Das Umgebungsdetektionssystem 16 kann ein erstes künstliches neuronales Netzwerk umfassen, beispielsweise ein CNN. Das Umgebungsdetektionssystem 16 kann neben reinen Detektionen auch ein umfassenderes Umgebungs- und Situationsverständnis erstellen, beispielsweise eine Prädiktion von Trajektorien des eigenen Fahrzeugs 2 aber auch anderer Objekte oder Verkehrsteilnehmer in der Umgebung des Fahrzeugs 2. Die Detektionen des Umgebungsdetektionssystems 16 können sicherheitsrelevant sein, denn von ihnen hängen Aktionen oder Warnungen eine ADAS- bzw. AD-Systems des Fahrzeugs ab. Das Monitorsystem 15 ist dagegen nicht sicherheitskritisch, denn seine Hauptaufgabe ist eine Überwachung des Umgebungsdetektionssystems 16 und eine Entscheidung, ob Daten an eine separate Dateneinheit 20 übertragen werden soll oder nicht. Das Monitorsystem 15 kann ein zweites künstliches neuronales Netzwerk umfassen, beispielsweise einen Auto-Encoder.
  • Damit die künstlichen neuronalen Netzwerke die Daten im Fahrzeug in Echtzeit prozessieren kann, kann das Datensystem 10 oder der Datenprozessor 14 einen oder mehrere Hardwarebeschleuniger für künstliche neuronale Netzwerke umfassen.
  • Wenn eine Detektion des Monitorsystems 15 eine Abweichung gegenüber der Detektion des Umgebungsdetektionssystems 16 aufweist, die z.B. einen Schwellwert übersteigt, dann nimmt das Datensystem 10 über eine Ausgabeschnittstelle 18 eine drahtlose Übertragung der Daten an eine separate Dateneinheit 20 (Cloud, Backbone, Infrastruktur, ...) vor.
  • 3 zeigt ein Ausführungsbeispiel eines Klassifikationssystems als Umgebungsdetektionssystem und eines Monitorsystems.
  • Das Klassifikationssystem K klassifiziert z.B. Objekte auf Grundlage von Sensordaten X des Umgebungserfassungssensors 1. Zusätzlich zum Klassifikationssystem K wird ein zweites unabhängiges und zusätzliches Monitorsystem KR eingeführt.
  • 3a zeigt ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines Klassifikationssystems K und eines Monitorsystems mittels maschinellem Lernen. Beim Training werden beide Systeme mit den selben Sensordaten X trainiert.
  • Zum Trainieren des Klassifikationssystems K, das beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network ist, werden Trainings-Eingabedaten X und Trainings-Zielwerte Y bereitgestellt. Mittels des Klassifikationssystems K werden aus den Trainings-Eingabedaten X Ausgabedaten Y' erzeugt. Mittels des Monitorsystems KR (Auto-Encoder) werden aus den Trainings-Eingabedaten X Rekonstruktionsdaten X' erzeugt, die den Trainings-Eingabedaten X ähnlich sind. Ziel des Trainings des Klassifikationssystems K ist es, dass die Ausgabedaten Y' den Trainings-Zielwerten Y so ähnlich wie möglich sind, ohne eine Überanpassung vorzunehmen.
  • Dazu wird aus den erzeugten Ausgabedaten Y' und den Trainings-Zielwerten Y mittels einer ersten Fehlerfunktion Loss die noch vorhandenen Abweichungen zwischen den Ausgabedaten Y' und den Trainings-Zielwerten Y ermittelt. Diese Abweichungen werden beispielsweise über eine Backpropagation zu einer Anpassung von Parametern des Klassifikationssystems K verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
  • Das Monitorsystem KR basiert auf einem Auto-Encoder und benötigt deshalb neben den eigentlichen Sensordaten X keine weiteren Annotationen. Ziel des Trainings des Monitorsystems KR ist es, dass die Rekonstruktionsdaten X' den Trainings-Eingabedaten X so ähnlich wie möglich sind. Dazu wird aus den erzeugten Rekonstruktionsdaten X' und den Trainings-Eingabedaten X mittels einer zweiten Fehlerfunktion Loss2 die noch vorhandenen Abweichungen zwischen den Rekonstruktionsdaten X' und den Trainings-Eingabedaten X ermittelt. Diese Abweichungen werden beispielsweise über eine Backpropagation zu einer Anpassung von Parametern des Monitorsystems KR verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
  • Das Trainieren des Monitorsystems KR kann beispielsweise auch nach dem Trainieren des Klassifikationssystems K erfolgen, wobei beachtet werden muss, dass die gleichen Trainings-Eingabedaten X verwendet werden müssen.
  • Der Auto-Encoder bzw. das Monitorsystem KR kann zu jeder Zeit seine Ausgabe zu den ursprünglichen Sensordaten vergleichen und (mittels einer Metrik) einen quantifizierten Fehler bzw. eine quantifizierte Unsicherheit U berechnen. Die Abweichung der Rekonstruktionsdaten X' von den Eingabedaten X wird mittels einer Metrik bestimmt. Der so bestimmte Abweichungswert quantifiziert die Unsicherheit U der Ausgabedaten Y'.
  • 3b zeigt ein Flussdiagramm eines zum Ausführungsbeispiel der 3a passenden Verfahrens zur Anwendung des Klassifikationssystems K und des Monitorsystems KR. Es ermöglicht die Quantifizierung von Unsicherheiten U der Ausgabedaten Y' des Klassifikationssystems K.
  • Dieses Prinzip hat den Vorteil, dass das Monitorsystem KR selbst in der Anwendung (Inferenz) mittels der Metrik den Fehler seiner Rekonstruktionsdaten X' in Relation zum Eingangssignal bzw. den Eingangsdaten X messen kann, und das zu jedem Zeitpunkt.
  • Da sowohl das Klassifikationssystem K als auch das Monitorsystem KR auf denselben Daten entwickelt wurden, weisen beide Systeme vergleichbare Defizite auf. Da die Defizite der Ausgabedaten Y' im Falle des Klassifikationssystems K aber in der Anwendung nicht mehr messbar sind, können sie aus der Relation mit dem Monitorsystem KR identifiziert werden.
  • Als Beispiel seien die Eingabedaten X Bilddaten eines Bildes und die Ausgabedaten Y' Klassifikationsdaten, die auf dem Bild dargestellten Objekten entsprechen. Ist es nun möglich, mittels des Monitorsystems KR ein rekonstruiertes Bild X' zu erzeugen, das dem ursprünglichen Bild X ähnlich ist, dann deutet das darauf hin, dass beim Trainieren des Monitorsystems KR und des Klassifikationssystems K schon ähnliche Eingabedaten X vorhanden waren, so dass die Unsicherheit U der Ausgabedaten Y' gering ist. Ist jedoch das rekonstruierte Bild X' stark vom ursprünglichen Bild X verschieden, dann deutet dies darauf hin, dass keine ähnlichen Eingabedaten X zum Trainieren des des Monitorsystems KR und des Klassifikationssystems K verwendet wurden und demnach die Unsicherheit U der Ausgabedaten Y' groß ist.
  • Eine große Unsicherheit U ist somit ein Hinweis, dass es sich bei den Eingangs- bzw. Eingabedaten um einen Edge Case handeln könnte.
  • 4 zeigt schematisch ein Fahrzeug 2, welches eine unbekannten Szene/ Situation erfasst. Im Erfassungsbereich 44 des Umgebungserfassungssensors des Fahrzeugs befindet sich ein außergewöhnliches Objekt 42, nämlich ein Elefant. Es kommt in der Anwendung der trainierten Systeme nun zu einer Situation, die während der Entwicklung nicht hinreichend abgebildet wurde, da in den Trainingsdaten keine Elefant als außergewöhnliches Objekt 42 enthalten war. Diese grenzwertige Situation kann durch das Monitorsystem KR identifiziert werden, symbolisiert durch das Ausrufezeichen bzw. Achtung! Symbol 46 in 4. Die vom Umgebungserfassungssensor erfassten Daten können dann anschließend verwendet werden, um das Detektionssystem K weiterzuentwickeln. Dazu können die Daten beispielsweise über eine Telematikeinrichtung drahtlos übertragen werden 48 an eine externe Dateneinheit, z.B. an einen Server bzw. an eine Cloud 50. Im Rahmen eines möglichen Entwicklungsprozesses, werden die in der Cloud gespeicherten Daten verwendet, um zukünftig auch mittels optimiertem Training auf derartige Grenzfälle vorbereitet zu sein.
  • Mit diesem System eine Vielzahl von nicht ausreichend in den Trainingsdaten repräsentierten Daten identifizieren. Nicht ausreichend repräsentierte Daten können durch Limitationen des Umgebungserfassungssensors in besonderen Fahrsituationen aber auch schlicht durch ungewöhnliche Umgebungsszenarien bedingt sein. oder aber auch schlicht
  • 5 zeigt schematisch ein Graustufenbild einer Fahrzeugkamera, welches eine Überbelichtung aufgrund von fehlerhafter Belichtungssteuerung aufweist. Eine Klassifikation dieses zu hellen und kontrastarmen Bildes wird in den meisten Fällen nicht gelingen. Eine solche Situation tritt in ähnlich gelagerten Fahrsituationen aufgrund der Limitationen der Belichtungssteuerung häufig auf, z.B. kurzzeitig bei einer Ausfahrt aus einem Tunnel. Die Ursache ist hier sensorischer Natur.
  • 6 zeigt schematisch ein Graustufenbild, das unerwartete Effekte von moderner Kunst an einer Verkehrsinsel einer Straße wiedergibt. Dargestellt ist das Kunstwerk „Traffic Light Tree“, 5TG, Trafalgar Way, Blackwall, London, Großbritannien.
  • Das moderne Kunstwerk besteht aus mehreren Ampeln. Diese dienen nicht der Verkehrsregelung. Eine kamerabasierte Ampelerkennung wäre damit überfordert, diesem Kunstwerk eine verkehrsregelnde Information zuzuordnen.
  • Im Folgenden werden weitere Aspekte und Ausführungsbeispiele beschrieben:
    • Der Übergang von assistierten zu autonomem Fahren stellt eine technische Hürde dar. Ein autonomes System muss auch komplexe Szenarien beherrschen, die eventuell nicht durch die Simulation oder Erprobungsfahrten abgedeckt wurden.
    • Das Ziel ist es hierbei, dass die Umfelderfassung für Fahrzeugfunktionen zu jeder Zeit und in möglichst zahlreichen Szenarien - idealerweise allen Szenarien - zuverlässig funktioniert.
  • Um dieses Problem zu lösen, schlagen wir ein zusätzliches Monitorsystem vor, also ein nicht sicherheitskritisches System, dass diese komplexen und relevanten Daten automatisiert für die Entwicklung aus dem realen Straßenverkehr einholt. Da sich die „relevanten“ Daten mit jeder Softwareversion kontinuierlich verschieben können, ist es darüber hinaus erforderlich, dass das System updatefähig ist und zu den rohen Daten zusätzlich eine Versionierung aufweist. Im Detail sieht das Gesamtsystem wie folgt aus:
    • - Die zu implementierende oder überwachende Fahrzeugfunktion wird um ein zweites unabhängiges Monitorsystem erweitert, welches auf denselben Daten basiert. Das Monitorsystem wird somit bei Anpassungen an der Fahrzeugfunktion ebenfalls angepasst.
    • - Im Betrieb überwacht das Monitorsystem anschließend kontinuierlich die Abdeckung der aktuellen Situation in Relation zu dem vom System abgedeckten Daten. Kommt es hierbei zu einer hinreichenden Abweichung, z.B. über eine Schwellwertregelung, werden die Daten für die Entwicklung erfasst und für die Weiterentwicklung der Fahrzeugfunkton übermittelt. Das Monitorsystem kann hierzu die gesamte Szene aufgenommen durch einen oder mehrere Sensoren bewerten oder Ausschnitte einer Szene, z.B. einzelne Objekte.
    • - Zusätzlich zu den Rohdaten enthält dieses Datenpaket auch Metainformationen wie die aktuelle Softwareversion, berechnete Scores des Monitorsystems über die Relevanz der Daten, GPS-Information, Datum, FIN (Fahrzeugsidentifikationsnummer), oder auch connected-vehicle-cloud Daten. Basierend hierauf kann die Szene in der Entwicklung exakt nachvollzogen werden (Simulation mit demselben Softwarestand). Durch diesen Informationsgewinn können unbekannte Szenarien und Edge-Cases ausgewählt werden und direkt in den Entwicklungsprozess der Fahrzeugfunktion einfließen. Dadurch kann ein kontinuierlicher Qualitätssicherungsprozess etabliert werden. Mit jedem Entwicklungsschritt fließen mehr und mehr relevante Daten in das System ein.
    • - Zusätzlich lässt sich auch ein Reifegrad der Software über die Anzahl der eintreffenden Datenübermittelungen ableiten.
  • Erweiterung zu Multi-Sensor/ Multi-Network-Setup
  • Das vorgeschlagene Monitorsystem betrachtet hierbei ein Sensor-Setup für Fahrzeuge im Kontext des assistierten und autonomen Fahrens. Dies kann optional auf ein Multi-Sensor-Setup erweitert werden. Multi-Sensor Systeme haben den Vorteil durch Verifikation der Detektionen mehrerer Sensoren die Sicherheit von Detektionsalgorithmen für den Straßenverkehr zu erhöhen. Multi-Sensorsysteme können hierbei eine beliebige Kombination aus:
    • - einer bis mehreren Kameras,
    • - einem bis mehreren Radaren,
    • - einem bis mehreren Ultraschallsystemen,
    • - einem bis mehreren Lidaren,
    • - und / oder einem bis mehreren Mikrofonen
    sein.
  • Ein Multi-Sensor-System besteht hierbei aus mindestens zwei Sensoren. Die Datenaufnahme eines dieser Sensoren s zum Zeitpunkt t wird im Folgenden mit D_(s,t) bezeichnet. Die Daten D können Bilder und/oder Audioaufnahmen, sowie Messungen von Winkel, Entfernung, Geschwindigkeit und Reflexionen von Objekten in der Umgebung sein.
  • Funktionsweise
  • Das beschriebene Monitorsystem (bzw. nicht sicherheitskritische System) wird durch einen Auto-Encoder realisiert. Dieser wird basierend auf denselben Daten wie der betrachtete Detektionsalgorithmus oder die Funktion entwickelt. Der Auto-Encoder kann auf unterschiedliche Weise realisiert werden. Eine Möglichkeit ist die parallele Verwendung eines Auto-Encoders zusätzlich zum Detektionsalgorithmus, eine andere Möglichkeit ist die Realisierung als zusätzlicher Detektor-Head, heißt die Verwendung eines gemeinsamen Encoders für Detektion und Auto-Encoder. Auch eine Verwendung als nachfolgendes System wäre denkbar, also ein Monitorsystem, dass nach erfolgter Umgebungsdetektion startet. Durch sein Funktionsprinzip bietet der Auto-Encoder einen signifikanten Vorteil gegenüber anderen Ansätzen. Anschaulich am Beispiel von Bilddaten:
    • Wird ein Bild in den Auto-Encoder gegeben, versucht er dieses in der Ausgabe zu rekonstruieren. Der Auto-Encoder kann somit ohne Verwendung von zusätzlichen Labeln ausschließlich mit dem Eingangssignal trainiert werden. Dies bietet zum einen den Vorteil, dass kein Mehraufwand hinsichtlich Annotation entsteht und zum anderen den entscheidenden Vorteil, dass zu jeder Zeit (auch auf unbekannten Daten) ein Fehler in Relation zu den Eingangsdaten quantifiziert ermittelt werden kann. Hierbei bietet sich eine geeignete Schwellwertbildung an. Der Autoencoder kann auf das gesamte Bild oder auf Teilausschnitte angewendet werden.
  • Der Autoencoder kann somit bei jedem möglichen Eingangssignal seinen eigenen Fehler messen. Im Allgemeinen sind bei Methoden des maschinellen Lernens höhere Fehlerwerte zu erwarten auf Eingabedaten die nicht hinreichend mit den Trainingsdaten übereinstimmen. Dadurch, dass der Autoencoder und die Detektionsfunktion auf den gleichen Daten basieren, ergibt sich hierbei folgender Vorteil: unbekannte oder ungewisse Szenarien identifiziert durch den Autoencoder weisen darauf hin, dass diese Szenarien nicht ausreichend in den Trainingsdaten enthalten sind und somit für eine weitreichende Abdeckung von Verkehrsszenarien der Funktionsentwicklung relevant sind.
  • Erweiterung um ein Unsicherheitsmaß
  • Neben der Ausgabe des Autoencoders, welcher die Rekonstruktionssicherheit des Netzwerks schätzt, ist weiterhin ein Maß für die Sicherheit, mit welcher der Autoencoder seine Entscheidung trifft, relevant. Dieses sogenannte Sicherheitsmaß ist ergänzend zu der Autoencoder-Ausgabe und insbesondere relevant, wenn die Fusion der Autoencoder-Ausgabe über verschiedene Sensoren betrachtet wird oder/und die zeitliche Fusion der Autoencoder-Ausgaben.
  • Ein derartiges Sicherheitsmaß kann über statistische Kalibrierung oder Unsicherheitsschätzung berechnet werden. Hierzu eignen sich:
    1. a) Statistische Kalibrierungsverfahren, welche die Ausgaben des Autoencoders derart gewichten, dass diese eine probabilistische Unsicherheit repräsentieren. Dieses Verfahren ist geeignet, wenn kaum Rechenressourcen zur Verfügung stehen.
    2. b) Stehen jedoch ausreichend Rechenressourcen zur Verfügung, können Modellunsicherheiten geschätzt werden: beispielsweise indem einzelne Netzwerkschichten durch Monte-Carlo-Dropout erweitert werden. Somit werden zur Laufzeit diese Netzwerkschichten und die darauffolgenden m-mal wiederholt berechnet, mit einer randomisierten Aktivierung der einzelnen neuronalen Schichten. Somit ergibt sich ein Set an Ausgaben y_i (i = 1 ...m).
    3. c) Weiterhin kann eine Messunsicherheit geschätzt werden, z.B. indem der Fehlerfunktion (Loss; Loss2) eine Regularisierung hinzugefügt wird, welche zur Laufzeit die Messunsicherheit misst.
  • Die Erweiterung zur Bestimmung von unbekannten oder ungewissen Szenen um eine Unsicherheitsschätzung ermöglicht die Bewertung von Szenen, in welchen der Klassifikator zwar korrekt entscheidet, jedoch diese Entscheidung mit einer großen Unsicherheit verbunden ist. Durch Hinzunahme der Unsicherheitsschätzung wird die Robustheit der Suche nach unbekannten Szenen, um die Suche nach ungewissen Szenen erweitert. Somit können mit dieser Architektur sowohl unbekannte Szenen als auch dem Netzwerk ungewisse Szenen selektiert werden.
  • Erweiterung um Zeitliche Konsistenz
  • Wie oben beschrieben, bietet der Autoencoder die Möglichkeit nicht hinreichend in den Trainingsdaten abgebildete Daten zu identifizieren. Kombiniert man dieses Prinzip mit der Idee von Temporal Consistency ergibt sich ein weiterer Mehrwert. Filtert man so zum Beispiel die identifizierten Daten zeitlich und unterscheidet zwischen kontinuierlich auftretenden Beispieldaten und nur vereinzelten Ausreißern ergeben sich wertvolle Zusatzinformationen.
  • Kurze Ausreißer könnten so z.B. auf sensorische Ursachen hinweisen. So könnte bei der Einfahrt in einen Tunnel der Weißabgleich der Kamera für einzelne Zeitpunkte t stark schwanken. Diese Daten wären von Relevanz für die jeweilige Sensor-Entwicklung.
  • Treten die identifizierten Daten kontinuierlich auf, so handelt es sich mit hoher Wahrscheinlichkeit um ein unbekanntes Szenario, dass für die Algorithmus-Entwicklung von Relevanz ist.
  • Folgende Vorteile ergeben sich aus genannten Ausführungsformen und Aspekten:
    • - Besonderer Vorteil: Laufzeit optimiert
    • - Anwendbar auf beliebige Sensordaten sowie Kombinationen dieser
    • - Einfach Integration in den Entwicklungsprozess, keine separate Datenaufnahme notwendig
    • - Höhere Abdeckung als Event-basierte Ansätze, die nur den Ausgang einer Fahrzeugfunktion überwachen, wie zum Beispiel den Verlust eines Objekttracks
    • - Automatische Selektion von speziell für den betrachteten Algorithmus relevanter Daten
    • - Identifikation von echten Szenarien, die nur schwer reproduzierbar sind (Unfälle, unwahrscheinliche Kombinationen von Ereignissen, ...)

Claims (13)

  1. Fahrzeugdatensystem (10) umfassend ein Umgebungsdetektionssystem (16) und ein Monitorsystem (15) im Fahrzeug (2), wobei das Umgebungsdetektionssystem (16) dazu konfiguriert ist, Eingangsdaten X eines Umgebungserfassungssensors (1) zu empfangen und mittels eines ersten trainierten künstlichen neuronalen Netzwerks K auszuwerten und als Ergebnis der Auswertung Umgebungsdetektionsdaten Y' auszugeben, das Monitorsystem (15) dazu konfiguriert ist, dieselben Eingangsdaten X des Umgebungserfassungssensors (1) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR auszuwerten und als Ergebnis der Auswertung Rekonstruktionsdaten X' auszugeben, wobei im Fall, dass das Monitorsystem eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt, das Monitorsystem (15) eine Übertragung der Eingangsdaten X an eine separate Dateneinheit (20) veranlasst, wobei das Monitorsystem (15) dazu konfiguriert ist, die Eingangsdaten X des Umgebungserfassungssensors (1) parallel zum Umgebungsdetektionssystem (16) zu verarbeiten und/oder wobei das Monitorsystem (15) als zusätzlicher Detektor-Head im Umgebungsdetektionssystem (16) integriert ist und wobei das Monitorsystem (15) und das Umgebungsdetektionssystem (16) einen gemeinsamen Encoder nutzen.
  2. Fahrzeugdatensystem (10) nach Anspruch 1, wobei das zweite künstliche neuronale Netzwerk KR ein Auto-Encoder ist.
  3. Fahrzeugdatensystem (10) nach Anspruch 1 oder 2, wobei das Monitorsystem (15) einen Score berechnet, der auf Grundlage der Abweichung eine Relevanz der Eingangsdaten X abschätzt.
  4. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das erste künstliche neuronale Netzwerk K anhand von vorgegebenen Trainingsdaten trainiert worden ist, wobei zu Eingangsdaten X_1, X_2, ..., X_n jeweils Soll-Ausgabedaten Y_1, Y_2, ..., Y_n verwendet wurden und durch Anpassen von Gewichten des ersten neuronalen Netzwerks K eine erste Fehlerfunktion (Loss) minimiert wurde, die Abweichungen zwischen Ausgaben des ersten neuronalen Netzwerks K für Eingangsdaten X_1, X_2, ..., X_n von korrespondierenden Soll-Ausgabedaten Y_1, Y_2, ..., Y_n angibt.
  5. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das zweite künstliche neuronale Netzwerk KR trainiert wurde durch Anpassen von Gewichten des zweiten neuronalen Netzwerks KR, wobei eine zweite Fehlerfunktion (Loss2) minimiert wird, die die Abweichung von Rekonstruktionsdaten X' zu Eingangsdaten X des Umgebungserfassungssensors (1) angibt.
  6. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei zusätzlich zu den Eingangsdaten X des Umgebungserfassungssensors (1) Metainformationen übertragen werden, wobei Metainformationen einer oder mehrerer Information aus der folgenden Gruppe entsprechen: aktuelle Softwareversion, berechnete Scores des Monitorsystems, GPS-Daten, Datum, Uhrzeit, Fahrzeugidentifikationsnummer und Cloud-Daten, die ein Nachvollziehen der Szene und/oder der Fahrzeugsituation ermöglichen.
  7. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Umgebungsdetektionssystem (16) dazu konfiguriert ist, Eingangsdaten X einer Mehrzahl von Umgebungserfassungssensoren (1) zu empfangen und diese gemeinsam auszuwerten.
  8. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten des Umgebungserfassungssensors (1) Bilddaten sind und wobei das Monitorsystem (15) dazu konfiguriert ist, das gesamte Bild oder einen Teilausschnitt des Bildes zu rekonstruieren.
  9. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) dazu konfiguriert ist, ein Unsicherheitsmaß zu bestimmen und auszugeben, wobei das Unsicherheitsmaß angibt, wie sicher sich das Monitorsystem (15) bei der Ausgabe seiner Rekonstruktionsdaten X' ist.
  10. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) dazu konfiguriert ist, eine zeitliche Konsistenz der Rekonstruktionsdaten X' zu berücksichtigen.
  11. Fahrzeugdatensystem nach Anspruch10, wobei unterschieden wird, ob eine Abweichung der Rekonstruktionsdaten X' des Monitorsystems (15) von den Eingangsdaten X kontinuierlich oder nur für begrenzte Zeiträume auftritt.
  12. Fahrzeugdatensystem nach einem der vorhergehenden Ansprüche, wobei das Umgebungsdetektionssystem (16) und das Monitorsystem (15) derart konfiguriert sind, dass beide over the air - updatefähig sind.
  13. Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors (1) umfassend die Schritte Auswerten von Eingangsdaten X des Umgebungserfassungssensors (1) durch ein Umgebungsdetektionssystem (16) mittels eines ersten trainierten künstlichen neuronalen Netzwerks; Ausgeben der beim Auswerten ermittelten Umgebungsdetektionsdaten Y'; Auswerten derselben Eingangsdaten X des Umgebungserfassungssensors (1) durch ein Monitorsystem (15) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR; Ausgeben der beim Auswerten ermittelten Rekonstruktionsdaten X'; und Veranlassen einer Übertragung der Eingangsdaten X an eine separate Dateneinheit (20) in dem Fall, dass eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X festgestellt wird, die einen Schwellwert übersteigt, Verarbeiten der Eingangsdaten X des Umgebungserfassungssensors (1) parallel zum Umgebungsdetektionssystem (16) und/oder gemeinsames Nutzen eines Encoders durch das Monitorsystem (15), welches als zusätzlicher Detektor-Head im Umgebungsdetektionssystem (16) integriert ist, und das Umgebungsdetektionssystem (16).
DE102021214334.2A 2021-12-14 2021-12-14 Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors Active DE102021214334B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021214334.2A DE102021214334B3 (de) 2021-12-14 2021-12-14 Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
PCT/DE2022/200295 WO2023110034A1 (de) 2021-12-14 2022-12-12 Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021214334.2A DE102021214334B3 (de) 2021-12-14 2021-12-14 Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors

Publications (1)

Publication Number Publication Date
DE102021214334B3 true DE102021214334B3 (de) 2023-06-07

Family

ID=84829711

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021214334.2A Active DE102021214334B3 (de) 2021-12-14 2021-12-14 Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors

Country Status (2)

Country Link
DE (1) DE102021214334B3 (de)
WO (1) WO2023110034A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019127229A1 (de) 2018-10-10 2020-04-16 Harman International Industries, Incorporated System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
DE102019124257A1 (de) 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von KI-Trainingsdaten in einem Fahrzeug und Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von relevanten Situationsparametern zum Trainieren einer künstlichen Intelligenzeinheit eines automatisiert fahrbaren Fahrzeuges
DE102020205315A1 (de) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
EP3961511A1 (de) 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898759B2 (en) * 2014-03-28 2018-02-20 Joseph Khoury Methods and systems for collecting driving information and classifying drivers and self-driving systems
JP7227358B2 (ja) 2018-09-14 2023-02-21 テスラ,インコーポレイテッド トレーニングデータを取得するためのシステム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019127229A1 (de) 2018-10-10 2020-04-16 Harman International Industries, Incorporated System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
DE102019124257A1 (de) 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von KI-Trainingsdaten in einem Fahrzeug und Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von relevanten Situationsparametern zum Trainieren einer künstlichen Intelligenzeinheit eines automatisiert fahrbaren Fahrzeuges
DE102020205315A1 (de) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
EP3961511A1 (de) 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen

Also Published As

Publication number Publication date
WO2023110034A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
EP2149131B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE102018200134B3 (de) Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem, Kraftfahrzeug und Servereinrichtung
DE102008013366A1 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
EP2951804A1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102020200911B3 (de) Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3729213B1 (de) Verhaltensmodell eines umgebungssensors
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
WO2013152929A1 (de) Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
DE102020209680B3 (de) Signalverarbeitungspfad, Vorrichtung zur Umfelderkennung und Verfahren zur Validierung eines automatisiert betreibbaren Fahrsystems
EP3827277B1 (de) Verfahren, system und elektronische recheneinrichtung zum überprüfen von sensoreinrichtungen von fahrzeugen, insbesondere von kraftfahrzeugen
DE102018222720B4 (de) Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
DE102019204892A1 (de) Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
DE102016212716A1 (de) Steuervorrichtung und verfahren
DE102021214334B3 (de) Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102018205146B4 (de) Testverfahren für hochauflösende Scheinwerfer mittels KI
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102020213862A1 (de) Verfahren und Umgebungserfassungssystem zum Bereitstellen von Umgebungsdaten
DE102022207617B3 (de) Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs
WO2020104355A1 (de) Verfahren und vorrichtung zum speichern von daten für ein fahrzeug
DE102021101717A1 (de) Verfahren zum Bereitstellen von fusionierten Daten, Assistenzsystem und Kraftfahrzeug
DE102023000357B3 (de) Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
EP3644582B1 (de) Verfahren, vorrichtung und zentraleinrichtung zum erkennen einer verteilungsverschiebung in einer daten- und/oder merkmalsverteilung von eingangsdaten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final