-
Die Erfindung betrifft ein Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme.
-
Die Erfassung von Vorgängen in der Fahrzeugumgebung ist ein zentraler Bestandteil für die Realisierbarkeit zukünftiger Fahrassistenzsysteme (FAS) wie beispielsweise eines Notbremsassistenten bzw. aktueller oder weiterentwickelter Varianten von „Active Cruise Control“-Systemen. Information über Vorgänge in der Fahrzeugumgebung kann insbesondere durch die Verwendung einer Vielzahl verschiedenartiger Sensoren ermittelt werden.
-
Dabei müssen die Zuverlässigkeit der Information und ihrer Verarbeitungsmethoden abhängig von den Anforderungen der Fahrassistenzsysteme gewährleistet sein. Eine wichtige Fragestellung hierbei ist, wie redundante und diversitäre Sensorinformation genutzt werden kann, um eine maximale Leistungsfähigkeit zu erreichen. Dazu müssen Sensoren derart kombiniert werden, dass sie kooperieren, sich ergänzen und konkurrieren können. Durch Sensordaten-Fusion wird die Information unterschiedlicher Sensoren vereinigt, die Robustheit und Redundanz erhöht und „neue“ Information, ggf. basierend auf Modellannahmen, abgeleitet.
-
Die Einbeziehung von Sensordaten-Fusion in Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme ist an sich bekannt. Existierende Verfahren weisen jedoch Defizite im Hinblick auf eine effiziente und zielgerichtete Verwertung der verfügbaren Daten auf.
-
Das Dokument
DE 10 2005 009 146 A1 offenbart ein Fahrerassistenzsystem für Kraftfahrzeuge, mit einer Sensoreinrichtung zur Messung von Daten über die Umwelt des Fahrzeugs, mindestens zwei Assistenzfunktionen, die von den gemessenen Daten abhängig sind, und einer Datenverarbeitungseinrichtung, die die gemessenen Daten auswertet und für jede Assistenzfunktion mindestens eine spezifische Umwelthypothese generiert, die Ausgabedaten in einer für die betreffende Assistenzfunktion aufbereiteten Form bereitstellt. In der Datenverarbeitungseinrichtung ist mindestens eine Umwelthypothese vordefiniert, die eine in mehrere Teilhypothesen gegliederte Struktur aufweist und bei der die Teilhypothesen derart in einer logischen Beziehung zu einander stehen, dass Ausgabedaten der einen Teilhypothese in die Generierung der anderen Teilhypothese einfließen, und dass mindestens zwei Assistenzfunktionen mittelbar oder unmittelbar auf eine gemeinsame Teilhypothese zugreifen.
-
Das Dokument
DE 103 08 168 A1 offenbart ein Verfahren zur Ermittlung des Fahrzeugumfeldes eines Fahrzeugs, umfassend mindestens einen externen Sensor, wobei durch den externen Sensor das Fahrzeugumfeld abgetastet wird und dem Sensor mindestens eine Sensoreinheit zugeordnet ist, und eine Auswerteeinheit, wobei durch die Auswerteeinheit mindestens ein im Fahrzeugumfeld befindliches Objekt anhand von Objektdaten ermittelt wird. Der externe Sensor überträgt Messdaten an die Sensoreinheit, die Sensoreinheit ermittelt mindestens ein assoziiertes Umfeld-Merkmal, wobei die Messdaten mit Erwartungsdaten der Messdaten assoziiert werden und dabei mindestens die physikalischen Eigenschaften des zugeordneten externen Sensors berücksichtigt werden. Ferner werden erste Objektdaten mindestens in Abhängigkeit des assoziierten Umfeld-Merkmals bestimmt und in der Auswerteeinheit wird zur Auswertung der Objektdaten ein sensorunabhängiges Situationsmodell verwendet.
-
Das Dokument
DE 198 45 568 A1 offenbart eine Vorrichtung zur Objekterfassung für Kraftfahrzeuge, umfassend eine durch eine Vielzahl von Abstands-Sensoren gebildete Abstandssensorik, die derart an dem Kraftfahrzeug angeordnet sind, dass diese die Umgebung des Kraftfahrzeugs abtasten und eine Auswerteeinheit, die aus den Daten der Abstands-Sensorik die Bewegungsbahn und die Geschwindigkeit eines Objektes relativ zu dem Kraftfahrzeug ermittelt. Die Abstands-Sensoren sind wahlweise durch die Auswerteeinheit ansteuerbar und die Reichweite und/oder die Messwiederholfrequenz und/oder die Auflösung und/oder die Betriebsart der Abstands-Sensoren sind veränderbar.
-
Aufgabe der Erfindung ist die Schaffung eines verbesserten Verfahrens zur Bereitstellung von Information für Fahrerassistenzsysteme.
-
Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Um mittels einer Messdatenverarbeitungseinheit eines mit einer Mehrzahl verschiedenartiger Umfeldsensoren ausgerüsteten Kraftfahrzeugs Objekteigenschaften betreffend zumindest ein Objekt in der Umgebung des Kraftfahrzeugs an zumindest ein Fahrerassistenzsystem des Kraftfahrzeugs bereitzustellen, werden erfindungsgemäß hypothesenbasiert Objekteigenschaften von Objekten in der Umgebung des Kraftfahrzeugs gewonnen und an das zumindest eine Fahrerassistenzsystem ausgegeben.
-
Die Bestimmung von Objekteigenschaften der Objekte in der Umgebung des Kraftfahrzeugs erfolgt mittels wiederholter Anwendung der folgenden Verfahrensschritte: Zunächst werden von jedem der Umfeldsensoren Messdaten erfasst. Dies erfolgt vorzugsweise periodisch, sodass jeder Umfeldsensor letztlich einen quasikontinuierlichen Messdatenzeitverlauf zur Verfügung stellt. Aus den aktuellen Werten und den Vergangenheitswerten der Messdaten der einzelnen Umfeldsensoren werden sodann Messdatenmerkmale abgeleitet. Die Ableitung der Merkmale basiert vorzugsweise auf kinematischen Modellen möglicher Objekte in der Fahrzeugumgebung. Anhand der abgeleiteten Messdatenmerkmale wird eine erste Zuordnung durchgeführt, bei der den Messdaten der einzelnen Umfeldsensoren jeweils zumindest eine von mehreren möglichen Messdatenhypothesen zugeordnet wird. Mindestens eine der möglichen Messdatenhypothesen betrifft dabei die Relevanz der Messdaten für ein bereits zuvor detektiertes Objekt in der Fahrzeugumgebung. Anschließend wird eine zweite Zuordnung durchgeführt, bei der Messdaten zumindest zweier Umfeldsensoren, die gemäß der ersten Zuordnung Relevanz für ein bestimmtes Objekt in der Fahrzeugumgebung besitzen, diesem Objekt zugeordnet werden. Wiederum in Abhängigkeit von dieser zweiten Zuordnung wird eine Objekthypothese angepasst, die mehrere Objekteigenschaften des Objekts umfasst. Diese Objekthypothese kann schließlich dem zumindest einen Fahrerassistenzsystem als Information zur Verfügung gestellt werden - entweder als Hypothese mit einem bestimmten Grad an Zuverlässigkeit oder bei entsprechend hoher Zuverlässigkeit als Faktum.
-
Das erfindungsgemäße Auswertungskonzept umfasst mehrere Auswertungs- und Zuordnungsstufen, in welchen die Datenmengen nach und nach reduziert und Rohdaten nach und nach in Anwendungsdaten umgewandelt werden. Dies ermöglicht eine effiziente und zielgerichtete Verwertung der verfügbaren - gegebenenfalls redundanten - Daten.
-
Zudem ist das erfindungsgemäße Verfahren geeignet, Sensorfusion und Fehlerdetektion in ein gemeinsames Konzept und eine gemeinsame Architektur zu integrieren.
-
Vorzugsweise sind die mehreren möglichen Messdatenhypothesen so gewählt bzw. festgelegt, dass sie geeignet sind, zumindest die alternativen Fälle zu unterscheiden, dass die zuletzt von dem jeweiligen Umfeldsensor erfassten Messdaten einem bestimmten bereits zuvor detektierten Objekt in der Fahrzeugumgebung zuordenbar sind oder dass die zuletzt von dem jeweiligen Umfeldsensor erfassten Messdaten einem zuvor undetektierten Objekt in der Fahrzeugumgebung zuordenbar sind oder dass ein Messfehler vorliegt.
-
Durch die frühzeitige Bewertung der Verwendbarkeit und Plausibilität der Messdaten kann die weitere Auswertung besonders effizient und zielgerichtet erfolgen.
-
Für den Fall des Vorliegens eines Messfehlers sind die mehreren möglichen Messdatenhypothesen vorzugsweise so gewählt bzw. festgelegt, dass sie geeignet sind, zumindest die alternativen Fälle zu unterscheiden, dass ein zumindest seiner Art nach bekannter Messfehler vorliegt oder dass ein zumindest seiner Art nach unbestimmter Messfehler vorliegt.
-
So kann eine verbesserte Klassifikation von Mess- und Sensorfehlern unterstützt werden.
-
Das Erfassen von Messdaten erfolgt vorzugsweise periodisch. Die auf das Erfassen der Messdaten folgenden Verfahrensschritte der Bestimmung von Objekteigenschaften werden vorzugsweise schritthaltend mit dem Erfassen der Messdaten mit derselben Wiederholrate durchgeführt.
-
Das Ableiten von Messdatenmerkmalen aus den Messdaten eines bestimmten Umfeldsensors erfolgt gemäß einer bevorzugten Ausführungsform der Erfindung, indem das Zutreffen von durch ein mathematisches Erwartungsmodell definierten Erwartungen an die Messdaten anhand des Erwartungsmodells überprüft wird. Dieses mathematische Erwartungsmodell kann in an sich erfinderischer Art und Weise zudem dazu verwendet werden, im Falle des Ausbleibens von Messdaten Ersatzmessdaten zu generieren, welche die Messdaten des Umfeldsensors ersetzen, von dem keine Messdaten mehr verfügbar sind. Dabei kann unter Nutzung von Wahrscheinlichkeits- und/oder Zuverlässigkeitsmodellen nach und nach, d.h. mit zunehmender Zeit, das in solche „extrapolierten“ Daten gesetzte Vertrauen verringert werden.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung kann alternativ oder zusätzlich bei der ersten Zuordnung eine neue Messdatenhypothese, welche die Relevanz der Messdaten für ein zuvor undetektiertes Objekt in der Fahrzeugumgebung betrifft, begründet werden, wenn die Messdaten eines Umfeldsensors anhand der abgeleiteten Messdatenmerkmale keinem zuvor detektierten Objekt in der Fahrzeugumgebung zuordenbar sind und wenn bestimmte durch ein mathematisches Erwartungsmodell definierte Erwartungen an die Messdaten erfüllt sind. Dabei kann unter Nutzung von Wahrscheinlichkeits- und/oder Zuverlässigkeitsmodellen nach und nach, d.h. mit zunehmender Zeit, das in zunächst nicht zuordenbare Daten und darauf beruhende Hypothesen gesetzte Vertrauen gesteigert werden.
-
Bei der zweiten Zuordnung wird dann eine Objekthypothese begründet, die ein zuvor undetektiertes Objekt in der Fahrzeugumgebung betrifft, wenn Messdaten, welche gemäß der ersten Zuordnung Relevanz für ein Objekt in der Fahrzeugumgebung besitzen, bei der zweiten Zuordnung keinem bereits zuvor detektierten Objekt in der Fahrzeugumgebung zuordenbar sind - und ggf. weitere Bedingungen erfüllt sind.
-
Zusätzlich können gemäß einer Weiterbildung der Erfindung Sensorfehler detektiert werden, indem Sensorfehlerhypothesen anhand zumindest einer Objekthypothese überprüft werden. Die Integration von Sensorfusion und Fehlerdetektion in ein gemeinsames Konzept und eine gemeinsame Architektur wird so unterstützt.
-
Gemäß einer besonders bevorzugten Ausführungsform der Erfindung werden insbesondere die erste und die zweite Zuordnung wahrscheinlichkeitsbasiert vorgenommen. Somit können „weiche“ Entscheidungskriterien herangezogen werden. Zunächst nicht zuverlässig erscheinende Messdaten müssen nicht verworfen oder ausgeblendet werden. Vielmehr kann im Verlaufe der Zeit ein wachsendes Vertrauen in eine darauf beruhende Hypothese begründet und diese Hypothese verwertet werden. Insbesondere ein dynamisches probabilistisches Netzwerk basierend auf dem Bayes'schen Theorem erscheint geeignet für eine Umsetzung der Erfindung.
-
Im Folgenden werden anhand der beigefügten Zeichnungen weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung sowie ein Ausführungsbeispiel beschrieben. Dabei zeigen im Einzelnen
- 1 ein Beispielsystem zur Fahrumgebungserfassung anhand verschiedenartiger Umfeldsensoren,
- 2 ein Prinzipbild zur Veranschaulichung der Rolle der Sensordaten-Fusion als Integrationsplattform verschiedener Methoden für die Verarbeitung von Sensordaten,
- 3 die Signalflüsse und Verarbeitungsstufen eines Verfahrens zur Klassifizierung von Fahrumgebungsinformation bezüglich ihrer Zuverlässigkeit,
- 4 die verwendete Architektur für den MTTFDI-Algorithmus,
- 5a,b ein Beispiel der Bewertung einer irrelevanten Objekthypothese in einer ersten typischen Fahrsituation,
- 6a,b ein Beispiel der Bewertung einer relevanten Objekthypothese in einer zweiten typischen Fahrsituation und
- 7 eine „Receiver Operating Characteristic“ (ROC)-Kurve für die Klassifizierung von Objekthypothesen.
Die umfassende und exakte Erfassung von Vorgängen in der Fahrzeugumgebung mittels einer Vielzahl verschiedenartiger Umfeldsensoren wird eine zentrale Voraussetzung für die Realisierung zukünftiger Fahrassistenzsysteme (FAS) darstellen. Dabei müssen die Zuverlässigkeit erfasster Information und ihrer Verarbeitungsmethoden abhängig von den Anforderungen des jeweiligen FAS gewährleistet sein. Um redundante und diversitäre Sensorinformation optimal zu nutzen, müssen Sensoren derart kombiniert werden, dass sie kooperieren, sich ergänzen und konkurrieren können. Durch Sensordaten-Fusion wird die Information unterschiedlicher Sensoren vereinigt, die Robustheit und Redundanz erhöht und „neue“ Information, ggf. basierend auf Modellannahmen, abgeleitet.
-
1 zeigt ein Beispielsystem zur Fahrumgebungserfassung anhand verschiedenartiger Umfeldsensoren. Bei dem in 1 in Draufsicht abgebildeten Kraftfahrzeug finden jeweils mehrere Umfeldsensoren der Kategorien Video, Lidar und Radar Verwendung. Die Erfassungsbereiche überlappen sich, woraus sich eine Redundanz der durch die Gesamtheit der Umfeldsensoren erfassten Information ergibt.
-
Neben der bereits angesprochenen Sensordaten-Fusion besteht ein weiterer wichtiger Aspekt des beispielhaft vorgestellten Verfahrens darin, die Zuverlässigkeit der Fahrumgebungsinformation trotz - oft unvermeidlicher - Sensorfehlfunktionen sicherzustellen. Sensorfehler müssen schnellstmöglich erkannt und isoliert werden. Fehlerdetektions- und Fehlerisolierungsmethoden (engl. Fault Detection and Identification - FDI) bieten hierfür verschiedene wissensbasierte Verfahren, die auf analytischen oder heuristischen Informationen beruhen. Durch die Kombination und Weiterentwicklung von Sensordaten-Fusion und FDI-Methoden kann die Fahrumgebungsinformation bezüglich Relevanz und Fehlerfreiheit evaluiert werden und so eine höhere Zuverlässigkeit der Fahrumgebungserfassung für FAS erreicht werden. Beide Ansätze können sich - wie im Folgenden gezeigt wird - ergänzen und gegenseitig überwachen, da sie teilweise gemeinsame Ziele und Strategien aufweisen.
-
2 stellt die Sensordaten-Fusion als Integrationsplattform verschiedener Methoden für die Verarbeitung von Sensordaten und zwischen Sensorhardware und FAS-Funktionen dar. Sensordaten 1 werden von einer Vielzahl von Sensoren an die Sensordaten-Fusion 4 übergeben. Die Sensordaten-Fusion 4 umfasst die Blöcke „Multiple Target Tracking“ 2 und „Fehlerdetektion und -isolierung“ 3. Die im Block Sensordaten-Fusion 4 gewonnene Information wird letztlich den Fahrerassistenzsystem-Funktionen 5 zur Verfügung gestellt. Die Gesamtheit der Fahrerassistenzsystem-Funktionen 5 setzt sich zusammen aus den Funktionen der einzelnen Fahrerassistenzsysteme FAS 1 , ... , FAS n.
-
Sensordaten-Fusion verbindet die Information diversitärer und typischerweise zumindest teilweise redundanter Sensoren so, dass eine konsistente Beschreibung des von den Sensorsystemen erfassten Raums entsteht. Dabei werden die spezifischen Sensorkonfigurationen von den Assistenzfunktionen getrennt und die Sensordaten allgemeingültig aufbereitet. Diese Abstraktionsebene ermöglicht dann eine flexible Systemauslegung, die mit unterschiedlichen Konfigurationen umgehen kann und die Abhängigkeiten zwischen Sensordaten und Applikationen der FAS verringert, um eine entsprechende Modularität und Wiederverwendbarkeit von Systemkomponenten zu erreichen. Ein wichtiger Grund für die Implementierung von Multi-Sensorsystemen und zugehörigen, teilweise rechenaufwändigen Fusionsansätzen für Sensordaten ist auch, dass in zukünftigen Fahrerassistenzsystemen Funktionen - einzeln oder in Kombination - in zunehmendem Maße mit komplexerer Fahrumgebungsinformation versorgt werden müssen. Die Robustheit, die Zuverlässigkeit und die Verfügbarkeit des gesamten Systems können erhöht werden mit Hilfe mehrfach vorhandener und verschiedenartiger Sensoren, die in konkurrierenden, sich ergänzenden und kooperierenden Konfigurationen eingesetzt werden. Voraussetzung für die Implementierung universeller Fusionsverfahren ist der Entwurf flexibler Architekturen. Sie sollen die unterschiedlichen Systemanforderungen bei der Umgebungserfassung durch Sensoren, wie verschiedene Beobachtungseigenschaften, Messprinzipien und Informationstypen erfüllen. Die Erfindung basiert auf einer an sich bekannten modularen Architektur für Sensordaten-Fusion. In eine solche Architektur lassen sich Verfahren für die Verfolgung von Objekten (z.B. Fahrzeugen, Fußgängern, Verkehrszeichen) in der Fahrumgebung und die Bestimmung ihrer Eigenschaften durch ein so genanntes „Multiple Target Tracking“ (MTT) integrieren. Mit der bloßen Sensordaten-Fusion wird bereits der erste Schritt zur Erhöhung der Qualität und der Zuverlässigkeit der erfassten Umgebungsinformation erreicht, jedoch werden Sensor- und System-Fehlfunktionen bisher nicht erkannt. Damit kann die Integrität der Information nicht immer gewährleistet werden.
-
Ziel von Fehlerdetektions- und Fehlerisolierungs- (FDI)-Methoden ist die Evaluierung der Umgebungsinformation in Abhängigkeit von Plausibilitätskriterien, um hieraus ein Qualitäts- und Zuverlässigkeitsmaß dieser Information für das System zu bestimmen. Hauptaufgabe ist die Extraktion oder Generierung von Referenzen, die für die Überwachung und Diagnose des Systems verwendet werden können. Grundlage hierfür ist das Ursache-Wirkungs-Prinzip, d.h. für jeden Fehler (Wirkung) können mit Hilfe der Extraktion die dazugehörigen Indizien (Ursachen) bestimmt werden. Indizien für Fehler werden Symptome oder Residuen genannt. Sie lassen sich in an sich bekannter Weise anhand redundanter Systeme extrahieren. Techniken, die Redundanz ermöglichen, sind hauptsächlich in analytische und physikalische Verfahren aufgeteilt. Physikalische Redundanz besteht aus der Nutzung mehrfacher und unabhängiger Komponenten (Hardware), die unterschiedliche Infrastruktur aufweisen und verschieden platziert sind. Physikalische Residuen werden durch die Differenz zwischen verschiedenen gemessenen Signalen extrahiert, sind leicht implementierbar und weisen einen hohen Zuverlässigkeitsgrad auf. Anderseits sind die damit verbundenen Kosten und die aufwändige geometrische Integration nicht zu vernachlässigen. Analytische Redundanz erlaubt eine explizite und unabhängige Herleitung der linearen oder nichtlinearen Zusammenhänge des Systems durch modellbasierte Ansätze für eine Konsistenzkontrolle. Hierbei wird die Beobachtbarkeit des Prozesses verwendet, um Residuen zu generieren. In einem fehlerfreien Fall sind die Residuen zwischen den realen und den modellgenerierten Daten Null. Abhängig vom Betrag des Residuums kann die Intensität des Fehlers bestimmt werden. In der Literatur beschriebene Methoden für die Extraktion von Residuen bzw. Erzeugung von analytisch redundanten Systemen sind unter anderem Zustands- und Parameterschätzung sowie lernbasierte und wahrscheinlichkeitsbasierte Verfahren. Sind Fehler detektiert, so können Fehlereigenschaften wie Art, Intensität, Ort und Erkennungszeit bestimmt werden. Dies ist die Aufgabe der Fehlerdiagnose. In der Literatur beschriebene Methoden für die Extraktion von Fehlereigenschaften sind unter anderem klassifikations-, lernbasierte und argumentationsbasierte Verfahren (z. B. Fehlerbaum- und Ereignisbaumanalyse).
-
Um die Erfüllung von Sicherheitsanforderungen an die Sensordaten weitgehend autonomer FAS zu ermöglichen, wurde ein neues Verfahren entwickelt, das nicht nur die Fusion von Sensordaten und die Kursverfolgung von Objekten (Multiple Target Tracking) in der Fahrumgebung durchführt, sondern auch die Bewertung dieser erfassten Information sowie Rückschlüsse auf Sensorfehler erlaubt. Das Verfahren wird im Folgenden auch bezeichnet als Multiple Target Tracking und Faultdetection und -identifikation (MTTFDI) Verfahren. MTTFDI kombiniert, ergänzt und erweitert die Funktionalität von herkömmlicher Sensordaten-Fusion, MTT und FDI Methoden.
-
Ausgangspunkt für den vorgeschlagenen Ansatz ist die Evaluierung der erfassten Sensordaten bezüglich deren Relevanz und Fehlerfreiheit in drei verschiedenen Ebenen. 3 zeigt schematisch die Signalflüsse und Verarbeitungsstufen eines entsprechenden Verfahrens zur Klassifizierung von Fahrumgebungsinformation bezüglich ihrer Zuverlässigkeit.
-
Aus den Messdaten 100 werden relevante Merkmale extrahiert, die zu deren Klassifizierung dienen. Merkmale auf der Messwertebene werden in drei Kategorien aufgeteilt: Merkmale aus Messdaten 202, Merkmale aus der Historie erkannter Objekte 201 und Merkmale aus der Historie von Sensoreigenschaften 203. Anhand der extrahierten Merkmale 201, 202, 203 und deren Kombination werden den Messdaten 100 unterschiedliche Hypothesen zugeordnet.
-
Diese Zuordnung wird unterstützt durch mathematische Modelle, die bestimmte Erwartungen an das Verhalten der Daten beschreiben. Abhängig davon, ob die Merkmale 201, 202, 203 auf das Modell zutreffen oder vom ihm abweichen, wird die Information als relevant, irrelevant,
fehlerhaft oder fehlerfrei klassifiziert. Das Residuum dient als Indiz für die Bestätigung von Hypothesen. Messdaten können verschiedene - hier beispielhaft vier - Hypothesenzustände annehmen:
- - Bestehendes erkanntes Objekt (in einer Messdatenebene 300 von 3 sind diese Hypothesenzustände dargestellt als eine Reihe von n Ellipsen, die von der Ellipse 301 [„bestehender Track 1“] bis zur Ellipse 302 [„bestehender Track n“] reicht),
- - neues erkanntes Objekt (Ellipse 303),
- - spezifischer Messfehler (in der Messdatenebene 300 von 3 dargestellt als eine Reihe von p Ellipsen, die von der Ellipse 305 [„Messfehler 1“] bis zur Ellipse 306 [„Messfehler p“] reicht),
- - unbestimmter Messfehler (Ellipse 304).
-
Der Begriff Messfehler wird als „vorgetäuschte“ Messgröße interpretiert, die beispielsweise durch das Messprinzip bedingt sein kann („Geisterobjekt“) und die von unterschiedlichem Ausmaß (tolerierbar bis gravierend) sein kann.
-
Aus den Messdaten werden in der nachfolgenden Sensordatenfusion zeitlich zusammenhängende Sets von Eigenschaften eines Objektes (z.B. Position, Geschwindigkeit) generiert, die hier auch als „Track“ bezeichnet werden. Dazu werden an eine Track-Ebene 500 TrackMerkmale 401 und Messdatenmerkmale 1 ... k (in 3 dargestellt als eine Reihe von Pfeilen
402) übergeben. Durch die Kombination von Messdatenhypothesen unterschiedlicher Messdaten mit den extrahierten Track-Merkmalen kann die nächste Hypothesenebene (Information ist einem Track zuordenbar 501; Information ist keinem Track zuordenbar 502) bestimmt werden. Dies geschieht für jeden Track 1 ... I (in 3 dargestellt durch die Kennzeichnung „..." neben der Track-Ebene 500). Analog zur Messdatenklassifizierung werden Symptome für Track-Hypothesen anhand mathematischer Modelle extrahiert.
-
Auf den beiden bis hierhin beschriebenen Ebenen werden Hypothesen in jedem Verarbeitungszyklus klassifiziert, was den „dynamischen Teil“ des vorgeschlagenen Ansatzes bildet. Basierend auf der Bewertung der Hypothesen auf dieser Ebene, können unterschiedliche FAS entsprechend ihren Anforderungen an die Sensordaten reagieren.
-
Im nachfolgenden „quasistationären Teil“ werden die Sensorfehlerhypothesen für die Sensoren 1 ... t bestimmt. Als Sensorfehler wird ein partieller oder kompletter Ausfall der Sensorhardware, wie z.B. Dejustage, Teilblindheit usw. bezeichnet. Auch in dieser Ebene werden die Symptome mit Hilfe mathematischer Modelle extrahiert und die Ergebnisse von den vorherigen Ebenen mit den extrahierten Sensorfehlermerkmalen kombiniert. Dazu werden Sensormerkmale 601 und Track-Merkmale 1 ... k (in 3 dargestellt als eine Reihe von Pfeilen 602) an eine Sensorfehlerebene 700 übergeben. Ein wichtiger Unterschied des „quasistationären Teils“ gegenüber dem „dynamischen Teil“ des Konzepts liegt darin, dass die Klassifizierung nicht in jedem Arbeitszyklus durchgeführt wird, sondern in vorgegebenen Zeitfenstern, die abhängig von den untersuchten Sensorfehlern sind. Sensorfehler werden in drei Hypothesenklassen unterteilt:
- - Spezifische Sensorfehler (in der Sensorfehlerebene 700 von 3 ist diese Hypothesenklasse dargestellt als eine Reihe von m Ellipsen, die von der Ellipse 701 [„Sensorfehler 1“] bis zur Ellipse 702 [„Sensorfehler m“] reicht),
- - unbestimmte Sensorfehler 703,
- - kein Sensorfehler (nicht eigens dargestellt in 3).
-
Die erstgenannte Klasse (spezifische Sensorfehler) beschreibt modellierte Sensorfehler, bei denen die extrahierten Merkmale zutreffen. Der zweitgenannten Hypothesenkategorie (unbestimmte Sensorfehler) werden Sensorfehler zugeordnet, die nicht modelliert werden konnten (z.B. aus Komplexitätsgründen) und deren Merkmale weder zur ersten noch zur dritten Hypothesenklasse zugeordnet werden konnten. Als fehlerfrei werden Sensoren klassifiziert, wenn die extrahierten Merkmale die erwartete Sensorfunktionalität beschreiben. Die Klassifizierung erfolgt für jeden Sensor 1 ... t (in 3 dargestellt durch die Kennzeichnung „..." neben der Sensorfehlerebene 700).
-
Gemäß einer besonders bevorzugten Ausführungsform der Erfindung erfolgt die Bestimmung von Hypothesen durch „weiche Entscheidungskriterien“. Hierfür werden die Hypothesen aller Ebenen in an sich bekannter Weise anhand eines dynamischen probabilistischen Netzwerks basierend auf dem Bayes'schen Theorem klassifiziert.
-
Das vorgestellte MTTFDI-Verfahren umfasst zwei Hauptmodi: einen Entwurfs- und einen Operationsmodus. Der Entwurfsmodus besteht aus der Modellierung des erwarteten oder unerwarteten Verhaltens der erfassten Objekte. Damit wird zum einen eine analytische Redundanz gebildet, die die physikalisch redundanten Sensorsysteme ergänzt, und zum anderen die Extraktion der Fehlersymptome ermöglicht. Beispiele für die Modellierung des erwarteten Verhaltens sind kinematische Objektmodelle, die die Position und die Bewegung eines Objekts in der Fahrumgebung beschreiben. Zusätzlich werden Modelle eingesetzt, die die Umgebung plausibilisieren, wie zum Beispiel Kriterien für die Erscheinungsposition von Messwerten im Sensorerfassungsbereich oder die Auswertung möglicher Manöver eines Objektes. Auch aus Sicht der Applikation unerwartete oder irrelevante Vorgänge in der Fahrumgebung werden mitmodelliert, wie z.B. das Auftreten von Bodenreflexionen aufgrund von Straßenunebenheiten oder Nickbewegungen des eigenen Fahrzeuges. Der Ansatz erlaubt sowohl die Verwendung von Modellen, für die die jeweils zugrundeliegenden physikalischen Gesetze und die Modellparameter bekannt sind („White-Box“), als auch Modelle, bei denen Modellarchitektur und Verhalten aus den Eingangsignalen bestimmt werden müssen („BlackBox“). Die Umgebungsanalyse im Entwurfmodus wird anhand von Abhängigkeitsmodellen zwischen den aufgestellten Hypothesen und den extrahierten Symptomen durchgeführt. Diese Abhängigkeitsmodelle werden mit Hilfe von „a priori“ Wissen gebildet, falls die UrsacheWirkungsabhängigkeit bekannt ist. Anderenfalls können diese Modelle mittels Trainingsdaten und lernbasierter Verfahren bestimmt werden.
-
Der Operationsmodus besteht aus der online erfolgenden Fusion von Sensordaten, der Berechnung der Trajektorie von Objekthypothesen (MTT) und deren Bewertung. Basierend auf der zeitlichen Auswertung dieser Informationen wird die Erkennung von Sensorfehlern ermöglicht.
-
4 zeigt eine bevorzugte Architektur für den MTTFDI-Algorithmus.
-
Sensorinterpreter SI normieren die Information diversitärer Sensoren SENS, um die nachfolgende Sensordaten-Fusion zu ermöglichen (Hardware-Unabhängigkeit). Beispiele hierfür sind ein gemeinsames Koordinatensystem und die Berücksichtung der zeitlichen Erfassung der Daten.
-
Data-Association DA (umfassend den Block AFF [Auswertung / Fehlerdetektion / Fehlerdiagnose] sowie die m Blöcke AS1 [Association 1] bis ASm [Association m]) definiert und klassifiziert Messattribute als unterschiedliche Zielobjekte basierend auf deren mathematischen Abbildungen (Modelle). Hierbei werden die Symptome für Messfehler extrahiert, die die Bewertung der Messdaten und Objekthypothesen ermöglichen und die folgende Klassifizierung von Sensorfehlerhypothesen unterstützen.
-
Low-Level-Fusion LLF (umfassend die n Blöcke LLF1 [Low-Level-Fusion 1] bis LLFn [LowLevel-Fusion n]) führt die klassifizierten Messattribute mit den zugehörigen Tracks auf einer applikationsunabhängigen Ebene zusammen. Hierbei können die Assistenzfunktionen ihre spezifischen Fusionsalgorithmen verwenden. Je nach Auslegung können Assistenzfunktionen auf die Information zu unterschiedlichen Zeitpunkten des Verarbeitungszyklus zugreifen.
-
High-Level-Fusion HLF (umfassend den Block SG [Symptomgenerierung] sowie die p Blöcke HLF1 [High-Level-Fusion 1] bis HLFp [High-Level-Fusion p]) ermöglicht die modellbasierte Filterung der Messattribute, bei der die berechneten Residuen als Fehlersymptom interpretiert werden. Hierfür können - je nach Anspruch - unterschiedliche Verfahren der Zustandsschätzung wie Kalman, Alpha-beta oder PT1-Filter zum Einsatz kommen.
-
Arrange-Tracks AT (umfassend die k Blöcke AT1 [Arrange Tracks 1] bis ATk [Arrange Tracks k]) behandelt die Verwaltung von Objekthypothesen: Inaktive Tracks werden entfernt und zusammengehörige fusioniert (Track-zu-Track-Fusion). Ergebnisse dieser Verarbeitungsstufe dienen als Referenz für die Klassifizierung neuer Messattribute (vgl. Rückführung zur Stufe DA) und für die Durchführung verschiedener Assistenzfunktionen AF.
-
Zusammenfassend ermöglicht das vorgestellte Verfahren die Fusion von Sensordaten, das Tracking unterschiedlicher Zielobjekte, die Bewertung dieser Information und den Rückschluss auf Sensorfehler. Das MTTFDI-Verfahren kombiniert verschiedene Einzellösungen für die Bewertung der Fahrumgebungsinformationen.
-
Für eine Erprobung und Bestätigung des erfindungsgemäßen Konzepts wurde ein Versuchsträger eingesetzt, der mit abstandsgebenden Sensoren (Radar und Lidar) sowie Kamerasystemen für die Visualisierung der Fahrumgebung als Referenz ausgestattet ist. Die Daten wurden unter unterschiedlichen Bedingungen und Fahrumgebungssituationen erfasst und ausgewertet.
-
5a zeigt beispielhaft eine typische Umgebungsansicht in einer Fahrsituation in urbaner Umgebung. Die Kreuzsymbole 801, 802, 803, 804 in 5a repräsentieren Bodenreflexionen.
-
5b zeigt beispielhaft die Bewertung einer für bestimmte Applikationen irrelevanten Objekthypothese beim Auftreten einer Bodenreflexion. Nach rechts ist dabei die Lebenszeit der Hypothese, nach oben das in sie gesetzte Vertrauen („Belief') aufgetragen. Grundzüge des Modells für die Klassifizierung der Messdaten als Bodenreflexionen sind die spezifischen Eigenschaften, die durch Untersuchungen des Verhaltens eines Sensorstrahls mit dem Boden während einer Nickbewegungen des Fahrzeugs extrahiert wurden. In der Messwertebene wurden diese Daten als Bodenreflexion klassifiziert und schließlich in der Track-Ebene als irrelevante Hypothese klassifiziert.
-
Die in 5b als strichpunktierte Linie dargestellte Bewertung der Bodenreflexion ohne das MTTFDI-Verfahren, d.h. nach dem Stand der Technik, führt durchwegs zu einem Vertrauenswert von 100 Prozent. Eine Fahrerassistenzfunktion würde somit fälschlicherweise von einem vorrausfahrenden Fahrzeug ausgehen und auf dieses „Geisterobjekt“ reagieren.
-
Unter Anwendung des MTTFDI-Verfahrens (durchgezogene Linie in 5b) hingegen bleibt das Vertrauen (Belief) in die Bodenreflexion unter 50 Prozent und ermöglich so das vom Fahrer erwartete Verhalten einer Assistenzfunktion wie beispielsweise bei einem Notbremsassistent, nämlich „keine Reaktion“. Bezogen auf Fahrerassistenzfunktionen ist die Unterscheidung zwischen relevanter und irrelevanter Information auf der Messfehlerebene meist wichtiger als die genaue Klassifizierung der Objekthypothese selbst. Somit können Applikationen sich primär auf entscheidende Informationen konzentrieren und je nach Bedarf und Verfügbarkeit der Abbildungsmodelle diese Daten genau klassifizieren.
-
6a zeigt beispielhaft eine weitere typische Umgebungsansicht in einer Fahrsituation in urbaner Umgebung. Das Kreuzsymbol 805 in 6a repräsentiert einen detektierten Bezugspunkt an einem vorausfahrenden Fahrzeug.
-
In 6b wird wiederum die Bewertung einer entsprechenden Objekthypothese (vorausfahrender Pkw) anhand des nach oben aufgetragenen Vertrauensverlaufs (Belief) über der nach rechts aufgetragenen Lebenszeit dargestellt.
-
Wird ein Objekt erstmals detektiert, wird ihm zunächst ein geringes Vertrauen zugewiesen. Sobald und je schneller die Hypothesen für ein gültiges Objekt bestätigt werden, umso schneller steigt dessen Vertrauen. Das Diagramm in 6b zeigt eine stabile und korrekte Bewertung eines relevanten Objektes durch das hohe zugewiesene „Belief“. Die Ursache der Schwankungen im Beliefverlauf (6b) stellen fehlende Merkmale des Objektes infolge temporärer Verdeckung des Fahrzeuges durch andere Fahrzeuge dar. Das Verfahren erweist sich als robust gegenüber einer solchen Verdeckung, ein hohes „Belief“ bleibt erhalten. Grundzüge des Modells für die Klassifizierung dieses relevanten Objektes sind Annahmen bezüglich dessen erwarteten Verhaltens wie Erscheinungsposition und Trajektorie. Sowohl die Hypothesen als auch ihre Bewertung werden in jedem Arbeitzyklus unterschiedlichen Fahrerassistenzfunktionen bereitgestellt und können entsprechend der Applikationsdefinition genutzt werden.
-
Das erfindungsgemäße Verfahren führt gegenüber dem Stand der Technik zu einer deutlichen Verbesserung der Zuverlässigkeit der Sensordaten. Dementsprechend ist eine Erhöhung der Verfügbarkeit und Sicherheit von Fahrerassistenz-Applikationen erzielbar.
-
In 7 wird eine „Receiver Operating Characteristic“ (ROC)-Kurve für die Bewertung der Klassifizierung von Objekthypothesen dargestellt. Die 3D-Darstellung veranschaulicht die Effizienz des MTTFDI-Verfahrens für die Klassifizierung von Objekthypothesen abhängig von ihrer Lebensdauer. Nach oben ist die positive Erkennungsrate (True-Positive Rate, TPR) aufgetragen, nach hinten links die Lebensdauer t in Sekunden, nach hinten rechts die FalsePositive Rate (FPR). Die Kurve zeigt, dass mit zunehmender Objektlebensdauer - d.h. mit zunehmender Beobachtungszeit - die Qualität der Klassifizierung steigt.