DE102016009655A1

DE102016009655A1 - Verfahren zum Betrieb eines Fahrzeugs

Info

Publication number: DE102016009655A1
Application number: DE102016009655.1A
Authority: DE
Inventors: Steven Peters
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-08-09
Filing date: 2016-08-09
Publication date: 2017-04-06

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs, wobei das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen (n1, n2) einer künstlichen neuronalen Netzwerkstruktur gesteuert wird. Erfindungsgemäß werden die Entscheidungen (n1, n2) von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen, wobei dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) übereinstimmen, diese gemeinsame Entscheidung (n1, n2) zur Steuerung des Fahrzeugs verwendet wird. Dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) voneinander abweichen und eine Ausführung der Entscheidung (n2) vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) erfüllt, wird die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) zur Steuerung des Fahrzeugs verwendet. In allen anderen Fällen wird die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) zur Steuerung des Fahrzeugs verwendet.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 42 18 599 A1 ist ein Navigations- und Führungssystem für autonome, mobile Roboter bekannt, welches einen bilderfassenden Sensor, einen Entfernungssensor und neuronale Netzwerkmittel umfasst, auf welche Daten von dem bilderfassenden Sensor und von dem Entfernungssensor aufgeschaltet sind und welche zur Erzeugung von Richtungs- und Fahrtkommandos aus den Daten der Sensoren trainiert sind.
Weiterhin ist aus der DE 40 01 493 A1 ein Verfahren zur selbsttätigen Steuerung von autonom oder teilautonom bewegbaren Geräten mit die Umgebung aufnehmenden Ortungssensoren zum Abgeben von Sensorsignalen, welche für einen Abstand des Geräts von mindestens einem Hindernis oder Objekt charakteristisch sind, bekannt. Es ist eine Verarbeitungseinheit vorgesehen, in welche die Sensorsignale eingegeben werden und welche ein Steuersignal für Antriebe und Bremsen des Geräts zum Beschleunigen und Abbremsen einer jeweiligen Bewegung des Gerätes abgibt, um eine Kollision mit dem Hindernis zu vermeiden und ein gewünschtes Fahr- und Bewegungsverhalten zu erzeugen. Die Verarbeitungseinheit ist als informationsverarbeitende Netzwerkstruktur, d. h. als neuronales Netz, derart simuliert oder ausgebildet, dass das Gerät in einer Lernphase aus einer begrenzten Anzahl ausgewählter Situationen fremdgesteuert einen Bewegungsablaufzyklus ausführt. Dabei gewonnene Sensor- und Aktuator-Datensätze werden der Netzwerkstruktur in einer Lernphase wiederholt eingegeben und der Bewegungsablaufzyklus wird lehrhaft vorgegeben. Bei Unterschreiten eines vorgegebenen globalen Fehlers wird die Lernphase abgeschlossen und es wird zu einer Kannphase übergegangen, in welcher das Gerät in bekannter oder unbekannter Umgebung autonom den oder einen in unbekannter Umgebung durch die Objekte beeinflussten gelernten Bewegungsablaufzyklus mindestens angenähert ausführt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben. Die Aufgabe wird erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zum Betrieb eines Fahrzeugs wird das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen einer künstlichen neuronalen Netzwerkstruktur gesteuert.
Erfindungsgemäß werden die Entscheidungen von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen, wobei dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung übereinstimmen, diese gemeinsame Entscheidung zur Steuerung des Fahrzeugs verwendet wird und dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung voneinander abweichen und eine Ausführung der Entscheidung vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung erfüllt, die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet wird. In allen anderen Fällen wird die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet.
Bei dem statischen ersten neuronalen Netzwerk handelt es sich insbesondere um ein künstliches neuronales Netzwerk, dessen Struktur und Gewichte durch Training in einem Entwicklungs- und Testprozess sowie einem damit verbundenen Lernverfahren entstanden sind. Eine anschließende Beeinflussung des Netzwerks während einer Verwendung desselben in einem Fahrbetrieb des Fahrzeugs, beispielsweise in einem Lernprozess, ist nicht möglich.
Bei dem lernfähigen zweiten neuronalen Netzwerk handelt es sich insbesondere um ein künstliches neuronales Netzwerk, welches zu Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, identisch mit dem ersten neuronalen Netzwerk ist und auf dem gleichen Lernverfahren beruht wie dieses. Im Gegensatz zum neuronalen Netzwerk ist das zweite neuronale Netzwerk derart ausgebildet, dass dieses während eines Fahrbetriebs des Fahrzeugs stetig von realen Fahrsituationen und Fahrreaktionen des Nutzers während eines manuellen oder teilautonom durchgeführten Fahrbetriebs lernt. Das erfindungsgemäße Verfahren ermöglicht in besonders vorteilhafter Weise, dass das zweite neuronale Netzwerk während des Fahrbetriebs des Fahrzeugs einen Lernprozess durchführen kann und gleichzeitig keine Verschlechterungen einer Leistungsfähigkeit des Verfahrens gegenüber einem Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, eintreten.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch einen Programmablaufplan eines Verfahrens zum Betrieb eines Fahrzeugs.
In der einzigen 1 ist ein Programmablaufplan eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Betrieb eines Fahrzeugs dargestellt.
Das Fahrzeug ist zu einem teilautonom, autonom und manuell ausgeführten Fahrbetrieb ausgebildet, wobei eine Steuerung des Fahrzeugs, d. h. insbesondere eine automatische Längs- und/oder Querführung des Fahrzeugs, anhand von vorgeschlagenen Entscheidungen n1, n2 einer künstlichen neuronalen Netzwerkstruktur durchgeführt wird.
Diese künstliche neuronale Netzwerkstruktur umfasst ein statisches erstes neuronales Netzwerk und ein lernfähiges zweites neuronales Netzwerk.
Bei dem statischen ersten neuronalen Netzwerk handelt es sich um ein künstliches neuronales Netzwerk, dessen Struktur und Gewichte durch Training in einem Entwicklungs- und Testprozess sowie einem damit verbundenen Lernverfahren entstanden sind. Eine anschließende Beeinflussung des Netzwerks während einer Verwendung desselben in einem Fahrbetrieb des Fahrzeugs, beispielsweise in einem Lernprozess, ist nicht möglich.
Bei dem lernfähigen zweiten neuronalen Netzwerk handelt es sich um ein künstliches neuronales Netzwerk, welches zu Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, identisch mit dem ersten neuronalen Netzwerk ist und auf dem gleichen Lernverfahren beruht wie dieses. Im Gegensatz zum ersten Fahrzeug ist das zweite neuronale Netzwerk derart ausgebildet, dass dieses während eines Fahrbetriebs des Fahrzeugs stetig von realen Fahrsituationen und Fahrreaktionen des Nutzers während eines manuellen oder teilautonom durchgeführten Fahrbetriebs lernt.
Nach einem Start des Verfahrens wird in einem ersten Verfahrensschritt S1 eine Umgebung des Fahrzeugs mittels mehrerer Sensoren erfasst, wobei anhand mittels der Sensoren erfasster Daten D mittels der beiden neuronalen Netzwerke jeweils in einem weiteren Verfahrensschritt S2 (mittels des ersten neuronalen Netzwerks) und einem weiteren Verfahrensschritt S3 Entscheidungen n1, n2 ermittelt werden, wie das Fahrzeug zur Bewältigung einer erfassten Verkehrssituation gesteuert werden muss.
Im autonomen oder teilautonomen Fahrbetrieb des Fahrzeugs trifft standardmäßig das erste neuronale Netzwerk die für die Fahrzeugführung relevanten Entscheidungen n1. Jedoch werden stets auch vom zweiten neuronalen Netzwerk propagierte Entscheidungen n2 betrachtet und mit denen vom ersten neuronalen Netzwerk verglichen.
Hierzu wird in einer ersten Verzweigung V1 zunächst überprüft, ob die vom ersten neuronalen Netzwerk und vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung übereinstimmen. Ist dies der Fall (dargestellt durch einen Pfad J, wobei ”J” für ”Ja” steht), wird in einem weiteren Verfahrensschritt S4 diese gemeinsame Entscheidung n1, n2 bzw. die Entscheidung n1 vom ersten neuronalen Netzwerk zur Steuerung des Fahrzeugs verwendet und ausgeführt.
Ist dies nicht der Fall, d. h. unterscheiden sich die Entscheidungen n1, n2 des ersten und zweiten neuronalen Netzwerks voneinander (dargestellt durch einen Pfad N, wobei ”N” für ”Nein” steht), wird in einer weiteren Verzweigung V2 überprüft, ob eine Qualität von den erfassten Daten D, auf welcher die Ermittlung der Entscheidung n2 basiert, einen Mindestwert überschreitet. Das heißt, es wird überprüft, ob die Qualität der Daten D hinreichend für eine gesicherte Prognose von Auswirkungen der Entscheidung n2 vom zweiten neuronalen Netzwerk ist. Ist der erfassende Sensor beispielsweise eine Bilderfassungseinheit, wird z. B. überprüft, ob ein Konfidenzwert bei einer Bilderkennung einen vorgegebenen Schwellwert überschreitet.
Überschreitet die Qualität der erfassten Daten D den Mindestwert nicht (dargestellt durch einen weiteren Pfad N, wobei ”N” für ”Nein” steht), wird wieder der Verfahrensschritt S4 und somit die Entscheidung n1 ausgeführt. Überschreitet die Qualität der erfassten Daten D den Mindestwert jedoch (dargestellt durch einen weiteren Pfad J, wobei ”J” für ”Ja” steht), werden die beiden Entscheidungen n1, n2 in einem weiteren Verfahrensschritt S5 anhand einer definierten Kriterienliste basierend auf Sicherheits- und/oder Ethikkriterien bewertet. Beispielsweise ist bei einem Auftreten eines Hindernisses vor dem Fahrzeug die Entscheidung n1 des ersten neuronalen Netzwerks zur Vermeidung einer Kollision mit dem Hindernis eine starke Verzögerung, bei welcher jedoch die Gefahr eines Heckaufpralls eines nachfolgenden Fahrzeugs sehr groß ist. In der gleichen Situation ist beispielsweise die Entscheidung n2 des zweiten neuronalen Netzwerks, ein Ausweichmanöver über einen freien Standstreifen auszuführen. Anhand der Kriterienliste werden beide vorgeschlagenen Entscheidungen n1, n2 bezüglich aller vorgegebenen Sicherheits- und/oder Ethikkriterien ausgewertet.
Anschließend wird in einer weiteren Verzweigung V3 überprüft, ob die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 dominant ist. Unter Dominanz wird dabei verstanden, dass die Entscheidung n2 die vorgegebenen Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung n1 erfüllt.
Ist die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 streng dominant (dargestellt durch einen weiteren Pfad J, wobei ”J” für ”Ja” steht), wird diese in einem Verfahrensschritt S6 zur Steuerung des Fahrzeugs ausgeführt.
Gleichzeitig werden bei einer Verwendung der vom zweiten neuronalen Netzwerk vorgeschlagenen Entscheidung n2 zur Steuerung des Fahrzeugs die verwendete Entscheidung n2 und die zugehörigen erfassten Daten D aller Sensoren als Trainingsdatenset für weitere Fahrzeuge an einen so genannten Backendserver und/oder eine so genannte Cloud eines Fahrzeugherstellers und/oder eines Erstausrüsters übertragen.
Ist die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 dagegen nicht dominant (dargestellt durch einen weiteren Pfad N, wobei ”N” für ”Nein” steht), wird wieder der Verfahrensschritt S4 und somit die Entscheidung n1 ausgeführt.

D

Daten

J

Pfad

N

Pfad

n1

Entscheidung

n2

Entscheidung

S1 bis S6

Verfahrensschritt

V1 bis V3

Verzweigung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 4218599 A1 [0002]
DE 4001493 A1 [0003]

Claims

Verfahren zum Betrieb eines Fahrzeugs, wobei das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen (n1, n2) einer künstlichen neuronalen Netzwerkstruktur gesteuert wird, dadurch gekennzeichnet, dass – die Entscheidungen (n1, n2) von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen werden, wobei – dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) übereinstimmen, diese gemeinsame Entscheidung (n1, n2) zur Steuerung des Fahrzeugs verwendet wird, – dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) voneinander abweichen und eine Ausführung der Entscheidung (n2) vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) erfüllt, die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) zur Steuerung des Fahrzeugs verwendet wird und – in allen anderen Fällen die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) zur Steuerung des Fahrzeugs verwendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) nur dann zur Steuerung des Fahrzeugs verwendet wird, wenn die Entscheidung (n2) dominant ist und eine Qualität von erfassten Daten (D), auf welcher eine Ermittlung der Entscheidung (n2) basiert, einen Mindestwert überschreitet.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei einer Verwendung der vom zweiten neuronalen Netzwerk vorgeschlagenen Entscheidung (n2) zur Steuerung des Fahrzeugs die verwendete Entscheidung (n2) und die zugehörigen erfassten Daten (D) in einem für eine Vielzahl von Nutzern zugänglichen zentralen Speicher hinterlegt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Lernprozess des zweiten neuronalen Netzwerks während eines manuell durch einen Fahrer oder teilautonom durchgeführten Fahrbetriebs erfolgt.