PI33094WO/hl - 1 - 22.06.2023 Verfahren zum Trainieren eines künstlichen neuronalen Netzes eines Fahrermodells Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten virtuellen Umfeld, in welchem sich das Fahrzeug befindet. Neben den insbesondere der Fahrsicherheit dienenden Systemen wie ABS (Anti- Blockier-System) und ESP (Elektronisches Stabilitätsprogramm) werden im Bereich der Personenkraftwagen und der Nutzfahrzeuge eine Vielzahl von Fahrerassistenzsystemen angeboten. Fahrerassistenzsysteme, welche bereits zur Erhöhung der aktiven Verkehrssicherheit eingesetzt werden, sind beispielsweise ein Parkassistent und ein adaptiver Abstandsregeltempomat, der auch als Adaptive Cruise Control (ACC) bekannt ist, welcher eine vom Fahrer gewählte Wunschgeschwindigkeit adaptiv auf einen Abstand zu einem vorausfahrenden Fahrzeug einregelt. Ein weiteres Beispiel für solche Fahrerassistenzsysteme sind ACC-Stop-&-Go-Systeme, welche zusätzlich zum ACC die automatische Weiterfahrt des Fahrzeugs im Stau oder bei stehenden Fahrzeugen bewirken Spurhalte- oder Lane-Assist-Systeme, die das Fahrzeug automatisch auf der Fahrzeugspur halten, und Pre-Crash-Systeme, die im Fall der Möglichkeit einer Kollision beispielsweise eine Bremsung vorbereiten oder einleiten, um die kinetische Energie aus dem Fahrzeug zu nehmen, sowie gegebenenfalls weitere Maßnahmen einleiten, falls eine Kollision unvermeidlich ist. Diese Fahrerassistenzsysteme erhöhen sowohl die Sicherheit im Verkehr, indem sie den Fahrer in kritischen Situationen warnen, bis zur Einleitung eines selbstständigen Eingriffs zur Unfallvermeidung oder Unfallverminderung, beispielsweise indem eine Notbremsfunktion aktiviert wird. Zusätzlich wird der Fahrkomfort durch Funktionen wie automatisches Einparken, automatische Spurhaltung und automatische Abstandskontrolle erhöht.
PI33094WO/hl - 2 - 22.06.2023 Der Sicherheits- und Komfortgewinn eines Fahrerassistenzsystems wird von den Fahrzeuginsassen nur dann positiv wahrgenommen, wenn die Unterstützung durch das Fahrerassistenzsystem sicher, verlässlich und in – soweit möglich – komfortabler Weise erfolgt. Darüber hinaus muss jedes Fahrerassistenzsystem, je nach Funktion, im Verkehr auftretende Szenarien mit maximaler Sicherheit für das eigene Fahrzeug und auch ohne Gefährdung anderer Fahrzeuge bzw. anderer Verkehrsteilnehmer bewerkstelligen. Der jeweilige Automatisierungsgrad von Fahrzeugen wird dabei in sogenannte Automatisierungslevel 1 bis 5 unterteilt (vgl. beispielsweise Norm SAE J3016). Die vorliegende Erfindung betrifft insbesondere Fahrzeuge mit Fahrerassistenzsystemen des Automatisierungslevels 3 bis 5, welches im Allgemeinen als autonomes Fahren betrachtet wird. Vorzugsweise werden in dem Fahrerassistenzsystem auch unterschiedliche Fahrstile berücksichtigt (sportlich, komfortabel, etc.). Hierfür müssen Fahrermodelle erzeugt werden, welche eine Vielzahl an Parametern, insbesondere der Umgebung und/oder des Fahrzeugs und/oder der Witterung etc. berücksichtigen. Dabei müssen die Fahrermodelle in der Lage sein, eine fast unbegrenzte Anzahl an Szenarien und daraus entstehenden Fahrsituationen zu meistern. Das Dokument EP 3055813 A1 offenbart ein computerimplementiertes Verfahren zum bestärkenden Lernen zum Steuern der Lenkung eines Fahrzeugs. Es ist eine Aufgabe der Erfindung, verbesserte Fahrermodelle und Verfahren zum Erzeugen solcher verbesserten Fahrermodelle bereitzustellen. Insbesondere ist es eine Aufgabe der Erfindung, die Fahrermodelle bezüglich verschiedener Kriterien, beispielsweise Sicherheit, zu optimieren.
PI33094WO/hl - 3 - 22.06.2023 Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen beansprucht. Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten virtuellen Umfeld, in welchem das Fahrzeug gesteuert wird, wobei das Verfahren folgende Arbeitsschritte aufweist: a) Ausgeben des virtuellen Umfelds an einen Benutzer und an das autonome Fahrsystem; b) Erfassen einer ersten Trajektorie des Fahrzeugs, während dieses durch den Benutzer gesteuert wird; c) Betreiben des autonomen Fahrsystems in dem virtuellen Umfeld des Fahrzeugs; d) Erfassen einer zweiten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; e) Bereitstellen von Daten der ersten Trajektorie und der zweiten Trajektorie an einer Datenschnittstelle in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können, wobei das künstliche neuronale Netz durch Abgleich der ersten Trajektorie mir der zweiten Trajektorie dazulernen kann, insbesondere mittels einer Ausgleichsrechnung; f) weiteres Betreiben des autonomen Fahrsystems in dem virtuellen Umfeld des Fahrzeugs; g) Erfassen einer dritten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; h) Bewerten der dritten Trajektorie, wobei eine Belohnung auf der Grundlage wenigstens eines Kriteriums vergeben wird; und i) Bereitstellen von Daten der dritten Trajektorie und der Belohnung an der Datenschnittstelle in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können, wobei durch das künstliche neuronale Netz eine Nutzenfunktion approximiert wird, wobei das künstliche neuronale Netz durch Maximieren der Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnungen dazulernen kann;
PI33094WO/hl - 4 - 22.06.2023 wobei die Arbeitsschritte f) bis i) solange wiederholt werden, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Ein autonomes Fahrsystem im Sinne der Erfindung weist vorzugsweise ein oder mehrere Fahrerassistenzsysteme auf, welche zusammen einen Automatisierungslevel der Stufen 3 bis 5 nach der Norm SAE J3016 ergibt oder ergeben. Ein solcher Automatisierungslevel wird im Allgemeinen als autonomes Fahren betrachtet. Eine Benutzerschnittstelle im Sinne der Erfindung ist eine Schnittstelle, mit welcher der Benutzer, aber auch das autonome Fahrsystem, die Umwelt wahrnehmen kann. Insbesondere erlaubt eine Benutzerschnittstelle die Wahrnehmung von Audio, Video, Luftbewegung, Bewegung, Geruch, etc. Vorzugsweise kann jede Sinneswahrnehmung eines Benutzers über eine Benutzerschnittstelle stimuliert werden. Der Erfindung liegt die Idee zu Grunde, zum Trainieren eines künstlichen neuronalen Netzes Methoden des überwachten Lernens (englisch: supervised learning) mit jenen des maschinellen bestärkenden Lernens (englisch: reinforcement learning) zu kombinieren. Die Erfinder haben festgestellt, dass die Zeit zum Trainieren des künstlichen neuronalen Netzes mit überwachtem Lernen auf diese Weise wesentlich reduziert werden kann und darüber hinaus kann sichergestellt oder zumindest die Wahrscheinlichkeit wesentlich erhöht werden, dass mittels des Reinforcement Lernens eine konvergierende Lösung beim Trainieren des künstlichen neuronalen Netzes erzielt wird. Dies ermöglicht höhere Modellgüten, als jene, welche nur mittels überwachtem Lernen oder nur mit bestärkendem Lernen erreicht werden. Hierfür wird erfindungsgemäß in einer ersten Phase des Trainings ein virtuelles Umfeld an einen Benutzer und an ein autonomes Fahrsystem, dessen Fahrermodell, welches auf einem künstlichen neuronalen Netz basiert, trainiert werden soll, in einem simulierten Umfeld betrieben. Hierbei werden jeweils Trajektorien erfasst, wenn das Fahrzeug durch den Benutzer gesteuert wird und wenn das Fahrzeug durch das autonome Fahrsystem gesteuert wird. Diese Trajektorien werden miteinander verglichen und die Parameter des neuronalen Netzes, insbesondere dessen
PI33094WO/hl - 5 - 22.06.2023 Verbindungen der einzelnen Neuronen und/oder die Gewichtungen der einzelnen Neuronen, in der Weise angepasst, dass eine danach durch das autonome Fahrsystem erzeugte Trajektorie möglichst mit der durch den Fahrer erzeugten Trajektorie übereinstimmt. Dieser Vorgang kann einmal ausgeführt oder mehrmals wiederholt werden. In einer zweiten Phase des Trainingsverfahrens werden wiederum Trajektorien des Fahrzeugs aufgenommen, während dieses durch das autonome Fahrsystem gesteuert wird. Im Gegensatz zu der ersten Phase wird nun jedoch eine Methode des maschinellen Lernens eingesetzt, um das künstliche neuronale Netz zu verbessern bzw. noch weiter zu verbessern. Vorzugsweise approximiert das künstliche neuronale Netz eine Nutzenfunktion. Diese Nutzenfunktion wird vorzugsweise auf der Grundlage der Daten der dritten Trajektorie und einer Belohnung maximiert. Durch Maximieren der Nutzenfunktion wird ein Lerneffekt bei dem künstlichen neuronalen Netz erzeugt. Eine Vorgabe einer Referenztrajektorie ist hierbei nicht erforderlich. Daher handelt es sich um eine Art des bestärkenden Lernens (englisch: reinforcement learning). Vorzugsweise ist das künstliche neuronale Netz hierbei ein Agent, welcher eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Vorzugsweise wird hierbei das Bewerten der dritten Trajektorie und das Vergeben einer Belohnung durch einen sogenannten Interpreter durchgeführt. Vorzugsweise ist auch dieser Interpreter Teil des künstlichen neuronalen Netzes bzw. des Agenten. Vorzugsweise verändert der Interpreter das künstliche neuronale Netz auf der Grundlage einer Ausgleichsrechnung und/oder nimmt die Ausgleichrechnung vor. Weiter vorzugsweise ist die Lernmethode eine sogenannte bestärkende Q-Lernmethode, insbesondere eine DQN-Lernmethode, welche ein tiefes Convolutional Artificial Neural Network (zu Deutsch etwa: „faltendes neuronales Netzwerk") verwendet. Vorzugsweise wird nach der ersten Phase des überwachten Lernens in der Phase des bestärkenden Lernens eine Simulation einer Fahrt eines Fahrzeugs mit dem autonomen Fahrsystem in einem virtuellen Umfeld des Fahrzeugs solange durchgeführt, bis für wenigstens ein Kriterium, auf dessen Grundlage eine Belohnung vergeben wird, eine Abbruchbedingung erreicht ist. Das heißt, eine "dritte" Trajektorie
PI33094WO/hl - 6 - 22.06.2023 wird solange aufgezeichnet und das künstliche neuronale Netz solange auf der Grundlage dieser Trajektorie angelernt, bis eine Abbruchbedingung in Bezug auf das Kriterium erreicht ist. Die Kriterien sind vorzugsweise eine Rundenzeit, eine Vermeidung von Fahrbahnüberschreitung, eine Vermeidung von Fahrspurüberschreitung, eine Vermeidung von Kollisionen (bzw. die Kollisionswahrscheinlichkeit). Die Rundenzeit ist hierbei vorzugsweise die Zeitdauer, in welcher ein Fahrzeug eine Rundfahrt auf einer definierten Strecke absolviert. Die Vermeidung einer Kollision wird vorzugsweise durch Anzahl an Kollisionen während einer Testfahrt bzw. die Kollisionswahrscheinlichkeit in verschiedenen Szenarien charakterisiert. Die Fahrbahn- und Fahrspurüberschreitung wird vorzugsweise durch die Anzahl an Fahrsituationen charakterisiert, in welchen das Fahrzeug außerhalb der Fahrbahn bzw. der Spur fuhr. Des Weiteren kann die Fahrspurabweichung vorzugsweise durch die mittlere Fahrspurabweichung charakterisiert werden, welche beispielsweise auf einer Testfahrt vorlag. In einer vorteilhaften Ausgestaltung des Verfahrens werden auch die Arbeitsschritte a) bis e) solange wiederholt, bis eine definierte Anzahl an Wiederholungen oder bis eine vordefinierte zweite Abbruchbedingung erreicht ist. Auch das Verfahren des überwachten Lernens kann ebenfalls wiederholt werden, um eine bessere Basis für das bestärkende Lernen zu schaffen. In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim Simulieren die jeweilige Trajektorie des Fahrzeugs und die daraus resultierende Wechselwirkung des Fahrzeugs in seinem virtuellen Umfeld berücksichtigt. Durch die Berücksichtigung der Wechselwirkung des Fahrzeugs mit seinem virtuellen Umfeld kann bei der Simulation des virtuellen Umfelds dessen Bewegung berücksichtigt werden. Hierdurch kann sich das virtuelle Umfeld dynamisch weiterentwickeln.
PI33094WO/hl - 7 - 22.06.2023 Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit einem autonomen Fahrsystem, wobei das Fahrzeug durch ein Fahrermodell des autonomen Fahrsystems geführt wird, welches mittels eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten Umfeld, in welchem das Verfahren gesteuert wird, trainiert wurde. Durch das Betreiben eines Fahrzeugs durch ein Fahrermodell, welches mittels des vorteilhaften Verfahrens zum Trainieren angelernt wurde, können Fahrzeuge besonders zuverlässig und in für den Fahrer angenehmen Art geführt werden. Ein dritter Aspekt der Erfindung betrifft ein System zum Trainieren eines künstlichen neuronalen Netzes, welches ein Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde legt, aufweisen: • eine Benutzerschnittstelle zur Interaktion eines Benutzers in einem virtuellen Umfeld, in welchem sich das Fahrzeug befindet; • eine Fahrsystemschnittstelle zur Interaktion des Fahrsystems mit dem virtuellen Umfeld; • Mittel, insbesondere ein Simulator oder ein Prüfstand, zum Betreiben des Fahrzeugs in dem virtuellen Umfeld des Fahrzeugs; • Mittel zum Erfassen einer ersten Trajektorie des Fahrzeugs, während dieses durch einen Benutzer gesteuert wird, und einer zweiten und dritten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; • Mittel zum Bewerten der dritten Trajektorie, insbesondere ein Interpreter, wobei eine Belohnung auf der Grundlage wenigstens eines Kriteriums, insbesondere durch den Interpreter, vergeben wird; und • eine Datenschnittstelle zum Betreiben von Daten der ersten, zweiten und dritten Trajektorie und der Belohnung in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können; wobei das System eingerichtet ist, das künstliche neuronale Netz, durch welches eine Nutzenfunktion approximiert wird, zunächst durch Abgleich der ersten Trajektorie mit
PI33094WO/hl - 8 - 22.06.2023 der zweiten Trajektorie und danach durch Maximieren der Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnung zu trainieren und das Fahrzeug solange zu betreiben, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. In einer vorteilhaften Ausgestaltung weist das System des Weiteren Mittel zum Simulieren des virtuellen Umfelds auf. Es ist besonders bevorzugt, wenn das System zum Trainieren auch die Mittel zum Simulieren des virtuellen Umfelds aufweist. Auf diese Weise können Interaktionen zwischen dem Fahrzeug und dem virtuellen Umfeld besonders einfach berücksichtig werden. Ein vierter Aspekt der Erfindung betrifft ein Fahrermodell, welches auf einem künstlichen neuronalen Netz basiert und mittels des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes erzeugt ist. Die im Vorhergehenden in Bezug auf den ersten Aspekt der Erfindung genannten Vorteile und Merkmale gelten für die anderen Aspekte der Erfindung entsprechend und umgekehrt. Darüber hinaus betrifft die Erfindung ein Computerprogramm und ein computerlesbares Medium. Weitere vorteilhafte Merkmale ergeben sich aus der nachfolgenden Beschreibung in Bezug auf die Figuren. Es zeigen wenigstens teilweise schematisch: Figur 1 ein Ausführungsbeispiel eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes; Figur 2 ein Ausführungsbeispiel eines Systems zum Trainieren eines künstlichen neuronalen Netzes; und Figur 3 ein Ausführungsbeispiel eines Prüfstands zum Simulieren eines Umfelds für ein autonomes Fahrsystem.
PI33094WO/hl - 9 - 22.06.2023 Figur 1 zeigt ein Ausführungsbeispiel eines Verfahrens 100 zum Trainieren eines künstlichen neuronalen Netzes. Grundlage für das Verfahren 100 zum Trainieren des künstlichen neuronalen Netzes ("KNN") ist ein simuliertes virtuelles Umfeld 3. Vorzugsweise wird ein solches Umfeld 3 mittels Software des Stands der Technik, bspw. CARLA ®, Viris VTD ®, etc. simuliert. Vorzugsweise werden bei der Simulation die Bewegungen des Fahrzeugs 1 in dem simulierten Umfeld 3 berücksichtigt. Des Weiteren vorzugsweise werden Reaktionen des Fahrzeugs 1 auf die simulierte Umgebung 3 sowie Reaktionen von Objekten in der simulierten Umgebung auf die Bewegung des Fahrzeugs 1 berücksichtigt. Zusammenfassend kann dies als Wechselwirkung des Fahrzeugs 1 mit seinem virtuellen Umfeld 3 bezeichnet werden. In einem ersten Arbeitsschritt 101 des Verfahrens wird das Umfeld 3 an einen Benutzer und an das autonome Fahrsystem 2 ausgegeben. Wie weiter unten erläutert wird, kann das virtuelle Umfeld 3 hierbei sowohl analog über einen Prüfstand an den Benutzer und/oder das autonome Fahrsystem ausgegeben werden. Alternativ kann das autonome Fahrsystem 2 auch als Hardware-in-the-Loop oder nur als Software-in-the-Loop eingebunden sein, wobei das virtuelle Umfeld 3 ausschließlich über eine Datenschnittstelle 13 ausgegeben wird. In einem zweiten Arbeitsschritt 102 wird eine erste Trajektorie des Fahrzeugs 1 erfasst, während dieses durch den Benutzer 4 gesteuert wird. Hierfür wird die Bewegung des Fahrzeugs 1 in der simulierten Umgebung 3 erfasst. Insbesondere werden die Wegpunkte der Trajektorie in einem definierten Abstand oder mit einer definierten Frequenz aufgezeichnet. In einem dritten Arbeitsschritt 103 wird das autonome Fahrsystem 2 in dem virtuellen Umfeld des Fahrzeugs 1 betrieben. Vorzugsweise fährt das autonome Fahrsystem 2 hierbei dieselbe Strecke in dem virtuellen Umfeld 3 ab, welche bereits der Benutzer 4 zurückgelegt hat. Alternativ kann auch zunächst das autonome Fahrsystem 2 in dem virtuellen Umfeld betrieben werden und dann der Benutzer 4 das Fahrzeug 1 durch
PI33094WO/hl - 10 - 22.06.2023 das virtuelle Umfeld 3 steuern. Weiter vorzugsweise kann dies auch parallel ausgeführt werden. Auch eine zweite Trajektorie des Fahrzeugs 1 wird in einem vierten Arbeitsschritt 104 erfasst, während das Fahrzeug 1 durch das autonome Fahrsystem 2 mittels des Fahrermodells gesteuert wird. Auch hierbei handelt es sich um die Trajektorie, die die simulierte Bewegung des Fahrzeugs 1 in dem virtuellen Umfeld 3 zurücklegt. In einem fünften Arbeitsschritt 105 werden die Daten der ersten Trajektorie und der zweiten Trajektorie dem Interpreter bereitgestellt, wobei die erste Trajektorie mit der zweiten Trajektorie abgeglichen wird. Auf der Grundlage dieser Informationen wird das künstliche neuronale Netz KNN angelernt bzw. trainiert. Vorzugsweise kommt hierbei eine Ausgleichsrechnung, eine Hebb-Lernregel oder andere Lernverfahren zum Einsatz. Die Trajektorie, welche durch den Benutzer erzeugt wurde, wird hierbei als Referenztrajektorie verwendet. Mithin handelt es sich bei dieser Methode um eine Art beaufsichtigten Lernens des künstlichen neuronalen Netzes. Vorzugsweise handelt es sich bei dem künstlichen neuronalen Netz um ein Convolutional Artificial Neural Network. In einem sechsten Arbeitsschritt 106 wird das autonome Fahrsystem 2 nochmals in dem virtuellen Umfeld 3 des Fahrzeugs 1 betrieben. Abermals wird eine dritte Trajektorie in einem siebten Arbeitsschritt 107 des Fahrzeugs 1 erfasst. In Unterschied zum ersten Teil des Verfahrens 100 wird die dritte Trajektorie aber nunmehr in einem achten Arbeitsschritt 108 bewertet. Vorzugsweise wird hierbei eine Belohnung auf der Grundlage wenigstens eines Kriteriums vergeben. Bei diesem Kriterium handelt es sich vorzugsweise um eine Vermeidung von Fahrbahnüberschreitung, eine Vermeidung von Fahrspurüberschreitung, eine Rundenzeit und/oder eine Vermeidung einer Kollision bzw. den Wert einer Kollisionswahrscheinlichkeit.
PI33094WO/hl - 11 - 22.06.2023 In einem neunten Arbeitsschritt 109 werden die Daten der dritten Trajektorie und der Belohnung in der Weise bereitgestellt, dass diese zum Trainieren in das künstliche neuronale Netz KNN eingelesen werden können. Das künstliche neuronale Netz KNN approximiert vorzugsweise eine Nutzenfunktion. Weiter vorzugsweise wird das künstliche neuronale Netz KNN angelernt, indem diese Nutzenfunktion auf der Grundlage der bereitgestellten Daten und der Belohnung maximiert wird. Diese Art von Lernvorgang des künstlichen neuronalen Netzes wird auch als bestärkendes Lernen. Vorzugsweise wird der sechste Arbeitsschritt 106 bis zum neunten Arbeitsschritt 109 wiederholt, bis eine erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Diese Abbruchbedingung kann insbesondere sein, dass • eine Rundenzeit unterschritten wird, • ein Fahrzeug 1 eine bestimmte Anzahl an Kilometern ohne Kollision zurückgelegt hat, oder • mit einer Kollisionswahrscheinlichkeit, welche einen gewissen Schwellenwert unterschreitet; oder • eine mittlere Fahrbahnüberschreitung oder Fahrspurüberschreitung einen definierten Wert unterschritten hat, etc. Vorzugsweise wird die Interaktion eines Benutzers mit einem virtuellen Umfeld 3 bzw. die Trajektorie, welche sich aus dieser Interaktion ergibt, aufgezeichnet. Vorzugsweise handelt es sich dabei um ein computerimplementiertes Verfahren. Die einzelnen Verfahrensschritte werden durch das System 10 vorzugsweise mittels einer Datenverarbeitungsanlage ausgeführt. Weiter vorzugsweise können auch der erste Arbeitsschritt 101 bis zum fünften Arbeitsschritt 105 mehrmals wiederholt werden, bevor die zweite Phase des
PI33094WO/hl - 12 - 22.06.2023 Verfahrens 100 beginnt. Werden diese Arbeitsschritte mehrmals wiederholt, so kann eine bessere Lernbasis für das bestärkende Lernen erreicht werden. Figur 2 zeigt ein Ausführungsbeispiel eines Systems 10 zum Trainieren eines künstlichen neuronalen Netzes KNN. Das System 10 weist hierbei eine Benutzerschnittstelle 12 zur Interaktion des Benutzers 4 mit einem virtuellen Umfeld 3 auf. Vorzugsweise ist die Benutzerschnittstelle 12 dabei als eine Art Simulationsumgebung eingerichtet, in welcher dem Benutzer 4 die Umgebung 3 sowie Steuermöglichkeiten zum Beeinflussen der Bewegung des Fahrzeugs 1 bereitgestellt werden. Vorzugsweise ist die Benutzerschnittstelle 12 dabei als Sitzkiste, wie in Figur 2 dargestellt, ausgebildet, in welcher der Benutzer 4 Platz nehmen kann. Die Sitzkiste weist vorzugsweise – wie ein Fahrzeug – Lenkrad, Gas- und Bremspedal, Kupplung und/oder Gangschaltung und weitere Bedienelemente auf. Weiter vorzugsweise kann auch ein Fahrzeug auf einem Prüfstand, beispielsweise einem Rollenprüfstand angeordnet sein, auf welchem der Benutzer das Fahrzeug 1 in einer simulierten Umgebung 3 steuert. Des Weiteren weist das System 10 eine Fahrsystemschnittstelle 13 zur Interaktion des Fahrsystems 2 mit dem virtuellen Umfeld 3 auf. Die Fahrsystemschnittstelle 13 kann dabei in großen Teilen Übereinstimmungen mit der Benutzerschnittstelle 12 haben. So können beispielsweise, wenn das autonome Fahrsystem 2 eine Videokamera aufweist, Bildschirme oder Leinwände auch dazu benutzt werden, die Umgebung 3 für das autonome Fahrsystem 2 zu simulieren. Die Fahrsystemschnittstelle 13 ist dabei – ähnlich wie die Benutzerschnittstelle 12 – vorzugsweise bidirektional. Das bedeutet, dass das autonome Fahrsystem 2 einerseits über die Fahrsystemschnittstelle 13 das virtuelle Umfeld 3 dargestellt bekommt bzw. das autonome Fahrsystem 2 über die Fahrsystemschnittstelle 13 stimuliert wird, dass aber andererseits auch Aktionen, welche das autonome Fahrsystem 2 vornimmt, über die Fahrsystemschnittstelle 13
PI33094WO/hl - 13 - 22.06.2023 dem System 10 zur Interaktion mit er Simulierten Umwelt und zum Trainieren des künstlichen neuronalen Netzes KNN 10 bereitgestellt werden. Vorzugsweise ist die Fahrsystemschnittstelle 13 daher wenigstens teilweise als Datenschnittstelle ausgebildet. Des Weiteren weist das System 10 Mittel 14 zum Betreiben des autonomen Fahrzeug 1 in dem virtuellen Umfeld 3 des Fahrzeugs 1 auf. Je nachdem, ob das Fahrzeug 1 ausschließlich simuliert wird oder aber wenigstens teilweise auch Hardwarekomponenten des Fahrzeugs 1 vorhanden sind bzw. auch betrieben werden, sind die Mittel 14 zum Betreiben des Fahrzeugs als reine Simulationsmittel oder auch als Prüfstand ausgebildet. Auf diesen Mitteln 14 zum Betreiben des Fahrzeugs 1 kann das Fahrzeug 1 durch das virtuelle Umfeld 3 bewegt werden und mit dem Umfeld 3 interagieren. Des Weiteren weist das System 10 Mittel 15 zum Erfassen einer ersten Trajektorie des Fahrzeugs 1 auf, während dieses durch den Benutzer 4 gesteuert wird. Die Mittel 15 zum Erfassen von Trajektorien des Fahrzeugs 1 sind auch eingerichtet, Trajektorien zu erfassen, während dieses durch das autonome Fahrsystem 2 durch das virtuelle Umfeld 3 des Fahrzeugs 1 bewegt wird. Insbesondere sind hierfür Speichermittel vorgesehen, um die entsprechenden Wegpunkte in Abhängigkeit der zurückgelegten Zeit oder der zurückgelegten Strecke abzuspeichern. Des Weiteren weist das System 10 Mittel 16 zum Bewerten einer Trajektorie auf. Hierbei handelt es sich insbesondere um einen sogenannten Interpreter. Vorzugsweise wird hierbei erst eine solche Trajektorie bewertet, welche durch einen Betrieb des Fahrzeugs 1 mittels des autonomen Fahrsystems 2 in der virtuellen Umgebung 3 erzeugt wurde. Von den Mitteln 16 werden vorzugsweise Gewichte und Verbindungen des künstlichen Neuronalen Netzes angepasst. Weiter vorzugsweise kann die Architektur des künstlichen Neuronalen Netzes verändert. Des Weiteren weist das System 10 eine Datenschnittstelle 17 auf, mittels welcher Daten in Bezug auf das Anpassen des künstlichen neuronalen Netz KNN oder ein angepasstes künstliches Neuronales Netz bereitgestellt werden kann. Diese Daten
PI33094WO/hl - 14 - 22.06.2023 können in das künstliche neuronale Netz KNN eingelesen werden und auf diese Weise trainiert werden. Vorzugsweise ist das System 10 dabei so eingerichtet, ein Verfahren 100 zum Trainieren eines künstlichen neuronalen Netzes KNN auszuführen, wie es in Bezug auf Figur 1 beschrieben wurde. Insbesondere ist das System 10 dazu eingerichtet, das künstliche neuronale Netz KNN, durch welches eine Nutzenfunktion approximiert wird, zunächst durch Abgleich der ersten Trajektorie mit der zweiten Trajektorie und der danach zu maximierenden Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnungen zu trainieren und das Fahrzeug 1 solange zu betreiben, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Figur 3 zeigt ein Mittel 14 zum Betreiben des Fahrzeugs 1. Im dargestellten Fall ist das Fahrzeug 1 real auf einem Prüfstand 14 vorhanden. Das autonome Fahrsystem 2 des Fahrzeugs 1 weist eine Radarantenne 20 auf. Die Mittel 14 zum Betreiben des Fahrzeugs 1 weisen vorzugsweise entsprechend einen Simulator 18 auf, welcher eingerichtet ist, Radarantennen 19 des Simulators 18 so zu betreiben, dass ein eingehendes Radarsignal in der Weise abgeändert wird, dass das an das Fahrzeug 1 zurückgesendete Radarsignal S' das Umfeld 3 des Fahrzeugs 1 widerspiegelt. Auf diese Weise kann das virtuelle Umfeld 3 dem Fahrzeug 1 simuliert werden. Weiter vorzugsweise ist das Fahrzeug auf einem Rollenprüfstand angeordnet, so dass auch ein Antriebsbetrieb des Fahrzeugs 1 während der Simulation des virtuellen Umfelds 3 simuliert werden kann. Vorzugsweise sind über die Datenschnittstelle 17 auch Mittel 11 zum Simulieren des virtuellen Umfelds 3 mit dem System 10 verbunden. Diese Mittel 11 können alternativ auch Teil des Systems 10 sein. Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner
PI33094WO/hl - 15 - 22.06.2023 Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
PI33094WO/hl - 16 - 22.06.2023 Bezugszeichenliste 1 Fahrzeug 2 autonomes Fahrsystem 3 virtuelles Umfeld 4 Benutzer 10 System zum Trainieren eines künstlichen neuronalen Netzes KNN 11 Mittel zum Simulieren 12 Benutzerschnittstelle 13 Fahrsystemschnittstelle 14 Mittel zum Betreiben des Fahrzeugs 15 Mittel zum Erfassen 16 Mittel zum Bewerten und Anpassen 17 Datenschnittstelle 18 Simulator 19 Radarantenne 20 Radarantenne