PI33094WO/hl - 1 - 22.06.2023 Verfahren zum Trainieren eines künstlichen neuronalen Netzes eines Fahrermodells Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten virtuellen Umfeld, in welchem sich das Fahrzeug befindet. Neben den insbesondere der Fahrsicherheit dienenden Systemen wie ABS (Anti- Blockier-System) und ESP (Elektronisches Stabilitätsprogramm) werden im Bereich der Personenkraftwagen und der Nutzfahrzeuge eine Vielzahl von Fahrerassistenzsystemen angeboten. Fahrerassistenzsysteme, welche bereits zur Erhöhung der aktiven Verkehrssicherheit eingesetzt werden, sind beispielsweise ein Parkassistent und ein adaptiver Abstandsregeltempomat, der auch als Adaptive Cruise Control (ACC) bekannt ist, welcher eine vom Fahrer gewählte Wunschgeschwindigkeit adaptiv auf einen Abstand zu einem vorausfahrenden Fahrzeug einregelt. Ein weiteres Beispiel für solche Fahrerassistenzsysteme sind ACC-Stop-&-Go-Systeme, welche zusätzlich zum ACC die automatische Weiterfahrt des Fahrzeugs im Stau oder bei stehenden Fahrzeugen bewirken Spurhalte- oder Lane-Assist-Systeme, die das Fahrzeug automatisch auf der Fahrzeugspur halten, und Pre-Crash-Systeme, die im Fall der Möglichkeit einer Kollision beispielsweise eine Bremsung vorbereiten oder einleiten, um die kinetische Energie aus dem Fahrzeug zu nehmen, sowie gegebenenfalls weitere Maßnahmen einleiten, falls eine Kollision unvermeidlich ist. Diese Fahrerassistenzsysteme erhöhen sowohl die Sicherheit im Verkehr, indem sie den Fahrer in kritischen Situationen warnen, bis zur Einleitung eines selbstständigen Eingriffs zur Unfallvermeidung oder Unfallverminderung, beispielsweise indem eine Notbremsfunktion aktiviert wird. Zusätzlich wird der Fahrkomfort durch Funktionen wie automatisches Einparken, automatische Spurhaltung und automatische Abstandskontrolle erhöht.
PI33094WO/hl - 2 - 22.06.2023 Der Sicherheits- und Komfortgewinn eines Fahrerassistenzsystems wird von den Fahrzeuginsassen nur dann positiv wahrgenommen, wenn die Unterstützung durch das Fahrerassistenzsystem sicher, verlässlich und in – soweit möglich – komfortabler Weise erfolgt. Darüber hinaus muss jedes Fahrerassistenzsystem, je nach Funktion, im Verkehr auftretende Szenarien mit maximaler Sicherheit für das eigene Fahrzeug und auch ohne Gefährdung anderer Fahrzeuge bzw. anderer Verkehrsteilnehmer bewerkstelligen. Der jeweilige Automatisierungsgrad von Fahrzeugen wird dabei in sogenannte Automatisierungslevel 1 bis 5 unterteilt (vgl. beispielsweise Norm SAE J3016). Die vorliegende Erfindung betrifft insbesondere Fahrzeuge mit Fahrerassistenzsystemen des Automatisierungslevels 3 bis 5, welches im Allgemeinen als autonomes Fahren betrachtet wird. Vorzugsweise werden in dem Fahrerassistenzsystem auch unterschiedliche Fahrstile berücksichtigt (sportlich, komfortabel, etc.). Hierfür müssen Fahrermodelle erzeugt werden, welche eine Vielzahl an Parametern, insbesondere der Umgebung und/oder des Fahrzeugs und/oder der Witterung etc. berücksichtigen. Dabei müssen die Fahrermodelle in der Lage sein, eine fast unbegrenzte Anzahl an Szenarien und daraus entstehenden Fahrsituationen zu meistern. Das Dokument EP 3055813 A1 offenbart ein computerimplementiertes Verfahren zum bestärkenden Lernen zum Steuern der Lenkung eines Fahrzeugs. Es ist eine Aufgabe der Erfindung, verbesserte Fahrermodelle und Verfahren zum Erzeugen solcher verbesserten Fahrermodelle bereitzustellen. Insbesondere ist es eine Aufgabe der Erfindung, die Fahrermodelle bezüglich verschiedener Kriterien, beispielsweise Sicherheit, zu optimieren.
PI33094WO/hl - 3 - 22.06.2023 Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen beansprucht. Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten virtuellen Umfeld, in welchem das Fahrzeug gesteuert wird, wobei das Verfahren folgende Arbeitsschritte aufweist: a) Ausgeben des virtuellen Umfelds an einen Benutzer und an das autonome Fahrsystem; b) Erfassen einer ersten Trajektorie des Fahrzeugs, während dieses durch den Benutzer gesteuert wird; c) Betreiben des autonomen Fahrsystems in dem virtuellen Umfeld des Fahrzeugs; d) Erfassen einer zweiten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; e) Bereitstellen von Daten der ersten Trajektorie und der zweiten Trajektorie an einer Datenschnittstelle in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können, wobei das künstliche neuronale Netz durch Abgleich der ersten Trajektorie mir der zweiten Trajektorie dazulernen kann, insbesondere mittels einer Ausgleichsrechnung; f) weiteres Betreiben des autonomen Fahrsystems in dem virtuellen Umfeld des Fahrzeugs; g) Erfassen einer dritten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; h) Bewerten der dritten Trajektorie, wobei eine Belohnung auf der Grundlage wenigstens eines Kriteriums vergeben wird; und i) Bereitstellen von Daten der dritten Trajektorie und der Belohnung an der Datenschnittstelle in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können, wobei durch das künstliche neuronale Netz eine Nutzenfunktion approximiert wird, wobei das künstliche neuronale Netz durch Maximieren der Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnungen dazulernen kann;
PI33094WO/hl - 4 - 22.06.2023 wobei die Arbeitsschritte f) bis i) solange wiederholt werden, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Ein autonomes Fahrsystem im Sinne der Erfindung weist vorzugsweise ein oder mehrere Fahrerassistenzsysteme auf, welche zusammen einen Automatisierungslevel der Stufen 3 bis 5 nach der Norm SAE J3016 ergibt oder ergeben. Ein solcher Automatisierungslevel wird im Allgemeinen als autonomes Fahren betrachtet. Eine Benutzerschnittstelle im Sinne der Erfindung ist eine Schnittstelle, mit welcher der Benutzer, aber auch das autonome Fahrsystem, die Umwelt wahrnehmen kann. Insbesondere erlaubt eine Benutzerschnittstelle die Wahrnehmung von Audio, Video, Luftbewegung, Bewegung, Geruch, etc. Vorzugsweise kann jede Sinneswahrnehmung eines Benutzers über eine Benutzerschnittstelle stimuliert werden. Der Erfindung liegt die Idee zu Grunde, zum Trainieren eines künstlichen neuronalen Netzes Methoden des überwachten Lernens (englisch: supervised learning) mit jenen des maschinellen bestärkenden Lernens (englisch: reinforcement learning) zu kombinieren. Die Erfinder haben festgestellt, dass die Zeit zum Trainieren des künstlichen neuronalen Netzes mit überwachtem Lernen auf diese Weise wesentlich reduziert werden kann und darüber hinaus kann sichergestellt oder zumindest die Wahrscheinlichkeit wesentlich erhöht werden, dass mittels des Reinforcement Lernens eine konvergierende Lösung beim Trainieren des künstlichen neuronalen Netzes erzielt wird. Dies ermöglicht höhere Modellgüten, als jene, welche nur mittels überwachtem Lernen oder nur mit bestärkendem Lernen erreicht werden. Hierfür wird erfindungsgemäß in einer ersten Phase des Trainings ein virtuelles Umfeld an einen Benutzer und an ein autonomes Fahrsystem, dessen Fahrermodell, welches auf einem künstlichen neuronalen Netz basiert, trainiert werden soll, in einem simulierten Umfeld betrieben. Hierbei werden jeweils Trajektorien erfasst, wenn das Fahrzeug durch den Benutzer gesteuert wird und wenn das Fahrzeug durch das autonome Fahrsystem gesteuert wird. Diese Trajektorien werden miteinander verglichen und die Parameter des neuronalen Netzes, insbesondere dessen
PI33094WO/hl - 5 - 22.06.2023 Verbindungen der einzelnen Neuronen und/oder die Gewichtungen der einzelnen Neuronen, in der Weise angepasst, dass eine danach durch das autonome Fahrsystem erzeugte Trajektorie möglichst mit der durch den Fahrer erzeugten Trajektorie übereinstimmt. Dieser Vorgang kann einmal ausgeführt oder mehrmals wiederholt werden. In einer zweiten Phase des Trainingsverfahrens werden wiederum Trajektorien des Fahrzeugs aufgenommen, während dieses durch das autonome Fahrsystem gesteuert wird. Im Gegensatz zu der ersten Phase wird nun jedoch eine Methode des maschinellen Lernens eingesetzt, um das künstliche neuronale Netz zu verbessern bzw. noch weiter zu verbessern. Vorzugsweise approximiert das künstliche neuronale Netz eine Nutzenfunktion. Diese Nutzenfunktion wird vorzugsweise auf der Grundlage der Daten der dritten Trajektorie und einer Belohnung maximiert. Durch Maximieren der Nutzenfunktion wird ein Lerneffekt bei dem künstlichen neuronalen Netz erzeugt. Eine Vorgabe einer Referenztrajektorie ist hierbei nicht erforderlich. Daher handelt es sich um eine Art des bestärkenden Lernens (englisch: reinforcement learning). Vorzugsweise ist das künstliche neuronale Netz hierbei ein Agent, welcher eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Vorzugsweise wird hierbei das Bewerten der dritten Trajektorie und das Vergeben einer Belohnung durch einen sogenannten Interpreter durchgeführt. Vorzugsweise ist auch dieser Interpreter Teil des künstlichen neuronalen Netzes bzw. des Agenten. Vorzugsweise verändert der Interpreter das künstliche neuronale Netz auf der Grundlage einer Ausgleichsrechnung und/oder nimmt die Ausgleichrechnung vor. Weiter vorzugsweise ist die Lernmethode eine sogenannte bestärkende Q-Lernmethode, insbesondere eine DQN-Lernmethode, welche ein tiefes Convolutional Artificial Neural Network (zu Deutsch etwa: „faltendes neuronales Netzwerk") verwendet. Vorzugsweise wird nach der ersten Phase des überwachten Lernens in der Phase des bestärkenden Lernens eine Simulation einer Fahrt eines Fahrzeugs mit dem autonomen Fahrsystem in einem virtuellen Umfeld des Fahrzeugs solange durchgeführt, bis für wenigstens ein Kriterium, auf dessen Grundlage eine Belohnung vergeben wird, eine Abbruchbedingung erreicht ist. Das heißt, eine "dritte" Trajektorie
PI33094WO/hl - 6 - 22.06.2023 wird solange aufgezeichnet und das künstliche neuronale Netz solange auf der Grundlage dieser Trajektorie angelernt, bis eine Abbruchbedingung in Bezug auf das Kriterium erreicht ist. Die Kriterien sind vorzugsweise eine Rundenzeit, eine Vermeidung von Fahrbahnüberschreitung, eine Vermeidung von Fahrspurüberschreitung, eine Vermeidung von Kollisionen (bzw. die Kollisionswahrscheinlichkeit). Die Rundenzeit ist hierbei vorzugsweise die Zeitdauer, in welcher ein Fahrzeug eine Rundfahrt auf einer definierten Strecke absolviert. Die Vermeidung einer Kollision wird vorzugsweise durch Anzahl an Kollisionen während einer Testfahrt bzw. die Kollisionswahrscheinlichkeit in verschiedenen Szenarien charakterisiert. Die Fahrbahn- und Fahrspurüberschreitung wird vorzugsweise durch die Anzahl an Fahrsituationen charakterisiert, in welchen das Fahrzeug außerhalb der Fahrbahn bzw. der Spur fuhr. Des Weiteren kann die Fahrspurabweichung vorzugsweise durch die mittlere Fahrspurabweichung charakterisiert werden, welche beispielsweise auf einer Testfahrt vorlag. In einer vorteilhaften Ausgestaltung des Verfahrens werden auch die Arbeitsschritte a) bis e) solange wiederholt, bis eine definierte Anzahl an Wiederholungen oder bis eine vordefinierte zweite Abbruchbedingung erreicht ist. Auch das Verfahren des überwachten Lernens kann ebenfalls wiederholt werden, um eine bessere Basis für das bestärkende Lernen zu schaffen. In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden beim Simulieren die jeweilige Trajektorie des Fahrzeugs und die daraus resultierende Wechselwirkung des Fahrzeugs in seinem virtuellen Umfeld berücksichtigt. Durch die Berücksichtigung der Wechselwirkung des Fahrzeugs mit seinem virtuellen Umfeld kann bei der Simulation des virtuellen Umfelds dessen Bewegung berücksichtigt werden. Hierdurch kann sich das virtuelle Umfeld dynamisch weiterentwickeln.
PI33094WO/hl - 7 - 22.06.2023 Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit einem autonomen Fahrsystem, wobei das Fahrzeug durch ein Fahrermodell des autonomen Fahrsystems geführt wird, welches mittels eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes, welches einem Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde liegt, in einem simulierten Umfeld, in welchem das Verfahren gesteuert wird, trainiert wurde. Durch das Betreiben eines Fahrzeugs durch ein Fahrermodell, welches mittels des vorteilhaften Verfahrens zum Trainieren angelernt wurde, können Fahrzeuge besonders zuverlässig und in für den Fahrer angenehmen Art geführt werden. Ein dritter Aspekt der Erfindung betrifft ein System zum Trainieren eines künstlichen neuronalen Netzes, welches ein Fahrermodell für ein autonomes Fahrsystem eines Fahrzeugs zu Grunde legt, aufweisen: • eine Benutzerschnittstelle zur Interaktion eines Benutzers in einem virtuellen Umfeld, in welchem sich das Fahrzeug befindet; • eine Fahrsystemschnittstelle zur Interaktion des Fahrsystems mit dem virtuellen Umfeld; • Mittel, insbesondere ein Simulator oder ein Prüfstand, zum Betreiben des Fahrzeugs in dem virtuellen Umfeld des Fahrzeugs; • Mittel zum Erfassen einer ersten Trajektorie des Fahrzeugs, während dieses durch einen Benutzer gesteuert wird, und einer zweiten und dritten Trajektorie des Fahrzeugs, während dieses durch das autonome Fahrsystem mittels des Fahrermodells gesteuert wird; • Mittel zum Bewerten der dritten Trajektorie, insbesondere ein Interpreter, wobei eine Belohnung auf der Grundlage wenigstens eines Kriteriums, insbesondere durch den Interpreter, vergeben wird; und • eine Datenschnittstelle zum Betreiben von Daten der ersten, zweiten und dritten Trajektorie und der Belohnung in der Weise, dass diese zum Trainieren in das künstliche neuronale Netz eingelesen werden können; wobei das System eingerichtet ist, das künstliche neuronale Netz, durch welches eine Nutzenfunktion approximiert wird, zunächst durch Abgleich der ersten Trajektorie mit
PI33094WO/hl - 8 - 22.06.2023 der zweiten Trajektorie und danach durch Maximieren der Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnung zu trainieren und das Fahrzeug solange zu betreiben, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. In einer vorteilhaften Ausgestaltung weist das System des Weiteren Mittel zum Simulieren des virtuellen Umfelds auf. Es ist besonders bevorzugt, wenn das System zum Trainieren auch die Mittel zum Simulieren des virtuellen Umfelds aufweist. Auf diese Weise können Interaktionen zwischen dem Fahrzeug und dem virtuellen Umfeld besonders einfach berücksichtig werden. Ein vierter Aspekt der Erfindung betrifft ein Fahrermodell, welches auf einem künstlichen neuronalen Netz basiert und mittels des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes erzeugt ist. Die im Vorhergehenden in Bezug auf den ersten Aspekt der Erfindung genannten Vorteile und Merkmale gelten für die anderen Aspekte der Erfindung entsprechend und umgekehrt. Darüber hinaus betrifft die Erfindung ein Computerprogramm und ein computerlesbares Medium. Weitere vorteilhafte Merkmale ergeben sich aus der nachfolgenden Beschreibung in Bezug auf die Figuren. Es zeigen wenigstens teilweise schematisch: Figur 1 ein Ausführungsbeispiel eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes; Figur 2 ein Ausführungsbeispiel eines Systems zum Trainieren eines künstlichen neuronalen Netzes; und Figur 3 ein Ausführungsbeispiel eines Prüfstands zum Simulieren eines Umfelds für ein autonomes Fahrsystem.
PI33094WO/hl - 9 - 22.06.2023 Figur 1 zeigt ein Ausführungsbeispiel eines Verfahrens 100 zum Trainieren eines künstlichen neuronalen Netzes. Grundlage für das Verfahren 100 zum Trainieren des künstlichen neuronalen Netzes ("KNN") ist ein simuliertes virtuelles Umfeld 3. Vorzugsweise wird ein solches Umfeld 3 mittels Software des Stands der Technik, bspw. CARLA ®, Viris VTD ®, etc. simuliert. Vorzugsweise werden bei der Simulation die Bewegungen des Fahrzeugs 1 in dem simulierten Umfeld 3 berücksichtigt. Des Weiteren vorzugsweise werden Reaktionen des Fahrzeugs 1 auf die simulierte Umgebung 3 sowie Reaktionen von Objekten in der simulierten Umgebung auf die Bewegung des Fahrzeugs 1 berücksichtigt. Zusammenfassend kann dies als Wechselwirkung des Fahrzeugs 1 mit seinem virtuellen Umfeld 3 bezeichnet werden. In einem ersten Arbeitsschritt 101 des Verfahrens wird das Umfeld 3 an einen Benutzer und an das autonome Fahrsystem 2 ausgegeben. Wie weiter unten erläutert wird, kann das virtuelle Umfeld 3 hierbei sowohl analog über einen Prüfstand an den Benutzer und/oder das autonome Fahrsystem ausgegeben werden. Alternativ kann das autonome Fahrsystem 2 auch als Hardware-in-the-Loop oder nur als Software-in-the-Loop eingebunden sein, wobei das virtuelle Umfeld 3 ausschließlich über eine Datenschnittstelle 13 ausgegeben wird. In einem zweiten Arbeitsschritt 102 wird eine erste Trajektorie des Fahrzeugs 1 erfasst, während dieses durch den Benutzer 4 gesteuert wird. Hierfür wird die Bewegung des Fahrzeugs 1 in der simulierten Umgebung 3 erfasst. Insbesondere werden die Wegpunkte der Trajektorie in einem definierten Abstand oder mit einer definierten Frequenz aufgezeichnet. In einem dritten Arbeitsschritt 103 wird das autonome Fahrsystem 2 in dem virtuellen Umfeld des Fahrzeugs 1 betrieben. Vorzugsweise fährt das autonome Fahrsystem 2 hierbei dieselbe Strecke in dem virtuellen Umfeld 3 ab, welche bereits der Benutzer 4 zurückgelegt hat. Alternativ kann auch zunächst das autonome Fahrsystem 2 in dem virtuellen Umfeld betrieben werden und dann der Benutzer 4 das Fahrzeug 1 durch
PI33094WO/hl - 10 - 22.06.2023 das virtuelle Umfeld 3 steuern. Weiter vorzugsweise kann dies auch parallel ausgeführt werden. Auch eine zweite Trajektorie des Fahrzeugs 1 wird in einem vierten Arbeitsschritt 104 erfasst, während das Fahrzeug 1 durch das autonome Fahrsystem 2 mittels des Fahrermodells gesteuert wird. Auch hierbei handelt es sich um die Trajektorie, die die simulierte Bewegung des Fahrzeugs 1 in dem virtuellen Umfeld 3 zurücklegt. In einem fünften Arbeitsschritt 105 werden die Daten der ersten Trajektorie und der zweiten Trajektorie dem Interpreter bereitgestellt, wobei die erste Trajektorie mit der zweiten Trajektorie abgeglichen wird. Auf der Grundlage dieser Informationen wird das künstliche neuronale Netz KNN angelernt bzw. trainiert. Vorzugsweise kommt hierbei eine Ausgleichsrechnung, eine Hebb-Lernregel oder andere Lernverfahren zum Einsatz. Die Trajektorie, welche durch den Benutzer erzeugt wurde, wird hierbei als Referenztrajektorie verwendet. Mithin handelt es sich bei dieser Methode um eine Art beaufsichtigten Lernens des künstlichen neuronalen Netzes. Vorzugsweise handelt es sich bei dem künstlichen neuronalen Netz um ein Convolutional Artificial Neural Network. In einem sechsten Arbeitsschritt 106 wird das autonome Fahrsystem 2 nochmals in dem virtuellen Umfeld 3 des Fahrzeugs 1 betrieben. Abermals wird eine dritte Trajektorie in einem siebten Arbeitsschritt 107 des Fahrzeugs 1 erfasst. In Unterschied zum ersten Teil des Verfahrens 100 wird die dritte Trajektorie aber nunmehr in einem achten Arbeitsschritt 108 bewertet. Vorzugsweise wird hierbei eine Belohnung auf der Grundlage wenigstens eines Kriteriums vergeben. Bei diesem Kriterium handelt es sich vorzugsweise um eine Vermeidung von Fahrbahnüberschreitung, eine Vermeidung von Fahrspurüberschreitung, eine Rundenzeit und/oder eine Vermeidung einer Kollision bzw. den Wert einer Kollisionswahrscheinlichkeit.
PI33094WO/hl - 11 - 22.06.2023 In einem neunten Arbeitsschritt 109 werden die Daten der dritten Trajektorie und der Belohnung in der Weise bereitgestellt, dass diese zum Trainieren in das künstliche neuronale Netz KNN eingelesen werden können. Das künstliche neuronale Netz KNN approximiert vorzugsweise eine Nutzenfunktion. Weiter vorzugsweise wird das künstliche neuronale Netz KNN angelernt, indem diese Nutzenfunktion auf der Grundlage der bereitgestellten Daten und der Belohnung maximiert wird. Diese Art von Lernvorgang des künstlichen neuronalen Netzes wird auch als bestärkendes Lernen. Vorzugsweise wird der sechste Arbeitsschritt 106 bis zum neunten Arbeitsschritt 109 wiederholt, bis eine erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Diese Abbruchbedingung kann insbesondere sein, dass • eine Rundenzeit unterschritten wird, • ein Fahrzeug 1 eine bestimmte Anzahl an Kilometern ohne Kollision zurückgelegt hat, oder • mit einer Kollisionswahrscheinlichkeit, welche einen gewissen Schwellenwert unterschreitet; oder • eine mittlere Fahrbahnüberschreitung oder Fahrspurüberschreitung einen definierten Wert unterschritten hat, etc. Vorzugsweise wird die Interaktion eines Benutzers mit einem virtuellen Umfeld 3 bzw. die Trajektorie, welche sich aus dieser Interaktion ergibt, aufgezeichnet. Vorzugsweise handelt es sich dabei um ein computerimplementiertes Verfahren. Die einzelnen Verfahrensschritte werden durch das System 10 vorzugsweise mittels einer Datenverarbeitungsanlage ausgeführt. Weiter vorzugsweise können auch der erste Arbeitsschritt 101 bis zum fünften Arbeitsschritt 105 mehrmals wiederholt werden, bevor die zweite Phase des
PI33094WO/hl - 12 - 22.06.2023 Verfahrens 100 beginnt. Werden diese Arbeitsschritte mehrmals wiederholt, so kann eine bessere Lernbasis für das bestärkende Lernen erreicht werden. Figur 2 zeigt ein Ausführungsbeispiel eines Systems 10 zum Trainieren eines künstlichen neuronalen Netzes KNN. Das System 10 weist hierbei eine Benutzerschnittstelle 12 zur Interaktion des Benutzers 4 mit einem virtuellen Umfeld 3 auf. Vorzugsweise ist die Benutzerschnittstelle 12 dabei als eine Art Simulationsumgebung eingerichtet, in welcher dem Benutzer 4 die Umgebung 3 sowie Steuermöglichkeiten zum Beeinflussen der Bewegung des Fahrzeugs 1 bereitgestellt werden. Vorzugsweise ist die Benutzerschnittstelle 12 dabei als Sitzkiste, wie in Figur 2 dargestellt, ausgebildet, in welcher der Benutzer 4 Platz nehmen kann. Die Sitzkiste weist vorzugsweise – wie ein Fahrzeug – Lenkrad, Gas- und Bremspedal, Kupplung und/oder Gangschaltung und weitere Bedienelemente auf. Weiter vorzugsweise kann auch ein Fahrzeug auf einem Prüfstand, beispielsweise einem Rollenprüfstand angeordnet sein, auf welchem der Benutzer das Fahrzeug 1 in einer simulierten Umgebung 3 steuert. Des Weiteren weist das System 10 eine Fahrsystemschnittstelle 13 zur Interaktion des Fahrsystems 2 mit dem virtuellen Umfeld 3 auf. Die Fahrsystemschnittstelle 13 kann dabei in großen Teilen Übereinstimmungen mit der Benutzerschnittstelle 12 haben. So können beispielsweise, wenn das autonome Fahrsystem 2 eine Videokamera aufweist, Bildschirme oder Leinwände auch dazu benutzt werden, die Umgebung 3 für das autonome Fahrsystem 2 zu simulieren. Die Fahrsystemschnittstelle 13 ist dabei – ähnlich wie die Benutzerschnittstelle 12 – vorzugsweise bidirektional. Das bedeutet, dass das autonome Fahrsystem 2 einerseits über die Fahrsystemschnittstelle 13 das virtuelle Umfeld 3 dargestellt bekommt bzw. das autonome Fahrsystem 2 über die Fahrsystemschnittstelle 13 stimuliert wird, dass aber andererseits auch Aktionen, welche das autonome Fahrsystem 2 vornimmt, über die Fahrsystemschnittstelle 13
PI33094WO/hl - 13 - 22.06.2023 dem System 10 zur Interaktion mit er Simulierten Umwelt und zum Trainieren des künstlichen neuronalen Netzes KNN 10 bereitgestellt werden. Vorzugsweise ist die Fahrsystemschnittstelle 13 daher wenigstens teilweise als Datenschnittstelle ausgebildet. Des Weiteren weist das System 10 Mittel 14 zum Betreiben des autonomen Fahrzeug 1 in dem virtuellen Umfeld 3 des Fahrzeugs 1 auf. Je nachdem, ob das Fahrzeug 1 ausschließlich simuliert wird oder aber wenigstens teilweise auch Hardwarekomponenten des Fahrzeugs 1 vorhanden sind bzw. auch betrieben werden, sind die Mittel 14 zum Betreiben des Fahrzeugs als reine Simulationsmittel oder auch als Prüfstand ausgebildet. Auf diesen Mitteln 14 zum Betreiben des Fahrzeugs 1 kann das Fahrzeug 1 durch das virtuelle Umfeld 3 bewegt werden und mit dem Umfeld 3 interagieren. Des Weiteren weist das System 10 Mittel 15 zum Erfassen einer ersten Trajektorie des Fahrzeugs 1 auf, während dieses durch den Benutzer 4 gesteuert wird. Die Mittel 15 zum Erfassen von Trajektorien des Fahrzeugs 1 sind auch eingerichtet, Trajektorien zu erfassen, während dieses durch das autonome Fahrsystem 2 durch das virtuelle Umfeld 3 des Fahrzeugs 1 bewegt wird. Insbesondere sind hierfür Speichermittel vorgesehen, um die entsprechenden Wegpunkte in Abhängigkeit der zurückgelegten Zeit oder der zurückgelegten Strecke abzuspeichern. Des Weiteren weist das System 10 Mittel 16 zum Bewerten einer Trajektorie auf. Hierbei handelt es sich insbesondere um einen sogenannten Interpreter. Vorzugsweise wird hierbei erst eine solche Trajektorie bewertet, welche durch einen Betrieb des Fahrzeugs 1 mittels des autonomen Fahrsystems 2 in der virtuellen Umgebung 3 erzeugt wurde. Von den Mitteln 16 werden vorzugsweise Gewichte und Verbindungen des künstlichen Neuronalen Netzes angepasst. Weiter vorzugsweise kann die Architektur des künstlichen Neuronalen Netzes verändert. Des Weiteren weist das System 10 eine Datenschnittstelle 17 auf, mittels welcher Daten in Bezug auf das Anpassen des künstlichen neuronalen Netz KNN oder ein angepasstes künstliches Neuronales Netz bereitgestellt werden kann. Diese Daten
PI33094WO/hl - 14 - 22.06.2023 können in das künstliche neuronale Netz KNN eingelesen werden und auf diese Weise trainiert werden. Vorzugsweise ist das System 10 dabei so eingerichtet, ein Verfahren 100 zum Trainieren eines künstlichen neuronalen Netzes KNN auszuführen, wie es in Bezug auf Figur 1 beschrieben wurde. Insbesondere ist das System 10 dazu eingerichtet, das künstliche neuronale Netz KNN, durch welches eine Nutzenfunktion approximiert wird, zunächst durch Abgleich der ersten Trajektorie mit der zweiten Trajektorie und der danach zu maximierenden Nutzenfunktion auf der Grundlage der bereitgestellten Daten und Belohnungen zu trainieren und das Fahrzeug 1 solange zu betreiben, bis eine vordefinierte erste Abbruchbedingung in Bezug auf das wenigstens eine Kriterium erreicht ist. Figur 3 zeigt ein Mittel 14 zum Betreiben des Fahrzeugs 1. Im dargestellten Fall ist das Fahrzeug 1 real auf einem Prüfstand 14 vorhanden. Das autonome Fahrsystem 2 des Fahrzeugs 1 weist eine Radarantenne 20 auf. Die Mittel 14 zum Betreiben des Fahrzeugs 1 weisen vorzugsweise entsprechend einen Simulator 18 auf, welcher eingerichtet ist, Radarantennen 19 des Simulators 18 so zu betreiben, dass ein eingehendes Radarsignal in der Weise abgeändert wird, dass das an das Fahrzeug 1 zurückgesendete Radarsignal S' das Umfeld 3 des Fahrzeugs 1 widerspiegelt. Auf diese Weise kann das virtuelle Umfeld 3 dem Fahrzeug 1 simuliert werden. Weiter vorzugsweise ist das Fahrzeug auf einem Rollenprüfstand angeordnet, so dass auch ein Antriebsbetrieb des Fahrzeugs 1 während der Simulation des virtuellen Umfelds 3 simuliert werden kann. Vorzugsweise sind über die Datenschnittstelle 17 auch Mittel 11 zum Simulieren des virtuellen Umfelds 3 mit dem System 10 verbunden. Diese Mittel 11 können alternativ auch Teil des Systems 10 sein. Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner
PI33094WO/hl - 15 - 22.06.2023 Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
PI33094WO/hl - 1 - June 22, 2023 Method for training an artificial neural network of a driver model The invention relates to a method for training an artificial neural network, which is the basis of a driver model for an autonomous driving system of a vehicle, in a simulated virtual environment, in which the vehicle is located. In addition to systems such as ABS (anti-lock braking system) and ESP (electronic stability program), which are particularly important for driving safety, a large number of driver assistance systems are offered in the area of passenger cars and commercial vehicles. Driver assistance systems that are already used to increase active traffic safety include, for example, a parking assistant and an adaptive cruise control system, also known as Adaptive Cruise Control (ACC), which adaptively adjusts a desired speed selected by the driver to a distance from a vehicle in front. Another example of such driver assistance systems are ACC Stop & Go systems, which, in addition to the ACC, automatically continue driving the vehicle in traffic jams or when vehicles are stationary. Lane keeping or lane assist systems, which automatically keep the vehicle in the vehicle lane , and pre-crash systems, which, in the event of the possibility of a collision, prepare or initiate, for example, braking to remove kinetic energy from the vehicle, as well as, if necessary, take further measures if a collision is unavoidable. These driver assistance systems increase traffic safety by warning the driver in critical situations and by initiating an independent intervention to avoid or reduce accidents, for example by activating an emergency braking function. In addition, driving comfort is increased by functions such as automatic parking, automatic lane keeping and automatic distance control. PI33094WO/hl - 2 - June 22, 2023 The safety and comfort gains of a driver assistance system are only perceived positively by the vehicle occupants if the support provided by the driver assistance system is safe, reliable and - as far as possible - comfortable. In addition, each driver assistance system, depending on its function, must be able to handle scenarios that arise in traffic with maximum safety for its own vehicle and without endangering other vehicles or other road users. The respective degree of automation of vehicles is divided into so-called automation levels 1 to 5 (see, for example, standard SAE J3016). The present invention relates in particular to vehicles with driver assistance systems of automation levels 3 to 5, which is generally considered autonomous driving. Different driving styles are preferably also taken into account in the driver assistance system (sporty, comfortable, etc.). For this purpose, driver models must be generated which take into account a large number of parameters, in particular the environment and/or the vehicle and/or the weather, etc. The driver models must be able to master an almost unlimited number of scenarios and the resulting driving situations. The document EP 3055813 A1 discloses a computer-implemented reinforcement learning method for controlling the steering of a vehicle. It is an object of the invention to provide improved driver models and methods for generating such improved driver models. In particular, it is an object of the invention to optimize the driver models with regard to various criteria, for example safety. PI33094WO/hl - 3 - June 22, 2023 This task is solved by the independent patent claims. Advantageous embodiments are claimed in the dependent claims. A first aspect of the invention relates to a method for training an artificial neural network, which is the basis of a driver model for an autonomous driving system of a vehicle, in a simulated virtual environment in which the vehicle is controlled, the method having the following work steps: a) outputting the virtual environment to a user and to the autonomous driving system; b) detecting a first trajectory of the vehicle while it is being controlled by the user; c) operating the autonomous driving system in the virtual environment of the vehicle; d) detecting a second trajectory of the vehicle while it is being controlled by the autonomous driving system using the driver model; e) Providing data from the first trajectory and the second trajectory at a data interface in such a way that they can be read into the artificial neural network for training, the artificial neural network being able to learn by comparing the first trajectory with the second trajectory, in particular by means of a balancing calculation; f) further operation of the autonomous driving system in the virtual environment of the vehicle; g) detecting a third trajectory of the vehicle while it is being controlled by the autonomous driving system using the driver model; h) evaluating the third trajectory, awarding a reward based on at least one criterion; and i) providing data of the third trajectory and the reward at the data interface in such a way that they can be read into the artificial neural network for training, a utility function being approximated by the artificial neural network, the artificial neural network being maximized can learn from the utility function based on the data and rewards provided; PI33094WO/hl - 4 - June 22, 2023, wherein work steps f) to i) are repeated until a predefined first termination condition is reached in relation to the at least one criterion. An autonomous driving system in the sense of the invention preferably has one or more driver assistance systems, which together result in an automation level of levels 3 to 5 according to the SAE J3016 standard. Such a level of automation is generally considered autonomous driving. A user interface in the sense of the invention is an interface with which the user, but also the autonomous driving system, can perceive the environment. In particular, a user interface allows the perception of audio, video, air movement, movement, smell, etc. Preferably, every sensory perception of a user can be stimulated via a user interface. The invention is based on the idea of combining methods of supervised learning with those of machine reinforcement learning to train an artificial neural network. The inventors have found that the time for training the artificial neural network can be significantly reduced with supervised learning in this way and, moreover, it can be ensured or at least the probability can be significantly increased that reinforcement learning will be used to produce a converging solution when training the artificial neural network network is achieved. This enables higher model qualities than those that can only be achieved using supervised learning or reinforcement learning. For this purpose, according to the invention, in a first phase of training, a virtual environment is operated in a simulated environment for a user and for an autonomous driving system whose driver model, which is based on an artificial neural network, is to be trained. Trajectories are recorded when the vehicle is controlled by the user and when the vehicle is controlled by the autonomous driving system. These trajectories are compared with each other and the parameters of the neural network, in particular PI33094WO/hl - 5 - 06/22/2023 Connections of the individual neurons and/or the weightings of the individual neurons, adjusted in such a way that a trajectory subsequently generated by the autonomous driving system matches as closely as possible with the trajectory generated by the driver. This process can be done once or repeated several times. In a second phase of the training process, trajectories of the vehicle are again recorded while it is controlled by the autonomous driving system. In contrast to the first phase, however, a machine learning method is now used to improve or further improve the artificial neural network. Preferably, the artificial neural network approximates a utility function. This utility function is preferably maximized based on the third trajectory data and a reward. By maximizing the utility function, a learning effect is created in the artificial neural network. It is not necessary to specify a reference trajectory. Therefore, it is a type of reinforcement learning. Preferably, the artificial neural network is an agent that learns a strategy in order to maximize rewards received. Preferably, the evaluation of the third trajectory and the awarding of a reward are carried out by a so-called interpreter. This interpreter is preferably also part of the artificial neural network or agent. The interpreter preferably changes the artificial neural network on the basis of a balancing calculation and/or carries out the balancing calculation. Further preferably, the learning method is a so-called reinforcement Q-learning method, in particular a DQN learning method, which uses a deep convolutional artificial neural network (in German: “folding neural network”). Preferably, after the first phase of supervised learning in the phase of reinforcement learning, a simulation of a journey of a vehicle with the autonomous driving system is carried out in a virtual environment of the vehicle until a termination condition is reached for at least one criterion on the basis of which a reward is awarded. That is, a "third" trajectory PI33094WO/hl - 6 - 06/22/2023 is recorded and the artificial neural network is trained on the basis of this trajectory until a termination condition in relation to the criterion is reached. The criteria are preferably a lap time, avoiding lane crossing, avoiding lane crossing, avoiding collisions (or the probability of collision). The lap time is preferably the length of time in which a vehicle completes a tour of a defined route. The avoidance of a collision is preferably characterized by the number of collisions during a test drive or the probability of collisions in different scenarios. Road and lane crossing is preferably characterized by the number of driving situations in which the vehicle drove outside the road or lane. Furthermore, the lane deviation can preferably be characterized by the mean lane deviation, which was present, for example, on a test drive. In an advantageous embodiment of the method, work steps a) to e) are also repeated until a defined number of repetitions or until a predefined second termination condition is reached. The supervised learning process can also be repeated to create a better basis for reinforcement learning. In a further advantageous embodiment of the method, the respective trajectory of the vehicle and the resulting interaction of the vehicle in its virtual environment are taken into account during simulation. By taking into account the interaction of the vehicle with its virtual environment, its movement can be taken into account when simulating the virtual environment. This allows the virtual environment to develop dynamically. PI33094WO/hl - 7 - June 22, 2023 A second aspect of the invention relates to a method for operating a vehicle with an autonomous driving system, the vehicle being guided by a driver model of the autonomous driving system, which is carried out by means of a method for training an artificial neural network, which a driver model for an autonomous driving system of a vehicle was trained in a simulated environment in which the method is controlled. By operating a vehicle by a driver model that has been trained using the advantageous method, vehicles can be driven particularly reliably and in a manner that is pleasant for the driver. A third aspect of the invention relates to a system for training an artificial neural network, which is based on a driver model for an autonomous driving system of a vehicle, comprising: • a user interface for interaction of a user in a virtual environment in which the vehicle is located; • a driving system interface for interaction of the driving system with the virtual environment; • Means, in particular a simulator or a test bench, for operating the vehicle in the virtual environment of the vehicle; • Means for detecting a first trajectory of the vehicle while being controlled by a user and second and third trajectories of the vehicle while being controlled by the autonomous driving system using the driver model; • Means for evaluating the third trajectory, in particular an interpreter, with a reward being awarded on the basis of at least one criterion, in particular by the interpreter; and • a data interface for operating data of the first, second and third trajectories and the reward such that they can be read into the artificial neural network for training; wherein the system is set up, the artificial neural network through which a utility function is approximated, initially by comparing the first trajectory with PI33094WO/hl - 8 - 06/22/2023 the second trajectory and then by maximizing the utility function based on the data and reward provided and operating the vehicle until a predefined first termination condition is reached in relation to the at least one criterion. In an advantageous embodiment, the system further has means for simulating the virtual environment. It is particularly preferred if the system for training also has the means for simulating the virtual environment. In this way, interactions between the vehicle and the virtual environment can be taken into account particularly easily. A fourth aspect of the invention relates to a driver model which is based on an artificial neural network and is generated by means of the method for training an artificial neural network. The advantages and features mentioned above in relation to the first aspect of the invention apply accordingly to the other aspects of the invention and vice versa. The invention further relates to a computer program and a computer-readable medium. Further advantageous features emerge from the following description in relation to the figures. Shown at least partially schematically: FIG. 1 shows an exemplary embodiment of a method for training an artificial neural network; Figure 2 shows an exemplary embodiment of a system for training an artificial neural network; and Figure 3 shows an exemplary embodiment of a test bench for simulating an environment for an autonomous driving system. PI33094WO/hl - 9 - June 22, 2023 Figure 1 shows an exemplary embodiment of a method 100 for training an artificial neural network. The basis for the method 100 for training the artificial neural network ("ANN") is a simulated virtual environment 3. Such an environment 3 is preferably simulated using state-of-the-art software, for example CARLA®, Viris VTD®, etc. The movements of the vehicle 1 in the simulated environment 3 are preferably taken into account during the simulation. Furthermore, reactions of the vehicle 1 to the simulated environment 3 as well as reactions of objects in the simulated environment to the movement of the vehicle 1 are preferably taken into account. In summary, this can be referred to as the interaction of the vehicle 1 with its virtual environment 3. In a first step 101 of the method, the environment 3 is output to a user and to the autonomous driving system 2. As will be explained below, the virtual environment 3 can be output both analogously to the user and/or the autonomous driving system via a test bench. Alternatively, the autonomous driving system 2 can also be integrated as hardware-in-the-loop or only as software-in-the-loop, with the virtual environment 3 being output exclusively via a data interface 13. In a second step 102, a first trajectory of the vehicle 1 is recorded while it is being controlled by the user 4. For this purpose, the movement of the vehicle 1 in the simulated environment 3 is recorded. In particular, the waypoints of the trajectory are recorded at a defined distance or with a defined frequency. In a third step 103, the autonomous driving system 2 is operated in the virtual environment of the vehicle 1. The autonomous driving system 2 preferably travels the same route in the virtual environment 3 that the user 4 has already traveled. Alternatively, the autonomous driving system 2 can first be operated in the virtual environment and then the user 4 can drive the vehicle 1 PI33094WO/hl - 10 - June 22, 2023 control the virtual environment 3. More preferably, this can also be carried out in parallel. A second trajectory of the vehicle 1 is also recorded in a fourth work step 104, while the vehicle 1 is controlled by the autonomous driving system 2 using the driver model. This is also the trajectory that the simulated movement of the vehicle 1 travels in the virtual environment 3. In a fifth step 105, the data of the first trajectory and the second trajectory are provided to the interpreter, the first trajectory being compared with the second trajectory. On the basis of this information, the artificial neural network ANN is learned or trained. Preferably, a compensation calculation, a Hebb learning rule or other learning methods are used. The trajectory that was generated by the user is used as the reference trajectory. This method is therefore a type of supervised learning of the artificial neural network. The artificial neural network is preferably a convolutional artificial neural network. In a sixth step 106, the autonomous driving system 2 is operated again in the virtual environment 3 of the vehicle 1. Once again, a third trajectory is recorded in a seventh work step 107 of the vehicle 1. In contrast to the first part of the method 100, the third trajectory is now evaluated in an eighth work step 108. Preferably, a reward is awarded based on at least one criterion. This criterion is preferably an avoidance of lane crossing, an avoidance of a lane crossing, a lap time and/or an avoidance of a collision or the value of a collision probability. PI33094WO/hl - 11 - June 22, 2023 In a ninth step 109, the data of the third trajectory and the reward are provided in such a way that they can be read into the artificial neural network ANN for training. The artificial neural network ANN preferably approximates a utility function. Further preferably, the artificial neural network ANN is trained by maximizing this utility function based on the data provided and the reward. This type of learning process of the artificial neural network is also called reinforcement learning. Preferably, the sixth step 106 is repeated up to the ninth step 109 until a first termination condition is reached in relation to the at least one criterion. This termination condition can in particular be that • a lap time is not reached, • a vehicle 1 has covered a certain number of kilometers without a collision, or • with a collision probability that falls below a certain threshold value; or • a mean lane crossing or lane crossing has fallen below a defined value, etc. Preferably, the interaction of a user with a virtual environment 3 or the trajectory resulting from this interaction is recorded. This is preferably a computer-implemented method. The individual process steps are carried out by the system 10, preferably using a data processing system. More preferably, the first step 101 to the fifth step 105 can be repeated several times before the second phase of the PI33094WO/hl - 12 - 06/22/2023 Procedure 100 begins. If these steps are repeated several times, a better learning basis for reinforcement learning can be achieved. Figure 2 shows an exemplary embodiment of a system 10 for training an artificial neural network ANN. The system 10 has a user interface 12 for the interaction of the user 4 with a virtual environment 3. The user interface 12 is preferably set up as a type of simulation environment in which the user 4 is provided with the environment 3 and control options for influencing the movement of the vehicle 1. The user interface 12 is preferably designed as a seat box, as shown in FIG. 2, in which the user 4 can take a seat. The seat box preferably has - like a vehicle - a steering wheel, accelerator and brake pedals, clutch and/or gear shift and other controls. Further preferably, a vehicle can also be arranged on a test stand, for example a chassis dynamometer, on which the user controls the vehicle 1 in a simulated environment 3. Furthermore, the system 10 has a driving system interface 13 for the interaction of the driving system 2 with the virtual environment 3. The driving system interface 13 can largely correspond to the user interface 12. For example, if the autonomous driving system 2 has a video camera, screens or screens can also be used to simulate the environment 3 for the autonomous driving system 2. The driving system interface 13 is - similar to the user interface 12 - preferably bidirectional. This means that, on the one hand, the autonomous driving system 2 is presented with the virtual environment 3 via the driving system interface 13 or the autonomous driving system 2 is stimulated via the driving system interface 13, but on the other hand, actions that the autonomous driving system 2 carries out are also carried out via the driving system interface 13 PI33094WO/hl - 13 - June 22, 2023 the system 10 for interaction with the simulated environment and for training the artificial neural network KNN 10 are provided. Preferably, the driving system interface 13 is therefore at least partially designed as a data interface. Furthermore, the system 10 has means 14 for operating the autonomous vehicle 1 in the virtual environment 3 of the vehicle 1. Depending on whether the vehicle 1 is exclusively simulated or at least some of the hardware components of the vehicle 1 are also present or are being operated, the means 14 for operating the vehicle are designed as pure simulation means or also as a test bench. On these means 14 for operating the vehicle 1, the vehicle 1 can be moved through the virtual environment 3 and interact with the environment 3. Furthermore, the system 10 has means 15 for detecting a first trajectory of the vehicle 1 while it is being controlled by the user 4. The means 15 for detecting trajectories of the vehicle 1 are also set up to detect trajectories while it is being moved through the virtual environment 3 of the vehicle 1 by the autonomous driving system 2. In particular, storage means are provided for this purpose in order to store the corresponding waypoints depending on the time or distance traveled. Furthermore, the system 10 has means 16 for evaluating a trajectory. This is in particular a so-called interpreter. Preferably, only a trajectory that was generated by operating the vehicle 1 using the autonomous driving system 2 in the virtual environment 3 is evaluated. The means 16 preferably adapt weights and connections of the artificial neural network. More preferably, the architecture of the artificial neural network can be changed. Furthermore, the system 10 has a data interface 17, by means of which data relating to the adaptation of the artificial neural network ANN or an adapted artificial neural network can be provided. These dates PI33094WO/hl - 14 - June 22, 2023 can be read into the artificial neural network ANN and trained in this way. The system 10 is preferably set up to carry out a method 100 for training an artificial neural network ANN, as described with reference to FIG. In particular, the system 10 is set up to train the artificial neural network ANN, through which a utility function is approximated, first by comparing the first trajectory with the second trajectory and the utility function to be maximized thereafter on the basis of the data and rewards provided, and the vehicle 1 to operate until a predefined first termination condition is reached in relation to the at least one criterion. Figure 3 shows a means 14 for operating the vehicle 1. In the case shown, the vehicle 1 is actually present on a test stand 14. The autonomous driving system 2 of the vehicle 1 has a radar antenna 20. The means 14 for operating the vehicle 1 preferably have a simulator 18, which is set up to operate radar antennas 19 of the simulator 18 in such a way that an incoming radar signal is modified in such a way that the radar signal S 'sent back to the vehicle 1 Environment 3 of vehicle 1 reflects. In this way, the virtual environment 3 can be simulated for the vehicle 1. Further preferably, the vehicle is arranged on a chassis dynamometer, so that driving operation of the vehicle 1 can also be simulated during the simulation of the virtual environment 3. Means 11 for simulating the virtual environment 3 are preferably also connected to the system 10 via the data interface 17. These means 11 can alternatively also be part of the system 10. It should be noted that the exemplary embodiments are merely examples and do not affect the scope of protection, application and structure PI33094WO/hl - 15 - 06/22/2023 should restrict in some way. Rather, the preceding description provides the person skilled in the art with a guideline for the implementation of at least one exemplary embodiment, whereby various changes, in particular with regard to the function and arrangement of the components described, can be made without departing from the scope of protection as can be found in the claims and results in combinations of features equivalent to these.
PI33094WO/hl - 16 - 22.06.2023 Bezugszeichenliste 1 Fahrzeug 2 autonomes Fahrsystem 3 virtuelles Umfeld 4 Benutzer 10 System zum Trainieren eines künstlichen neuronalen Netzes KNN 11 Mittel zum Simulieren 12 Benutzerschnittstelle 13 Fahrsystemschnittstelle 14 Mittel zum Betreiben des Fahrzeugs 15 Mittel zum Erfassen 16 Mittel zum Bewerten und Anpassen 17 Datenschnittstelle 18 Simulator 19 Radarantenne 20 Radarantenne
PI33094WO/hl - 16 - June 22, 2023 List of reference symbols 1 vehicle 2 autonomous driving system 3 virtual environment 4 user 10 system for training an artificial neural network ANN 11 means for simulating 12 user interface 13 driving system interface 14 means for operating the vehicle 15 means for detecting 16 means for Evaluate and adjust 17 Data interface 18 Simulator 19 Radar antenna 20 Radar antenna