DE102021110812A1

DE102021110812A1 - Verfahren, System und Computerprogramm zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems

Info

Publication number: DE102021110812A1
Application number: DE102021110812.8A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-04-27
Filing date: 2021-04-27
Publication date: 2022-10-27

Abstract

Die Erfindung betrifft ein Verfahren, ein System sowie ein Computerprogramm zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems. Das Verfahren umfasst: Ermitteln (S1) eines oder mehrerer erster Datenabschnitte (DA1, DA2, DA3), die eine reale Situation in der Umgebung eines realen Fahrzeugs (RF1) repräsentieren, insbesondere abhängig von einer Trigger-Bedingung; Erzeugen (S2) zweiter Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) aus dem einen oder mehreren ersten Datenabschnitten (DA1, DA2, DA3) und einem oder mehreren virtuellen Objekten (VO1, ...); Erzeugen (S3) von Reaktionsdaten (RD(V1), RD(V2), RD(V3), ...), die eine Reaktion eines ersten Entwicklungsstandes (ES1, ES2, ES3) eines Fahrzeugsystems auf die zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) kennzeichnen; und Verwenden der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) zum Entwickeln, Absichern, Trainieren des ersten Entwicklungsstandes (ES1, ES2, ES3) und/oder Betreiben eines zweiten Entwicklungsstandes (ES1', ES2', ES3') des Fahrzeugsystems.

Description

Die Erfindung betrifft ein Verfahren, System sowie ein korrespondierendes Computerprogramm zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems (darunter soll auch das Entwickeln, Absichern und/oder Betreiben eines Entwicklungsstands, wie z.B. eines Software-Entwicklungsstands, für ein Fahrzeug oder eines Fahrzeugs verstanden werden). Dies kann ein Betreiben einer entsprechenden Entwicklungsumgebung sowie einen entsprechenden Entwicklungsbetrieb, Testbetrieb bzw. Absicherungsbetrieb für Fahrzeuge auf Basis der Entwicklungsumgebung und/oder Entwicklungsstände umfassen. Ferner gehört zum Umfang der Erfindung auch ein Entwicklungsstand eines, insbesondere zumindest teilweise automatisiert fahrbaren Fahrzeugs, welcher gemäß den Merkmalen der Erfindung entwickelt, abgesichert, trainiert und/oder betrieben wurde oder wird.
Bei der Entwicklung, insbesondere Absicherung moderner Fahrzeuge muss eine extrem große Vielzahl von diversen Situationen (z.B. auch Fahrsituationen), Zuständen mehrerer Systeme und Funktionalitäten der Fahrzeuge, sowie von Bedingungen, welchen Fahrzeuge bei ihrem späteren Betrieb ausgesetzt werden, berücksichtigt werden. Insbesondere muss ein Test und eine Absicherung der Algorithmen bzw. der Software zu jeder sogenannten Integrationsstufe wiederholt werden.
Daher können Aufwand, Kosten sowie Zeitbedarf für die entsprechende Entwicklung und Absicherung mit einer weiter steigenden Komplexität der Systeme und Funktionalitäten moderner Fahrzeuge extrem stark ansteigen. Dies ist besonders für die Entwicklung, Absicherung sowie die Markteinführung von zumindest teilweise automatisiert fahrbarer Fahrzeugen von entscheidenden Bedeutung.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Insbesondere für die Entwicklung des automatisierten Fahrens ist die Berücksichtigung einer extrem großen Anzahl von den in der Realität vorkommenden bzw. möglichen Situationen, insbesondere Fahrsituationen, notwendig. Besonders mit der Erhöhung des gewünschten Automatisierungsgrads von zumindest teilweise automatisiert fahrbaren Fahrzeugen ist steigt die Anzahl von relevanten Fahrsituationen, z.B. Anordnungen und Konstellationen von Verkehrsteilnehmern, die von den Fahrzeugen zweckmäßig gehandhabt werden müssen, sehr stark (auch stark nichtlinear) an.
Nach dem Stand der Technik bzw. gemäß den rechtlichen Rahmenbedingungen zur sogenannten Homologation bzw. Markteinführung der Fahrzeuge resultiert daher eine enorme Fahrstrecke, die im Rahmen von Test und Absicherung derartiger Fahrzeuge überwiegend fehlerfrei bzw. mit einer jeweils zweckmäßigen Performance geleistet werden müsste. Dies muss jeweils zu mehreren sogenannten Integrationsstufen und (in jeweils festgelegten Maße) nach der Fertigstellung eines jeden Entwicklungsstandes wiederholt werden.
Daher ist es die Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren, System sowie Computerprogramm zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems aufzuzeigen. Insbesondere bezieht sich die Aufgabe der Erfindung auf ein zumindest teilweise automatisiert fahrbares (zu verstehen ggf. auch als automatisiert parkendes und/oder rangierendes) Fahrzeug. Ferner kann zur Aufgabe der Erfindung eine Verwendung (auch zu verstehen als ein Betreiben) einer stationären (z.B. von einem realen bzw. physikalischen Fahrzeug zumindest teilweise losgelöste) Entwicklungsumgebung gehören. Dies ist insbesondere auch zu verstehen als eine Verwendung des vorgeschlagenen Verfahrens, Systems bzw. Computerprogramms im Rahmen eines entsprechenden Entwicklungsbetriebs, insbesondere zum Trainieren bzw. Absichern eines Fahrzeugsystems mittels einer solchen Entwicklungsumgebung.
Die Aufgabe der Erfindung wird durch die Merkmale jedes der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Entwicklung, Absicherung, Trainieren und/oder Betreiben eines Entwicklungsstandes eines Fahrzeugsystems. Das Verfahren umfasst: Ermitteln eines oder mehrerer erster Datenabschnitte, die eine reale Situation in der Umgebung eines realen Fahrzeugs repräsentieren, insbesondere abhängig von einer Trigger-Bedingung (im Folgenden auch als erste Trigger-Bedingung bezeichnet); Erzeugen zweiter Datenabschnitte aus dem einen oder mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten; Erzeugen von Reaktionsdaten, die eine Reaktion eines ersten Entwicklungsstandes eines Fahrzeugsystems auf die zweiten Datenabschnitte kennzeichnen; und (z.B. daraufhin bzw. in einem weiteren Schritt) Verwenden (d.h. insbesondere Verarbeiten und/oder Nutzen) der Reaktionsdaten zum Entwickeln, Absichern und/oder Trainieren des ersten Entwicklungsstandes und/oder Betreiben eines zweiten Entwicklungsstandes eines Fahrzeugsystems. Dabei kann sich der zweite Entwicklungsstand von dem ersten Entwicklungsstand unterscheiden, insbesondere einer der nächsten Entwicklungsstände sein oder dem (z.B. fertigen, auszuliefernden oder zu aktualisierenden) Fahrzeugsystem entsprechen. Ausnahmsweise kann, je nach Ausgestaltung der Erfindung, der zweite Entwicklungsstand der erste Entwicklungsstand sein oder mit dem ersten Entwicklungsstand identisch sein. Beispielsweise kann das Fahrzeugsystem trainiert oder betrieben werden abhängig von den Reaktionsdaten des ersten Entwicklungsstands zumindest eines wesentlichen Teils des Fahrzeugsystems.
Beispielsweise können der eine oder die mehreren ersten Datenabschnitte eine jeweilige reale Situation, insbesondere eine Fahrsituation in der Umgebung des (jeweiligen realen) Fahrzeugs, insbesondere in Bezug auf einen oder mehrere Objekte in der Umgebung des realen Fahrzeugs repräsentieren.
Die realen Objekte können bevorzugt bewegliche, bewegbare und/oder veränderliche Objekte, insbesondere Verkehrsteilnehmer, sein.
Es wird darauf hingewiesen, dass die ersten Datenabschnitte keine vollständige Beschreibung der Situation in der Umgebung des realen Fahrzeugs (z.B. in Form einer fotorealistischen Abbildung) umfassen müssen. Vielmehr können vorteilhafterweise ausgewählte bzw. wählbare Aspekte der Situation, z.B. in einem entsprechend definierten Datenformat repräsentiert werden. Beispielsweise können mehrere erste Datenabschnitte erzeugt werden die sich auf dieselbe Situation, insbesondere dieselbe Fahrsituation, beziehen. Diese können als ein Satz der ersten Datenabschnitte aufgefasst werden. Besonders bevorzugt repräsentieren die ersten Datenabschnitte einen zeitlich und/oder räumlich ausgedehnten Vorgang. Insbesondere repräsentieren die ersten Datenabschnitte (z.B. ein Satz der ersten Datenabschnitte) ein Fahrmanöver (z.B. Spurwechselmanöver, Einfädelmanöver, Ausweichmanöver, Überholmanöver, Einfahrtmanöver, Ausfahrtmanöver), ein Park- oder Rangiermanöver und/oder ein Befahren einer Fahrbahnanordnung mit einer bestimmten Beschaffenheit, wie z.B. Kreisverkehr, Einfahrt, Ausfahrt, Kreuzung, etc.
Das Erzeugen der zweiten Datenabschnitte kann ein Einfügen, insbesondere Integrieren des oder der virtuellen Objekte in eine von dem einen oder mehreren ersten Datenabschnitten repräsentierte Umgebung, z.B. in eine (bestehende, durch die ersten Datenabschnitte repräsentierte) Anordnung aus einem oder mehreren realen Objekten umfassen oder sein. Alternativ oder zusätzlich kann das Erzeugen zweiter Datenabschnitte aus dem einen oder mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten ein Modifizieren der durch den einen oder die mehreren ersten Datenabschnitte mit dem einen oder mehreren virtuellen Objekten umfassen oder sein. Dies kann eine (ggf. komplexe) Verarbeitung sein. Diese kann unterschiedliche Effekte berücksichtigen.
Das zumindest eine virtuelle Objekt kann ein virtuell bewegliches Objekt und/oder ein Objekt mit einem virtuellen Verhalten sein. Bei der Bewegung und/oder dem Verhalten des virtuellen Objekts kann es sich im Rahmen dieses Dokuments um eine virtuelle Bewegung und/oder ein virtuelles Verhalten (des virtuellen Objekts) handeln.
Bevorzugt können die Bewegung und/oder das Verhalten Parameter aufweisen, die zumindest teilweise nach einer bestimmten Abhängigkeit (z.B. gemäß einem bestimmten mathematischen Zusammenhang, z.B. einer Logik, einer Formel, einer Funktion oder einem Muster) und/oder zumindest teilweise nach einem Zufallsprinzip bestimmt und/oder verändert werden. Beispielsweise kann das virtuelle Objekt eine Bewegung und/oder ein Manöver gemäß einer bestimmten Abhängigkeit, z.B. gemäß einem Muster und/oder mit Parametern, die sich im Verlauf der Zeit gemäß einer Vorgabe, einem Kriterium, einem Zufall oder einem mathematischen Zusammenhang, ausführen.
Ein Manöver kann z.B. ein Fahrmanöver, ein Parkmanöver oder ein Rangiermanöver sein oder umfassen. Ein Manöver kann z.B. durch ein bestimmtes Muster (z.B. ein Datenmuster, welches bestimmte Merkmale des Manövers, Proportionen zwischen seinen Parameter etc. repräsentiert) gekennzeichnet sein. Dabei müssen mehrere virtuelle Objekte, die ein bestimmtes Manöver ausführen, nicht notwendigerweise dieselben Parameter aufweisen. Vielmehr können die Parameter kennzeichnend seine Bewegung, sein Verhalten etc. gemäß einem Muster ermittelt werden. Vielmehr können die Parameter abhängig von Parametern der Umgebung und/oder von einer Veränderung der Parameter der Umgebung bestimmt oder angepasst werden. Mit anderen Worten kann das virtuelle Objekt - nahezu als ein eigenständig agierendes virtuelle Wesen - in die Umgebung des virtuellen Fahrzeugs platziert und ggf. für eine weitere Bewegung bzw. Aktivität befähigt (sozusagen „ausgewildert“) werden. Dabei kann das zumindest ein virtuelles Objekt zu einer zumindest teilweise (von außerhalb des Objekts) gesteuerten und/oder zumindest teilweise zu einer (innerhalb des Objekts) selbstgesteuerten (quasi selbstbestimmten) Aktivität, z.B. einer Bewegung, Aktion oder Interaktion, befähigt bzw. aktiviert werden.
Ein Muster und/oder ein oder mehrere Parameter der Bewegung und/oder des Verhaltens des virtuellen Objekts können dabei bei unterschiedlichen virtuellen Objekten und/oder im Verlauf der Zeit bei einem virtuellen Objekt variiert werden. Das Variieren kann zumindest teilweise gemäß einer vorausbestimmten Abhängigkeit (z.B. nach einer Funktion) und/oder zumindest teilweise zufällig erfolgen.
In einem vereinfachten Fall kann ein virtuelles Objekt (auch) durch eine Auswahl, einen Abruf und/oder ein Abspielen von (z.B. zumindest teilweise vorgespeicherten, ggf. vorab aufgenommenen) von das virtuelle Objekt repräsentierenden Datenabschnitten (z.B. aus einer Datenbank) erfolgen. Diese können z.B. ein oder mehrere Merkmale der Beschaffenheit des virtuellen Objekts, seiner Bewegung und/oder seines Verhaltens repräsentieren. Die Datenabschnitte repräsentierend das eine oder die mehreren virtuellen Objekte können Bilder (z.B. Kameradaten), Wärmebilder, Bildsequenzen, Punktewolken, sogenannte Radar-Objekte und/oder LIDAR-Objekte umfassen, die auch ein reales Fahrzeug bei einem entsprechenden realen Objekt erfassen würde, oder ähnlich beschaffen sein. Insbesondere können die Datenabschnitte repräsentierend virtuelle Objekte etwa dieselben oder entsprechende Merkmale, Formate und/oder Qualitäten aufweisen, wie Bilder (z.B. Kameradaten), Wärmebilder, Bildsequenzen, Punktewolken, sogenannte Radar-Objekte und/oder LIDAR-Objekte, die ein reales Fahrzeug (z.B. mit seinen Sensoren) erfasst. Die Datenabschnitte können die Daten eines realen Sensors des Fahrzeugs beim Auftreten eines dem virtuellen Objekt ähnlichen bzw. entsprechenden realen Objekts simulieren bzw. modelhaft nachbilden.
Ein virtuelles Objekt kann einem bestimmten realen Objekt, z.B. einem Verkehrsteilnehmer einer bestimmten Klasse, wie z.B. Fußgänger, Radfahrer, Motorradfahrer, Rollerfahrer, Kind, Tier (z.B. Katze, Hund, Pferd, Schaf, Kuh, Straus, Känguru, Wolpertinger, etc.), hinsichtlich einer Eigenschaft nachempfunden werden bzw. die Eigenschaft, insbesondere dynamisch, simulieren.
Ein virtuelles Objekt kann ein bestimmtes ihm zugeordnetes Verhalten und/oder eine bestimme Reaktionsfähigkeit auf andere (reale und/oder virtuelle) Objekte aufweisen.
Beispielsweise kann das virtuelle Objekt ausgestaltet sein, sich auf eine bestimmte Art und Weise zu bewegen, zu verhalten, zu agieren und/oder zu reagieren. Es können, müssen aber nicht alle Bewegungen, Aktionen und/oder Reaktionen des Objekts vorausbestimmt (bzw. einprogrammiert) sein. Vielmehr können eine Eigenschaft und/oder ein bestimmtes Verhalten des Objekts (z.B. in Bezug auf seine Umgebung, andere reale Objekte und/oder das Fahrzeug) vorgegeben sein. Dies kann erfolgen, ohne dass bestimmte Bewegungen oder Aktionen vorgegeben bzw. vorgesehen werden (müssen).
Die Bewegungen, Aktionen und/oder Reaktionen des Objekts können zumindest teilweise abhängig von einem Parameter der Umgebung, einem Parameter eines realen Objekts in seiner Umgebung, und/oder zumindest teilweise abhängig von einer Zufallsgröße ermittelt werden.
Beispielweise kann sich ein virtuelles Objekt derart bewegen, agieren und/oder reagieren, wie es ein durchschnittliches (z.B. typisches), einer bestimmten Klasse entsprechendes Objekt und/oder ein Objekt von einer (z.B. für seine Klasse) durchschnittlichen Gestalt mit einem durchschnittlichen (z.B. typischen bzw. statistisch normalen) Verhalten oder vom einem durchschnittlichen Verhalten (z.B. um einen Abweichungswert bzw. Toleranzwert) abweichenden Verhalten tun würde.
Beispielsweise kann ein virtuelles Objekt, das einem virtuellen Tier, z.B. einer Katze entspricht, sich (z.B. als eine entsprechende Simulation bzw. entsprechende Datenabschnitte) etwa entsprechend einem virtuellen Tier, z.B. entsprechend einer Katze, verhalten und auf die reale Umgebung einschließlich anderer Verkehrsteilnehmer reagieren bzw. mit dieser interagieren. Die virtuelle Katze kann sozusagen „zum Spazieren herausgelassen“ werden und dabei insbesondere in die (virtuelle) Umgebung des Fahrzeugs gelangen bzw. eine Rolle in der Fahrsimulation spielen. Auch kann z.B. ein virtuelles Tier ausrutschen und/oder einen (virtuellen) Tod erleiden, z.B. wenn ein Fahrbahnreibwert als ein Parameter der Umgebung angibt, dass die Fahrbahn bzw. ein Bürgersteig derzeit glatt ist.
Alternativ oder zusätzlich kann ein virtuelles Objekt gültig werden (d.h. in Form entsprechender Daten erscheinen bzw. aktiviert werden), wenn eine Situation, z.B. eine durch ein bestimmtes Muster von Parametern gekennzeichnete Situation, wie z.B. eine Fahrsituation, erkannt wird. Das Verfahren kann dadurch Gegebenheiten, Situationen, Zustände und die entsprechenden Reaktionsdaten erzeugen bzw. verwendbar machen, die besonders praxisrelevant und/oder für die Praxis und/oder gewünschte Sonderfälle in einem bestimmten, gewünschten (auch hohem) Maße repräsentativ sind. Diese können von einem (sonst typischerweise durch Menschen geplanten bzw. nachgestellten) Tests des Systems des Fahrzeugs weitgehend unabhängig sein. Daher kann ein Einfluss möglicher menschlicher Fehler auf das endgültige Produkt, z.B. eine zur Auslieferung bestimmte Version des Fahrzeugsystems, wesentlich reduziert werden.
Der eine oder die mehreren Parameter des virtuellen Objekts können z.B. kennzeichnend sein für einen oder mehrere Einträge aus der folgenden Auflistung:

- seine aktuelle Eigenschaft und/oder sein aktuelles Verhalten;
- seine Position, seine Abmessungen, und/oder seine Bewegung;
- seine Wahrnehmung (z.B. für einen von dem Objekt einsehbarer Raumbereich und/oder für das, was das Objekt aus seiner Perspektive wahrnehmen kann);
- eine Aktion und/oder Einwirkung des virtuellen Objekts gegenüber dem Fahrzeug bzw. auf das Fahrzeug und/oder gegenüber einem weiteren realen Objekt bzw. auf das weitere reale Objekt;
- eine Aktion des Fahrzeugs und/oder eines weiteren realen Objekts mit Bezug auf das virtuelle Objekt;
- eine Einwirkung eines weiteren realen Objekts und/oder des Fahrzeugs auf das virtuelle Objekt.

Derartige virtuelle Objekte entsprechen (auch unabhängig von weiteren in diesem Dokument enthaltenen Merkmalen) können erfindungsgemäß auch für weitere Zwecke und in einem anderen Kontext eingesetzt sein. Daher kann ein virtuelles Objekt an sich als ein Aspekt der Erfindung betrachtet werden.
In einem Beispiel des Verfahrens werden in einem realen Fahrbetrieb eines realen Fahrzeugs, bevorzugt mehrerer realer Fahrzeuge, die (ersten) Datenabschnitte erfasst, die für eine reale Situation in der Umgebung des realen Fahrzeugs, z.B. reale Objekte, ihre Anordnung, Bewegung, eine entsprechende Fahrsituation etc., repräsentierend sind. Bevorzugt werden diese (z.B. nach einer optionalen, insbesondere kurzen, Zwischenspeicherung, z.B. in einer hierfür eingerichteten Speicherstruktur, z.B. in einem Ringspeicher im Fahrzeug) ins Backend (auch zu verstehen als eine stationär angeordnete Recheneinheit, ein Server, ein Rechenzentrum, ein stationären System) übermittelt.
Die ersten Datenabschnitte können bevorzugt abhängig von einer Trigger-Bedingung (auch zu verstehen als: abhängig vom Zutreffen der Trigger-Bedingung), im Fahrbetrieb des (jeweiligen) Fahrzeugs gewählt bzw. mitgeschnitten werden. Beispielsweise werden erste Datenabschnitte ermittelt, die für eine Veränderung bzw. Entwicklung einer realen Situation in der Umgebung des Fahrzeugs während eines Zeitintervalls von z.B. 1, 5, 8, 12, 30 oder 60 Sekunden repräsentierend sind.
Beispielsweise kann die reale Umgebung des (realen) Fahrzeugs, z.B. umfassend einen oder mehrere reale Objekte, eine durch die Objekte gebildete Anordnung und/oder Fahrsituation, an einem oder mehreren Fahrbahnabschnitten und/oder bei einem Betriebszustand eines Systems des Fahrzeugs ermittelt (auch: mitgeschnitten) werden, wenn ein Fahrbahnabschnitt, eine Fahrsituation, und/oder ein Betriebszustand eines Systems des Fahrzeugs etwa im selben Zeitintervall, z.B. kurz zuvor, aktuell oder in der nahen Zukunft von einigen Sekunden, eine (vorausbestimmte oder dynamisch veränderliche) Trigger-Bedingung erfüllen. Dabei kann sich die Trigger-Bedingung, z.B. (ebenfalls) auf einen Parameter der Umgebung, eines Objekts, eines Fahrbahnabschnitts, und/oder eines Betriebszustands des Fahrzeugs beziehen. Eine Trigger-Bedingung kann mehrere auf jeweils unterschiedliche Informationen (z.B. Parameter, Vorkommnisse, Zustände, etc.) bezogene Bedingungen umfassen.
Beispielsweise bezieht sich die zumindest eine Trigger-Bedingung auf die Erkennung einer Fahrsituation beim Vorliegen einer bestimmten Parametern (z.B. Parameterwertebereichen) entsprechenden und/oder bestimmten Mustern entsprechenden (z.B. mit einem oder mehreren bestimmten Mustern hinreichend ähnlichen oder unähnlichen) Fahrbahnanordnung (z.B. Anordnung, Winkel, Radius, Neigung, etc. von Straßen, Spuren, Einfahrten, Ausfahrten, Kreisverkehr) und/oder Verkehrsregeln (z.B. Verkehrszeichen, Ampeln, Ampelphasen, Anzeigen, Verkehrsinformationen).
Auch kann die zumindest eine Trigger-Bedingung (und die entsprechenden ersten Datenabschnitte)abhängig sein von Geo-Positionen bzw. einer von bestimmten Geo-Positionen begrenzten Umgebung oder Fahrbahnabschnitten, die einem oder mehreren bestimmten Merkmalen, Parameter und/oder Mustern (z.B. Urbane Umgebung, Landstraße, Schnellstraße, etc. z.B. in einem bestimmten Land oder Provinz, einer Gegend einer bestimmten Art) entsprechen.
Der eine oder mehrere der ersten Datenabschnitte können eine gewählte Fahrsituationen beim Vorliegen einer bestimmten Fahrbahnanordnung, z.B. einen Überholvorgang in einer S-Kurve, einen Bahnübergang, einer bestimmten Anordnung realer Objekte in einem Kreisverkehr und/oder mit bestimmten Ampelschaltungen repräsentieren. Bevorzugt können die ersten Datenabschnitte auch (explizit und/oder implizit) eine Information über das Einhalten einer oder mehrerer Verkehrsregeln durch das realen Fahrzeug und/oder ein oder mehrere reale Objekte umfassen. Mit anderen Worten können mittels der Trigger-Bedingung und/oder einer Verarbeitung der ersten Datenabschnitte im Backend ein oder mehrere Datenabschnitte (aus einer insgesamt sehr hohen Fahrleistung bzw. Betriebsdauer einer Vielzahl von Fahrzeugen) vorwiegend oder im Wesentlichen nur erste Datenabschnitte ermittelt werden, für welche die Reaktionsdaten gewünscht bzw. erforderlich sind (z.B. zu einer Absicherung noch fehlen).
Beispielsweise kann eine Trigger-Bedingung zutreffen (und die ersten Datenabschnitte erfasst, mitgeschnitten und/oder aus einem Ringspeicher ausgelesen werden), wenn eine durch einen Parameter (z.B. Parameterwertebereich) oder durch ein Muster (z.B. durch eine hinreichende Ähnlichkeit mit einem bestimmten Muster) gekennzeichnete Fahrsituation erkannt oder prädiziert wird.
Alternativ oder zusätzlich kann eine Trigger-Bedingung zutreffen (und die ersten Datenabschnitte erfasst, mitgeschnitten und/oder aus einem Ringspeicher ausgelesen werden), wenn ein Merkmal, ein Parameter und/oder ein Muster in Bezug auf einen Betriebszustand bzw. von Daten eines (weiteren) Systems des Fahrzeugs und/oder Randbedingung in der Umgebung des realen Fahrzeugs (z.B. Wetter, Tageszeit, Fahrbahnzustand etc.) zutreffen.
Alternativ oder zusätzlich kann die Trigger-Bedingung auch nach dem Ermitteln der ersten Datenabschnitte angewandt werden. Diese kann auf die (z.B. von einer Vielzahl von Fahrzeugen) gesammelte Daten (sozusagen im Nachhinein, etwa im Backend) angewandt werden. Die Trigger-Bedingung kann zur Auswahl von ersten Datenabschnitten aus größeren, z.B. eine längere Fahrstrecke repräsentierenden Daten verwendet werden. Dabei können die ersten Datenabschnitte nach einem oder mehreren der beschriebenen Prinzipien oder Kriterien ermittelt, insbesondere ausgewählt werden.
Der eine oder die mehreren ersten Datenabschnitte können mit oder bevorzugt ohne einen Bezug zu konkreten Fahrzeugen, ihren jeweiligen absoluten Koordinaten oder Uhrzeiten ermittelt oder verarbeitet werden.
Durch das Erzeugen zweiter Datenabschnitte aus dem einen oder der mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten, insbesondere durch Einfügen des einen oder der mehreren virtuellen Objekte und/oder durch ein Modifizieren der (ersten) Datenabschnitte, die für eine reale Situation in der Umgebung des Fahrzeugs repräsentierend sind, mit dem einen oder mehreren virtuellen Objekten, können modifizierte (zweite) Datenabschnitte erzeugt werden, die eine teilweise reale und teilweise virtuelle Umgebung des Fahrzeugs repräsentieren.
Bevorzugt wird das Erzeugen zweiter Datenabschnitte (aus dem einen oder den mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten) zumindest teilweise, zumindest überwiegend oder ganz in einem Backend ausgeführt. Dies ist besonders vorteilhaft, weil im Backend entsprechende Ressourcen (z.B. Rechenleistung, Speicher, Datenzugriffe etc.) bereitgestellt werden können.
Dabei kann ein (ggf. komplexes und rechenaufwändiges) Erzeugen zweiter Datenabschnitte ausgeführt werden. Insbesondere kann es sich um ein Backend handeln, das zu einem quasigleichzeitigem (z.B. gleichzeitigem, parallelisierten bzw. parallelen) Erzeugen bzw. Weiterverarbeitung von einer hohen Vielzahl der zweiten Datenabschnitten eingerichtet ist.
Insbesondere ist das Backend mit Ressourcen eingerichtet, die (z.B. jeweils entsprechende bzw. nächstähnliche Art der Ressourcen) eines etwa zur selben Zeit üblichen Fahrzeugsystems bzw. des Entwicklungsstandes um 10², 10³, 10⁴, 10⁵, 10⁶, 10⁸ übertrifft. Das Backend gehört ebenfalls zur Erfindung bzw. kann als ein Aspekt der Erfindung bzw. ein Teil des erfindungsgemäßen Systems betrachtet werden.
Unter dem Begriff „Backend“ kann im Rahmen des vorliegenden Dokuments insbesondere ein Server, eine Cloud oder ein Rechenzentrum (jeweils mit einer zentralen oder dezentralen Architektur) verstanden werden. Ferner kann das Backend eine Entwicklungsumgebung umfassen oder sein.
Alternativ oder zusätzlich kann das Erzeugen zweiter Datenabschnitte aus dem einen oder den mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten zumindest teilweise in einem realen Fahrzeug (z.B. in dem jeweiligen realen Fahrzeug) erfolgen. Beispielsweise können das eine oder die mehreren realen Fahrzeuge eingerichtet sein, den einen oder die mehreren zweiten Datenabschnitte aus dem einen oder den mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten (der Datenabschnitte repräsentierend die virtuellen Objekte) zu erzeugen. Ferner kann das eine oder die mehreren realen Fahrzeug eingerichtet sein, die zweiten Datenabschnitte (in diesem Fall auch zu verstehen als vorverarbeitete Daten zum Erzeugen der zweiten Datenabschnitte) bereitzustellen. Das Erzeugen und/oder Bereitstellen der zweiten Datenabschnitte kann (auch) abhängig von der Trigger-Bedingung erfolgen.
Bevorzugt umfasst das Ermitteln der ersten Datenabschnitten und/oder der zweiten Datenabschnitten eine (insbesondere jeweils selektive, z.B. nach bestimmten Kriterien ausführbare) Auswahl, eine Extraktion und/oder einen Ausschluss von Daten, z.B. betreffend einzelne reale Objekte und/oder Vorgänge.
Beispielsweise können (z.B. aus einem oder mehreren Sätzen der ersten Datenabschnitte) zweite Datenabschnitte (auch zu verstehen als Sätze der zweiten Datenabschnitte) erzeugt werden, die quantitativ und/oder qualitativ unterschiedliche Umgebungen des Fahrzeugs bzw. unterschiedliche Fahrsituationen repräsentieren. Der Begriff „Umgebung“ des Fahrzeugs ist im Rahmen des vorliegenden Dokuments insbesondere unabhängig von einer realen Position, z.B. realen Geo-Position oder der entsprechenden Ortschaft aufzufassen. Auch müssen nicht alle Merkmale, Objekte bzw. Gegebenheiten der Umgebung im Verfahren berücksichtigt werden oder z.B. durch die ersten Datenabschnitten repräsentiert werden. Vielmehr kann eine selektive und/oder eine, insbesondere dynamisch, veränderliche Auswahl von realen Objekten, Parametern und/oder Daten zu der Umgebung verarbeitet werden.
Dabei können Datenabschnitte, die das eine oder die mehreren virtuellen Objekts repräsentieren (z.B. als die mit einem zu dem virtuellen Objekt korrespondierenden, von diesem nachgebildeten realen Objekt entsprechende) Sensordaten und/oder ein Datenmodell, insbesondere auf Basis eines geometrischen Modells (z.B. in 2D oder 3D) eines Bewegungsmodells, eines Verhaltensmodells, bzw. 3D+Time des virtuellen Objekts sein oder umfassen. Dieser Schritt wird bevorzugt im Backend vorgesehen. Somit stehen einerseits sehr viel mehr Rechenressourcen für diesen bzw. weitere Schritte zur Verfügung als es in einem Fahrzeug möglich wäre (was das Verfahren unter Umständen erst möglich macht) und andererseits können unterschiedliche Varianten der zweiten Datenabschnitte (auch gleichzeitig oder quasigleichzeitig) erzeugt werden.
Beispielsweise können auf Basis eines Satzes der ersten Datenabschnitte und eines oder mehrerer virtuellen Objekte (insbesondere mit jeweils quantitativ und/oder qualitativ unterschiedlichen Parametern) mehrere quantitativ und/oder qualitativ unterschiedliche Sätze der zweiten Datenabschnitte erzeugt werden. Diese können quantitativ und/oder qualitativ unterschiedliche Anordnungen von realen und virtuellen Objekte, insbesondere in Bezug auf das Fahrzeug, insbesondere quantitativ und/oder qualitativ unterschiedliche Fahrsituationen (in der teilweise realen, teilweise virtuellen Umgebung des Fahrzeugs) repräsentieren.
Bevorzugt können die zweiten (modifizierten) Datenabschnitte als Datenabschnitte erzeugt werden, die etwa Inputdaten für ein System des Fahrzeugs, z.B. Sensordaten, Parametermustern etc., die den Einfluss des virtuellen Objekts auf die (sonst erfasste) Anordnungen von realen Objekten bzw. auf die Umgebung umfassen, entsprechen.
Beispielsweise können Datenabschnitte , die das virtuelle Objekt repräsentieren, wie z.B. Bilder, Wärmebilder, Punktwolken, sogenannte Radar-Objekte, LIDAR-Objekte oder entsprechende Bildsequenzen (zumindest in etwa, annähernd, modellhaft, modellbasiert) erzeugt werden, die das reale Fahrzeug, insbesondere ein realer Sensor bzw. ein sensorgetriebenes System des Fahrzeugs, erzeugen würde, wenn in der realen Umgebung ein dem virtuellen Objekt entsprechendes reales Objekts erscheinen würde.
Das Modifizieren des ersten Datenabschnitts oder der ersten Datenabschnitte kann z.B. mittels eines mathematischen Modells, einer Simulation, z.B. mittels einer Simulation eines Sensors eines Fahrzeugs bzw. der Daten des Sensors erfolgen. Dabei können Ausgangsdaten des Sensors bzw. des Sensorsystems bzw. Eingangsdaten des Systems des Fahrzeugs, zumindest teilweise das virtuellen Objekt (bzw. seinen Einfluss auf die ersten Datenabschnitte) und/oder zumindest teilweise die reale Umgebung des Fahrzeugs repräsentieren.
Bei dem Modifizieren können zweite Datenabschnitte erzeugt werden, die eine veränderte reale Umgebung repräsentieren, die im Falle des Vorhandenseins eines dem virtuellen Objekt (bevorzugt einschließlich seiner Bewegung und/oder seines Verhaltens) entsprechenden realen Objekts vorliegen würde.
Das Modifizieren kann derart erfolgen, dass eine dynamische Veränderung oder das Verhalten der resultierenden (zumindest teilweise virtuellen) Umgebung und/oder der Fahrsituation in der Umgebung ermittelt, insbesondere nachgebildet und/oder simuliert wird.
Das Modifizieren kann unter Berücksichtigung physikalischer Gegebenheiten, Zusammenhänge und/oder Effekte erfolgen die das virtuelle Objekt und/oder die realen Objekte betreffen. Beispielsweise können physikalische Gegebenheiten und/oder Zusammenhänge berücksichtigt werden, die im Falle des Vorhandenseins eines realen Objekts, welches dem virtuellen Objekt entspricht,

- auf das eine oder die mehreren virtuellen Objekte (z.B. ausgehend von einem oder mehreren realen oder virtuellen Objekten bzw. Anordnungen realer Objekte)

- auf ein oder mehrere reale Objekte (z.B. ausgehend von dem einen oder den mehreren virtuellen Objekten bzw. Anordnung realer Objekte)

Vereinfacht erklärt können physikalische Gegebenheiten, Zusammenhänge und/oder Effekte berücksichtigt werden, die (z.B. auf einen gewählten Teil der realen Umgebung) zutreffen würden, wenn das virtuelle Objekt ein (entsprechendes) reales Objekt wäre.
Ferner können Reaktionsdaten eines Entwicklungsstandes erzeugt werden, indem die zweiten (modifizierten) Datenabschnitte als ein Input für den (ersten) Entwicklungstand des Fahrzeugsystems verwendet werden.
Insbesondere sind die Reaktionsdaten eines (ersten) Entwicklungsstandes des Systems des Fahrzeugs kennzeichnend für eine Reaktion des Entwicklungsstandes auf die zweiten Datenabschnitte, die zumindest einen Teil der realen Umgebung des Fahrzeugs, die mit einem oder mehreren virtuellen Objekten modifiziert ist, repräsentieren.
Ferner können zu den Reaktionsdaten des (ersten) Entwicklungsstandes Daten des Fahrzeugs bzw. einer Emulation des Fahrzeugs oder eines Teils des Fahrzeugs (z.B. mit dem zusammen der erste Entwicklungsstand betrieben wird) gezählt werden, die unter dem Einfluss des Entwicklungsstandes verändert worden sind. Beispielsweise können dies Änderungen von Zuständen oder Parametern des Fahrzeugs bzw. einer Emulation des Fahrzeugs oder eines Teils des Fahrzeugs sein, die durch die Reaktion des (ersten) Entwicklungsstands auf die zweite Datenabschnitte bedingt bzw. verursacht werden.
Insbesondere kann ein erster (ggf. auch ein zweiter) Entwicklungsstand als eine Emulation bzw. Simulation des realen Fahrzeugsystems im Backend betrieben werden. Der Entwicklungsstand kann auf Basis der zweiten Datenabschnitte betreibbar sein bzw. betrieben werden. Die Reaktionsdaten können einem Output des Entwicklungsstandes und/oder einem Parameter, Zustand oder einer Zustandsveränderung des entsprechenden Systems des Fahrzeugs entsprechen. Beispielsweise können die Reaktionsdaten einen oder mehrere interne (z.B. in einem regulären bzw. späteren Betrieb des entsprechenden Fahrzeugsystems am Ausgang sichtbare oder unmittelbar wirksame) Parameter, Zustände, Zustandsveränderungen (beispielsweise eines Zustandsautomaten, einer Steuerung, einer Regelung, einer Formel etc.) kennzeichnen.
Alternativ oder zusätzlich können die Reaktionsdaten solchen Daten entsprechen oder solche Daten kennzeichnen, die bei einem realen Fahrzeugsystem (welches durch den ersten bzw. zweiten Entwicklungsstand repräsentiert wird bzw. mittels des Entwicklungsstands entwickelt, abgesichert, getestet oder trainiert wird):

- zu einer Betätigung eines Aktors des Fahrzeugs und/oder einer Ausgabe einer Fahrerinformation dienen;

- eine (insbesondere geplante) Trajektorie (alternativ oder zusätzlich zu verstehen als eine Bahnplanung) des Fahrzeugs, insbesondere eine aufgrund des virtuellen Objekts veränderte Trajektorie bzw. Bahnplanung, beschreiben;
- zum Ansteuern eines weiteren Systems des Fahrzeugs dienen, z.B. Steuerungssignale;

- an das Bordnetz des Fahrzeugs und/oder nach außerhalb des Fahrzeugs versendet werden;

- einen Ressourcenverbrauch des Entwicklungsstand (z.B. betreffend Rechenleistung, Speicher, Laufzeit, etc.) beschreiben;

- einen Zustand, Zustandsübergang, Parameter und/oder Speicherinhalt beschreiben.

Alternativ oder zusätzlich können die Reaktionsdaten (auch zu verstehen als Daten auf Basis der Reaktionsdaten) ermittelt werden, die ein Maß einer Konsequenz einer Reaktion des Entwicklungsstands auf die zweiten Datenabschnitte kennzeichnen. Dabei können Daten ermittelt und berücksichtigt werden, die eine Konsequenz eines Ereignisses, insbesondere einer veränderten Trajektorie des Fahrzeugs, einer neuen oder veränderten Kollision, welches abhängig von dem einen oder mehreren virtuellen Objekte ermittelt wird (z.B. virtuell auftritt und somit auch in der Realität auftreten würde) kennzeichnen. Beispielsweise können Reaktionsdaten eines (z.B. automatisiert fahrenden) Fahrzeugs ermittelt werden, die eine Konsequenz kennzeichnen, die auftreten würde, wenn bei einer bestimmten Fahrsituation ein Kind auf die Straße rennen würde. Die Erfindung ermöglicht es, einen oder mehrere Entwicklungsstände mit einer Vielzahl der Varianten einer derartigen (mittels eines virtuellen Kindes und ohne ein Risiko für die Öffentlichkeit) erzeugten teilweise realen und teilweise virtuellen Situation in der durch die zweiten Datenabschnitte repräsentierten Umgebung (testweise und/oder zum Trainieren eines neuronalen Netzes) zu betreiben.
Die Reaktionsdaten können eine neue Reaktion des Entwicklungsstands beschreiben oder einen Unterschied der Reaktion (z.B. in Form einer Differenz, eines Faktor, eines Maßes einer Abweichung oder einer Funktion der Abweichung), z.B. im Vergleich zu einer Reaktion, die ohne das Vorhandensein des einen oder mehreren virtuellen Objekts bzw. ohne die Modifikation der ersten Datenabschnitte zutreffen würde. Beispielsweise kann dies eine aufgrund des virtuellen Objekts veränderte Trajektorie bzw. Bahnplanung des Fahrzeugs betreffen oder alternativ oder zusätzlich einen Unterschied zu der Reaktion die ohne das Modifizieren der Datenabschnitte zutrifft. Die letztere Reaktion kann der Reaktion des realen Systems des realen Fahrzeugs entsprechen (die zusätzlich zu den ersten Datenabschnitten ermittelt werden kann) oder eine Reaktion eines Entwicklungsstands, der mit nicht modifizierten ersten Datenabschnitten betrieben wird, sein.
Beispielsweise können Daten auf Basis der Reaktionsdaten ermittelt werden, die einen Abgleich der Reaktionsdaten des Entwicklungsstands auf (nicht modifizierte) erste Datenabschnitte und der Reaktionsdaten des Entwicklungsstands auf zweite Datenabschnitte und/oder mehrere Varianten der zweiten Datenabschnitte, die z.B. durch unterschiedliche virtuelle Objekte bzw. unterschiedliches Modifizieren erzeugt wurden, kennzeichnen.
Ferner können auf Basis der Reaktionsdaten Daten ermittelt werden, die kennzeichnend sind für eine Empfindlichkeit der Reaktionsdaten auf eine Veränderung eines Parameters des einen oder der mehrerer virtuellen Objekte.
Es kann eine Vielzahl von, insbesondere unterschiedlichen, Entwicklungsständen verwendet werden. Beispielsweise kann eine Vielzahl von Entwicklungsständen verwendet werden. Diese können z.B. eine einer Vielzahl elektronischer Module umfassen oder damit zusammenwirken, die zumindest die (zum Ermitteln der Reaktionsdaten) relevanten Merkmale eines realen Systems des Fahrzeugs aufweisen oder Prototype des Systems des Fahrzeugs sind.
Die Reaktionsdaten können einen Rückschluss auf eine (für das Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems sehr wertvolle) Reaktion eines realen Fahrzeugs (mit einem realen System, das die Merkmale des Entwicklungsstands aufweist) auf eine reale Umgebung, Bedingung oder Situation kennzeichnen, die mit dem virtuellen Objekt (bzw. mit einem virtuell ergänzten oder veränderten Teil der Umgebung bzw. der Fahrsituation) ergänzt, verändert bzw. angereichert sind.
Daher kann es zum Verfahren gehören, insbesondere automatisiert, einen Rückschluss auf das Verhalten und/oder eine Performance eines realen Systems des Fahrzeugs auf eine reale Umgebung, bei realen Bedingungen, bei einer realen Situation, insbesondere Fahrsituation zu ermitteln, die mit der modifizierten Umgebung des Fahrzeugs (etwa gemäß den zweiten Datenabschnitten) korrespondiert.
Ferner kann das Verfahren diverse Verarbeitungen und/oder Nutzungen der Reaktionsdaten, insbesondere der Rückschlüsse auf Basis der Reaktionsdaten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Entwicklungsstandes, z.B. in realen Fahrzeugen, umfassen.
Beispielsweise können ein oder mehrere Parameter eines (mit dem ersten bzw. zweiten Entwicklungsstand korrespondierenden bzw. entsprechenden) Fahrzeugsystems abhängig von den Reaktionsdaten aktualisiert werden.
Jeder in diesem Dokument beschriebener Parameter, jedes Merkmal und jeder Schritt des Verfahrens kann abhängig von dem Automatisierungsgrad des Fahrbetriebs des Fahrzeugs gewählt werden. Beispielsweise erfolgt das Ermitteln der ersten Datenabschnitte und/oder das Erzeugen der Reaktionsdaten abhängig von dem Automatisierungsgrad des jeweiligen Fahrzeugs.
Unter dem Begriff „Entwicklungsstand“ ist ein Entwicklungsstand eines Systems des Fahrzeugs, z.B. umfassend eine Version einer Software und/oder einer Hardware eines Systems des Fahrzeugs oder des Fahrzeugs zu verstehen. Insbesondere kann zu dem Entwicklungsstand eine sogenannte Middleware und/oder ein oder mehrere neuronale Netze bzw. ein Checkpoint eines neuronalen Netzes gezählt werden. Ferner kann aber auch ein entsprechender Stand des Systems des Fahrzeugs, ein Stand zu Auslieferung des Fahrzeugs oder eines Updates bzw. Upgrades oder ein Weiterentwicklungsstand im Rahmen dieses Dokuments als der Entwicklungsstand aufgefasst werden. Beispielsweise kann unter dem Begriff Entwicklungsstand auch ein (z.B. finaler, zur Auslieferung bzw. zum Update an Fahrzeuge bestimmter) entwickelter, abgesicherter oder trainierter Entwicklungsstand für ein System des Fahrzeugs verstanden werden.
Unter dem Begriff „Fahren“ kann im Rahmen dieses Dokuments alternativ oder zusätzlich das (z.B. automatisierte) Parken bzw. Rangieren verstanden werden.
Als „real“ sind im Rahmen dieses Dokuments physikalisch, insbesondere mechanisch wirksame Gegebenheiten, z.B. Objekte, Objektmerkmale, etc. zu verstehen.
Als „virtuell“ sind im Rahmen dieses Dokuments auf Daten basierte bzw. durch Daten repräsentierte bzw. ausgedrückte Gegebenheiten, die insbesondere keine entsprechende unmittelbare physikalische bzw. mechanisch wirksame Gegebenheiten oder Ereignisse, wie z.B. eine Betätigung eines Aktors, nach sich ziehen, zu verstehen.
Der Begriff „Reaktion“ ist im Rahmen dieses Dokuments alternativ oder zusätzlich als eine „Interaktion“ zu verstehen. Beispielsweise können Reaktionsdaten (alternativ oder zusätzlich zu einer Reaktion) eine Interaktion, insbesondere eine Interaktion eines Entwicklungsstands mit einem oder mehreren virtuellen Objekten kennzeichnen bzw. repräsentieren.
Der Begriff „ein oder mehrere erste Datenabschnitte bzw. ein oder mehrere zweite Datenabschnitte“ ist insbesondere als ein Satz von den (ersten bzw. zweiten) Datenabschnitten zu verstehen, die sich in etwa auf dieselbe Umgebung des Fahrzeugs, in etwa dieselbe Fahrsituation, in etwa dasselbe Zeitintervall und/oder etwa auf dieselben Objekte oder Anordnungen von Objekten (etwa beim Befahren eines Fahrbahnabschnitts), wie z.B. von Verkehrsteilnehmern, beziehen. Beispielsweise bezieht sich ein Satz der ersten Datenabschnitte und/oder der zweiten Datenabschnitte auf ein Manöver des Fahrzeugs und/oder eines Verkehrsteilnehmers in der Umgebung und/oder auf ein in etwa entsprechendes Zeitintervall (in der Praxis z.B. 5, 20, 40, oder 60 Sekunden).
Beispielsweise werden ein oder mehrere erste Datenabschnitten ermittelt, die jeweils zumindest einen Teil einer realen Umgebung bzw. einer realen Fahrsituation eines realen Fahrzeugs repräsentieren, insbesondere abbilden oder qualitativ und/oder quantitativ charakterisieren. Der Teil der realen Umgebung bzw. Fahrsituation kann zweckmäßig, adaptiv, z.B. nach einer vorausbestimmten Bedingung, steuerbar bzw. wählbar sein.
Der zumindest eine erste Datenabschnitt kann Daten auf Basis eines oder mehrerer Sensoren des jeweiligen Fahrzeugs umfassen. Beispielsweise kann ein solcher Datenabschnitt auf Basis von einem Mitschnitt (auch zu verstehen als ein Mitschnitt korrespondierender Signal-Traces) der Daten auf Basis eines oder mehreren Sensoren des Fahrzeugs ermittelt werden.
Die ersten Datenabschnitte können beispielsweise repräsentieren:

- zumindest einen Raumteil, der insbesondere nach bestimmten (z.B. dynamischen) Kriterien gewählt wird, wie z.B. in Bezug auf das jeweilige reale Fahrzeug (z.B. aus Blind-Spot-Bereichen);
- zumindest ein reales Objekt in der Umgebung des realen Fahrzeugs bzw. einen Teil der Umgebung des realen Fahrzeugs mit diesen Objekten;
- eine bestimmte Situation, z.B. Fahrsituation in der sich das reale Fahrzeug befindet;
- eine oder mehrere Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem realen Fahrzeug und/oder den Objekten in der Umgebung; und/oder
- Daten, insbesondere Eingangsdatendaten, kennzeichnend den (mit der Umgebung, Fahrsituation, etc. korrespondierenden) Zustand und/oder Ausgangsdaten eines Systems des realen Fahrzeugs.

Bevorzugt repräsentiert der zumindest eine erste Datenabschnitt einen dynamischen Vorgang und/oder einen zeitlich und/oder räumlich ausgedehnten Vorgang. Der Vorgang kann sich auf nahezu alle, oder bestimmte, einzelne (z.B. wählbare) reale Objekte innerhalb der Umgebung des Fahrzeugs beziehen. Ein oder mehrere der ersten Datenabschnitte können eine Fahrsituation, insbesondere ein Manöver (Fahrmanöver, Parkmanöver), z.B. betreffend das reale Fahrzeug und/oder einen oder mehrere Verkehrsteilnehmer in der Umgebung repräsentieren. Beispielsweise können reale Objekte abhängig von ihrer Rolle innerhalb einer Fahrsituation berücksichtigt werden, etwa als Vordermann, Hintermann, als ein das reale Fahrzeug überholendes Fahrzeug oder als Verkehrsteilnehmer, welcher gegenüber dem realen Fahrzeug die Vorfahrt hat oder Vorfahrt gewähren muss.
Beispielsweise können ein oder mehrere der ersten Datenabschnitte eine sich in der Umgebung des realen Fahrzeugs ereignende Fahrsituation repräsentieren, insbesondere ein Manöver des Fahrzeugs, insbesondere in Bezug auf ein Objekt in der Umgebung, und/oder ein Manöver eines Verkehrsteilnehmers aus der Umgebung des Fahrzeugs, insbesondere in Bezug auf das Fahrzeug. Dies können bestimmte Manöver, Manöver bestimmter Arten und/oder bestimmten Kriterien entsprechende Manöver und/oder Manöver bei welchen das reale Fahrzeug eine bestimmte Rolle spielt, sein. Dabei können sich die ersten Datenabschnitte nur, überwiegend oder im Wesentlichen nur auf relevante, z.B. an einem Manöver beteiligte Objekte beziehen bzw. diese beschreiben.
Ein Manöver kann z.B. ein Spurwechselmanöver, Einfädelmanöver, ein Ausweichmanöver, ein Einfädelmanöver, ein Überholmanöver, ein Einparkmanöver, ein Ausparkmanöver, ein Rangiermanöver oder dergleichen sein.
Alternativ oder zusätzlich können die ersten Datenabschnitte einen bestimmten von dem realen Fahrzeug ausgeführten Vorgang repräsentieren. Dabei kann es sich um einen dynamischen Vorgang, und/oder einen zeitlich und/oder räumlich ausgedehnten Vorgang handeln. Beispielsweise repräsentieren die ersten Datenabschnitte eine bestimmte Anordnung, einen Vorgang und/oder eine Interaktion des realen Fahrzeugs mit einem Objekt. In einem weiteren Beispiel kann eine solche Interaktion eine gegenseitige Störung, Beeinflussung, Einwirkung oder ausnahmsweise eine physische Interaktion, z.B. eine Behinderung, Reibung oder Kollision, umfassen.
Der Begriff „Repräsentieren“ ist im Rahmen des vorliegenden Dokuments insbesondere als „kennzeichnen“ zu verstehen. Beispielsweise kann, muss aber nicht, ein oder mehrere der ersten Datenabschnitte absolute oder relative Koordinaten oder Bewegungen des Fahrzeugs und/oder von Objekten aus seiner Umgebung (mehr oder minder explizit) repräsentieren. Diese können, müssen aber nicht, einen repräsentatives bzw. fotorealistisches Abbild eines Teils der Umgebung umfassen.
Ein Teil der realen Umgebung, der realen Fahrsituation, ein oder mehrere reale Objekte, ihre Aktionen, Parameter, Verhalten können z.B. mittels entsprechender (bevorzugt im Verfahren erkannter) Muster erkannt und/oder in den Datenabschnitten (z.B. durch stellvertretene Zahlen, Codes, Muster) repräsentiert, insbesondere gekennzeichnet sein.
Beispielsweise können die ersten Datenabschnitte z.B. durch eine Kombination von Codes repräsentiert werden, die die Umgebung des Fahrzeugs und/oder eine Fahrsituation in der Umgebung des Fahrzeugs charakterisieren. Alternativ oder zusätzlich können die ersten Datenabschnitte bzw. ein Satz der ersten Datenabschnitte unterschiedliche Daten, z.B. Kartenausschnitte, Sensordaten oder Fahrwerkdaten, kennzeichnen, die z.B. für das Betreiben des realen Systems des Fahrzeugs relevant sind.
Beispielsweise können die ersten Datenabschnitte jeweils ein oder mehrere Objekte oder Anordnungen (d.h. statische oder dynamische Konstellationen) von Objekten oder eine bestimmte Relation eines Objekts zu dem realen Fahrzeug repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen bestimmten Verkehrsteilnehmer oder einen Verkehrsteilnehmer einer bestimmten Art, z.B. ein Motorrad, PKW oder LKW in der Umgebung des Fahrzeugs. Dieser kann in den Datenabschnitten etwa als eine Kennung einer Klasse des Objekts, eine Abmessung bzw. Form, eine relative Position, ein Winkel, eine Ausrichtung, eine absolute oder relative Geschwindigkeit, eine Beschleunigung, eine erkannte Absicht und/oder eine bestimmten Aktion oder eine Aktion einer bestimmten Art in dem jeweiligen Datenabschnitt repräsentiert werden.
Beispielsweise können die ersten Datenabschnitte jeweils einen, insbesondere bestimmten und/oder wählbaren Teil, z.B. Raumteil, Winkel und/oder Entfernungsbereich von dem realen Fahrzeug repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen Verkehrsteilnehmer, der ein das reale Fahrzeug betreffendes Manöver ausführt (z.B. es überholt) oder einen Parameter, insbesondere eine Veränderung eines Parameters während des Manövers.
Beispielsweise können die ersten Datenabschnitte jeweils bestimmte Anordnungen, Aktionen oder Interaktionen zwischen einem Objekt in der Umgebung und dem realen Fahrzeug und/oder den Objekten in der Umgebung, insbesondere hinsichtlich ihrer Dynamik, z.B. durch eine Veränderung bzw. einen Verlauf der jeweiligen Parameter, repräsentieren.
Beispielsweise repräsentiert der zumindest eine erste Datenabschnitt einen Teil der Umgebung, der sich hinter dem realen Fahrzeug, seitlich des realen Fahrzeugs, in einem Blindspot des realen Fahrzeugs oder auf einer geplanten Trajektorie des realen Fahrzeugs befindet.
Der eine oder die mehreren zweiten Datenabschnitte können insbesondere in Bezug auf ihre Beschaffenheit einen oder mehrere in diesem Dokument beschriebene Merkmale der ersten Datenabschnitte aufweisen. Bevorzugt können die zweiten Datenabschnitte im Wesentlichen oder teilweise, z.B. auswahlweise, hinsichtlich der Repräsentation oder Kennzeichnung der Objekte, Anordnungen von Objekten, geometrischen und/oder zeitlicher Zusammenhänge dieselbe Merkmale, z.B. hinsichtlich Struktur, Datenstruktur, Datenformat, Konventionen, Logik und/oder Codes bzw. Codierung bestimmter Informationen aufweisen. Besonders bevorzugt können die zweiten Datenabschnitte und die ersten Datenabschnitte z.B. hinsichtlich ihrer jeweiligen Struktur, Datenstruktur, Datenformat, Konventionen, Codes bzw. Codierung bestimmter Informationen, zueinander (einseitig oder beidseitig) kompatibel sein. Dadurch ergibt sich beispielsweise der Vorteil, dass ein in den zweiten Datenabschnitten repräsentiertes virtuelle Objekt bzw. der Einfluss dieses Objekts auf die Fahrsituation eine realitätsnahe Reaktion des jeweiligen Entwicklungsstandes hervorrufen kann und/oder dass die Reaktionsdaten des Entwicklungsstandes auf die ersten Datenabschnitte und die Reaktionsdaten des Entwicklungsstands auf die zweiten Datenabschnitte, z.B. auf unterschiedliche Varianten der zweiten Datenabschnitte, einfach bzw. vorteilhaft (untereinander) vergleichbar sind.
Insbesondere kann der zumindest eine erste Datenabschnitt eine reale Umgebung eines realen Fahrzeugs die in einem realen Fahrzeugbetrieb vergleichbar selten oder sehr selten vorkommt, repräsentieren. Beispielsweise kann die Umgebung des Fahrzeugs etwa Anordnungen von Objekten, Fahrsituationen und/oder Ereignisse umfassen, die in einer gleichen bzw. ähnlichen Variante (z.B. statistisch bzw. im Durschnitt) seltener als einmal in 10³, 10⁴,10⁶, 10⁸, 10¹⁰ Kilometern auftritt bzw. zu erwarten ist.
In einem Beispiel des Verfahrens kann sich das Ermitteln der ersten Datenabschnitte zumindest vorrangig auf eine reale Umgebung bzw. Fahrsituation beziehen, zu welcher ermittelt bzw. erkannt wurde, dass diese besonders selten vorkommt und/oder sich von einer oder mehreren häufig, insbesondere typisch vorkommenden Umgebungen, z.B. Fahrsituationen, unterscheidet.
Beispielsweise können die ersten Datenabschnitte, insbesondere jeweils betreffende, ausgewählte, Mitschnitte der Daten einer ersten Datenschnittstelle, einer Bordnetzkommunikation, einen (z.B. zeitlichen und/oder räumlichen) Verlauf eines internen Parameters im Fahrzeug, insbesondere in oder an dem realen Fahrzeugsystem und/oder in einem weiteren System des Fahrzeugs, wie z.B. in einer Aktor-, Sensor-, oder Recheneinheit des Fahrzeugs, die insbesondere in einer bestimmten Verbindung mit dem Fahrzeugsystem stehen, z.B. dieses steuern oder von diesem gesteuert werden, umfassen oder sein.
Insbesondere kann die zumindest eine Trigger-Bedingung ein Kriterium in Bezug auf eine (z.B. statistische) Häufigkeit, betreffend ein Vorkommen von bestimmten Parametern der realen Fahrzeuge und/oder der realen Umgebungen umfassen. Beispielsweise kann die zumindest eine Trigger-Bedingung einen Abgleich der Daten einer Umgebung, insbesondere einer Fahrsituation in der Umgebung eines realen Fahrzeugs mit bestimmten, insbesondere häufigen und/oder typisch vorkommenden realen Umgebungen bzw. Fahrsituationen umfassen. Insbesondere können abhängig vom Ergebnis des Abgleichs zumindest vorrangig überwiegend seltene und/oder untypische reale Umgebungen bzw. Fahrsituationen ausgewählt werden und die ersten Datenabschnitte, die diese repräsentieren, erfasst und/oder weiterverarbeitet werden.
In einem weiteren Beispiel des Verfahrens kann die Trigger-Bedingungen eine Abweichung von einem oder mehreren vorausbestimmten Bedingungen, z.B. Wertebereichen, Kombinationen von Wertebereichen und/oder Datenmustern kennzeichnen. Beispielsweise können die ersten Datenabschnitte als Datenabschnitte ermittelt werden, welche eine Umgebung des Fahrzeugs repräsentieren, die von einer Norm oder von bekannten und/oder typischen bzw. ein statistisches Kriterium erfüllender Anordnung von Objekten, Fahrsituation, Konsequenzen einer Fahrsituation, etc. abweicht.
In einem weiteren Beispiel umfasst die zumindest eine Trigger-Bedingung ein Kriterium in Bezug auf eine Performance, z.B. ein Maß der Performance, einen sogenannten KPI (Key Performance Indikator) des realen Fahrzeugs bzw. einer Funktionalität des realen Fahrzeugs.
In einem vereinfachten Fall können die ersten Datenabschnitte Daten auf Basis eines Radars, einer Kamera, eines LIDARS ermittelt werden und/oder bereits verarbeitete bzw. fusionierte Daten (etwa einen Teil von Daten eines sogenannten Umfeldmodells) und/oder (jeweils) in eine modellhafte und/oder vektorbasierte Form überführte (z.B. umgewandelte, umgerechnete) Gegebenheiten, z.B. Objekte zumindest teilweise umfassen oder sein. Beispielsweise können die ersten Datenabschnitte vorerst in einem Ringspeicher des Fahrzeugs gespeichert und beim Zutreffen der zumindest einen Trigger-Bedingung (sozusagen zeitlich rückwirkend) ermittelt werden.
Beispielsweiser kann der Inhalt, insbesondere die Anzahl bestimmter Parameter, z.B. bestimmter Signale, und/oder die Dauer einer Aufzeichnung für einen Datenabschnitt abhängig von einer jeweiligen Trigger-Bedingung wählbar sein bzw. gewählt werden. Bei den Datenabschnitten handelt es sich insbesondere um Datenabschnitte, die nicht zum Betrieb des Fahrzeugs (mit dem diese erfasst werden) benötigt bzw. dort funktional verwendet werden.
Die Erfindung umfasst ferner die Idee, anstatt auf das Vorkommen einer bestimmten (z.B. auch extrem seltene vorkommente) Situation eines Fahrzeugs (auch zu verstehen als: das Geschehen in der Umgebung des Fahrzeugs) bzw. auf eine mit einer bestimmten (z.B. selten erfüllbaren) Kriterien entsprechende Fahrsituation zu warten, welche sich für die Entwicklung, Absicherung, und/oder Trainieren eines Fahrzeugsystems eignet oder die zumindest teilweise fehlt, die entsprechenden Daten mittels des einen oder der mehreren virtuellen Objekte, insbesondere der Modifikation der ersten Datenabschnitte zu erzeugen. Dabei können Daten und Erkenntnisse gewonnen werden, für welche sonst ein Einfahren von mehreren Milliarden von Kilometern mit einer entsprechen großen Versuchsflotte notwendig gewesen wäre.
Das Verfahren kann zumindest teilweise mittels (realer) bereits im Kundenbetrieb befindlicher, entsprechend eingerichteter Fahrzeuge (z.B. der sogenannten Kundenfahrzeuge) ausgeführt werden. Es ergibt sich der Vorteil, dass die Laufleistung sehr vieler (z.B. Hunderttausender) Fahrzeuge (zu insgesamt mehreren Milliarden von Kilometern) praktisch addiert werden kann bzw. insgesamt nutzbar gemacht werden kann. Das Ermitteln bzw. die Auswahl der ersten Datenabschnitte kann dabei sozusagen „im Leerlauf“, in einem „Schattenmodus“ erfolgen ohne eine funktionale Auswirkung zu zeigen bzw. den jeweiligen Fahrzeugkunden oder Dritte zu stören.
Insbesondere können der eine erste Datenabschnitt oder mehrere der ersten Datenabschnitte mittels eines Fahrzeugsystems bzw. einer Fahrzeugfunktionalität ermittelt werden, das bzw. die zumindest in einem Zeitintervall zumindest teilweise von einer Ausführung einer für das Fahrzeug oder für einen Insassen des Fahrzeug wirksamen Funktionalität entkoppelt wird bzw. parallel zur Ausführung einer (ihrer eigentlichen) Funktionalität in den jeweiligen realen Fahrzeugen betrieben wird.
Beispielsweise kann das Verfahren mittels eines (hierzu eingerichteten) zumindest teilweise entkoppelten Modus der entsprechenden Sensorik und/oder Funktionen erfolgen. Die gewonnenen Daten der neuen Umgebung (damit ist auch eine neue wie hier beschrieben künstlich konstruierte, designte, synthetisierte Fahrsituation gemeint) können z.B. zum Nachweis einer positiven Risikobilanz und/oder zum Trainieren neuronaler Netze verwendet werden.
In einer vorteilhaften Ausführungsform umfasst das Verfahren den Schritt des Bereitstellens (z.B. des Generierens und/oder Übermittelns) von zumindest einer Trigger-Bedingung für bzw. an das reale Fahrzeug und den Schritt des Ermittelns der zumindest zwei Datenabschnitte in Abhängigkeit von der zumindest einen Trigger-Bedingung.
Die Trigger-Bedingung wird beispielsweise zum Fahrzeug bzw. an die Fahrzeugflotte versendet und/oder im Fahrzeug (z.B. nach einer vorausbestimmten Bedingung mit oder ohne einen zum Fahrzeug gesendeten Parameter zu der Trigger-Bedingung) ermittelt. Mit der Trigger-Bedingung kann definiert und/oder gesteuert werden, nach welchen Kriterien, in welchem Umfang und/oder in welchem Format ein erster Datenabschnitt zu ermitteln ist. Alternativ oder zusätzlich kann mit der Trigger-Bedingung die Zusammensetzung des ersten Datenabschnitts definiert und/oder gesteuert werden, z.B. unter welchen Bedingungen bestimmte Teile der Umgebung, Objekte oder Teile der Fahrsituationen in einem oder mehreren ersten Datenabschnitten repräsentiert werden sollen.
Diese Trigger-Bedingung kann einen Parameter, insbesondere ein Muster, kennzeichnen von einem Vorkommen eines oder mehrerer bestimmter Objekte in der Umgebung des Fahrzeugs, einer bestimmten Situation, z.B. Fahrsituation, in der sich das Fahrzeug befindet, eine oder mehrere Anordnungen, Aktionen oder Interaktionen zwischen einem Objekt in der Umgebung und dem Fahrzeug und/oder den Objekten in der Umgebung, und/oder Daten, insbesondere Eingangsdatendaten, Zustands- und/oder Ausgangsdaten eines Systems des Fahrzeugs. Es kann eine intelligente Trigger-Bedingung sein, die z.B. eine oder mehrere der obigen Parameter, insbesondere Muster, miteinander verknüpft oder abhängig von einer weiteren Information, variiert. Insbesondere kennzeichnet die Trigger-Bedingung eine Vorschrift, nach der ein erster Datenabschnitt (z.B. aus einem bestimmten Fahrzeug oder von einem nach einer bestimmten Bedingung ausgewählten Fahrzeug) ermittelt wird.
Wenn eine der Trigger-Bedingungen zutrifft, dann können durch die in der Trigger-Bedingung beschriebene Vorschrift erste Datenabschnitte, mit oder ohne einen Verarbeitungsschritt innerhalb des Fahrzeugs, insbesondere in einer komprimierten und/oder codierten Form, an das Backend übermittelt werden.
Dies kann z.B. auch so verstanden werden, dass ein Computerprogramm, z.B. ein Skript, umfassend die Instruktionen einer Trigger-Bedingung, zum Fahrzeug übermittelt und/oder im Fahrzeug ausgeführt wird. Dabei kann das Skript zumindest zwei Trigger-Bedingungen umfassen. Ein solches Skript kann eine Ansteuerung eines Sensors oder eine Datenverarbeitung einer Kundenfunktion im realen Fahrzeug bewirken und/oder zum Einlesen der Daten aus einer oder mehreren Schnittstellen des Fahrzeugs eingerichtet sein.
In einem weiteren Beispiel umfasst das Verfahren das Modifizieren der ersten Datenabschnitte (zum Erzeugen der zweiten Datenabschnitte) gemäß einer Situationsbildungsvorschrift.
Beispielsweise kann eine Fahrsituation aus einem Teil der durch die ersten Datenabschnitte repräsentierten realen Objekte und einem oder mehreren virtuellen Objekte gemäß einer Situationsbildungsvorschrift erzeugt werden. Dabei können reale und virtuelle Objekte hinzufügt, ersetzt, integriert und/oder zusammengeführt werden. Die daraufhin erzeugbaren zweiten Datenabschnitte können z.B. Fahrsituationen umfassen, die in Realität in keinem der realen Fahrzeuge vorgekommen sind oder nur mit einer sehr niedrigen Wahrscheinlichkeit erwartbar wären.
Die Situationsbildungsvorschrift kann eine vorausbestimmte und/oder im Verfahren, insbesondere dynamisch, bestimmbare oder anpassbare Vorschrift umfassen oder sein.
Beispielsweise kann die Situationsbildungsvorschrift eine Anwendung bestimmter (vorausbestimmter und/oder im Verfahren bestimmbarer) Kriterien, z.B. zur Auswahl der realen und/oder virtuellen Objekte, der Teile der Umgebungen, des Verhaltens der Objekte oder der Situationsmuster kennzeichnen. Bevorzugt kann die vorausbestimmte und/oder im Verfahren bestimmbare Situationsbildungsvorschrift das Bilden der Daten vorgeben, die eine neue, ein vorgegebenes Merkmal, insbesondere Parameter aufweisende Situation repräsentieren.
Insbesondere kann die Situationsbildungsvorschrift zumindest ein erstes Kriterium in Bezug auf die Häufigkeit (auch zu verstehen als ein Maß der Häufigkeit bzw. ein Maß der „Seltenheit“) der gemäß der Situationsbildungsvorschrift zu erzeugenden Fahrsituation umfassen. Beispielsweise kann die besagte Situationsbildungsvorschrift eine statistische Häufigkeit betreffend ein Vorkommen von bestimmten Fahrsituationen ermitteln und berücksichtigen.
Beispielsweise erfolgt das Modifizieren der ersten Datenabschnitte (zum Erzeugen der zweiten Datenabschnitte) derart, dass von den zweiten Datenabschnitten repräsentierte Fahrsituationen einem bestimmten Kriterium entsprechen. Es kann auch nur ein bestimmtes Muster sein, zu welchem eine oder mehrere Varianten der zweiten Datenabschnitte (auch zu verstehen als: der von den zweiten Datenabschnitten repräsentierten teilweise virtuellen Umgebung) mit jeweils mehreren Varianten einer Fahrsituation (bzw. der Entwicklung der Fahrsituation) erzeugt werden.
Beispielsweise kann die vorausbestimmte und/oder im Verfahren bestimmbare Vorschrift die Bildung der Daten einer neuen Situation vorgeben, die insbesondere bestimmte Objekte in der Umgebung, eine bestimmten Situation, insbesondere eine Fahrsituation, eine oder mehrere Anordnungen, Aktionen oder Interaktionen zwischen einem Objekt in der Umgebung und dem Fahrzeug und/oder den Objekten in der Umgebung, und/oder Daten, insbesondere Eingangsdatendaten, Zustands- und/oder Ausgangsdaten eines Systems des Fahrzeugs, umfasst.
Besonders bevorzugt kennzeichnet die vorausbestimmte und/oder im Verfahren bestimmbare Vorschrift ein bestimmtes Muster, nach dem die neue Umgebung, insbesondere eine neue Situation, erzeugt werden kann. Beispielsweise können Daten zu einer neuen (im Verfahren gebildeten, vielleicht nie in der physikalischen Welt aufgetretenen) Situation ermittelt werden, bei der sich beispielsweise zwei Motorräder in dem Blind-Spot des Fahrzeugs befinden und das Fahrzeug gleichzeitig von zwei Seiten überholen oder zu eng zueinander fahren.
In einem weiteren Beispiel umfasst die Erfindung den Schritt des Modifizierens der ersten Datenabschnitte gemäß einer Situationsbildungsvorschrift durch ein Hinzufügen, Ersetzen, Integrieren, und/oder Zusammenführen von Daten realer Objekte (auch zu verstehen als: Daten von Teilen realer Objekte) mit einem oder mehreren virtuellen Objekten (auch zu verstehen als: mit Teilen virtueller Objekten).
Bevorzugt repräsentieren die zweiten Datenabschnitte (und/oder folglich die Reaktionsdaten, d.h. die Reaktionen darauf) Anordnungen aus bzw. Fahrsituationen mit Beteiligung von dem einen oder den mehreren virtuellen Objekten und einem oder mehreren realen Objekten, wobei das Verhältnis zwischen der Anzahl oder bestimmten Parametern der virtuellen Objekte und bestimmten Parametern der realen Objekte unterschiedlich wählbar, einstellbar oder steuerbar, insbesondere dynamisch steuerbar ist. Beispielsweise kann ein Anteil der virtuellen Objekte in den zweiten Datenabschnitten kleiner als 10%, 20%, 30% oder 50 % oder größer als 50%, 70%, 80% oder 90 % der gesamten Anzahl der Objekte.
Bevorzugt repräsentieren die zweiten Datenabschnitte überwiegend reale Objekte, z.B. eine aus realen Objekten bestehende Umgebung mit einer Anordnung bzw. Fahrsituation aus realen Objekten (gemäß den ersten Datenabschnitten), wobei in die Umgebung ein vergleichsweise kleiner Anteil von virtuellen Objekten integriert wird. Es kann sozusagen eine überwiegend auf Grundlage der Realität durch ein oder mehrere virtuelle Objekte veränderte Umgebung bzw. Fahrsituation erzeugt werden. Eine solche Fahrsituation trägt sozusagen ihre Nähe zu der Realität bereits in sich.
Dabei können die Reaktionsdaten (auch fernab der jeweiligen realen Fahrzeuge) erzeugt werden, die (somit) zu einem überwiegenden Teil auf Realität basieren, wobei der Einfluss (auch: die Veränderung bzw. der Beitrag), der durch ein oder mehrere virtuelle Objekte bewirkt wird, erfassbar und/oder nachverfolgbar wird. Auch können (somit) die Reaktionsdaten einen hohen Bezug zur Realität haben und für diese hinreichend repräsentativ sein. Beispielsweise können die auf den Reaktionsdaten basierenden Daten mit einer hohen Verlässlichkeit und/oder Genauigkeit ein Verhalten des realen Fahrzeugs mit einem auf dem jeweiligen Entwicklungsstand basierenden Fahrzeugsystem repräsentieren und/oder prädizieren.
Beispielsweise werden die Reaktionsdaten bzw. die jeweiligen Maße der Performance mit einem oder mehreren Schwellwerten verglichen.
Die Reaktionsdaten (bzw. auf diesen basierende Daten) können (hinreichend fachlich begründbar) zur Sicherstellung, insbesondere zum Nachweis bestimmter Eigenschaften, insbesondere betreffend ein Risiko, eine Konsequenz und/oder eine Performance von den entsprechenden, den Entwicklungsstand umfassenden Fahrzeugen (in der Realität bzw. im Fahrbetrieb) verwendet werden. Die Daten können für eine Homologation von Fahrzeugen und/oder als eine Bedingung, insbesondere Voraussetzung, für eine Ausführung bestimmter Funktionen bzw. Leistungsmerkmale der Fahrzeuge oder für eine Betriebsgenehmigung für Fahrzeuge, insbesondere zumindest teilweise automatisiert fahrbarer Fahrzeuge, bereitgestellt und/oder verwendet werden.
Besonders bevorzugt können für unterschiedliche Anwendungen oder zur Bildung von Varianten der Reaktionsdaten das Verhältnis zwischen der Anzahl und/oder bestimmten Parametern der virtuellen Objekte und bestimmten Parametern der realen Objekte (die in dem einen oder mehreren zweiten Datenabschnitten repräsentiert werden) variiert werden. Dabei kann z.B. die Menge und/oder Diversität der Reaktionsdaten (auch zu verstehen als auf diesen basierter Daten) sowie der Verwendungen dieser weiter erhöht werden.
Die durch die zweiten Datenabschnitte repräsentierten (teilweise realen und teilweise virtuellen) Umgebungen bzw. Information auf Basis der einen oder mehreren derartigen Datenabschnitte (bzw. Umgebungen) können dafür bereitgestellt und/oder verwendet werden:

- zum Testen und/oder Absichern eines Entwicklungsstands eines Systems eines Fahrzeugs, z.B. indem die entsprechenden Reaktionsdaten ausgewertet werden; und/oder
- zum Ermitteln zumindest eines Performanceindikators, z.B. eines KPI des Entwicklungsstands, wobei insbesondere ein Rückschluss auf einen Performanceindikator eines realen Systems des Fahrzeugs (z.B. eines korrespondierenden Systems, z.B. mit gleichen oder ähnlichen Merkmalen) möglich ist; und/oder
- zum Nachweis einer positiven Risikobilanz des Systems des Fahrzeugs, insbesondere für einen Rückschluss auf die erwartete Performance in Bezug auf reale Objekte; und/oder
- zum Trainieren eines neuronalen Netzes, wobei die resultierenden Lerndaten (z.B. Gewichtsdaten, Bias Terms, Checkpoints) insbesondere zum Betreiben eines realen Fahrzeugs einsetzbar sind; und/oder
- zum Freischalten und/oder Sperren von einem oder mehreren Leistungsmerkmalen zumindest eines Fahrzeugs, insbesondere mit dem gleichen oder ähnlichen Systemen wie der Entwicklungsstand.

- zum Freischalten und/oder Sperren von (bestimmten) realen Reaktionen des Systems des Fahrzeugs für künftige (reale) Situationen, die der zumindest einen neuen Situation hinreichend ähnlich sind; und/oder
- zum Verändern einer digitalen Karte und/oder von Daten zur Interpretation einer digitalen Karte, insbesondere zur Freigabe oder Sperrung bestimmter Fahrbahnabschnitte für die Ausführung bestimmter Leistungsmerkmale, insbesondere bestimmter Reaktionen auf bestimmte reale Situationen, die der zumindest einen neuen Situation hinreichend ähnlich sind.

Zu der Erfindung gehören ferner die Daten auf Basis der Reaktionsdaten, z.B. eine Datenbasis mit einer Vielzahl der Daten oder Datensätze auf Basis diverser, insbesondere einer Vielzahl unterschiedlicher Reaktionsdaten. Diese kann eine Entwicklungsdatenbasis oder Absicherungsdatenbasis sein.
Ferner umfasst die Erfindung die oben genannten oder weitere Systeme bzw. Funktionalitäten in Fahrzeugen oder Systemen bzw. Funktionalitäten zum Betreiben von Fahrzeugen, die auf Basis der zumindest einer virtuellen Umgebung entwickelt, abgesichert, trainiert, ausgeführt bzw. ausführbar gemacht werden.
Eine weitere vorteilhafte Ausführungsform der Erfindung ist die Verwendung, insbesondere das Betreiben, einer nach den Merkmalen der Erfindung erzeugten teilweise virtuellen Umgebung eines Fahrzeugs zum Test und/oder zur Absicherung eines Entwicklungsstands eines Fahrzeugsystems. Das Fahrzeugsystem kann ein System zum zumindest teilautomatisierte Fahren oder Parken zur Verwendung in einem Fahrzeug sein. Dabei können (sehr schnell, günstig und ungefährlich) Daten gewonnenen werden, die auch kennzeichnend sind für das Verhalten des Systems des Fahrzeugs in vergleichbaren realen Umgebungen des Fahrzeugs.
Beispielsweise handelt es sich bei dem Fahrzeugsystem (und insbesondere bei dem ersten und/oder zweiten Entwicklungsstand) um ein Fahrerassistenzsystem oder System zur Ausführung oder Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung und/oder Manöverausführung des Fahrzeugs, wie z.B. ein System zum zumindest teilweise automatisierten Fahren und/oder Parken (auch zu verstehen als ein Teil des Fahrzeugsystems bzw. ein das Fahrzeugsystem umfassendes System). Alternativ oder zusätzlich kann das Verfahren bei diversen (anderen) Systemen und/oder Funktionalitäten des Fahrzeugs (ggf. in einer sinngemäß bzw. zweckmäßig angewandten Ausgestaltung) verwendet werden.
Durch die Erfindung ergibt sich die Möglichkeit, den Entwicklungsstand eines (beliebigen oder des bestimmten) Systems und/oder Funktionalität eines Fahrzeugs bzw. für einen Einbau oder eine Nutzung in einem Fahrzeug (sozusagen im „Trockenlauf“ bzw. mit verringerten Kosten und/oder Risiken) zu testen, abzusichern und/oder eine zu dem Entwicklungsstand bzw. System gehörende künstliche Intelligenz, insbesondere ein neuronales Netz, zu trainieren.
Insbesondere können auch (z.B. für einen Nachweis der Performance, für die Zulassung und/oder Markteinführung des Fahrzeugs relevante) virtuelle Umgebungen umfassend sehr selten vorkommente Situationen und/oder Randbedingungen sowie die Reaktionsdaten des Entwicklungsstands gewonnen werden. Eine entsprechend hohe (z.B. zum Nachweis erforderliche) Anzahl von (z.B. gewünschten) Fahrsituationen und/oder der (z.B. den gewünschten Fahrsituationen entsprechenden) Reaktionsdaten kann sehr schnell, insbesondere durch überwiegend zeitgleich laufende Prozesse erzeugt werden.
Beispielsweise kann ein Auffinden von Fehlern oder Performanceschwächen oder ein Nachweis der Performance, der Sicherheit bzw. Verlässlichkeit betreffend zumindest ein System des Fahrzeugs erfolgen. Beispielsweise können ein oder mehrere Regressionstests (ebenso schnell sowie effektiv) nach einer Veränderung, z.B. einer Fehlerkorrektur des Entwicklungsstands ausgeführt werden. Somit kann die Entwicklungszeit bzw. der Entwicklungszyklus signifikant verkürzt werden.
Es kann eine, z.B. im Rahmen einer Entwicklung, eines Testens, Absicherung und/oder eines Trainierens von Fahrzeugen zu absolvierende reale Fahrstrecke wesentlich reduziert werden.
Beispielsweise können Zeit, Aufwand und Kosten gespart und/oder eine verbesserte Absicherung des zumindest einen Systems des (zu entwickelnden, abzusichernden bzw. zu trainierenden) Fahrzeugs erreicht werden.
Gemäß einer weiteren Ausgestaltung wird das Erzeugen der zweiten Datenabschnitte durch (insbesondere auch zu verstehen als „mittels“ oder „umfassend“) Hinzufügen, insbesondere eines oder mehrerer virtueller Objekten zu den ersten Datenabschnitten (bzw. Einfügen, insbesondere Integrieren eines oder mehrerer virtueller Objekte in die ersten Datenabschnitte) und/oder ein Modifizieren der ersten Datenabschnitte abhängig von dem einen oder mehreren virtuellen Objekten ausgeführt.
Insbesondere ist das Erzeugen der zweiten Datenabschnitte durch Einfügen eines oder mehrerer virtuellen Objekten in die ersten Datenabschnitte (bzw. das Hinzufügen eines oder mehrerer virtueller Objekte zu den ersten Datenabschnitten) derart zu verstehen (bzw. erfolgt derart), dass die zweiten Datenabschnitte sowohl reale (durch die ersten Datenabschnitte repräsentierte) Objekte als auch das ein oder mehrere virtuelle Objekte umfassen bzw. repräsentieren. Das Modifizieren der ersten Datenabschnitte kann ein Einfügen, Hinzufügen, Ersetzen, Integrieren und/oder Zusammenführen von bestimmten oder nach bestimmten Kriterien gewählten Teilen jeweils aus einem oder mehreren ersten Datenabschnitten und aus einem oder mehreren Datenabschnitten repräsentierend ein virtuelles Objekt umfassen oder sein.
Alterativ oder zusätzlich erfolgt ein Modifizieren der ersten Datenabschnitte abhängig von dem einen oder mehreren virtuellen Objekten, insbesondere abhängig von den Parametern des einen oder der mehreren virtuellen Objekte. Das Modifizieren kann gemäß einem vorausbestimmten mathematischen Zusammenhangs (z.B. einer Regel, einer Formel, eines Koeffizienten einer vorausbestimmten Formel oder dergleichen) ausgeführt werden. Bevorzugt umfasst das Modifizieren eine Veränderung des einen oder der mehreren in den ersten Datenabschnitten repräsentierten Objekte bzw. der ersten Datenabschnitte, wobei in den zweiten Datenabschnitten veränderte reale (bzw. vormals auf realen Objekten basierte) Objekte repräsentiert werden.
Dabei kann auch eine Anordnung (z.B. als eine oder mehrere zu unterschiedlichen Zeitpunkten geltende Anordnung oder eine dynamische Szene) von den einem oder den mehreren realen Objekten und einem oder mehreren virtuellen Objekten berücksichtigt werden.
Das Erzeugen der zweiten Datenabschnitte durch Einfügen eines oder mehrerer virtueller Objekte zu den ersten Datenabschnitten bzw. das Modifizieren der ersten Datenabschnitte kann derart erfolgen, dass die zweiten Datenabschnitte ein Ergebnis der Erfassung der Umgebung des Fahrzeugs mit den realen und den virtuellen Objekten repräsentiert.
Beispielsweise kann in den zweiten Datenabschnitten eine zumindest teilweise (z.B. räumlich, durch die Anordnung der Objekte bzw. die Erfassungsperspektive bedingte) Verdeckung eines (z.B. realen) Objekts durch ein (z.B. virtuelles) Objekts (oder umgekehrt bzw. in jeder Kombination) repräsentiert werden. Beispielsweise kann in den zweiten Datenabschnitten eine Reflektion und/oder Dämpfung zumindest eines Signals, insbesondere eines (z.B. von einem realen Objekt oder virtuellen Objekt) reflektierten Signals, z.B. Radarsignals, Laserstrahls (Laserpulse eines LIDARs) oder Ultraschallsignals, repräsentiert werden.
Die zweiten Datenabschnitte können eine (statische oder bevorzugt dynamische) Anordnung von den einem oder den mehreren realen Objekten und einem oder mehreren virtuellen Objekten mit einem oder mehreren durch die Anordnung, insbesondere in der Realität, zu erwartenden Effekten (wenn die virtuellen Objekte real wären) repräsentieren. Beispielsweise können die zweiten Datenabschnitte das eine oder die mehreren virtuellen Objekte in einer Anordnung mit einem oder mehreren realen Objekten und/oder ein oder mehrere reale Objekte in einer Anordnung mit einem oder mehreren virtuellen Objekte repräsentieren.
Gemäß einer weiteren Ausgestaltung sind die Reaktionsdaten des Entwicklungsstands kennzeichnend für eine Reaktion des Entwicklungsstandes auf einen oder mehrere Einträge aus der folgenden Liste:

- eine teilweise reale und teilweise virtuell modifizierte Umgebung des Fahrzeugs; dies kann die Umgebung des Fahrzeugs sein, die durch die zweite Datenabschnitte repräsentiert ist;
- auf einen oder mehrere virtuelle Objekte, insbesondere eine Bewegung und/oder ein Verhalten eines virtuellen Objekts; dies können Datenabschnitte sein, die das eine oder die mehreren virtuellen Objekte repräsentieren bzw. durch diese modifiziert sind;
- auf ein oder mehrere reale Objekte beim Vorhandensein des eines oder der mehreren virtuellen Objekte, insbesondere bei einer bestimmten Bewegung und/oder einem bestimmten Verhalten des eines oder der mehreren virtuellen Objekte.

Beispielsweise können die zweiten Datenabschnitte (auch) eine (temporäre) Verdeckung eines realen Objekts in der Umgebung durch ein virtuelles Objekt repräsentieren bzw. umfassen. Beispielsweise können die modifizierten zweiten Datenabschnitte in der Weise erzeugt werden, dass eine Fahrsituation (innerhalb der Umgebung) repräsentieren, bei der ein (in der realen Umgebung des realen Fahrzeugs) nicht vorhandenes Objekt einen Teil der Umgebung des realen Fahrzeugs zumindest teilweise verdeckt und/oder Sensordaten erzeugt, die eine Erkennung des realen Objekts beeinflussen, z.B. stören.
Beispielsweise werden zweite Datenabschnitte erzeugt, die zumindest annähernd den Sensordaten entsprechen, die zumindest einen Bereich der Umgebung (z.B. einen Raumwinkel und/oder ein reales Objekt) repräsentieren, in dem die realen Sensordaten durch ein virtuelles Objekt verändert wären, wenn das virtuelle Objekt real wäre.
Beispielsweise kann ein teilweises Fehlen und/oder eine Veränderung der Daten eines Bereichs der Umgebung zumindest modellhaft nachgebildet werden, welches von einem realen Objekt verursacht worden wäre, wenn es anstelle des virtuellen Objekts ein (entsprechendes) reales Objekt, z.B. mit in etwa gleichen Merkmalen bzw. Parametern wäre.
Abhängig, insbesondere auf Basis von den Reaktionsdaten kann ein Rückschluss auf das reale System des Fahrzeugs gemacht werden, z.B. für den Fall, dass der Entwicklungsstand bzw. ein dem einen oder mehreren Merkmalen des Entwicklungsstands entsprechendes reale System in einem realen Fahrzeug betrieben würde. Dies kann in Bezug auf die Umgebung des Fahrzeugs, insbesondere für die Fahrsituation in der Umgebung des Fahrzeugs, erfolgen, die teilweise real und teilweise virtuell ist.
Insbesondere kann ein Rückschluss darauf gemacht werden, wie das reale System des Fahrzeugs auf eine bestimmte Bewegung und/oder ein bestimmtes Verhalten eines realen Objekts (mit korrespondierenden Parametern) reagieren würde, insbesondere reagieren würde, wenn der Entwicklungsstand im realen Fahrzeug eingesetzt worden wäre.
Insbesondere kann ein Rückschluss auf die Reaktion in Bezug auf ein oder mehrere erste reale Objekte gemacht werden in dem Falle, wenn andere, zweite reale Objekte vorhanden wären, insbesondere bei einer bestimmten Bewegung und/oder einem bestimmten Verhalten eines oder mehrerer solcher zweiter realer Objekte (die im Verfahren mittels der virtuellen Objekte repräsentiert werden), die in der realen Umgebung des Fahrzeugs in einem realen Fahrbetrieb tatsächlich nicht vorgekommen sind.
Mit der Erfindung kann dies auch in Bezug auf Fahrsituationen erfolgen die in der realen Umgebung des Fahrzeugs in einem realen Fahrbetrieb nicht vorgekommen sind und insbesondere selten, extrem selten, z.B. mit einer statistischen Wahrscheinlichkeit von geringer als 10^-6, 10^-8, 10^-10, 10^-12 oder 10^-14 pro Kilometer Fahrleistung erwartbar sind und/oder mit einem hohen Risiko oder Schaden verbunden sind. Daher können die Reaktionsdaten bzw. die Rückschlüsse, die durch die Verarbeitung und/oder Nutzung der Reaktionsdaten im Verfahren gewinnbar sind, extrem wertvoll sein (auch da diese sonst nur durch eine extreme Fahrleistung gewinnbar gewesen wären).
Gemäß einer weiteren Ausgestaltung handelt es sich bei den Reaktionsdaten um Daten, die eine Reaktion eines realen Fahrzeugs auf ein dem virtuellen Objekt entsprechendes reales Objekt. Es kann sich um Reaktionsdaten handeln, die abhängig von dem virtuellen Objekt, insbesondere gemäß einem oder mehreren Parametern des virtuellen Objekts und/oder gemäß einem oder mehreren Parametern der realen Umgebung, die durch die zweiten Datenabschnitte repräsentiert (bzw. von diesem nachgebildet) sind. Alternativ oder zusätzlich kann es sich bei den Reaktionsdaten um Daten handeln, die auf den einen oder mehrere Parameter des einen oder der mehrerer virtuellen Objekte bezogen, insbesondere normiert sind.
Insbesondere repräsentieren die Reaktionsdaten eine Reaktion des realen Systems des Fahrzeugs bzw. des Entwicklungsstands auf das eine oder die mehreren virtuellen Objekte in einer Anordnung mit einem oder mehreren realen Objekten und/oder auf ein oder mehrere reale Objekte in einer Anordnung mit einem oder mehreren virtuellen Objekte. Beispielsweise können die Reaktionsdaten z.B. eine Empfindlichkeit der Reaktion des Entwicklungsstands in Bezug auf einen oder mehrere bestimmte Parameter des einen oder der mehreren virtuellen Objekte, insbesondere in einer Anordnung mit einem oder mehreren realen Objekte und/oder auf ein oder mehrere reale Objekte, insbesondere in einer Anordnung mit einem oder mehreren virtuellen Objekten kennzeichnen.
Als die Empfindlichkeit (z.B. ein Maß, eine Funktion bzw. ein Gradient der Empfindlichkeit) kann eine Veränderung, insbesondere ein Gradient bzw. eine Funktion der Veränderung, der Reaktion des Entwicklungsstands auf eine Veränderung eines Objekts oder eines Parameters eines Objekts, zu verstehen sein.
Beispielsweise kann ein virtuelles Objekt eine Nachbildung eines Verkehrsteilnehmers, z.B. eines Fußgängers, sein. Bei der Verarbeitung und/oder Nutzung der Reaktionsdaten kann (z.B. rechnergestützt) ermittelt werden, ob der Entwicklungsstand in Bezug auf bestimmte Parameter des virtuellen Objekts bzw. Veränderungen bestimmter Parameter des Objekts, insbesondere korrekt, nicht korrekt, angemessen oder nicht angemessen, reagiert.
Beispielsweise können die Reaktionsdaten eine von dem Entwicklungsstand ermittelte Entscheidung, z.B. eine Handlungsentscheidung oder Manöverentscheidung kennzeichnen. Dies kann eine von einem virtuellen Objekt beeinflusste Entscheidung sein. Beispielsweise können die Reaktionsdaten eine mit Mitteln des Entwicklungsstandes ermittelte (erfolgte bzw. gefällte) Entscheidung kennzeichnen, dem virtuellen Objekt (sozusagen virtuell) auszuweichen, auf das virtuelle Objekt zu bremsen, ein bestimmtes Manöver wegen des Objekts auszuführen, zu verändern und/oder abzubrechen oder eine Kollision mit dem Objekt (z.B. mit einem möglichst geringen Schaden) auszuführen.
Die Reaktionsdaten können z.B. Parameter einer entsprechenden Bahnplanung (auch zu verstehen als Trajektorienplanung) bzw. einer Ausweichkurve, einer Bremskraft oder einer Information, wie z.B. Anzeige bzw. Ansage des Fahrzeugs für den Nutzer des Fahrzeugs, etc. kennzeichnen.
Die Reaktionsdaten können einen oder mehrere Betriebsparameter des Systems des Fahrzeugs (z.B. einer Sensorik, eines Steuergerät, etc.) kennzeichnen, die auf Basis der modifizierten Situation ermittelt werden. Alternativ oder zusätzlich können die Reaktionsdaten (z.B. im Wesentlichen nur) einen Unterschied zwischen der Reaktion des Systems des Fahrzeugs auf die mit dem einen oder den mehreren virtuellen Objekten modifizierte Situation in der Umgebung des Fahrzeugs gegenüber der realen Situation des Fahrzeugs angeben.
Gemäß einer weiteren Ausgestaltung werden Betriebsdaten ermittelt, die für einen Betrieb des realen Fahrzeugs kennzeichnend sind und mit der realen Situation in der realen Umgebung des Fahrzeugs korrespondieren. Diese können im Verfahren, insbesondere beim Betreiben des Entwicklungsstandes, bei der Verarbeitung und/oder Auswertung der Reaktionsdaten berücksichtigt werden. Die Betriebsdaten können zu den jeweils korrespondierenden ersten Datenabschnitten, zweiten Datenabschnitten und/oder Reaktionsdaten zugeordnet und/oder bei der Verarbeitung oder Verwendung dieser (z.B. in jeweiligen Schritten des Verfahrens) berücksichtigt werden.
Die Betriebsdaten können (auch) als Datenabschnitte ermittelt werden, die eine Veränderung, z.B. eine Veränderung einer weiteren Größe, wie z.B. Zeit, Position oder Fahrdistanz, der Betriebsparameter kennzeichnen. Beispielsweise können die Betriebsdaten einen (z.B. zeitlichen und/oder räumlichen) Verlauf eines oder mehrerer Parameter einer Vorrichtung des Fahrzeugs kennzeichnen, insbesondere einer Vorrichtung, die im realen Fahrzeugbetrieb Daten mit dem besagten System des Fahrzeugs austauscht.
Die Datenabschnitte der Betriebsdaten können sich auf ein Zeitintervall umfassend die letzten Sekunden vor dem Auftreten der realen Situation, während der realen Situation und/oder nach der realen Situation beziehen.
Die Datenabschnitte der Betriebsdaten können sich auf ein artgleiches System zu dem System, für welches der Entwicklungsstand bestimmt ist, und/oder auf ein Schnittstellensystem beziehen. Beispielsweise können Datenabschnitte, die für einen Betrieb des realen Fahrzeugs kennzeichnend sind, sich auf ein System des realen Fahrzeugs beziehen, welches:

- einen Teil des Systems, für welches der Entwicklungsstand bestimmt ist, bildet; und/oder
- zu dem System gehört, für welches der Entwicklungsstand bestimmt ist; und/oder
- ein Schnittstellensystem zu dem System bildet, für welches der Entwicklungsstand bestimmt ist.

Die Betriebsdaten, insbesondere Datenabschnitte der Betriebsdaten, können einen oder mehrere Einträge aus der folgenden Liste umfassen oder sein:

- Daten auf Basis eines Sensors oder Sensorsystems; und/oder
- Daten eines weiteren Systems bzw. einer Datenquelle die als Eingangsdaten zum Betreiben des Systems des Fahrzeugs berücksichtigt werden; und/oder
- Daten kennzeichnend Aktionen des Nutzers des Fahrzeugs; und/oder
- Daten kennzeichnend einen Zustand des Fahrwerks des Fahrzeugs; und/oder
- Steuerungsdaten zum Steuern eines Teils des Fahrwerks des Fahrzeugs.

Die Daten auf Basis eines Sensors können zumindest teilweise rohe, vorverarbeitete und/oder interpretierte Daten eines Sensors, z.B. eines Radars, einer Kamera und/oder eines LIDARs, etc. sein.
Gemäß einer weiteren Ausgestaltung erfolgt abhängig von einer Trigger-Bedingung ein Übertragen des oder der ersten Datenabschnitte (und/oder eines oder mehrerer Datenabschnitte, die Betriebsdaten des Fahrzeugs umfassen) von dem Fahrzeug in ein Backend erfolgt, wobei auf Basis des oder der ersten Datenabschnitte eine Vielzahl (z.B. mehr als 10, 10², 10³, 10⁴, 10⁵ oder 10⁶) von zweiten Datenabschnitten (auch zu verstehen als Sätze von zweiten Datenabschnitten) erzeugt werden. Die Vielzahl der zweiten Datenabschnitte kann jeweils auf Basis eines oder mehrerer Sätze der ersten Datenabschnitte erzeugt werden.
Dabei kann es sich bei der vorstehend genannten Trigger-Bedingung um eine zweite Trigger-Bedingung handeln, die sich von der ersten Trigger-Bedingung zum Ermitteln der ersten Datenabschnitte unterscheidet. Die zweite Trigger-Bedingung kann sich auf ein (zweites) Zeitintervall (z.B. auf ein Ereignis, eine Bedingung oder Daten aus dem zweiten Zeitintervall) beziehen, welches nach dem (ersten) Zeitintervall liegt in dem die ersten Datenabschnitte oder Daten (z.B. kennzeichnend das eine oder die mehreren reale Objekte, Anordnungen, Fahrsituation etc.) zum Ermitteln der ersten Datenabschnitte gegolten haben.
Beispielsweise erfolgt zunächst ein Ermitteln eines oder mehrerer erster Datenabschnitte, die eine reale Situation in der Umgebung eines realen Fahrzeugs repräsentieren, und die zunächst in einen (nichtflüchtigen und/oder flüchtigen) Speicher des Fahrzeugs gespeichert werden. Wenn daraufhin die zweite Trigger-Bedingung zutrifft, kann ein Übermitteln der ersten Datenabschnitte, z.B. nur oder im Wesentlichen nur der ersten Datenabschnitte, welche die zweite Trigger-Bedingung erfüllen, ins Backend erfolgen.
Bevorzugt kann die zweite Trigger-Bedingung einen weiteren Verlauf einer Situation (nach dem Zeitintervall, in dem die ersten Datenabschnitte gegolten haben) kennzeichnen. Beispielsweise werden von den ersten Datenabschnitte nur, überwiegend oder im Wesentlichen nur solche ersten Datenabschnitte ausgewählt (ins Backend übermittelt und/oder weiterverarbeitet), die Situationen betreffen, die (im Folgenden) ein weitere Bedingung erfüllt haben, z.B. zu einem bestimmten Ergebnis (z.B. zu einer unerwünschten Situation, wie etwa einem Unfall oder einem Beinahe-Unfall) geführt haben.
Gemäß einer weiteren Ausgestaltung repräsentieren die zweiten Datenabschnitte eine Veränderung der realen Umgebung des Fahrzeugs (auch zu verstehen als ein Vorgang der Veränderung) und/oder die veränderte Umgebung des Fahrzeugs durch ein oder mehrere virtuelle Objekte. Dabei können die zweiten Datenabschnitte bei dem Modifizieren der ersten Datenabschnitte abhängig von einem oder mehreren Parametern kennzeichnend eine Beschaffenheit und/oder ein Verhalten des einen oder der mehreren virtuellen Objekte und/oder kennzeichnend die Reaktion des einen oder mehrerer virtuellen Objekte auf einen Teil der realen Umgebung des Fahrzeugs erzeugt werden.
Es können eine Vielzahl von, insbesondere prinzipiell unterschiedlicher Modifikationen erzeugt werden. Ferner können (auch zu denselben ersten Datenabschnitten als das Ausgangsmaterial) mehrere Varianten der Modifikation und/oder Modifikation der Umgebung mit mehreren unterschiedlichen virtuellen Objekten und/oder mit virtuellen Objekten mit unterschiedlichen Parametern erzeugt werden. Beispielsweise können auf Basis von ersten Datenabschnitten, die mit nur einer realen Situation korrespondierenden, einige Hunderte, Tausende oder Millionen von Sätzen der zweiten (modifizierten) Datenabschnitten, die modifizierten Situationen entsprechen, erzeugt werden.
Bevorzugt wird eine Verarbeitung einer Vielzahl von Sätzen der Reaktionsdaten, die (jeweils) auf Basis mehrerer unterschiedlicher zweiter Datenabschnitte mit einem oder mehreren Entwicklungsständen erzeugt wurden, ausgeführt. Dabei können die zweiten Datenabschnitte jeweils auf der Grundlage eines Satzes des ersten Datenabschnitts oder mehrerer Sätze der ersten Datenabschnitte erzeugt worden sein.
Gemäß einer weiteren Ausgestaltung wird eine Vielzahl von Sätzen der Reaktionsdaten eines Entwicklungsstandes, insbesondere mehrerer unterschiedlicher Entwicklungsstände, des Fahrzeugsystems auf einen oder mehrere Sätze der zweiten Datenabschnitte erzeugt. Dies kann insbesondere zumindest teilweise gleichzeitig und/oder mittels einer Vielzahl von Prozessorkernen und/oder Prozessoren (bevorzugt im Backend) erfolgen. Zumindest teilweise gleichzeitig kann z.B. quasigleichzeitig bzw. innerhalb eines kurzen Zeitintervalls bedeuten.
Beispielsweise wird im Backend zunächst aus einem Satz von den ersten Datenabschnitten (die aufgrund einer ersten und/oder zweiten Trigger-Bedingung und bei einer realen Umgebung des realen Fahrzeugs erfasst worden sind) eine Vielzahl (z.B. 10², 10⁴, 10⁵, 10⁶...) von Sätzen der zweiten Datenabschnitte erzeugt. Diese Rechenaufgabe kann auf eine Vielzahl von Prozessorkernen und/oder Prozessoren verteilt werden, die die jeweiligen Rechenaufgaben bevorzugt im Wesentlichen parallel verarbeiten. Es ergibt sich ein besonderer Vorteil, da zumindest die meisten unterschiedlichen Reaktionen des Entwicklungsstands auf unterschiedlich modifizierte reale Umgebungen (bzw. Fahrsituationen) etwa ähnliche Verarbeitungszeit erfordern. Dabei kann ein entsprechendes, eine Vielzahl von parallel betriebenen Entwicklungsständen umfassendes stationäres System besonders effizient betrieben werden.
Bevorzugt wird zum Erzeugen und/oder Abgleich der Reaktionsdaten (auch zu verstehen als Daten auf Basis der Reaktionsdaten) eine Vielzahl von gleichen oder unterschiedlichen Entwicklungsständen verwendet. Bevorzugt können ein Entwicklungsstand oder mehrere Entwicklungsstände vielfach, z.B. auf einer Vielzahl von Prozessoren oder Prozessorkernen, emuliert werden. Beispielsweise kann eine Vielzahl von Entwicklungsstände als (mehr oder minder separate und/oder zeitgleich bzw. parallel betreibbare) elektronische Module verwendet werden, welche die (zum Ermitteln der Reaktionsdaten besonders relevanten) Merkmale eines realen Systems des Fahrzeugs aufweisen.
Alternativ oder zusätzlich können Entwicklungsstände Prototypen des Fahrzeugsystems eine Hardware, z.B. als ein sogenanntes A-Muster, B-Muster, C-Muster, D-Muster bzw. seriennahes Steuergerät oder ein Seriensteuergerät aufweisen und/oder es kann eine zu dem jeweiligen Entwicklungsstand gehörende Software mittels der Prototypen betrieben werden. Die Entwicklungsstände können (z.B. in einem sogenannten Closed-Loop-Betrieb) mit einer zumindest teilweise realen und/oder zumindest teilweise virtuellen Hardware und/oder Aktoren betrieben werden.
Besonders bevorzugt werden die Sätze der zweiten Datenabschnitte, die auf Basis eines Satzes der ersten Datenabschnitte erzeugt wurden, auf eine Vielzahl der Entwicklungsstände (z.B. zu dem Backend gehörender Entwicklungsstände) verteilt. Beispielsweise kann einer (bevorzugt einer Vielzahl) der Entwicklungsstände mit jeweils unterschiedlichen, insbesondere quantitativ und/oder qualitativ unterschiedlichen, Sätzen der zweiten Datenabschnitten betrieben werden.
Bevorzugt kann eine Vielzahl der zweiten Datenabschnitte (auch zu verstehen als: Sätzen der zweiten Datenabschnitte), die eine mit einem oder mehreren der virtuellen Objekte quantitativ und/oder qualitativ unterschiedlich modifizierte Umgebung bzw. Fahrsituation des Fahrzeugs repräsentieren, auf eine Vielzahl der Kopien eines Entwicklungsstandes des Systems des Fahrzeugs aufgeteilt werden. Mit anderen Worten kann in einem Backend eine Vielzahl der zweiten Datenabschnitte, die einer Vielzahl der jeweilige Varianten einer Umgebung des Fahrzeugs und/oder Varianten einer Fahrsituation entsprechen, zu einem (bevorzugt im Wesentlichen gleichzeitigen) Betrieb einer Vielzahl der Kopien des Entwicklungsstandes verwendet werden. Die zweiten Datenabschnitte können als Input an eine Vielzahl der emulierten Entwicklungsstände (z.B. im Wesentlichen parallel) verwendet werden.
Mit dem erfindungsgemäßen Verfahren kann die Entwicklung, die Absicherung, das Trainieren und/oder das Betreiben eines Fahrzeugsystems z.B. um den Faktor 10², 10⁴, 10⁵ oder sogar 10⁶ beschleunigt werden bzw. entsprechend effektiver und/oder sparsamer erfolgen.
Gemäß einer weiteren Ausgestaltung wird eine Verarbeitung einer Vielzahl der Sätze der Reaktionsdaten auf Basis einer Vielzahl der zweiten Datenabschnitte, die insbesondere durch das Modifizieren eines Satzes der ersten Datenabschnitte erzeugt wurden, ausgeführt. Es kann sich um eine Vielzahl von (jeweils voneinander unterschiedlichen) zweiten Datenabschnitten handeln. Es kann eine Vielzahl der jeweils auf Basis eines Satzes der ersten Datenabschnitte ermittelten zweiten Datenabschnitte sein. Dabei können zu einer Vielzahl der ersten Datenabschnitte jeweils eine Vielzahl der zweiten Datenabschnitte ermittelt werden. Das Ergebnis der Verarbeitung, insbesondere eine (ggf. extreme) Vielzahl der (entsprechenden) Reaktionsdaten sowie darauf basierter Ergebnisse oder Verwendungen, kann zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems verwendet werden.
Die Verarbeitung kann gemäß eines bestimmten mathematischen Zusammenhangs (z.B. Regel, Formel, Koeffizienten einer vorausbestimmten Formel, etc.) erfolgen. Es kann eine Verarbeitung (auch zu verstehen: Verrechnung) der unterschiedlichen Sätze der zweiten Reaktionsdaten untereinander verstanden werden. Bevorzugt kann die Verarbeitung die Ausführung einer oder mehrerer statistischer Operation umfassen. Das Ergebnis der Verarbeitung kann eine, insbesondere für die Vielzahl der Reaktionsdaten geltende, statistische Information sein.
Bevorzugt umfasst die Verarbeitung ein Ermitteln einer Performance, z.B. eines Maßes der Performance, z.B. kennzeichnend ein oder mehrere Performancemerkmale, z.B. von einem oder mehreren KPls (Key Performance Indikator) für die jeweiligen Reaktionsdaten. Dabei kann aus der ermittelten Performance ein Rückschluss auf ein Performancemerkmal (KPI) des Entwicklungsstands bzw. eines diesen umfassenden bzw. auf diesem basierenden Fahrzeugsystems gemacht werden. Die ermittelte Performance kann kennzeichnend sein für den Fall, dass der Entwicklungsstand in einem realen Fahrzeug in einer vergleichbaren Umgebung und/oder Fahrsituation agieren würde, wie diese durch das ein oder mehrere virtuelle Objekte (in den zweiten Datenabschnitten) repräsentiert wird.
Gemäß einer weiteren Ausgestaltung wird auf Basis der Reaktionsdaten ein Maß einer Performance des Entwicklungsstands und/oder ein Maß einer Empfindlichkeit des Entwicklungsstandes gegenüber eine Veränderung eines Parameters des virtuellen Objekts ermittelt.
Gemäß einer weiteren Ausgestaltung wird ein Abgleich von auf Basis der Reaktionsdaten ermittelten Daten ausgeführt, wobei es sich bei den Daten um Daten auf Basis einer Vielzahl der zweiten Datenabschnitte (der Sätze der zweiten Datenabschnitte) oder ein jeweils erreichtes Maß einer Performance handelt.
Gemäß einer weiteren Ausgestaltung wird auf Basis der zweiten Datenabschnitte ein Trainieren eines neuronalen Netzes des (ersten bzw. zweiten) Entwicklungsstands ausgeführt. Das Ergebnis des Trainierens kann zum Update, zur Nachrüstung und/oder zum Betreiben eines realen Fahrzeugs, insbesondere eines dem realen Fahrzeug ähnlichen Fahrzeugs oder eines gegenüber dem realen Fahrzeug weiterentwickelten Fahrzeugs bereitgestellt und/oder verwendet werden.
Das Ergebnis des Trainierens umfasst oder ist bevorzugt ein Teil eines sogenannten Checkpoints des trainierten neuronalen Netzes. Ein Checkpoint kann insbesondere die Gewichte (auch zu verstehen als Gewichtsinformationen) und/oder Bias-Terms des (bis zu einem bestimmten Stadium bzw. hinreichend) trainierten neuronalen Netzes sein oder umfassen.
Dabei kann zumindest ein Bestandteil des trainierten neuronale Netzes (auch zu verstehen als: ein oder mehrere sogenannte Checkpoints) in einen nächsten Entwicklungsstand, insbesondere in ein reales System eines Fahrzeugs zumindest teilweise übernommen werden.
Gemäß einer weiteren Ausgestaltung handelt es sich bei dem Fahrzeugsystem des realen Fahrzeugs (auch zu verstehen als: bei dem Fahrzeugsystem, auf welches sich der erste Entwicklungsstand bezieht, und/oder bei dem Fahrzeugsystem, auf welches sich der zweite Entwicklungsstand bezieht, und/oder bei einem Fahrzeugsystem des realen Fahrzeugs, welches beim Ermitteln des oder der ersten Datenabschnitte verwendet wird) um ein Fahrerassistenzsystem und/oder um ein System zum Ausführen oder zur Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung und/oder eines Manövers (z.B. Fahrmanöver, Parkmanöver oder Rangiermanöver) eines Fahrzeugs. Insbesondere kann es sich um ein System zum zumindest teilweise automatisierten Fahren und/oder Parken handeln.
Beispielsweise können auf Basis der ersten Datenabschnitte einer realen Umgebung eines oder mehrerer realen Fahrzeuge (wobei die reale Umgebung an sich z.B. vergleichsweise gewöhnlich, ungefährlich ist bzw. keine kritische Situation birgt) zweite Datenabschnitte sowie Reaktionsdaten des Entwicklungsstands (somit ggf. auch des entsprechenden realen Systems des Fahrzeugs) ermittelt werden, die sich bei einer Veränderung bzw. einer Variante der Umgebung bzw. der in der Umgebung vorherrschenden Situation ergeben würden.
Beispielsweise kann ermittelt werden, wie ein Entwicklungsstand auf einen Verkehrsteilnehmer (mit einer bestimmten Eigenschaft, mit einer bestimmten Bewegung und/oder einem bestimmten Verhalten) reagieren würde, falls ein solcher innerhalb der realen Umgebung des realen Fahrzeugs erscheinen würde.
Beispielsweise können Daten auf Basis der Reaktionsdaten eines Entwicklungsstands (oder des realen Systems, z.B. eines Fahrerassistenzsystems und/oder eines Sicherheitssystems) auf zweite Datenabschnitte ermittelt, verarbeitet bzw. verwendet werden, die eine teilweise reale und teilweise virtuelle Umgebung des Fahrzeugs repräsentieren, in der z.B. ein Kind, Fahrradfahrer oder Fußgänger plötzlich erscheinen und/oder sich auf eine bestimmte Art und Weise bewegen bzw. verhalten würde.
Gemäß einer weiteren Ausgestaltung erfolgt zum Ermitteln der ersten Datenabschnitte eine Aktivierung, eine Veränderung eines Betriebsmodus und/oder Ansteuerung:

- eines Sensors und/oder
- einer Verarbeitung der Sensordaten (z.B. durch Ansteuerung einer Vorrichtung zum Verarbeiten der Sensordaten, z.B. eines Umfeldmodells), und/oder
- eines realen Systems.

Besonders bevorzugt kann die Aktivierung, eine Veränderung eines Betriebsmodus, und/oder Ansteuerung (des zumindest einen Sensors und/oder einer Verarbeitung der Sensordaten und/oder
des realen Systems) ausgeführt werden, die nicht für den Betrieb, insbesondere Fahrbetrieb des konkreten realen Fahrzeugs notwendig und/oder sinnvoll sind. Die Aktivierung, Veränderung eines Betriebsmodus, und/oder Ansteuerung (des zumindest einen Sensors und/oder einer Verarbeitung der Sensordaten und/oder des realen Systems) können ohne eine Notwendigkeit, einen funktionalen Nutzen und/oder einen Kundennutzen in dem realen Fahrzeug, z.B. auch ohne Nutzen für das konkrete reale Fahrzeug oder seinen Betrieb erfolgen.
Beispielsweise kann eine Aktivierung oder eine Veränderung der Parameter, des Betriebsmodus eines Sensors, der Verarbeitung der Sensordaten und/oder eines realen Systems des Fahrzeugs, insbesondere umfassend eine Funktionslogik, erfolgen. Beispielsweise kann abhängig von der Trigger-Bedingung die Modellierung des Umfelds des Fahrzeugs und/oder ein Parameter oder eine Logik einer Kundenfunktion oder einer Systemfunktion verändert werden. Mit anderen Worten kann abhängig vom zutreffen der Trigger-Bedingung eine Veränderung im Fahrzeug bewirkt werden, um (z.B. gewünschte, besonders geeignete) erste Datenabschnitte zu ermitteln.
Es kann sich z.B. um ein reales System handeln das mit dem Entwicklungsstand korrespondiert, z.B. für welches der Entwicklungsstand dient.
Dabei können die Trigger-Bedingung und/oder die ersten Datenabschnitte überwiegend, im Wesentlichen nur oder ausschließlich dazu dienen, das Verfahren auszuführen, z.B. die Reaktionsdaten eines (von dem konkreten realen System im Realen Fahrzeug unterschiedlichen) Entwicklungsstands im Backend zu ermitteln, auszuwerten und/oder zu verwenden.
Beispielsweise können erste Datenabschnitte ermittelt werden, die das bestimmte reale Fahrzeug sonst (für sich genommen) z.B. funktional nicht benötigt. Beispielsweise wird die Trigger-Bedingung an das Fahrzeug versendet, mit der die ersten Datenabschnitte (unabhängig von einer funktionalen Notwendigkeit und/oder Nutzen in dem Fahrzeug) ermittelt werden.
Beispielsweise wird mit der Trigger-Bedingung ein Vorgang im Fahrzeug oder in der Umgebung des Fahrzeugs angestoßen, der dazu dient, die ersten Datenabschnitte zu ermitteln und/oder die keine funktionale Notwendigkeit und/oder Nutzen für das Befahren der Umgebung für das konkrete Fahrzeug darstellt oder unabhängig davon ist.
Durch die Erfindung können diverse erhebliche Vorteile hinsichtlich Kosten, Aufwand bei der Entwicklung und Markteinführung von modernen Fahrzeugen erreicht werden. Beispielsweise kann die Funktionalität, Performance und/oder Sicherheit des Entwicklungsstands sowie des auf dem Entwicklungsstand basierenden resultierenden System des Fahrzeugs erhöht werden.
Das Entwickeln, Erproben, Absichern und Trainieren von Fahrzeugen kann schneller erfolgen und mit weniger Kosten und Risiken verbunden sein.
Es kann eine extrem große Menge (und/oder Anzahl von Varianten) von Daten, z.B. zum Trainieren eines neuronalen Netzes, gewonnen werden. Darunter können auch Daten zu Fahrsituationen sein, die sonst meistens nur durch äußerst gefährliche Fahrsituationen ermittelbar wären.
Fahrzeugsysteme bzw. Fahrzeuge können dadurch auch für oder mit Situationen und/oder Eigenschaften, Bewegung und/oder einem Verhalten von Objekten, die in der Realität sehr selten vorkommen und/oder unerwünscht sind, entwickelt und ggf. trainiert werden.
Nachteile sowie Schäden durch die Entwicklung, die Absicherung und den Betrieb der Fahrzeuge, (sowohl der Versuchsflotte als auch der Kundenflotte) können stark reduziert werden.
Weitere Vorteile sind:

- Weniger Risiko für Dritte bzw. für die Gesellschaft;
- weniger Kosten bzw. Verbrauch von Ressourcen, insbesondere Fahrzeugen;
- eine Absicherung und/oder ein Trainieren der Fahrzeuge mit weniger Fahrleistung.

Es kann eine Verkürzung der Entwicklungszyklen, insbesondere bei der Entwicklung des automatisierten Fahrens, erreicht werden.
Durch das Verfahren kann (in einer besonders effizienten Art und Weise) die Berücksichtigung von Datenschutzaspekten, z.B. mit Bezug auf Daten, die Halter oder Nutzer der jeweiligen realen Fahrzeuge sowie der realen Objekte (z.B. im Vergleich mit einer denkbaren Aufzeichnung extrem langer Fahrstrecken von einer Versuchsflotte) betreffen, erleichtert werden. Dies begründet sich z.B. mit einer aus den Beispielen des Verfahrens resultierender sehr starken Reduktion der zu erfassten Daten, der Form der Daten, sowie damit, dass die jeweils erfassten Daten (z.B. im Wesentlichen nur) tatsächlich der Entwicklung eines verbesserten Produkts bzw. Dienstleistung dienen und/oder kaum kritische oder überflüssige Daten erfasst werden müssen. Ferner kann das Verfahren auch weitere Maßnahmen umfassen, wobei bei den Maßnahmen Informationen kodiert oder anonymen Identifikatoren zugeordnet und/oder mit anonymen Identifikatoren verarbeitet werden, derart, dass personenbezogene Daten bei oder nach der Verwendung der Daten nicht oder nur extrem schwer rekonstruierbar sind.
Ferner können Bedenken von Gremien der Politik sowie in der Öffentlichkeit gegen automatisierte Fahrzeuge angebaut werden, z.B. auch durch bessere Absicherung und Voraussagbarkeit der Fahrzeuge. Insbesondere kann dies dadurch erfolgen, dass das Ergebnis des Betriebs zumindest teilweise automatisiert fahrbarer Fahrzeuge, z.B. bestimmte Maße der Performance und/oder ein Risiko abhängig von Reaktionsdaten noch besser geschätzt bzw. prädiziert werden können.
Außerdem kann sich ein erheblicher Vorteil betreffend die Umweltverträglichkeit der Entwicklung, Absicherung bzw. Markteinführung der Fahrzeuge sowie ein entsprechender Vorteil betreffend das Image des Automobilherstellers ergeben, da eine sehr große sonst erforderliche Laufleistung von Versuchsfahrzeugen mittels der Erfindung zumindest teilweise entfallen bzw. ersetzt werden kann.
Ferner können sich auf Basis von in diesem Dokument beschriebenen Merkmalen weitere zahlreiche Vorteile ergeben.
Gemäß einemzweiten Aspekt umfasst die Erfindung ein System zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems, wobei das System eingerichtet ist zum: Ermitteln eines oder mehrerer erster Datenabschnitte die eine reale Situation in der Umgebung eines realen Fahrzeugs repräsentieren, insbesondere abhängig von einer Trigger-Bedingung; Erzeugen zweiter Datenabschnitte aus dem einen oder den mehreren ersten Datenabschnitten und einem oder mehreren virtuellen Objekten; Erzeugen von Reaktionsdaten, die eine Reaktion eines ersten Entwicklungsstandes eines Fahrzeugsystems auf die zweiten Datenabschnitte kennzeichnen; Verwenden (d.h. insbes. Verarbeiten und/oder Nutzen) der Reaktionsdaten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines zweiten Entwicklungsstandes eines Fahrzeugsystems (dieser kann identisch mit dem ersten Entwicklungsstand oder von diesem verschieden sein).
Das System kann ein oder mehrere reale Fahrzeuge, insbesondere Fahrzeuge aus einer sogenannten Kundenfahrzeug- und/oder Versuchsflotte, und ein Backend umfassen. Diese können zu einer entsprechenden Wirkverbindung eingerichtet sein. Beispielsweise kann das Backend, insbesondere in einer Wirkverbindung mit einem oder mehreren realen Fahrzeuge zum Ausführen zumindest eines Teils des Verfahrens, insbesondere zum Erzeugen der zweiten Datenabschnitte, der Reaktionsdaten, und/oder zum Verwenden der Reaktionsdaten (gemäß einem oder mehreren Merkmalen des Verfahrens) eingerichtet sein.
Gemäß einem weiteren Aspekt umfasst die Erfindung zumindest ein Computerprogramm, insbesondere ein Computerprogrammprodukt umfassend ein Computerprogramm. Das eine oder die mehreren Computerprogramme sind ausgebildet ist, bei ihrer Ausführung auf zumindest einer Recheneinheit das in diesem Dokument beschriebene Verfahren (zu verstehen als: einen jeweiligen Teil des Verfahrens) auszuführen.
Das Computerprogrammprodukt kann als ein Update eines bisherigen Computerprogramms ausgebildet sein, welches beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“ die Teile des Computerprogramms bzw. des entsprechenden Programmcodes umfasst. Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist, oder zumindest eine verschlüsselte Datei. Gemäß einem weiteren Aspekt wird ein Programmprodukt beschrieben, das ein autorisiertes Zugriffsrecht auf abgelegte Daten des Computerprogrammprodukts umfasst.
Gemäß einem weiteren Aspekt umfasst die Erfindung ein (reales) Fahrzeug. Das (reale) Fahrzeug kann eingerichtet sein, eine Trigger-Bedingung, insbesondere die Trigger-Bedingung nach einem oder mehreren in diesem Dokument beschriebenen Merkmalen, zu empfangen, auszuführen und/oder abhängig von der Trigger-Bedingung ermittelte Datenabschnitte an ein Backend zu übermitteln. Beispielsweise können ein oder mehrere reale Fahrzeuge zum Ausführen zumindest eines Teils des Verfahrens, insbesondere in einer (informationstechnischen) Wirkverbindung mit dem Backend eingerichtet sein. Beispielsweise ein oder mehrere reale Fahrzeuge zum Anwenden zumindest einer im Backend ermittelter bzw. von diesem übermittelter) Trigger-Bedingung, zum Ermitteln der ersten Datenabschnitte, und/oder zum Erzeugen der zweiten Datenabschnitte eingerichtet sein. Alternativ oder zusätzlich kann das (reale) Fahrzeug einen Teil des Entwicklungsstands (z.B. eine Software, Daten eines trainierten neuronalen Netzes, etc.) bzw. ein System auf Basis des Entwicklungsstandes umfassen.
Der Begriff „Fahrzeug“ im Rahmen dieses Dokuments ist insbesondere als ein Kraftfahrzeug zu verstehen, insbesondere ein PKW, ein LKW, ein Zweirad, z.B. Motorrad, oder ein Fahrrad. Beispielsweise können ein oder mehrere reale Fahrzeuge Kraftfahrzeuge sein, die insbesondere für einen für Kraftfahrzeuge der vorstehend genannten Art typischen Fahrbetrieb (z.B. Kundenbetrieb, z.B. auf öffentlichen Straßen) eingerichtet sein können.
Alternativ oder zusätzlich kann es sich bei dem realen Fahrzeug um ein Spezialfahrzeug, ein ferngesteuertes Fahrzeug, ein von einem Kraftfahrzeug abweichendes Fahrzeug, ein Wasserfahrzeug, ein Luftfahrzeug, ein landwirtschaftliches Fahrzeug, eine Maschine zum Ausführen von Erdbewegungen oder zur Förderung von (z.B. fossilen) Rohstoffe oder um eine Baumaschine handeln.
Gemäß einem weiteren Aspekt betrifft die Erfindung einen Entwicklungsstand eines, insbesondere zumindest teilweise automatisiert fahrbaren, Fahrzeugsystems, welcher gemäß den Merkmalen der Erfindung entwickelt, abgesichert, trainiert und/oder betrieben wird.
Insbesondere gehört hierzu ein Stand eines trainierten neuronalen Netzes, z.B. in Form von Daten eines Checkpoints und/oder Bias-Terms des Entwicklungstandes. Ein solcher Entwicklungsstand kann z.B. als ein Update bzw. Upgrade (auch nachträglich) an Fahrzeuge übermittelt (ausgerollt) bzw. in den Fahrzeugen verwendet werden.
Die Erfindung wird nachfolgend ohne Einschränkung der Allgemeinheit anhand einiger kombinierbarer Ausführungsbeispiele beschrieben. Es wird darauf hingewiesen, dass alle in der vorliegenden Beispielbeschreibung beschrieben Merkmale untereinander und/oder mit den oben beschriebenen Merkmalen kombinierbar sind.
Zunächst wird ein Beispiel des Ablaufs des Verfahrens erläutert. Die Merkmale des Verfahrens sind mit allen weiteren Merkmalen (insbesondere mit den nachfolgend beschriebenen Schritten des Verfahrens) kombinierbar:
(1)
Es wird eine Trigger-Bedingung an ein oder mehrere reale Fahrzeuge übermittelt und/oder im Fahrzeug (z.B. nach einer vorausbestimmten Bedingung mit oder ohne einen zum Fahrzeug gesendeten Parameter) ermittelt.
Das Übermitteln der Trigger-Bedingung kann aus einem Backend, insbesondere dem in diesem Dokument beschriebenen Backend (dazu zählt auch ein mit dem Backend verbundener Rechner) erfolgen. Bevorzugt wird die Trigger-Bedingung an eine Vielzahl von Fahrzeugen, z.B. an einen Teil einer Fahrzeugflotte, z.B. Kundenflotte, versendet und/oder in der Vielzahl der Fahrzeuge ermittelt.
Diese Trigger-Bedingung kann z.B. einen Parameter, insbesondere ein Muster repräsentieren von:

- einer Situation, z.B. Fahrsituation, in der sich das Fahrzeug befindet;

- einer Aktion des Nutzers, insbesondere des Fahrers des Fahrzeugs;

- einem Betriebszustand eines oder mehrerer Systeme des Fahrzeugs.

Es kann eine intelligente Trigger-Bedingung sein, die z.B. eine oder mehrere der obigen Parameter, insbesondere Muster, miteinander verknüpft.
(2)
Es erfolgt ein Ermitteln eines oder mehrerer erster Datenabschnitte im Fahrbetrieb eines realen Fahrzeugs, wobei die Datenabschnitte kennzeichnend sind für eine reale Situation in der Umgebung des Fahrzeugs und/oder einen oder mehrere entsprechende Zustände des Systems des Fahrzeugs.
Dies kann an bestimmten Fahrbahnabschnitten, z.B. an speziellen Merkmalen entsprechenden Positionen, einer realen Umgebung und/oder abhängig von einer vorausbestimmten Bedingung, insbesondere in Bezug auf die Fahrsituation, erfolgen;
Beispielsweise können die Datenabschnitte abhängig (auch mittels) einer (oben beschriebenen) Trigger-Bedingung gewählt und sozusagen mitgeschnitten werden.
Beispielsweise werden, wenn die Trigger-Bedingung zutrifft, (viele, bestimmte oder gemäß der Trigger-Bedingung wählbare) erste Datenabschnitte, die die Situation und/oder eine oder mehrere Aktionen des Nutzers des Fahrzeugs, einen Betriebszustand der Systeme des Fahrzeugs (z.B. in einer komprimierten Form) kennzeichnen, an das Backend, z.B. an ein Rechenzentrum versendet. Die ersten Datenabschnitte können Mitschnitte einer Bordnetzkommunikation, insbesondere einen (z.B. zeitlichen und/oder räumlichen) Verlauf eines internen Parameters einer Recheneinheit des Fahrzeugs umfassen oder sein. Beispielsweise können die mit den ersten Datenabschnitten korrespondierenden Daten (vorerst) in einem Ringspeicher (z.B. innerhalb des Fahrzeugs) gespeichert und (erst) beim Zutreffen der Trigger-Bedingung (sozusagen zeitlich rückwirkend) ermittelt und/oder an das Backend übermittelt werden.
Die ersten Datenabschnitte können einen Teil der Situation in der Umgebung (insbesondere in einem Teil der Umgebung) des Fahrzeugs repräsentieren, insbesondere zumindest annähernd mathematisch abbilden. Zusätzlich werden die Zustandsdaten eines Systems des Fahrzeugs ermittelt die insbesondere im Zusammenhang mit der Situation gegolten haben.
(3)
Es erfolgt ein Übertragen der ersten Datenabschnitte zu dem Backend. Als Backend ist auch eine von dem Fahrzeug beabstandete Recheneinheit, die mit dem Backend verbunden ist, zu verstehen.
Insbesondere kann in der beabstandet befindlichen Recheneinheit (Backend, Server, Rechenzentrum, etc.) eine Simulation auf Basis der Datenabschnitte betreibbar sein bzw. betrieben werden.
(4)
Es erfolgt das Erzeugen der zweiten Datenabschnitte durch ein Hinzufügen oder Einfügen, insbesondere eine Integration, eines oder mehrerer virtueller Objekte zu den ersten Datenabschnitten bzw. in die ersten Datenabschnitten. Dies erfolgt derart, dass die zweiten Datenabschnitte (spätestens im Ergebnis) sowohl reale Objekte (zu verstehen als: zumindest eine Auswahl der realen Objekte) als auch das eine oder die mehreren virtuelle Objekte umfassen bzw. repräsentieren.
Bevorzugt erfolgt ein Modifizieren der ersten Datenabschnitte abhängig von dem einen oder den mehreren virtuellen Objekten (z.B. von den Daten, die die virtuellen Objekte repräsentieren). Das Modifizieren kann gemäß einem vorausbestimmten mathematischen Zusammenhang ausgeführt werden. Bevorzugt umfasst das Modifizieren ein Verändern des einen oder der mehreren in den ersten Datenabschnitten repräsentierten Objekte bzw. ein entsprechendes Verändern der ersten Datenabschnitte. In den zweiten Datenabschnitten können sowohl veränderte reale (bzw. vormals auf realen Objekten basierte) Objekte als auch das eine oder die mehreren virtuellen Objekte repräsentiert werden.
Dabei können die Datenabschnitte des virtuellen Objekts (z.B. als die einem zu dem virtuellen Objekt korrespondierenden, von diesem nachgebildeten realen Objekt entsprechende) Sensordaten und/oder ein Datenmodell (z.B. ein 2D- oder 3D-Modell) des virtuellen Objekts sein. Dies wird im Backend (mit den dort vorhandenen im Vergleich den Ressourcen des Fahrzeugs wesentlich größeren Rechenressourcen) ausgeführt.
Beispielsweise können Bilder, Wärmebilder, Bildsequenzen, Punktwolken, sogenannte Radar-Objekte und/oder LIDAR-Objekte die das reale Fahrzeug, insbesondere ein realer Sensor des Fahrzeugs, beim Auftreten eines (mit dem virtuellen Objekt korrespondierenden) realen Objekts erfassen würde, erzeugt werden. Diese werden mit den ersten Datenabschnitten, z.B. gemäß einer vorausbestimmten Abhängigkeit, z.B. einem mathematischen Zusammenhang, fusioniert. Dabei können zweite Datenabschnitte erzeugt werden, die (entsprechend modifizierten) Inputdaten für einen Entwicklungsstand des Fahrzeugs, z.B. Sensordaten, Parametermuster etc., z.B. mittels einer Simulation, z.B. mittels einer Simulation eines Sensors eines Fahrzeugs, entsprechen, z.B. diese mehr oder weniger exakt nachbilden.
Es können eine Vielzahl von unterschiedlichen Sätzen der zweiten Datenabschnitte mit unterschiedlichen Modifikationen erzeugt werden. Beispielsweise können auf Basis der mit einer realen Situation korrespondierenden Datenabschnitte einige Hunderte, Tausende oder Millionen von modifizierten Daten, die modifizierten Situationen, insbesondere Fahrsituationen entsprechen, erzeugt werden. Daher ist es besonders vorteilhaft diesen Schritt in einem Backend (z.B. auf mehreren bevorzugt parallel betriebenen Prozessoren bzw. Prozessorkernen) auszuführen.
Dabei können mehrere Sätze der zweiten Datenabschnitte ermittelt (auch: erzeugt) werden, die kennzeichnend sind für eine Veränderung der realen Umgebung des Fahrzeugs (auch zu verstehen als ein Vorgang oder Ergebnis der Veränderung) durch das eine oder die mehreren virtuellen Objekte. Es handelt sich also um eine Veränderung, die gelten würde, wenn anstatt des virtuellen Objekts in der realen Umgebung ein korrespondierendes reales Objekt vorhanden wäre.
Die Verwendung der resultierenden Daten auf einen oder mehrere (erste bzw. zweite) Entwicklungsstände, die ein automatisiertes Fahren, Parken oder eine Funktionalität des Fahrwerks des Fahrzeugs ausführen (sollen), ist besonders vorteilhaft, weil die Anzahl von in der Praxis möglichen bzw. erwartbaren Fahrsituationen, die für das Fahren des Fahrzeugs relevant sind, praktisch unendlich ist.
Die zweiten Datenabschnitte können abhängig von einem oder mehreren Parameter des einen oder der mehrerer virtuellen Objekte ermittelt werden oder korrespondierend mit den Parametern der virtuellen Objekte gewählt werden.
Dabei können der eine oder mehreren Parameter des virtuellen Objekts kennzeichnend sein für ein oder mehrere Elemente aus der Folgenden Auflistung:

- seine aktuelle Eigenschaft und/oder sein aktuelles Verhalten;
- seine Position, seine Abmessungen, und/oder seine Bewegung;
- seine Wahrnehmung (z.B. ein von dem Objekt einsehbarer Raumbereich und/oder das, was das Objekt aus seiner Perspektive wahrnehmen kann);
- eine Aktion und/oder eine Einwirkung des virtuellen Objekts gegenüber dem Fahrzeug und/oder gegenüber einem weiteren realen Objekt;
- eine Aktion des Fahrzeugs und/oder eines weiteren realen Objekts auf das virtuelle Objekt;
- eine Einwirkung eines weiteren realen Objekts und/oder des Fahrzeugs auf das virtuelle Objekt.

Die Parameter des virtuellen Objekts können mit dem virtuellen Objekt, insbesondere mit den Aktionen des virtuellen Objekts zusammenhängende Parameter sein.
Mit anderen Worten kann eine reale Situation z.B. modellhaft durch das eine oder die mehreren virtuellen Objekte (die z.B. bestimmte bzw. sich auf bestimmte Art und Weise verhaltende Verkehrsteilnehmer nachbilden) modifiziert (auch zu verstehen als: gezielt bzw. in eine gewünschte Richtung verändert) werden. Die virtuellen Objekte können dabei dynamisch sein, über ein bestimmtes Verhalten und/oder Interaktionsparameter verfügen, etc. Abhängig von den virtuellen Objekten werden die Datenabschnitte, die dem virtuellen Objekt entsprechen und/oder Datenabschnitte der modifizierten Situation in der Umgebung des Fahrzeugs ermittelt.
Beispielsweise werden im Rahmen der genannten Modifikation zu den Datenabschnitten (z.B. gemäß einer vorausbestimmten Abhängigkeit und/oder zumindest teilweise nach Zufallsprinzip) virtuelle Objekte hinzugefügt. Ein virtuelles Objekt steht dabei z.B. für ein Objekt, das es in der realen Situation nicht (zumindest nicht mit dem Parameter des virtuellen Objekts oder gar nicht) gegeben hat.
Die virtuellen Objekte können von einem bestimmten Typ sein, z.B. ein Objekt einer bestimmten Art bzw. Klasse nachbilden. Beispielsweise können diese einem Verkehrsteilnehmer einer bestimmten Klasse entsprechen bzw. diesen, z.B. hinsichtlich seines Verhaltens und/oder seiner Einwirkung auf das System des Fahrzeugs, nachbilden.
Auch kann ein virtuelles Objekt durch ein zumindest teilweise zufällig bestimmtes Verhalten und/oder eine zumindest teilweise zufällige Einwirkung auf das Fahrzeug bzw. ein System des Fahrzeugs gekennzeichnet sein.
Beispielsweise kann ein virtuelles Objekt als Einwirkungsdaten, die ein oder mehrere Maße ihrer Einwirkung auf ein System des Fahrzeugs kennzeichnen, und/oder als entsprechende Daten eines das Umfeld des Fahrzeugs erfassenden Sensors bzw. entsprechender Daten einer Fahrzeugfunktion erzeugt werden. Beispielsweise kann ein virtuelles Objekt durch Daten repräsentiert werden, die kennzeichnend sind für ein Abbild des (entsprechenden) Objekts in den Daten des Systems des Fahrzeugs, z.B. in den rohen, vorverarbeiteten oder interpretierten Sensordaten.
Das Ergebnis kann sozusagen ein Abbild der Situation in der Umgebung des Fahrzeugs und/oder die entsprechende Daten des Systems des Fahrzeugs kennzeichnen, wobei diese mittels eines oder mehrerer virtueller Objekte modifiziert werden.
Es kann sich um ein oder mehrere virtuelle Objekte handeln, die sich (virtuell) außerhalb des Fahrzeugs befinden. Diese können (als entsprechende Datenabschnitte) zu den die reale Situation repräsentierende Daten hinzugefügt und/oder mit diesen (in einer zweckmäßigen Art und Weise) verrechnet werden.
Alternativ oder zusätzlich kann ein Objekt oder eine Anzahl der Objekten (auch zu verstehen als Datenabschnitte, die mit den Objekten korrespondieren), das bzw. die es in der besagten realen Situation gegeben hat, zumindest teilweise entfernt und/oder durch den einen oder mehrere virtuellen Objekte ersetzt werden.
Beispielsweise können in den Datenabschnitten, die einer realen Umgebung bzw. Situation entsprechen, Daten kennzeichnend einen realen (sich normal verhaltendem) Fußgänger zumindest teilweise entfernt und/oder zumindest teilweise durch Daten eines virtuellen Fußgängers oder eines Fußgängers mit einem veränderten Verhalten, einen anderen Verkehrsteilnehmer. wie z.B. einen Skateboard-Fahrer, ein Tier oder ein Kind, ersetzt werden.
Wahlweise kann ein Parameter eines (realen) Verkehrsteilnehmers verändert werden. Beispielsweise kann ein Parameter seines Verhaltens, seiner Reaktion, wie z.B. seiner Reaktionsfähigkeit verändert werden. Die entsprechend modifizierten Daten würden einer veränderten Situation in der Umgebung des Fahrzeugs (sozusagen einer parallelen Realität) entsprechen, in der die Situation sich anders entwickelt.
Das virtuelle Objekt gilt, wirkt bzw. bewegt sich dabei innerhalb einer simulierten Umgebung (jenseits des realen Fahrzeugs, welches tatsächlich die zugrundeliegende Situation erfährt bzw. erfahren hat). Beispielsweise kann ein virtuelles Objekt ein Merkmal einer Videospielfigur aufweisen bzw. etwa vergleichbar gestaltet sein.
Beispielsweise kann das virtuelle Objekt ein (gestaltbares, veränderliches, konfigurierbares programmierbares) Objekt sein, z.B. wie ein aktives Objekt aus einem guten Videospiel. Solche virtuellen Objekte können in eine Nachbildung einer realen Umgebung und/oder einer realen Situation auf Basis der von einem realen Fahrzeug übermittelten Datenabschnitte eingesetzt werden.
(5)
Die zweiten Datenabschnitte, die eine modifizierte Umgebung, insbesondere eine modifizierte Fahrsituation repräsentieren, werden an das Backend (z.B. an ein stationäres System im Backend) bereitgestellt. Dabei wird das stationäre System mit den zweiten Datenabschnitten betrieben. Dabei wird einer Vielzahl von Entwicklungsständen (jeweils) eine (unterschiedlich) modifizierte Realität sozusagen vorgespielt bzw. „vorgegaukelt“. Diese Entwicklungsstände werden veranlasst, auf die (jeweiligen) zweiten Datenabschnitte (jeweils) zu reagieren, insbesondere zu agieren, z.B. eine Entscheidung zu treffen, Daten für eine (veränderte) Planung der Führung des Fahrzeugs zu ermitteln. Dadurch werden die Reaktionsdaten gewonnen.
Das stationäre System kann eine Vielzahl von Entwicklungsständen umfassen. Diese wiederum können mehrere Kopien eines Entwicklungsstands, mehrere unterschiedliche Varianten (z.B. Parametrierungen) eines Entwicklungsstands oder prinzipiell unterschiedliche Entwicklungsstände sein.
Die resultierenden (modifizierten) zweiten Datenabschnitte (die insbesondere eine modifizierte Umgebung des Fahrzeugs repräsentieren) werden, insbesondere in einer stationären Umgebung, z.B. innerhalb einer Simulation, verarbeitet, insbesondere reprozessiert. Beispielweise kann ein stationär betriebenes Systeme des Fahrzeugs (mit derselben Software und/oder einer alternativen Software) mit den modifizierten Daten betrieben werden. Alternativ können Recheneinheiten, die das System des Fahrzeugs emulieren (vereinfacht: nachbilden) mit den modifizierten Daten betrieben werden.
Beispielsweise können mit den modifizierten Daten Einheiten auf Basis von (handelsüblichen oder angepassten) Spielkonsolen und/oder Grafikkarten (zu verstehen auch: Recheneinheiten von bzw. für Spielkonsolen bzw. Grafikkarten) betrieben werden. Dabei kann auf den Spielkonsolen (eine extreme Vielzahl) der Situationen sozusagen virtuell durchgespielt werden, die es so nicht gegeben hat.
Dabei können die (virtuellen bzw. auf der modifizierten Realität basierenden) Reaktionsdaten zumindest eines (z.B. nur stationär betriebenen) Systems des Fahrzeugs ermittelt werden. Insbesondere repräsentieren die virtuellen Reaktionsdaten eine Reaktion eines (z.B. in einem stationären Rechner) emulierten Systems des Fahrzeugs auf die Daten, die eine mittels zumindest eines virtuellen Objekts modifizierte Situation repräsentieren. Unter dem Begriff „Fahrzeugsystem“ kann im Wesentlichen das gleiche System wie in einem (oder dem) realen Fahrzeug verbaute System, ein alternatives, weiterentwickeltes und/oder ein zu trainierendes System verstanden werden.
Diese Reaktionsdaten können (zumindest annähernd) den Reaktionsdaten eines realen Fahrzeugs entsprechen, die in einer realen Situation, die den mit den virtuellen Objekten modifizierten Daten entspricht, erzeugt würden. Die Reaktionsdaten können also z.B. den Reaktionsdaten eines realen Fahrzeugs entsprechen, die erzeugt würden, wenn die virtuellen Objekte in der realen Situation vorkämen.
Als Reaktionsdaten sind im Rahmen dieses Dokuments (auch) beliebige Betriebsdaten des Systems des Fahrzeugs, die durch das Einfügen des virtuellen Objekts bzw. durch das Modifizieren der ersten Datenabschnitte entstehen bzw. beeinflusst werden, zu verstehen.
Abhängig von den Reaktionsdaten können (besonders für das automatisierte Fahren) sehr wertvolle weitere Schritte ausgeführt werden. Siehe dazu die Vorteile der Erfindung.
(6)
Es erfolgt ein Ermitteln, insbesondere Erfassen und Speichern, von Reaktionsdaten der Vielzahl der Entwicklungsstände, kennzeichnend (jeweils) eine Reaktion eines jeweiligen Entwicklungsstands auf die zweiten Datenabschnitte.
Beispielsweise können die Reaktionsdaten eine Entscheidung kennzeichnen, dem virtuellen Objekt (virtuell) auszuweichen, auf das virtuelle Objekt zu bremsen, ein bestimmtes Manöver auszuführen oder eine Kollision mit dem Objekt (z.B. mit einem möglichst geringem Schaden) auszuführen. Die Reaktionsdaten können z.B. Parameter einer entsprechenden Bahnplanung (Trajektorienplanung) bzw. eine Ausweichkurve, eine Bremskraft, eine Anzeige des Fahrzeugs für den Nutzer des Fahrzeugs etc. kennzeichnen. Die Reaktionsdaten können einen oder mehrere Betriebsparameter des Systems des Fahrzeugs (z.B. der Sensorik, der Steuergerät, etc.) kennzeichnen, die auf Basis der modifizierten Fahrsituation ermittelt werden oder (z.B. im Wesentlichen nur) einen Unterschied zwischen der Reaktion des Systems des Fahrzeugs auf die mit dem einen oder mehreren virtuellen Objekten modifizierte Situation in der Umgebung des Fahrzeugs und der Reaktion des Systems des Fahrzeugs auf die reale Situation. Die Reaktionsdaten können eine Kombination der Reaktion des Fahrzeugs auf die reale Umgebung und auf Bedingungen und/oder Situationen kennzeichnen, die mit dem virtuellen Objekt (virtuell vorhandenem Teil der Gesamtrealität) ergänzt, verändert bzw. angereichert wurden.
Beispielsweise kennzeichnen die Reaktionsdaten eine Reaktion des Entwicklungsstands auf das virtuelle Objekt oder eine Interaktion mit dem Objekt, wobei zumindest eine Reaktion des Objekts auf das Fahrzeug simuliert wird.
Dabei können Reaktionsdaten gewonnen (ermittelt) werden, die ein reales Fahrzeug in der realen Umgebung, die durch ein oder mehrere virtuelle Objekte modifiziert wurde, mit einem dem Entwicklungsstand entsprechenden System des Fahrzeugs erzeugen würde. Die zumindest eine Reaktion des Objekts kann wiederum beim Ermitteln eines Parameters der Reaktion des Fahrzeugs (auf die Reaktion des Objekts) berücksichtigt werden.
(7)
Die Reaktionsdaten (auch zu verstehen als Daten auf Basis der Reaktionsdaten), insbesondere aus einer Vielzahl der Sätze der Reaktionsdaten, werden bereitgestellt und/oder verwendet für einen oder mehrere Einträge aus folgender Liste:

- zum Test und/oder zur Absicherung eines Entwicklungsstands eines Fahrzeugs, insbesondere des realen Fahrzeugs;
- zum Ermitteln zumindest eines Performanceindikators, z.B. KPI, des Systems des Fahrzeugs;
- zum Nachweis einer positiven Risikobilanz des Systems des Fahrzeugs, insbesondere für einen Rückschluss auf die erwartete Performance in Bezug auf reale Objekte;
- zum Betreiben eines weiteren Fahrzeugs;
- zum Trainieren eines neuronalen Netzes;
- zum Freischalten und/oder Sperren von Leistungsmerkmalen zumindest eines Fahrzeugs, insbesondere mit dem gleichen oder einem ähnlichen System des Fahrzeugs;
- zum Freischalten und/oder Sperren von (bestimmten) realen Reaktionen des Systems des Fahrzeugs auf reale, insbesondere mit dem zumindest einem virtuellen Objekt korrespondierende Objekte;
- zum Verändern einer digitalen Karte und/oder von Daten zur Interpretation einer digitalen Karte, insbesondere zur Freigabe und/oder Sperrung bestimmter Fahrbahnabschnitte für die Ausführung bestimmter Leistungsmerkmale, insbesondere bestimmter Reaktionen auf bestimmte reale Objekte bzw. auf bestimmte Parameter realer Objekte;

Dabei kann das Betreiben eines weiteren Fahrzeugs ein Betreiben des Systems des anderen Fahrzeugs auf reale Objekte, z.B. mit virtuellen Objekten korrespondierende Objekte, umfassen.
Beispielsweise kann ein Trainieren eines neuronalen Netzes mit einer Vielzahl der Reaktionsdaten (Sätze der Reaktionsdaten) erfolgen.
Die Daten des trainierten neuronalen Netzes des (oder eines ausgewählten) Entwicklungsstands können als Basis zum Betreiben eines, insbesondere mit dem Entwicklungsstand korrespondierenden, realen System eines Fahrzeugs verwendet werden. Insbesondere können diese Daten auf Basis eines Checkpoints, Gewichtsinformationen und/oder Bias-Terms des trainierten neuronalen Netzwerks sein.
Beispielsweise handelt es sich bei dem System des Fahrzeugs um ein Fahrerassistenzsystem oder um ein System zur Ausführung oder Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung und/oder Manöverausführung des Fahrzeugs, wie z.B. ein System zum zumindest teilweise automatisierten Fahren und/oder Parken.
Beispielsweise können auf Basis der Datenabschnitte, die einer realen Situation entsprechen, Reaktionsdaten des (originalen und/oder alternativen) Systems des Fahrzeugs ermittelt werden, die sich bei einer Veränderung bzw. einer Variante der Situation ergeben würden. Beispielsweise kann ermittelt werden, was hätte passieren können, wenn ein Verkehrsteilnehmer, z.B. ein Fußgänger um einige Sekunden später reagiert hätte oder wenn plötzlich ein Fahrradfahrer aufgetaucht wäre.
Nachfolgend werden Merkmale der Erfindung anhand von weiteren Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei sind die vorstehend oder nachfolgend in der Beschreibung genannten und/oder in den Zeichnungen alleine gezeigten Merkmale und Merkmalskombinationen nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

1(a) stellt schematisch und beispielhaft eine reale Fahrsituation in der Umgebung eines realen Fahrzeugs dar.
1(b) illustriert beispielhaft ein in die Umgebung des Fahrzeugs eingefügtes virtuelles Objekt.
1(c) illustriert eine beispielhafte Umgebung eines virtuellen Fahrzeugs.
2 zeigt schematisch und beispielhaft einen erfindungsgemäßen Verfahrensablauf.
3 zeigt schematisch und beispielhaft einen erfindungsgemäßen Verfahrensablauf.
4 veranschaulicht schematisch und bespielhaft das Betreiben eines Entwicklungsstands im Rahmen eines erfindungsgemäßen Verfahrens.

1(a) stellt eine reale Fahrsituation in der Umgebung eines realen Fahrzeugs RF1 dar. In der realen Umgebung des Fahrzeugs gibt es ferner zwei reale Objekte (ebenfalls Fahrzeuge) RO1, RO2.
Die Fahrsituation ist als eine dynamische Fahrsituation zu verstehen, welche sich z.B. über einen Zeitraum von 5 - 60 Sekunden erstrecken kann.
Dabei ist eine Trajektorie bzw. Bahnführungsplanung TRF1 des realen Fahrzeugs RF1 veranschaulicht. Diese repräsentiert die Bewegung des realen Fahrzeugs RF1 (sozusagen im Verlauf der Zeit bzw. der Fahrsituation) innerhalb der realen Umgebung.
Die Position des realen Fahrzeugs RF1 ist dabei symbolisch an zwei verschiedenen Zeitpunkten t1 und t2 dargestellt. Beispielsweise können erste Datenabschnitte DA1, DA2, DA3 eine derartige Fahrsituation repräsentieren. Die vorliegende Fahrsituation und/oder die ersten Datenabschnitte DA1, DA2, DA3 können die Parameter der Fahrsituation zu mehreren Zeitpunkten (z.B. mindestens 4, 8, 16, 64, .... Zeitpunkte, die zwischen t1 und t2 liegen) und/oder einen Verlauf der Parameterwerte (z.B. als eine Funktion nach der sich diese abhängig von der Zeit und/oder von der Fahrstrecke verändern) kennzeichnen.
1(b) veranschaulicht ein virtuelles Objekt VO1. Dabei ist eine (virtuelle) Trajektorie bzw. Bahnführungsplanung TVO1 des virtuellen Objekts VO1 veranschaulicht. Diese repräsentiert die (virtuelle) Bewegung des virtuellen Objekts VO1 innerhalb der Umgebung und/oder in Relation zum Fahrzeug RF1 zwischen den Zeitpunkten t1 und t2.
Das virtuelle Objekt VO1 kann ein simuliertes Objekt, wie z.B. (wie dargestellt) ein virtuelles Motorrad sein. Die in der 1(b) dargestellte Trajektorie TVO1 des virtuellen Objekts VO1 kann durch entsprechende Datenabschnitte repräsentiert sein. Diese kann z.B. bereits in den Datenabschnitten repräsentierend das virtuelle Objekt VO1 repräsentiert, sozusagen hinterlegt oder bei einer Aktivierung des virtuellen Objekts VO1 ermittelt werden. Die Datenabschnitte werden bevorzugt in Relation zum Fahrzeug RF1, insbesondere im Koordinatensystem des Fahrzeugs RF1 und/oder abhängig von der Bewegung des Fahrzeugs RF1 ermittelt.
Das in der 1(b) dargestellte Fahrzeug RF1 kann ebenso ein virtuelles Fahrzeug (oder ein „Platzhalter“) sein, das sich an der Position des realen Fahrzeugs RF1 (z.B. zu unterschiedlichen Zeitpunkten t1, ..., t2) befindet. Die Positionen des virtuellen Objekts VO1 sind ebenfalls zu zwei verschiedenen Zeitpunkten t1 und t2 dargestellt.
Die Datenabschnitte, die das virtuelle Objekt VO1 und/oder seine Trajektorie TVO1 repräsentieren, können zum Modifizieren der ersten Datenabschnitte DA1, DA2, DA3 verwendet werden. Dabei werden zweite Datenabschnitte DA2 ermittelt (erzeugt).
1(c) illustriert eine beispielhafte (durch Daten repräsentierte bzw. gekennzeichnete) Umgebung eines Fahrzeugs VF1. Das Fahrzeug VF1 kann als ein virtuelles Fahrzeug aufgefasst werden. Dieses kann das reale Fahrzeugs RF1 (z.B. zu unterschiedlichen Zeitpunkten t1, ..., t2) repräsentieren. Die entsprechenden zweiten Datenabschnitte repräsentieren zumindest teilweise Merkmale, Objekte, der zumindest eine zugrundeliegende reale Fahrsituation (etwa gemäß 1(a)) sowie eines virtuellen Objekts VO1, seiner Trajektorie TVO1 etc. (etwa gemäß 1(b)).
In der 2 und 3 wird ein beispielhafter Ablauf eines Verfahrens zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Entwicklungsstandes eines Fahrzeugsystems dargestellt.
Ein Schritt S1 umfasst das Ermitteln eines oder mehrerer ersten Datenabschnitte DA1, DA2, DA3 die eine reale Situation in der Umgebung eines realen Fahrzeugs RF1 repräsentieren. Bei dem vorliegenden Beispiel umfasst die reale Situation reale Objekten RO1, RO2.
Ein Schritt S2 umfasst das Modifizieren der ersten Datenabschnitte DA1, DA2, DA3 mit einem oder mehreren virtuellen Objekten VO1, ..., wobei zweite Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... ermittelt (auch zu verstehen „generiert“) werden.
Ein Schritt S3 umfasst das Erzeugen von Reaktionsdaten RD(V1), RD(V2), RD(V3), ... einer Reaktion eines jeweiligen Entwicklungsstandes ES1, ES2, ES3, ... eines Fahrzeugsystems auf die zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ....
Ein Schritt S4 umfasst das Verarbeiten und/oder Nutzen der Reaktionsdaten RD(V1), RD(V2, RD(V3), ... zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Entwicklungsstandes ES1, ES2, ES3 bzw. ES1', ES2', ES3' eines Fahrzeugsystems.
Zusätzlich wird in der 2 ein beispielhaftes Ergebnis des Modifizierens der ersten Datenabschnitte DA1, DA2, DA3 mit einem virtuellen Objekt VO1, ... dargestellt. Dabei wird eine Vielzahl der Sätze der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... generiert. Diese repräsentieren jeweils eine Variante V1, V2, V3, ... einer Umgebung bzw. einer Fahrsituation.
Der Schritt S1 wird mittels eines oder mehrerer realer Fahrzeuge RF1, RF2, RF3, ... ausgeführt. Dabei werden abhängig von einer Trigger-Bedingung (z.B. abhängig vom Zutreffen der Trigger-Bedingung in dem jeweiligen Fahrzeug RF1) ein oder mehrere ersten Datenabschnitte DA1, DA2, DA3 ermittelt, die einen Teil der realen Situation, insbesondere Fahrsituation in der Umgebung des realen Fahrzeugs RF1 repräsentieren. Die eine oder mehrere Trigger-Bedingungen können sich auf Parameter, insbesondere Muster von Merkmalen bzw. von entsprechenden Parametern einer Fahrsituation beziehen. Es kann sich z.B. um ein oder mehrere Merkmale bzw. Parameter der Fahrsituation, die nachfolgend ausführlicher definiert sind, handeln.
Der Begriff erste Datenabschnitte DA1, DA2, DA3 ist insbesondere als ein Satz der ersten Datenabschnitte, z.B. repräsentierend einen Verlauf einer konkreten Fahrsituation, aufzufassen. Diese können jeweils unterschiedliche Arten von Daten zu einer Fahrsituation umfassen.
In dem Schritt S2 kann, z.B. auf Basis eines Datenabschnitts DA1, DA2, DA3 oder eines jeden Satzes der ersten Datenabschnitte DA1, DA2, DA3 eine Vielzahl von Varianten V1, V2, V3, ...VN der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... generiert werden. Diese können durch Einfügen unterschiedlicher virtueller Objekte bzw. jeweils unterschiedliches Modifizieren erzeugt werden.
Das unterschiedliche Modifizieren kann z.B. durch ein Modifizieren mittels verschiedener virtuelle Objekte VO1, ... bzw. mittels virtueller Objekte VO1, ... auf Basis verschiedener Parameter (z.B. Bewegungsparameter, Verhalten, Modelle) erfolgen, und/oder durch das Generieren verschiedener Fahrsituationen mittels eines oder mehrerer virtueller Objekte VO1, ...
In dem Schritt S3 werden Reaktionsdaten RD(V1), RD(V2), RD(V3), ... zu jeder generierten teilweise realen und teilweise virtuellen Umgebung oder Fahrsituation, die jeweils durch einen Satz der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3) repräsentiert sind, erzeugt. Diese werden erzeugt, indem ein Entwicklungsstand ES1, ES2, ES3, ... mit den zweiten Datenabschnitten DA2(V1), DA2(V2), DA2(V3) (z.B. als Eingangsgröße bzw. Betriebsparameter) betrieben wird.
Bevorzugt wird eine Vielzahl der Reaktionsdaten RD(V1), RD(V2), RD(V3), ... auf Basis verschiedener Sätze der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... erzeugt.
Es kann beispielsweise eine Vielzahl von Reaktionsdaten RD(V1), RD(V2), RD(V3), ... mittels eines Entwicklungsstands ES1, z.B. auf unterschiedlichen Prozessoren bzw. Prozessorkernen im Backend, erzeugt werden.
Dabei kann z.B. als (erster) Entwicklungsstand ES1, ES2, ES3 bzw. als (zweiter) Entwicklungsstand ES1', ES2', ES3' eine Vielzahl von zumindest im Wesentlichen bzw. prinzipiell gleichen und/oder im Wesentlichen nur durch Parameter unterschiedliche Entwicklungsstände ES1 verwendet werden. Diese können z.B. überwiegend Duplikate, Kopien bzw. gleichartige Emulationen sein, die bevorzugt auf parallel betriebenen Modulen, Prozessoren oder Prozessorkernen ausgeführt werden.
In einem weiteren, mit allen Merkmalen der Erfindung kombinierbaren Beispiel können mehrere, insbesondere wesentlich voneinander unterschiedliche Entwicklungsstände ES1, ES2, ES3, ... bzw. ES1', ES2', ES3', ... verwendet werden. Beispielsweise kann der Entwicklungsstand ES2 ein durch unterschiedliche Logik oder Parameter unterschiedlicher oder ein wesentlich bzw. prinzipiell anderer Entwicklungsstand als der Entwicklungsstand ES1 sein.
Bevorzugt werden die Reaktionsdaten RD1(V1), RD1(V2), RD1(V3), ... mit einem ersten Entwicklungsstand ES1 erzeugt und die Reaktionsdaten RD2(V1), RD2(V2), RD2(V3), ... mit zumindest einem zweiten Entwicklungsstand ES2 erzeugt. Der zweite Entwicklungsstand ES2 kann sich von dem ersten Entwicklungsstand ES1 qualitativ und/oder quantitativ unterscheiden. Der zweite Entwicklungsstand E2 kann aber z.B. auch nur die nächste Stufe bei der Entwicklung des Fahrzeugsystems umfassen oder sein.
Unterschiedliche Entwicklungsstände ES1, ES2, ES3, ... können mehrere (nach einer bestimmten Abhängigkeit und/oder zumindest teilweise zufällig oder quasizufällig) gebildete Varianten eines Entwicklungsstands ES bzw. eines (etwa eine Gattung bildenden) Entwicklungsstands ES sein. Beispielsweise können auf Basis von, z.B. erfolgreichsten, Entwicklungsständen ES1, ES2, ES3 weitere Entwicklungsstände ES1', ES2', ES3', ... entwickelt oder nach einer bestimmten Abhängigkeit gebildet werden.
Mit anderen Worten können (z.B. Tausende oder Millionen) der Reaktionsdaten (z.B. von Sätzen der Reaktionsdaten RD2(V1), RD2(V2), RD2(V3), ...) ermittelt werden, die eine jeweilige Reaktion eines Entwicklungsstands ES1, ES2, ES3, ES1', ES2', ES3', ... auf zumindest eine Variante der zweiten Datenabschnitte kennzeichnen. Diese können im Schritt S4 einer Weiterverarbeitung, insbesondere einem Abgleich, unterzogen werden. Dabei kann z.B. eine jeweils erreichte Performance und/oder eine resultierende Konsequenz ermittelt und verglichen werden.
Der Begriff „Fahrsituation“ kann im Rahmen des vorliegenden Dokuments z.B. als eine bestimmte durch eine Anordnung, Aktion, oder Interaktion von Verkehrsteilnehmer oder durch bestimmte Fahrparameter von Verkehrsteilnehmern gekennzeichnete Situation verstanden werden.
Insbesondere unterscheidet sich die Bedeutung des Begriffs „Situation“ bzw. „Fahrsituation“ von einer häufig umgangssprachlich verwendeten Bedeutung des Begriffs „Verkehrssituation“ welche vielmehr zusammenfassenden, allgemeinen Kategorien wie etwa „freier Verkehr“, „dichter Verkehr“, „zähfließender Verkehr“, „Stau“, „Stauende“ etc. entspricht.
Insbesondere ist eine Fahrsituation (vielmehr) durch ein bestimmtes Muster (auch zu verstehen als ein Datenmuster), z.B. ein Muster kennzeichnend eine Anordnung und/oder Geschwindigkeit der Objekte und/oder ein Muster der Parameter der Fahrsituation, gekennzeichnet. Auch kann die Fahrsituation durch ein räumliches Muster der sogenannten Freiräume in der Umgebung des Fahrzeugs gekennzeichnet sein. Beispielsweise kann sich eine Trigger-Bedingung auf derartige Merkmale bzw. entsprechende Parameter der Fahrsituation beziehen.
Bevorzugt kann die zumindest eine Fahrsituation gekennzeichnet sein durch einen oder mehrere nachfolgend aufgezählte Merkmale:

- eine (bestimmte) räumliche Verteilung der Verkehrsteilnehmer und/oder der Bewegungsparameter der Verkehrsteilnehmer, insbesondere ein Anordnungsmuster der Verkehrsteilnehmer in der Umgebung des (realen) Fahrzeugs,
- eine (bestimmte) räumliche Verteilung unbeweglicher Objekte in der Umgebung des Fahrzeugs,
- eine relative Position und/oder Bewegungsparameter zu bestimmten Arten von Spurmarkierungen, Verkehrszeichen, Ampeln (nicht notwendigerweise zu bestimmten Ampeln, etc.),

- eine Information über die Vorfahrt des Fahrzeugs, insbesondere gegenüber bestimmten Verkehrsteilnehmern und/oder Verkehrsteilnehmern, die tatsächlich oder zumindest potentiell aus bestimmten Richtungen, z.B. einer querenden Straße von rechts oder von links kommen oder kommen können,
- eine Information zu einer, z.B. einen Grenzwert überschreitenden, Handlung eines Verkehrsteilnehmers in der Umgebung des Fahrzeugs, wie z.B. ein Hupen, Lichthupen, Drängeln, Überholen des Fahrzeugs, ein Überholversuch und dergleichen.

Ferner kann die Fahrsituation durch einen oder mehrere Parameter im Zusammenhang mit relevanten Verkehrsregeln, Verkehrszeichen, Vorfahrten, Ampeln und/oder Ampelphasen gekennzeichnet sein.
Bevorzugt kann es sich bei der zumindest einen Fahrsituation um eine bestimmte Grenzwerte überschreitende Fahrsituation bzw. um eine Fahrsituation, die durch bestimmte Grenzwerte überschreitende Parameter gekennzeichnet ist, handeln. Beispielsweise kann es sich bei der zumindest einen Fahrsituation um eine Fahrsituation mit einer unerwünschten bzw. gefährlichen Annäherung an ein Objekt oder einen Verkehrsteilnehmer, einen einen Grenzwert überschreitenden Beschleunigungswert, eine unterwünschte Anordnung zu weiteren Verkehrsteilnehmern etc. handeln.
Bei der Fahrsituation kann es sich um eine (z.B. vergleichsweise selten vorkommende) Sondersituation oder eine gefährliche Fahrsituation handeln, z.B. eine Fahrsituation, für die ein erhöhtes Risiko ermittelt oder angenommen wird. Derartige Fahrsituationen können mittels entsprechend definierter Trigger-Bedingungen (auch Parameter bzw. Kriterien der Trigger-Bedingungen) erkannt, insbesondere prädiziert werden. Daraufhin könne Datenabschnitte zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs, insbesondere einer virtuellen Umgebung mit einem bestimmten Parameter bzw. einer virtuellen Umgebung einer bestimmten Art bzw. einer virtuellen Umgebung, die mit einem bestimmten Muster aus realen Fahrzeugen korrespondiert, ermittelt werden.
3 zeigt ein Beispiel des Ermittelns (auch zu verstehen als: Erzeugen) der Reaktionsdaten RD(V1), RD(V2), .... Die 3 veranschaulicht den Schritt S3 im Detail.
Dabei werden eine Vielzahl der gleichen und/oder unterschiedlichen Entwicklungsstände ES1, ES2, .... betrieben. Diese werden mit (jeweils) einer Vielzahl von den zweiten Datenabschnitten DA2(V1), DA2(V2), ..., insbesondere mit Sätzen der zweiten Abschnitte, die eine Umgebung mit (jeweils) gleichen und/oder unterschiedlichen Fahrsituationen, z.B. gemäß Varianten V1, V2, V3, ... repräsentieren, betrieben.
4 zeigt schematisch ein Beispiel des Betreibens eines Entwicklungsstands ES1.
Der Entwicklungsstand ES1 wird dabei (beispielweise ausschließlich) zum Ermitteln der Reaktionsdaten RD betrieben.
Der Entwicklungsstand ES1 kann ein System sein, welches mit dem System des realen Fahrzeugs RF1 korrespondiert, eine Emulation und/oder eine Weiterentwicklung zumindest eines wesentlichen Teils eines Systems des realen Fahrzeugs RF1 darstellt. Dieser kann die Grundlage für das nächste Fahrzeugsystem zum Verbau, Update, Upgrade bzw. zur Verwendung als das Fahrzeugsystem (zu verstehen auch als Teil des Fahrzeugsystems) sein.
Der (stationär betriebene) Entwicklungsstand ES1 kann ein stationäres System bzw. ein Teil eines stationären Systems sein, welches mit einem System eines realen Fahrzeugs korrespondiert. Bei dem „korrespondierenden“ System kann es sich um ein stationär betreibbares bzw. betriebenes System mit zumindest teilweise bzw. überwiegend derselben Hardware, derselben Software, denselben Schnittstellen, derselben Funktionalität, demselben bzw. einem ähnlichen (z.B. gleiche oder ähnliche Architektur aufweisenden) neuronalen Netz, etc. handeln. Es kann sich dabei um ein System handeln, welches zumindest teilweise das Fahrzeugsystem emuliert.
Der stationär betriebene Entwicklungsstand kann aber auch ein (z.B. ein sozusagen „im Trockenlauf“) betriebener Teil des Fahrzeugs, insbesondere ein ganzes Fahrzeug sein. Mit anderen Worten kann gegenüber einer Vielzahl von (gleichen oder unterschiedlichen) Entwicklungsständen ES1, ES2, ES3, ... eine (jeweils unterschiedlich und/oder unterschiedlich stark) modifizierte Realität (aus einer oder mehreren realen Umgebungen) vorgespielt (sozusagen „vorgegaukelt“) werden.
Der Entwicklungsstand ES1 selbst kann eine Signalverarbeitung, eine Funktionslogik, eine Steuerung, eine Regelung und/oder ein neuronales Netz umfassen. In einer bevorzugten Ausgestaltung korrespondiert dieser mit einem bestimmten (zum Einsatz in einem realen Fahrzeug geplanten) System bzw. mit entsprechenden Funktionalitäten, insbesondere mit einem zumindest teilweise automatisierten Fahren bzw. Parken. Der Entwicklungsstand ES1, ES2, ES3 ... kann ein zu trainierendes neuronales Netz umfassen.
Der eine oder die mehreren Entwicklungsstände ES1, ES2, ES3,... müssen keine Bewegungen eines realen Fahrzeugs und keine Betätigung realer (physikalischer) Aktoren steuern. Beispielsweise kann der Entwicklungsstand z.B. lediglich eine Betätigung von ebenfalls stationär befindlichen und/oder durch ein Datenmodell nachgebildeten Aktoren veranlassen. Ferner kann eine automatisierte Auswertung und/oder Visualisierung der Betätigung der Aktoren und/oder eines entsprechenden Betriebs des Fahrzeugs ausgeführt werden.
Der Entwicklungsstand ES1 wird in diesem Beispiel mit den zweiten Datenabschnitten DA2 betrieben. Dabei werden die zweiten Datenabschnitte DA2, die zu einem Satz gehören und die z.B. jeweils eine Fahrsituation (z.B. eine Entwicklung oder Weiterentwicklung einer Fahrsituation innerhalb eines gewissen Zeitintervalls) repräsentieren, als eine oder mehrere Eingangsgrößen an den Entwicklungsstand ES1 bereitgestellt.
Der Entwicklungsstand ES1 wird ferner von virtuellen Daten VRF1, die stellvertretend für einen Teil eines realen Fahrzeugs oder des realen Fahrzeugs RF1 stehen, betrieben. Die Daten VRF1 können auf Basis der zusammen mit den ersten Datenabschnitten DA1, DA2, DA3 erfassten Datenabschnitte, von Betriebsdaten, die für einen Betrieb des realen Fahrzeugs kennzeichnend sind und/oder von einem (mathematischen, rechnerischen) Modell (ggf. auch einer Simulation) des Teils des realen Fahrzeugs VRF1 ermittelt und dem Entwicklungsstand ES1 bereitgestellt werden.
Ferner können ein oder mehrere Aktoren des Fahrzeugs (auch zu verstehen als die gleichen oder ähnlichen Aktoren wie bei einem realen Fahrzeug RF1) vorgesehen sein, die von dem Entwicklungsstand ES1 betrieben (z.B. gesteuert oder geregelt) werden. Bevorzugt werden zumindest teilweise virtuelle bzw. virtualisiere Aktoren VFA1 verwendet. Diese können ein Modell eines realen Aktors, wie z.B. eines Aktors des Fahrwerks eines realen Fahrzeugs RF1, umfassen. Ferner kann bzw. können (wahlweise) auch ein oder mehrere reale (physische) Aktoren verwendet werden.
Zu den entsprechenden Reaktionsdaten RD1 können Daten gezählt werden, die ein Feedback des einen oder der mehrerer Aktoren VFA1 an den Entwicklungsstand ES1 und/oder einen Zustand bzw. eine Zustandsveränderung des einen oder der mehreren Aktoren VFA1 kennzeichnen.
Ferner kann von dem Entwicklungsstand ES1 eine Information VFI1, z.B. eine Fahrerinformation bzw. Daten zum Erzeugen einer Fahrerinformation, erzeugt werden. Eine derartige Information VFI1 kann ebenfalls zu den Reaktionsdaten RD1 gezählt werden. Die Information VFI1 kann ein Output des Entwicklungsstands ES1, wie z.B. eine Fahrerinformation, sein, die sich auf die in den zweiten Datenabschnitten DA2 repräsentierte Fahrsituation bezieht.
Mit anderen Worten kann die Information VFI kennzeichnend dafür sein, was ein reales Fahrzeugsystem in einem realen Fahrzeug in einer Fahrsituation, die von den zweiten Datenabschnitten repräsentiert ist, ausgeben würde. Auch diese Information kann zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems verwendet werden.
Zu den entsprechenden Reaktionsdaten RD1 können Daten gezählt werden, die der Entwicklungsstand ES1 an den (virtuell repräsentierten) Rest des Fahrzeugs ausgibt.
Eine oder mehrere der in der 4 dargestellten Komponenten können ein (z.B. eines von einer Vielzahl) von Modulen bilden, die stationär (z.B. im Rahmen eines stationären Systems) betrieben werden können. Dabei kann der Entwicklungsstand ES1, ES2, ES3, ... jeweils auf einem Rechenmodul, Prozessor bzw. Prozessorkern ausführbar sein. Dabei kann eine besonders effektive Ausführung des Verfahrens erreicht werden.
Nachfolgend werden einige weitere untereinander und mit allen in diesem Dokument beschriebenen Markmalen kombinierbare Beispiele, insbesondere betreffend die Verwendung der Reaktionsdaten beschrieben.
BEISPIEL (1)
Durch das unterschiedliche Modifizieren können zweite Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... ermittelt (erzeugt) werden, die unterschiedliche Varianten V1, V2, V3, ... einer Fahrsituation in der Umgebung (z.B. des Fahrzeugs VF1) repräsentieren. Dabei werden Varianten V1, V2, V3, ... gebildet, die quantitative und/oder qualitative Unterschiede zueinander aufweisen.
Ein quantitativer Unterschied kann z.B. eine Veränderung der Fahrsituation hinsichtlich ihrer Parameter sein oder umfassen. Ein qualitativer Unterschied kann ein Unterschied sein, bei dem ein prinzipiell unterschiedliches Ergebnis der Fahrsituation resultiert bzw. zu erwarten ist. Beispielsweise werden die Parameter des einen oder der mehreren virtuellen Objekte VO1, ... (z.B. schrittweise von einer Variante zu einer anderen Variante) verändert.
Beispielsweise kann bei der Verarbeitung der Reaktionsdaten RD1(V1), RD1(V2), RD1(V3), ... die Variante V1, V2, V3, ... einer Fahrsituation ermittelt werden, bei der (z.B. beinahe oder zum ersten Mal) ein prinzipiell anderes Ergebnis, insbesondere eine andere Konsequenz, resultiert. Beispielsweise können die Parameter der Fahrsituation ermittelt werden, bei der (bei einem Entwicklungsstand ES1, ES2, ES3 ...) eine bestimmte (z.B. hinreichende bzw. nicht hinreichende) Performance resultiert oder ein prinzipiell anderes Ergebnis resultiert. Ein qualitativ verändertes Ergebnis kann z.B. eine Entscheidung für ein prinzipiell anderes Manöver (z.B. Ausweichen anstatt Bremsen oder Bremsen anstatt auszuweichen) und/oder ein Eintritt einer anderen Konsequenz, wie z.B. einer Kollision, umfassen.
Beispielsweise kann ermittelt werden, bei welchen Parametern einer realen Fahrsituation im Falle eines realen Fahrzeugs ein prinzipiell verändertes Ergebnis zu erwarten ist (z.B. bei welchen Grenzparametern das Ergebnis der Fahrsituation sozusagen umschlägt) oder eine besonders stark oder prinzipiell veränderte Entscheidung (z.B. Manöverparameter) und/oder Konsequenz resultiert. Alternativ oder zusätzlich kann eine Toleranzgrenze eines bestimmten Entwicklungsstands in Bezug auf Parameter der Fahrsituation ermittelt werden.
BEISPIEL (2)
Es werden mehrere Sätze von Reaktionsdaten RD1(V1), RD1(V2), RD1(V3), ... ermittelt, die die Reaktionen eines Entwicklungsstands ES1 auf eine Vielzahl der Varianten V1, V2, V3 des Modifizierens eines Satzes der ersten Datenabschnitte DA1, DA2, DA3 kennzeichnen.
Die Reaktionsdaten RD1(V1), RD1(V2), RD1(V3), ... auf Basis mehrerer Varianten der von den zweiten Datenabschnitten DA2(V1), DA2(V2), DA2(V2) repräsentierten Fahrsituation werden verarbeitet und/oder untereinander verglichen. Beispielsweise können abhängig von den Reaktionsdaten RD1(V1), RD1(V2), RD1(V3), ... Performanceindikatoren KPI1(V1), KPI1(V2), KPI1(V3), ... des Entwicklungsstands ES1 ermittelt werden, die bei unterschiedlichen Sätzen der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V2) erreicht werden.
Die Performanceindikatoren KPI1(V1), KPI1(V2), KPI1(V3), ... und/oder das Ergebnis des Vergleichs der Performanceindikatoren KPI1(V1), KPI1(V2), KPI1(V3), ... können zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems verwendet werden.
BEISPIEL (3)
Es werden mehrere Sätze von Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... ermittelt, die die Reaktionen mehrerer Entwicklungsstände ES1, ES2, ES3, ... auf eine oder mehrere Varianten V1, V2, V3, ... des Modifizierens eines Satzes der ersten Datenabschnitte DA1, DA2, DA3 kennzeichnen.
Die Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... können die Reaktionen unterschiedlicher Entwicklungsstände ES1, ES2, ES3, ... auf die gleiche Fahrsituation und/oder auf unterschiedliche Fahrsituationen kennzeichnen. Dies kann mit einem jeweiligen Satz der zweiten Datenabschnitte DA2(V1) DA2(V2), DA2(V3) erfolgen. Beispielsweise können abhängig von den Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... der Entwicklungsstände ES1, ES2, ES3, ... ermittelt werden. Diese können verarbeitet und/oder (z.B. nach einem vorausbestimmten Kriterium bzw. nach einer vorausbestimmten Formel) untereinander verglichen werden.
Die Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... und/oder das Ergebnis des Vergleichs der Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... bzw. von den Performanceindikatoren abhängiger Daten können zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems verwendet werden.
BEISPIEL (4)
Es werden mehrere Sätze von Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... ermittelt, die die Reaktionen mehrerer Entwicklungsstände ES1, ES2, ES3, ... auf mehrere Varianten des Modifizierens eines oder mehrerer Sätze der ersten Datenabschnitte DA1, DA2, DA3(V1), DA1, DA2, DA3(V2), DA1, DA2, DA3(V3) kennzeichnen.
Die Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... können die Reaktionen unterschiedlicher Entwicklungsstände ES1, ES2, ES3, ... auf die gleiche Fahrsituation und/oder auf unterschiedliche Fahrsituationen kennzeichnen. Dies kann mit einem Satz der zweiten Datenabschnitte DA2(V1) oder mit mehreren Sätzen der zweiten Datenabschnitte DA2(V1), DA2(V2), DA2(V3), ... erfolgen. Beispielsweise können abhängig von den Reaktionsdaten RD2(V1), RD2(V1), RD2(V3), ... Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... der Entwicklungsstände ES1, ES2, ES3, ... ermittelt werden. Diese können verarbeitet und/oder (z.B. nach einem vorausbestimmten Kriterium bzw. nach einer vorausbestimmten Formel) untereinander verglichen werden.
Die Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... und/oder das Ergebnis des Vergleichs der Performanceindikatoren KPI1(V1), KPI2(V1), KPI2(V1), ... bzw. von den Performanceindikatoren abhängiger Daten können zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems verwendet werden.
Derartige Ergebnisse der Auswertung der Reaktionsdaten können ferner bei der Homologation von Fahrzeugen (z.B. auf Basis eines Entwicklungsstands ES1, ES2, ES3, ...), insbesondere von zumindest teilweise automatisiert fahrbaren Fahrzeugen berücksichtigt werden. Beispielsweise kann eine Homologation der Fahrzeuge zumindest teilweise basierend auf der Verarbeitung und/oder dem Vergleich der Reaktionsdaten erfolgen. Die Homologation sowie eine Erfüllung oder ein Nachweis einer Betriebsauflage kann im Rahmen des vorliegenden Dokuments als ein Teil der Absicherung des Fahrzeugs betrachtet werden.
Ferner können die Daten auf Basis der Reaktionsdaten zum Trainieren eines neuronalen Netzes, verwendet werden. Diese Variante der Erfindung ist besonders vorteilhaft, weil im Rahmen des Verfahrens (auch gezielt) eine sehr große Menge an verwertbaren Daten zum Trainieren eines neuronalen Netzes erzeugt werden können.
Durch die Erfindung kann (z.B. hinsichtlich eines erforderlichen Aufwands, Risiken und/oder Zeit) eine Einsparung in der Größenordnung vieler Zehnerpotenzen generiert und/oder ein effizientes Entwickeln, Absichern, Trainieren, eine effiziente Homologation, eine effiziente Markteinführung sowie Weiterentwicklung von automatisiert fahrenden Fahrzeuge ermöglicht werden.

Claims

Verfahren zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Entwicklungsstandes eines Fahrzeugsystems umfassend: - Ermitteln (S1) eines oder mehrerer erster Datenabschnitte (DA1, DA2, DA3), die eine reale Situation in der Umgebung eines realen Fahrzeugs (RF1) repräsentieren, insbesondere abhängig von einer Trigger-Bedingung; - Erzeugen (S2) zweiter Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) aus dem einen oder den mehreren ersten Datenabschnitten (DA1, DA2, DA3) und einem oder mehreren virtuellen Objekten (VO1, ...); - Erzeugen (S3) von Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)), die eine Reaktion eines ersten Entwicklungsstandes (ES1, ES2, ES3) eines Fahrzeugsystems auf die zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) kennzeichnen; - Verwenden (S4) der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) zum Entwickeln, Absichern und/oder Trainieren des ersten Entwicklungsstandes (ES1, ES2, ES3) und/oder Betreiben eines zweiten Entwicklungsstandes (ES1', ES2', ES3') des Fahrzeugsystems.
Verfahren nach Anspruch 1, wobei das Erzeugen (S2) der zweiter Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) durch Hinzufügen des einen oder der mehreren virtuellen Objekten (VO1, ...) zu dem einen oder mehreren ersten Datenabschnitten (DA1, DA2, DA3), und/oder durch Modifizieren der ersten Datenabschnitte (DA1, DA2, DA3) abhängig von dem einen oder den mehreren virtuellen Objekten (VO1, ...) ausgeführt wird.
Verfahren nach Anspruch 1 oder 2, wobei die Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) kennzeichnend sind für eine Reaktion des ersten Entwicklungsstandes (ES1, ES2, ES3) auf: - eine teilweise reale und teilweise virtuell modifizierte Umgebung des Fahrzeugs (RF1); - ein oder mehrere virtuelle Objekte (VO1, ...), insbesondere eine Bewegung und/oder ein Verhalten eines oder mehrerer virtueller Objekte (VO1, ...); - ein oder mehrere reale Objekte (RO1, RO2) in Anwesenheit eines oder mehrerer virtueller Objekte (VO1, ...), insbesondere bei einer bestimmten Bewegung und/oder einem bestimmten Verhalten eines oder mehrerer virtueller Objekte (VO1, ...).
Verfahren nach einem der vorangegangenen Ansprüche, wobei die Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) eine Reaktion eines realen Fahrzeugs (RF1) auf ein einem virtuellen Objekt (VO1, ...) entsprechendes reales Objekt, insbesondere in einer durch einen oder mehrere der ersten Datenabschnitte (DA1, DA2, DA3) repräsentierten Umgebung, kennzeichnen.
Verfahren nach einem der vorangegangenen Ansprüche, wobei Betriebsdaten, die für einen Betrieb des realen Fahrzeugs (RF1) kennzeichnend sind und die mit der realen Situation in der Umgebung des Fahrzeugs (RF1) korrespondieren, ermittelt werden und, insbesondere beim Betreiben des Entwicklungsstandes (ES1, ES2, ES3), beim Verarbeiten der Reaktionsdaten (RD(V1), RD(V2), RD(V3)) und/oder beim Auswerten der Reaktionsdaten (RD(V1), RD(V2), RD(V3)) und/oder beim Verwenden (4) der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) berücksichtigt werden.
Verfahren nach einem der vorangegangenen Ansprüche, wobei abhängig von einer Trigger-Bedingung ein Übertragen des oder der ersten Datenabschnitte (DA1, DA2, DA3) von dem realen Fahrzeug (RF1) in ein Backend erfolgt, und wobei auf Basis des oder der ersten Datenabschnitte (DA1, DA2, DA3) eine Vielzahl von zweiten Datenabschnitten (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)), insbesondere jeweils aus einem oder mehreren virtuellen Objekten (VO1, ...), insbesondere mit virtuellen Objekten (VO1, ...) mit jeweils unterschiedlichen Parametern, erzeugt werden.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei die zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), DA2(VN)) eine Veränderung der realen Umgebung des Fahrzeugs (RF1) und/oder eine durch das Einfügen und/oder Modifizieren mit einem oder mehreren virtuellen Objekten (VO1, ...) veränderte Umgebung des Fahrzeugs (RF1) repräsentieren, wobei die zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) abhängig von einem oder mehreren Parametern kennzeichnend eine Beschaffenheit und/oder ein Verhalten des einen oder der mehreren virtuellen Objekte (VO1, ...) und/oder kennzeichnend eine Reaktion des einen oder der mehreren virtuellen Objekte (VO1, ...) auf einen Teil der realen Umgebung des Fahrzeugs (RF1) und/oder auf eine Situation in der Umgebung des Fahrzeugs (RF1) erzeugt werden.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei eine Vielzahl von Sätzen der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) eines Entwicklungsstandes (ES1, ES2, ES3), insbesondere mehrerer unterschiedlicher Entwicklungsstände (ES1, ES2, ES3), des Fahrzeugsystems auf einen oder mehrere Sätze der zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)), insbesondere zumindest teilweise gleichzeitig und/oder mittels einer Vielzahl von Prozessorkernen und/oder Prozessoren, erzeugt werden.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei eine Verarbeitung einer Vielzahl von Sätzen der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) jeweils auf Basis einer Vielzahl unterschiedlicher zweiter Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) eines Entwicklungsstandes (ES1, ES2, ES3), erzeugt wurden, ausgeführt wird und das Ergebnis der Verarbeitung zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems (ES1, ES2, ES3) verwendet wird.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei auf Basis der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) ein Maß einer Performance des Entwicklungsstands (ES1, ES2, ES3) und/oder ein Maß einer Empfindlichkeit des Entwicklungsstandes (ES1, ES2, ES3) in Bezug auf eine Veränderung eines Parameters des virtuellen Objekts (VO1, ...) oder der virtuellen Objekte (VO1, ...) ermittelt wird.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei ein Abgleich von auf Basis einer Vielzahl der zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) jeweils ermittelten Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) und/oder jeweils erreichten Maßen der Performance ausgeführt wird und das Ergebnis des Abgleichs zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines zweiten Entwicklungsstands (ES1, ES2, ES3) verwendet wird.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei abhängig von, insbesondere auf Basis der zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) und/oder Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) ein Trainieren eines neuronalen Netzes eines zweiten Entwicklungsstands (ES1, ES2, ES3) ausgeführt wird, wobei das Ergebnis des Trainierens zum Update, zur Nachrüstung und/oder zum Betreiben eines Fahrzeugs, insbesondere eines dem realen Fahrzeug (RF1) ähnlichen Fahrzeugs oder eines gegenüber dem realen Fahrzeug (RF1) weiterentwickelten Fahrzeugs, bereitgestellt und/oder verwendet wird.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei es sich bei dem Fahrzeugsystem um ein Fahrerassistenzsystem und/oder um ein System zur Ausführung oder Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung und/oder Manöverausführung eines Fahrzeugs handelt, insbesondere um ein System zum zumindest teilweise automatisierten Fahren und/oder Parken.
Verfahren nach einem oder mehreren vorangegangenen Ansprüchen, wobei zum Ermitteln des ersten Datenabschnitts (DA1, DA2, DA3) oder der ersten Datenabschnitte (DA1, DA2, DA3), insbesondere abhängig von der Trigger-Bedingung, eine Aktivierung, eine Veränderung eines Betriebsmodus, und/oder eine Ansteuerung: - eines Sensors und/oder - einer Verarbeitung der Sensordaten und/oder - eines realen Systems des realen Fahrzeugs (RF1) erfolgt.
System zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems, wobei das System eingerichtet ist zum: - Ermitteln (S1) eines oder mehrerer erster Datenabschnitte (DA1, DA2, DA3), die eine reale Situation in der Umgebung eines realen Fahrzeugs (RF1) repräsentieren, insbesondere abhängig von einer Trigger-Bedingung; - Erzeugen (S2) zweiter Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) aus dem einen oder den mehreren ersten Datenabschnitten (DA1, DA2, DA3) und einem oder mehreren virtuellen Objekten (VO1, ...); - Erzeugen (S3) von Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)), die eine Reaktion eines ersten Entwicklungsstandes (ES1, ES2, ES3) eines Fahrzeugsystems auf die zweiten Datenabschnitte (DA2(V1), DA2(V2), DA2(V3), ... DA2(VN)) kennzeichnen; - Verwenden (S4) der Reaktionsdaten (RD(V1), RD(V2), RD(V3), ... RD(VN)) zum Entwickeln, Absichern und/oder Trainieren des ersten Entwicklungsstandes (ES1, ES2, ES3) und/oder Betreiben eines zweiten Entwicklungsstandes (ES1', ES2', ES3') eines Fahrzeugsystems.