DE102021110810A1 - Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system - Google Patents
Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system Download PDFInfo
- Publication number
- DE102021110810A1 DE102021110810A1 DE102021110810.1A DE102021110810A DE102021110810A1 DE 102021110810 A1 DE102021110810 A1 DE 102021110810A1 DE 102021110810 A DE102021110810 A DE 102021110810A DE 102021110810 A1 DE102021110810 A1 DE 102021110810A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- data
- real
- virtual object
- reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 title claims abstract description 24
- 238000004590 computer program Methods 0.000 title abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 140
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000011161 development Methods 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 12
- 230000001276 controlling effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 29
- 238000012360 testing method Methods 0.000 description 23
- 230000009471 action Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 11
- 230000001419 dependent effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 102100036497 Telomeric repeat-binding factor 1 Human genes 0.000 description 8
- 230000008901 benefit Effects 0.000 description 8
- 108010033711 Telomeric Repeat Binding Protein 1 Proteins 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011905 homologation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011076 safety test Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000289581 Macropus sp. Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 241000272534 Struthio camelus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/55—External transmission of data to or from the vehicle using telemetry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren, ein System (1) und ein Computerprogramm zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems. Das Verfahren umfasst die Schritte:- Erzeugen von Datenabschnitten, die ein virtuelles Objekt (V01, VO2) in einer Umgebung eines Fahrzeugs (RF1) während des Fahrbetriebs des Fahrzeugs (RF1) repräsentieren;- Verarbeiten, insbesondere im Fahrzeug (RF1), der Datenabschnitte, zusammen mit Daten des Fahrzeugs (RF1);- Erzeugen von Reaktionsdaten eines Systems (SYSF) des Fahrzeugs (RF1), wobei die Reaktionsdaten eine Reaktion des Systems (SYSF) auf die verarbeiteten Datenabschnitte kennzeichnen;- Bereitstellen der Reaktionsdaten des Systems (SYSF) des Fahrzeugs (RF1) zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems.The invention relates to a method, a system (1) and a computer program for developing, validating, training and/or operating a vehicle system. The method comprises the steps: - Generating data sections that represent a virtual object (VO1, VO2) in an environment of a vehicle (RF1) while the vehicle (RF1) is driving; - Processing, in particular in the vehicle (RF1), the data sections , together with data of the vehicle (RF1);- generating reaction data of a system (SYSF) of the vehicle (RF1), the reaction data identifying a reaction of the system (SYSF) to the processed data sections;- providing the reaction data of the system (SYSF) of the vehicle (RF1) for developing, securing, training and/or operating a vehicle system.
Description
Die Erfindung betrifft ein Verfahren, ein System sowie ein korrespondierendes Computerprogramm zum Erzeugen von Daten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems (auch zu verstehen als: eines Entwicklungsstands für ein Fahrzeug oder eines Fahrzeugs). Ferner betrifft die Erfindung die Entwicklung, die Absicherung, das Trainieren und/oder das Betreiben eines Systems des Fahrzeugs. Des Weiteren betrifft die Erfindung einen entsprechenden Betrieb, z.B. einen Testbetrieb bzw. Absicherungsbetrieb, auf Basis eines oder mehrerer Fahrzeuge (z.B. Versuchsträger und/oder Kundenfahrzeuge), insbesondere einer Flotte von Fahrzeugen (z.B. einer Versuchsflotte bzw. Kundenflotte). Ferner gehört zum Umfang der Erfindung ein System (z.B. als ein entsprechender Entwicklungsstand) und/oder eine Funktionalität eines - insbesondere zumindest teilweise automatisiert fahrbaren - Fahrzeugs, welches gemäß den Merkmalen der Erfindung entwickelt, abgesichert, trainiert, und/oder betrieben wird oder worden ist.The invention relates to a method, a system and a corresponding computer program for generating data for developing, validating, training and/or operating a vehicle system (also to be understood as: a development status for a vehicle or a vehicle). Furthermore, the invention relates to the development, validation, training and/or operation of a system of the vehicle. The invention also relates to a corresponding operation, e.g. a test operation or validation operation, based on one or more vehicles (e.g. test vehicles and/or customer vehicles), in particular a fleet of vehicles (e.g. a test fleet or customer fleet). The scope of the invention also includes a system (e.g. as a corresponding development status) and/or a functionality of a vehicle - in particular at least partially automated - which is or has been developed, secured, trained and/or operated according to the features of the invention .
Bei der Absicherung moderner Fahrzeuge muss auch das Verhalten des Fahrzeugs in Bezug auf Situationen (z.B. Fahrsituationen) erfolgen, die hinsichtlich ihrer Konsequenz für das Fahrzeug sowie weitere Verkehrsteilnehmer nicht harmlos sind.When securing modern vehicles, the behavior of the vehicle in relation to situations (e.g. driving situations) must also take place, which are not harmless in terms of their consequences for the vehicle and other road users.
Der Aufwand, die Kosten sowie der Zeitbedarf für die Absicherung können mit einer weiter steigenden Komplexität der Systeme und Funktionalitäten moderner Fahrzeuge stark ansteigen.The effort, costs and time required for validation can increase significantly with the increasing complexity of the systems and functionalities of modern vehicles.
Insbesondere für die Entwicklung des automatisierten Fahrens ist die Berücksichtigung einer sehr großen Anzahl von Situationen, insbesondere Fahrsituationen, notwendig. Besonders mit der Erhöhung des Automatisierungsgrads von zumindest teilweise automatisiert fahrbaren Fahrzeugen steigt die Anzahl der relevanten Fahrsituationen, die von den Fahrzeugen zweckmäßig gehandhabt werden müssen, sehr stark (auch stark nichtlinear) an.For the development of automated driving in particular, a very large number of situations, especially driving situations, must be taken into account. Especially with the increase in the degree of automation of vehicles that can be driven at least partially automatically, the number of relevant driving situations that have to be handled expediently by the vehicles increases very strongly (also in a strongly non-linear manner).
Daher ist es die Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren, ein System sowie ein Computerprogramm zum Erzeugen von Daten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems aufzuzeigen. Insbesondere bezieht sich die Aufgabe der Erfindung auf ein zumindest teilweise automatisiert fahrbares Fahrzeug bzw. ein System eines solchen Fahrzeugs zur Ausführung eines zumindest teilweise automatisierten Fahrers. Ferner kann zur Aufgabe der Erfindung eine Verwendung (auch zu verstehen als ein Betreiben) eines oder mehrerer Versuchsträger und/oder Kundenfahrzeuge gemäß den Merkmalen der Erfindung gehören. Darunter kann auch ein entsprechender Entwicklungsbetrieb bzw. Versuchsbetrieb einer Versuchsflotte verstanden werden.It is therefore the object of the present invention to provide an improved method, a system and a computer program for generating data for developing, validating, training and/or operating a vehicle system. In particular, the object of the invention relates to an at least partially automated vehicle or a system of such a vehicle for performing an at least partially automated driver. Furthermore, the object of the invention can include using (also to be understood as operating) one or more test vehicles and/or customer vehicles according to the features of the invention. This can also be understood as a corresponding development operation or test operation of a test fleet.
Die Aufgabe der Erfindung wird durch die Merkmale jedes der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object of the invention is solved by the features of each of the independent patent claims. Advantageous embodiments are described in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to the technical teachings described in the description, which can form an invention independent of the features of the independent patent claims.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen von Daten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems. Das Verfahren umfasst ein Erzeugen von Datenabschnitten, die ein virtuelles Objekt in einer Umgebung eines (realen) Fahrzeugs während des Fahrbetriebs des Fahrzeugs repräsentieren. Das Verfahren umfasst ferner ein Verarbeiten der Datenabschnitte im Fahrzeug zusammen mit (weiteren, insbesondere aktuellen) Daten des Fahrzeugs, wodurch verarbeitete Datenabschnitte erzeugt werden (d.h. ermittelt werden). Dies kann mit einer Recheneinheit des Fahrzeugs erfolgen. Daraufhin (insbesondere zu verstehen als: bei dem Verarbeiten, in Reaktion auf das Verarbeiten, insbesondere etwa im selben bzw. in einem zusammenhängenden Zeitintervall mit dem Verarbeiten) erfolgt ein Erzeugen von Reaktionsdaten eines Systems des Fahrzeugs, wobei die Reaktionsdaten eine Reaktion des Systems auf die verarbeiteten Datenabschnitte kennzeichnen. Ferner umfasst das Verfahren ein Bereitstellen der Reaktionsdaten des (realen) Systems des Fahrzeugs zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems (welches mit dem System des Fahrzeugs identisch oder von diesem verschieden sein kann). Des Weiteren kann das Verfahren die Verwendung von derart erzeugten der Daten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems (welches mit dem System des Fahrzeugs identisch oder von diesem verschieden sein kann) umfassen.A first aspect of the invention relates to a method for generating data for developing, validating, training and/or operating a vehicle system. The method includes generating data sections that represent a virtual object in an environment of a (real) vehicle while the vehicle is being driven. The method also includes processing the data sections in the vehicle together with (additional, in particular current) data from the vehicle, as a result of which processed data sections are generated (i.e. determined). This can be done with a computing unit in the vehicle. Thereupon (to be understood in particular as: during the processing, in response to the processing, in particular approximately at the same or in a related time interval with the processing) reaction data of a system of the vehicle is generated, the reaction data being a reaction of the system to the identify processed data sections. Furthermore, the method includes providing the reaction data of the (real) system of the vehicle for developing, validating, training and/or operating a vehicle system (which can be identical to or different from the system of the vehicle). Furthermore, the method can include the use of the data generated in this way for developing, validating, training and/or operating a vehicle system (which can be identical to or different from the system of the vehicle).
Das Erzeugen der Datenabschnitte repräsentierend ein virtuelles Objekt in einer Umgebung eines Fahrzeugs während des Fahrbetriebs des Fahrzeugs kann abhängig von einer oder mehreren Trigger-Bedingungen erfolgen. Die eine oder die mehreren Trigger-Bedingungen können im Fahrzeug vorgesehen, zum Fahrzeug versendet und/oder per Fernsteuerung aktiviert, deaktiviert, verändert oder umgeschaltet werden.The generation of the data sections representing a virtual object in an environment of a vehicle while driving the Vehicle can be dependent on one or more trigger conditions. The one or more trigger conditions can be provided in the vehicle, sent to the vehicle and/or activated, deactivated, changed or switched via remote control.
In einem einfachen Fall kann das Erzeugen der Datenabschnitte ein Abrufen und/oder Abspielen von (zumindest teilweise vorgespeicherten) Datenabschnitten repräsentierend das zumindest eine virtuelle Objekt sein. Dabei können die Datenabschnitte in Abhängigkeit von einer Trigger-Bedingung und/oder von einer realen Situation, insbesondere Fahrsituation, in der Umgebung des Fahrzeugs ausgewählt werden. Bevorzugt können die Datenabschnitte repräsentierend das virtuelle Objekt in der Umgebung des Fahrzeugs in Echtzeit erzeugt und/oder laufend (z.B. im Verlauf einer Fahrsituation) verändert werden, z.B. gemäß einer bestimmten Regel (laufend) neu ermittelt bzw. aktualisiert werden.In a simple case, the generation of the data sections can be a retrieval and/or playback of (at least partially pre-stored) data sections representing the at least one virtual object. The data sections can be selected as a function of a trigger condition and/or of a real situation, in particular a driving situation, in the area surrounding the vehicle. The data sections representing the virtual object in the area surrounding the vehicle can preferably be generated in real time and/or changed continuously (e.g. in the course of a driving situation), e.g. redetermined or updated (continuously) according to a specific rule.
In einem einfachen Fall kann das Verarbeiten der Datenabschnitte repräsentierend zumindest ein virtuelles Objekt ein Einlesen der Datenabschnitte durch das System des Fahrzeugs, eine Veränderung eines Datenformats, eine Vorverarbeitung der Datenabschnitte zusammen mit weiteren Daten und/oder eine Fusion der Datenabschnitte mit weiteren Daten, insbesondere mit Datenabschnitten repräsentierend einen Teil der (realen) Umgebung des Fahrzeugs (im Folgenden auch als „erste Datenabschnitte“ bezeichnet) umfassen.In a simple case, the processing of the data sections representing at least one virtual object can involve reading the data sections through the vehicle's system, changing a data format, pre-processing the data sections together with other data and/or merging the data sections with other data, in particular with Data sections representing part of the (real) environment of the vehicle (hereinafter also referred to as “first data sections”) include.
Die Daten des Fahrzeugs, mit denen die Datenabschnitte repräsentierend das virtuelle Objekt zusammen im Fahrzeug verarbeitet werden, können alternativ oder zusätzlich diverse weitere (insbesondere im selben Zeitintervall gültige) Daten, z.B. kennzeichnend einen Zustand des Fahrzeugs, z.B. einer Funktionalität des Fahrzeugs, sein. Diese (weiteren) Daten des Fahrzeugs können z.B. Daten einer Funktion des Fahrzeugs, des Fahrwerks des Fahrzeugs, z.B. einen Zustand einer Funktion bzw. des Fahrwerks des Fahrzeugs kennzeichnende Daten sein.The data of the vehicle, with which the data sections representing the virtual object are processed together in the vehicle, can alternatively or additionally be various other data (in particular valid in the same time interval), e.g. characterizing a state of the vehicle, e.g. a functionality of the vehicle. This (additional) data of the vehicle can, for example, be data of a function of the vehicle, of the vehicle's chassis, e.g. data characterizing a state of a function or of the vehicle's chassis.
Die verarbeiteten Datenabschnitte sind insbesondere Datenabschnitte, die abhängig von den Datenabschnitten repräsentierend das virtuelle Objekt und weiteren, insbesondere jeweils aktuellen bzw. etwa im selben Zeitintervall aktuellen, Daten des Fahrzeugs ermittelt wurden.The processed data sections are, in particular, data sections that were determined as a function of the data sections representing the virtual object and other data of the vehicle, in particular current data or data current approximately in the same time interval.
Das Ergebnis der Verarbeitung der Datenabschnitte repräsentierend ein virtuelles Objekt unterscheidet sich insbesondere (bevorzugt: unterscheidet sich wesentlich) von Datenabschnitten, die ohne das virtuelle Objekt, insbesondere (bzw. im Wesentlichen nur) abhängig von realen Objekten in der Umgebung des Fahrzeugs vorliegen oder vorliegen würden.The result of the processing of the data sections representing a virtual object differs in particular (preferably: differs significantly) from data sections that exist or would exist without the virtual object, in particular (or essentially only) depending on real objects in the area surrounding the vehicle .
Die verarbeiteten Datenabschnitte können zumindest zeitweise und/oder teilweise anstatt der ersten Datenabschnitte repräsentierend zumindest einen Teil der Umgebung des Fahrzeugs an das System des Fahrzeugs, insbesondere an das System des Fahrzeugs zur Ausführung eines zumindest teilweise automatisierten Fahrern oder Parkens bereitgestellt werden.The processed data sections can be provided at least temporarily and/or partially instead of the first data sections representing at least part of the vehicle's environment to the vehicle's system, in particular to the vehicle's system for performing at least partially automated driving or parking.
Das Erzeugen von Reaktionsdaten des Systems des Fahrzeugs kann erfolgen, indem die verarbeiteten Datenabschnitte zum Betreiben des Systems des Fahrzeugs verwendet werden. Beispielsweise werden die verarbeiteten Datenabschnitte als eine oder mehrere Eingangsdaten (Inputgrößen) zum Betreiben des Systems des Fahrzeugs verwendet.Generating vehicle system response data may be accomplished by using the processed data portions to operate the vehicle system. For example, the processed data portions are used as one or more inputs to operate the vehicle's system.
Die Reaktionsdaten des Systems des Fahrzeugs auf die verarbeiteten Datenabschnitte können Daten sein, die eine (unmittelbare oder mittelbare) Reaktion des Systems des Fahrzeugs auf die verarbeiteten Datenabschnitte kennzeichnen. Die Reaktionsdaten des Systems des Fahrzeugs können einen Teil der Ausgangsdaten (Outputgrößen) des Systems des Fahrzeugs umfassen, wenn das System des Fahrzeugs mit den verarbeiteten Datenabschnitten betrieben wird.The vehicle's system response data to the processed data chunks may be data indicative of a response (direct or indirect) of the vehicle's system to the processed data chunks. The vehicle system response data may comprise a portion of the vehicle system output data when the vehicle system is operated with the processed data portions.
Dabei wird das (reale) System des Fahrzeugs insbesondere im Fahrbetrieb des Fahrzeugs mit den verarbeiteten Datenabschnitten (z.B. im einfachsten Fall: mit den Datenabschnitten des virtuellen Objekts und den weiteren, realen Daten des Fahrzeugs) betrieben. Das System des Fahrzeugs ist insbesondere ein Teil des Fahrzeug bzw. im Fahrzeug mitgeführt, insbesondere ein Teil eines Versuchsträgers oder eines Kundenfahrzeugs.The (real) system of the vehicle is operated with the processed data sections (e.g. in the simplest case: with the data sections of the virtual object and the other real data of the vehicle), especially when the vehicle is being driven. The vehicle system is in particular a part of the vehicle or carried in the vehicle, in particular a part of a test vehicle or a customer vehicle.
Das System des Fahrzeugs kann in einem Kundenfahrzeug (z.B. ohne eine Auswirkung auf den Fahrzeughalter und/oder mit einer Zustimmung des Fahrzeughalters) betrieben werden. Beispielsweise wird das System des Fahrzeugs als ein zweites System betrieben, das zusätzlich oder ersatzweise zu einem für einen Kundenbetrieb vorgesehenen System bereitgestellt wird.The vehicle's system may be operated in a customer's vehicle (e.g., without impact on the vehicle owner and/or with the vehicle owner's consent). For example, the vehicle's system is operated as a second system provided in addition to or as a substitute for a system intended for customer operation.
Besonders bevorzugt wird das System des Fahrzeugs zumindest teilweise gleichzeitig mit einem weiteren (hinsichtlich seiner Funktionalität gleichen, ähnlichen oder unterschiedlichen) System des Fahrzeugs betrieben. Letzteres kann ein Referenzsystem sein. Dabei können die Reaktionsdaten des Systems des Fahrzeugs mit den Reaktionsdaten des Referenzsystems verglichen werden. Das Ergebnis des Vergleichs kann in diesem Fall zu den Reaktionsdaten gezählt werden und insbesondere als die Reaktionsdaten, insbesondere zusätzlich zu weiteren Reaktionsdaten, bereitgestellt werden.The system of the vehicle is particularly preferably operated at least partially simultaneously with another system of the vehicle (which is the same, similar or different in terms of its functionality). The latter can be a reference system. The reaction data of the vehicle's system can be compared with the reaction data of the reference system. In this case, the result of the comparison can be one of the Response data are counted and, in particular, are provided as the response data, in particular in addition to further response data.
Das Erzeugen von Reaktionsdaten des Systems des Fahrzeugs kann (in einem einfachen Beispiel) ein Ermitteln qualitativer und/oder quantitativer Parameter der Reaktion des Systems des Fahrzeugs sein oder umfassen. Besonders bevorzugt werden die Reaktionsdaten des Systems des Fahrzeugs erzeugt, indem das System des Fahrzeugs (in einer kontrollierten Art und Weise, insbesondere zumindest teilweise unabhängig von einer Ausführung einer sogenannten Kundenfunktion) mit den verarbeiteten Datenabschnitten betrieben wird. Dabei kann das System des Fahrzeugs (neben den verarbeiteten Datenabschnitten) auch mit weiteren (z.B. zum Betrieb des Systems des Fahrzeugs erforderlichen bzw. typischen) realen Daten, insbesondere Daten repräsentierend einen Datenaustausch oder eine Reaktion einer weiteren Vorrichtung des Fahrzeugs und/oder Daten von einem oder mehreren Sensoren des Fahrzeugs, betrieben werden. Mit anderen Worten kann das System des Fahrzeugs (im Übrigen) in einem zumindest teilweise realen Betrieb, insbesondere in einer physikalischen, regelungstechnischen und/oder informationstechnischen Wirkverbindung mit einer oder mehreren Vorrichtungen des Fahrzeugs, betrieben werden.Generating response data of the vehicle's system may (in a simple example) be or include determining qualitative and/or quantitative parameters of the response of the vehicle's system. The reaction data of the vehicle's system is particularly preferably generated by the vehicle's system being operated (in a controlled manner, in particular at least partially independently of an execution of a so-called customer function) with the processed data sections. The system of the vehicle (in addition to the processed data sections) can also be processed with other real data (e.g. required or typical for the operation of the system of the vehicle), in particular data representing a data exchange or a reaction of another device of the vehicle and/or data from a or several sensors of the vehicle. In other words, the system of the vehicle can (otherwise) be operated in an at least partially real operation, in particular in a physical, control-related and/or information-related operative connection with one or more devices of the vehicle.
Insbesondere kann vorgesehen sein, dass die Reaktionsdaten des Systems des Fahrzeugs nicht oder nicht unmittelbar oder nur unter Einhaltung einer weiteren Bedingung bzw. Verarbeitung zum Steuern eines Aktors des Fahrzeugs verwendet werden.In particular, it can be provided that the reaction data of the system of the vehicle are not used, or not directly, or only in compliance with a further condition or processing for controlling an actuator of the vehicle.
Die Reaktionsdaten können mit oder ohne eine Speicherung im Fahrzeug an das Backend bereitgestellt werden. Bevorzugt werden abhängig vom Zutreffen einer vorausbestimmten Bedingung Abschnitte der Reaktionsdaten ausgewählt und/oder an ein Backend bereitgestellt.The reaction data can be provided to the backend with or without storage in the vehicle. Sections of the reaction data are preferably selected and/or made available to a backend depending on the fulfillment of a predetermined condition.
Unter dem Begriff „Reaktionsdaten“ sind im Rahmen des vorliegenden Dokuments auch von den (unmittelbaren) Reaktionsdaten abhängige Daten zu verstehen.In the context of this document, the term "reaction data" also includes data dependent on the (direct) reaction data.
Das Erzeugen der Datenabschnitte repräsentierend das virtuelle Objekt ist bevorzugt zu verstehen als ein Ermitteln der Datenabschnitte während einer aktuellen Fahrsituation und/oder für eine weitere (z.B. darauffolgende und/oder prädizierte) Fahrsituation.The generation of the data sections representing the virtual object is preferably to be understood as determining the data sections during a current driving situation and/or for a further (e.g. subsequent and/or predicted) driving situation.
Bevorzugt wird das Erzeugen der Datenabschnitte abhängig von einer aktuellen, vor einigen Sekunden geltenden, und/oder in einer nahen Zukunft (z.B. von einigen Sekunden) erwarteten Fahrsituation veranlasst. Beispielsweise kann eine Auswahl der Datenabschnitte repräsentierend ein virtuelles Objekt abhängig von einem oder mehreren Parametern und/oder Mustern der (aktuellen und/oder erwarteten) Fahrsituation erfolgen.The generation of the data sections is preferably initiated as a function of a current driving situation that applied a few seconds ago and/or is expected in the near future (e.g. a few seconds). For example, the data sections representing a virtual object can be selected depending on one or more parameters and/or patterns of the (current and/or expected) driving situation.
Alternativ oder zusätzlich können Datenabschnitte repräsentierend ein virtuelles Objekt in einer bestimmten mathematischen Abhängigkeit von dem einen oder mehreren Parametern der Fahrsituation, insbesondere gemäß einem bestimmten mathematischen Zusammenhang (z.B. gemäß einer vorausbestimmten Regel, Formel, Koeffizienten einer Formel), erzeugt werden.Alternatively or additionally, data sections representing a virtual object can be generated in a specific mathematical dependency on the one or more parameters of the driving situation, in particular according to a specific mathematical relationship (e.g. according to a predetermined rule, formula, coefficients of a formula).
Beispielsweise können abhängig von dem Erkennen einer bestimmten Parametern (z.B. Parameterwertebereichen) entsprechenden und/oder bestimmten Mustern entsprechenden (z.B. mit einem oder mehreren bestimmten Mustern hinreichend ähnlichen oder unähnlichen) Fahrsituation, Fahrbahnanordnung (z.B. Anordnung, Winkel, Radius, Neigung, etc. von Straßen, Spuren, Einfahrten, Ausfahrten, Kreisverkehr) und/oder Verkehrsregeln (z.B. Verkehrszeichen, Ampeln, Ampelphasen, Anzeigen, Verkehrsinformationen) ein virtuelles Objekt erzeugt werden.For example, depending on the detection of a specific parameter (e.g. parameter value ranges) corresponding and/or specific patterns corresponding (e.g. with one or more specific patterns sufficiently similar or dissimilar) driving situation, roadway arrangement (e.g. arrangement, angle, radius, inclination, etc. of roads , lanes, entrances, exits, roundabouts) and/or traffic rules (e.g. traffic signs, traffic lights, traffic light phases, displays, traffic information) a virtual object is generated.
Beispielsweise kann ein oder mehrere Parameter des virtuellen Objekts als eine Funktion des einen oder mehreren Parameter und/oder Muster einer aktuelle erkannten, vor einigen Sekunden geltenden und/oder einer (z.B. mit einer vergleichsweise hohen, überdurchschnittlichen bzw. eine gewisse Schwelle übersteigender Wahrscheinlichkeit) erwarteten, erwartbaren bzw. prädizierten Fahrsituation (in der Umgebung des Fahrzeugs und/oder mit Beteiligung des Fahrzeugs) erfolgen.For example, one or more parameters of the virtual object can be a function of the one or more parameters and/or patterns currently recognized, valid a few seconds ago and/or expected (e.g. with a comparatively high, above-average or a certain threshold probability). , expected or predicted driving situation (in the vicinity of the vehicle and/or involving the vehicle).
Alternativ oder zusätzlich können die Datenabschnitte repräsentierend ein virtuelles Objekt in einer bestimmten mathematischen Abhängigkeit von dem einen oder mehreren Parametern oder Muster einer (im Zusammenhang mit der Fahrsituation geltender bzw. erkannter) Fahrbahnanordnung und/oder von dem einen oder mehreren Parametern oder Muster von (im Zusammenhang mit der Fahrsituation geltenden bzw. erkannten) Verkehrsregeln erzeugt werden.Alternatively or additionally, the data sections representing a virtual object can be generated in a specific mathematical dependence on the one or more parameters or patterns of a roadway arrangement (applicable or recognized in connection with the driving situation) and/or on the one or more parameters or patterns of (in Connection with the driving situation applicable or recognized) traffic rules are generated.
Bevorzugt können die Datenabschnitte repräsentierend das virtuelle Objekt abhängig von einem oder mehreren Parametern erzeugt werden, die kennzeichnend sind für eine der Fahrsituation, Fahrbahnanordnung, und/oder Verkehrsregeln in der Vergangenheit (z.B. von einigen Sekunden), eine zum aktuellen Zeitpunkt (z.B. im aktuellen Zeitintervall von wenigen Sekunden) gültige Fahrsituation Fahrbahnanordnung, und/oder Verkehrsregeln und/oder eine Fahrsituation, Fahrbahnanordnung, und/oder Verkehrsregeln die in der nahen Zukunft (z.B. in den nächsten Sekunden) zu erwarten ist.Preferably, the data sections representing the virtual object can be generated depending on one or more parameters that are characteristic of one of the driving situation, lane arrangement, and/or traffic rules in the past (e.g. of a few seconds), one at the current time (e.g. in the current time interval of a few seconds) valid driving situation lane arrangement, and/or traffic rules and/or a driving situation, lane arrangement, and/or traffic regulations that can be expected in the near future (e.g. in the next few seconds).
Besonders bevorzugt werden die Datenabschnitte repräsentierend ein virtuelles Objekt abhängig von einem oder mehreren Parametern einer aktuellen und/oder prädizierten Fahrsituation, Fahrbahnanordnung, und/oder geltender Verkehrsregeln gemäß einer vorausbestimmten Logik, Regel, Formel bzw. einem oder mehreren Koeffizienten einer vorausbestimmter Formel erzeugt.The data sections representing a virtual object are particularly preferably generated as a function of one or more parameters of a current and/or predicted driving situation, road layout and/or applicable traffic rules according to a predetermined logic, rule, formula or one or more coefficients of a predetermined formula.
Der ein oder mehrere (qualitative und/oder quantitative) Parameter des virtuellen Objekts können gemäß einer vorausbestimmten mathematischen Abhängigkeit abhängig von den Parametern der Fahrsituation, der Fahrbahnanordnung, und/oder geltender Verkehrsregeln ermittelt werden. Das virtuelle Objekt kann daraufhin gemäß der ermittelten Parameter erzeugt und/oder (z.B. während der Fahrsituation) betrieben werden, insbesondere dynamische Eigenschaften, Bewegung, Verhalten aufweisen bzw. (entsprechend) dynamisch gesteuert werden.The one or more (qualitative and/or quantitative) parameters of the virtual object can be determined according to a predetermined mathematical dependency depending on the parameters of the driving situation, the layout of the roadway, and/or applicable traffic rules. The virtual object can then be generated according to the determined parameters and/or operated (e.g. during the driving situation), in particular have dynamic properties, movement, behavior or (correspondingly) dynamically controlled.
Beispielsweise kann eine Veränderung eines oder mehrerer Parameter der Fahrsituation, Fahrbahnanordnung, und/oder Verkehrsregeln zu einer Veränderung eines entsprechenden Datenabschnitts repräsentierend ein virtuelles Objekt (z.B. etwa zum selben oder darauffolgenden Zeitpunkt) führen. Besonders bevorzugt reagiert das virtuelle Objekt (z.B. entsprechend) auf das (reale) Fahrzeug und/oder ein oder mehrere reale Objekte, und/oder auf eine Veränderung der Parameter des Fahrzeugs und/oder eines oder mehrerer realer Objekte in der Umgebung bzw. innerhalb der Fahrsituation.For example, a change in one or more parameters of the driving situation, lane arrangement, and/or traffic rules can lead to a change in a corresponding data section representing a virtual object (e.g. at about the same or a subsequent point in time). The virtual object particularly preferably reacts (e.g. accordingly) to the (real) vehicle and/or one or more real objects, and/or to a change in the parameters of the vehicle and/or one or more real objects in the environment or within the driving situation.
Beispielsweise werden die Datenabschnitte repräsentierend ein virtuelles Objekt zu einem bestimmten kurzen Zeitintervall erzeugt abhängig von dem einen oder mehreren Parametern einer Fahrsituation, die vor dem Zeitintervall gegolten haben, während des Zeitintervalls gelten und/oder nach dem Zeitintervall gelten werden, insbesondere zu erwarten sind.For example, the data sections representing a virtual object are generated at a specific short time interval depending on the one or more parameters of a driving situation that applied before the time interval, apply during the time interval and/or will apply after the time interval, in particular are to be expected.
Das Verarbeiten der Datenabschnitte, die ein virtuelles Objekt repräsentieren, zusammen mit Daten des Fahrzeugs kann umfassen bzw. verstanden werden als ein Betreiben des Systems des Fahrzeugs mit oder abhängig von den Datenabschnitten, die ein virtuelles Objekt repräsentieren und den Daten des Fahrzeugs. Die Daten des Fahrzeugs können dabei zumindest einen Datenabschnitt, der einen oder mehrere reale Vorgänge (bevorzugt betreffend dieselbe Fahrsituation bzw. Zeitintervall) repräsentiert aufgefasst werden.The processing of the data sections representing a virtual object together with data of the vehicle can comprise or be understood as operating the system of the vehicle with or depending on the data sections representing a virtual object and the data of the vehicle. The data of the vehicle can be interpreted as at least one data section that represents one or more real processes (preferably relating to the same driving situation or time interval).
Alternativ oder zusätzlich kann das Verarbeiten zumindest einen Vorverarbeitungsschritt umfassen. Dabei kann das Verarbeiten der Datenabschnitte, die ein virtuelles Objekt repräsentieren, zusammen mit Daten des Fahrzeugs (auch) umfassen:
- - Ermitteln der Daten des Fahrzeugs abhängig von den Datenabschnitten, die das zumindest eine virtuelle Objekt repräsentieren und/oder von dem virtuellen Objekt, das in den Datenabschnitten repräsentiert wird; und/oder
- - Verändern der Datenabschnitte, die das zumindest ein virtuelles Objekt repräsentieren abhängig von den Daten des Fahrzeugs; und/oder
- - Zuordnen von Datenabschnitten (die das zumindest ein virtuelles Objekt repräsentieren) zu den Daten des Fahrzeugs.
- - determining the data of the vehicle depending on the data sections that represent the at least one virtual object and/or on the virtual object that is represented in the data sections; and or
- - Changing the data sections that represent the at least one virtual object depending on the data of the vehicle; and or
- - Assigning data sections (representing the at least one virtual object) to the data of the vehicle.
Das Verarbeiten kann gemäß einer vorausbestimmten Bedingung teilweise nach einem Zufallsprinzip und/oder jeweils (für eine oder mehrere unterschiedliche Verwendungen der resultierenden Reaktionsdaten) zweckmäßig variiert werden.The processing may be varied according to a predetermined condition, partially randomly and/or expediently (for one or more different uses of the resulting response data).
Das Verarbeiten der Datenabschnitte, die ein virtuelles Objekt repräsentieren, zusammen mit Daten des Fahrzeugs erfolgt bevorzugt während des Fahrbetriebs und/oder im Fahrzeug (mit den mit dem Fahrzeug mitgeführten Mitteln). In einem vereinfachten Fall kann das Verarbeiten mehr oder minder direkt bzw. unmittelbar mit dem System des Fahrzeugs erfolgen. Alternativ oder zusätzlich kann das Verarbeiten außerhalb des Systems des Fahrzeugs, insbesondere des Entwicklungstands, beispielsweise in einer hierfür eingerichteten Vorrichtung bzw. einem hierfür eingerichteten Modul (innerhalb oder außerhalb des Fahrzeugs) erfolgen.The processing of the data sections, which represent a virtual object, together with data of the vehicle preferably takes place during driving operation and/or in the vehicle (with the means carried with the vehicle). In a simplified case, the processing can be done more or less directly with the vehicle's system. Alternatively or additionally, the processing can take place outside the system of the vehicle, in particular the development status, for example in a device or a module set up for this purpose (inside or outside the vehicle).
Die Reaktionsdaten des Systems des Fahrzeugs können derart erzeugt werden, dass diese genau oder vergleichsweise genau eine Reaktion des Systems des Fahrzeugs repräsentieren, die resultieren würde, wenn anstatt des virtuellen Objekts ein (etwa entsprechendes bzw. vergleichbare Parameter aufweisendes) reales Objekt auftreten und ggf. mit dem (realen) Fahrzeug und/oder gegenüber bzw. mit zumindest einem realen Objekt aus der Umgebung des Fahrzeugs agieren und/oder intergieren würde.The reaction data of the vehicle's system can be generated in such a way that they represent exactly or comparatively exactly a reaction of the vehicle's system that would result if a real object (having approximately corresponding or comparable parameters) occurred instead of the virtual object and possibly would act and/or interact with the (real) vehicle and/or opposite or with at least one real object from the environment of the vehicle.
Das Erzeugen der Reaktionsdaten bereits während der Fahrsituation (während der Dauer der Fahrsituation) ist auch als während des Fahrbetriebs (bzw. im Fahrbetrieb) zu verstehen. Dadurch können in einem hohen Maße für die Fahrpraxis repräsentative, d.h. praxisrelevante Effekte bzw. Kombinationen von Effekten berücksichtigende, sozusagen „echte“ Reaktionsdaten erzeugt werden. Außerdem kann eine in einem hohen Maße realistische bzw. realitätsnahe Merkmale aufweisende (sozusagen „echte“) Interaktion zwischen dem Fahrzeug und dem zumindest einem virtuellen Objekt ermittelt, modelliert, simuliert und/oder entsprechende Reaktionsdaten erzeugt werden.The generation of the reaction data already during the driving situation (during the duration of the driving situation) is also to be understood as during driving operation (or in driving operation). As a result, effects that are representative of driving practice, i.e. that take into account practical effects or combinations of effects, so to speak “real” Response data are generated. In addition, an interaction between the vehicle and the at least one virtual object that has highly realistic or realistic features (“real” so to speak) can be determined, modeled, simulated and/or corresponding reaction data can be generated.
Besonders bevorzugt werden die Reaktionsdaten im Fahrzeug (auch zu verstehen: ganz, teilweise oder überwiegend mittels des Systems des Fahrzeugs bzw. mittels einer im Fahrzeug mitgeführten Recheneinheit) erzeugt. Alternativ oder zusätzlich können die Reaktionsdaten zumindest teilweise (als zumindest ein Teil der erforderlichen Berechnungen) in einer von dem Fahrzeug beabstandet angeordneten Recheneinheit, z.B. in dem Backend erfolgen. Bevorzugt kann dies während der Fahrsituation (d.h. auch während dem entsprechendem Geschehen), z.B. zumindest teilweise in Echtzeit erfolgen. Das kann z.B. mittels eines schnellen, z.B. mit einem Mobilfunk-Standard von 5G oder höher ausgeführten, Austauschs der entsprechenden Datenpakete zwischen dem Fahrzeug und der beabstandet angeordneten Recheneinheit erfolgen.The reaction data are particularly preferably generated in the vehicle (also to be understood: entirely, partially or predominantly by means of the system of the vehicle or by means of a computing unit carried along in the vehicle). Alternatively or additionally, the reaction data can be at least partly (as at least part of the required calculations) in a computing unit arranged at a distance from the vehicle, e.g. in the backend. This can preferably take place during the driving situation (i.e. also during the corresponding events), e.g. at least partially in real time. This can be done, for example, by means of a fast exchange of the corresponding data packets between the vehicle and the remotely arranged computing unit, e.g. using a mobile radio standard of 5G or higher.
In einem Beispiel des Verfahrens können die Reaktionsdaten auf die verarbeitete Datenabschnitte (zumindest teilweise, zumindest überwiegend oder ganz) in einer Recheneinheit, die bevorzugt zum Backend gehört oder mit diesem Verbunden ist, erzeugt werden. Diese können abhängig von den entsprechenden Daten des Fahrzeugs, z.B. der vom Fahrzeug nahezu in Echtzeit ermittelten Daten erfolgen. Dabei ergibt sich der Vorteil, dass im Backend ein Vielfaches an Ressourcen (z.B. Rechenleistung, Speicher, Datenzugriffe, etc.) bereitgestellt werden kann. Es können mehrere Varianten der Reaktionsdaten (insbesondere nahezu in Echtzeit) erzeugt werden.In an example of the method, the response data to the processed data sections can be generated (at least partially, at least predominantly or entirely) in a computing unit that preferably belongs to the backend or is connected to it. This can be done depending on the corresponding data of the vehicle, e.g. the data determined by the vehicle in almost real time. This has the advantage that a multiple of resources (e.g. computing power, memory, data access, etc.) can be provided in the backend. Several variants of the reaction data (particularly in near real time) can be generated.
Dabei kann eine Vielzahl der Reaktionsdaten von einem oder mehreren mit dem System des Fahrzeugs korrespondierenden Entwicklungsständen, z.B. von einem Entwicklungsstand von mehreren verarbeiteten Daten eines oder mehrerer Fahrzeuge, und/oder von mehreren unterschiedlichen Entwicklungsständen ermittelt werden. Die resultierenden Reaktionsdaten können ferner einem Abgleich untereinander und/oder mit Referenzwerten bzw. Referenzfunktionen unterzogen werden.A large number of reaction data can be determined from one or more development statuses corresponding to the system of the vehicle, e.g. from a development status from several processed data of one or more vehicles, and/or from several different development statuses. The resulting reaction data can also be compared with one another and/or with reference values or reference functions.
Das Ergebnis des Abgleichs kann zu diversen, insbesondere in diesem Dokument beschriebenen Zielen und Zwecken verwendet werden bzw. verwendbar gemacht werden.The result of the comparison can be used or made usable for various goals and purposes, which are described in particular in this document.
Beispielsweise kann im Backend eine Aggregation und/oder Verarbeitung (z.B. eine Weiterverarbeitung und/oder ein Verwenden von aggregierten Daten) von mehreren Fahrzeugen erfolgen. Dies kann sich auf diverse in diesem Dokument beschriebene Daten (z.B. der Reaktionsdaten) von einer Vielzahl der Fahrzeuge beziehen.For example, an aggregation and/or processing (e.g. further processing and/or use of aggregated data) of several vehicles can take place in the backend. This can refer to various data described in this document (e.g. the reaction data) from a large number of the vehicles.
Dabei kann ein (ggf. komplexes und rechenaufwändiges) Erzeugen der Reaktionsdaten bzw. eine Aggregation von Reaktionsdaten (auch zu verstehen als: Daten auf Basis der Reaktionsdaten) ausgeführt werden.A (possibly complex and computationally expensive) generation of the reaction data or an aggregation of reaction data (also to be understood as: data on the basis of the reaction data) can be carried out.
Insbesondere kann es sich um ein Backend handeln, das zu einem zumindest quasigleichzeitigen und/oder parallelen Erzeugen bzw. Weiterverarbeiten von einer Vielzahl der Reaktionsdaten, bevorzugt von einer Vielzahl von Fahrzeugen, z.B. einer Fahrzeugflotte, eingerichtet ist. Insbesondere ist das Backend mit Ressourcen eingerichtet, die z.B. jeweils entsprechende bzw. nächstähnliche Art der Ressourcen eines etwa zur selben Zeit üblichen Systems des Fahrzeugs bzw. des Entwicklungsstandes um einen Faktor von 102, 103, 104, 105, 106 oder sogar 108 übertrifft.In particular, it can be a backend that is set up for at least quasi-simultaneous and/or parallel generation or further processing of a large number of reaction data, preferably from a large number of vehicles, eg a vehicle fleet. In particular, the backend is set up with resources that are, for example, the corresponding or most similar type of resources of a vehicle system or development status that was common at about the same time by a factor of 10 2 , 10 3 , 10 4 , 10 5 , 10 6 or even surpasses 10 8 .
Als das Backend ist im Rahmen des vorliegenden Dokuments als ein Server, eine Cloud, ein Rechenzentrum, und/oder eine (zumindest teilweise stationäre) Entwicklungsumgebung mit einer zentralen oder dezentralen Architektur aufzufassen. Das entsprechend eingerichtete Backend gehört ebenfalls zur Erfindung bzw. kann als ein Aspekt der Erfindung und/oder als ein Teil des erfindungsgemäßen Systems betrachtet werden.In the context of the present document, the backend is to be understood as a server, a cloud, a data center and/or a (at least partially stationary) development environment with a centralized or decentralized architecture. The correspondingly set up backend also belongs to the invention or can be regarded as an aspect of the invention and/or as part of the system according to the invention.
Unter dem Begriff „Reaktionsdaten“ können auch beliebige, von den Reaktionsdaten abhängige, z.B. komprimierte, (vor)verarbeitete, zumindest teilweise analysierte Daten, z.B. Analyseergebnisse auf Basis der Reaktionsdaten verstanden werden.The term "reaction data" can also be understood to mean any data dependent on the reaction data, e.g. compressed, (pre)processed, at least partially analyzed, e.g. analysis results based on the reaction data.
Beispielsweise werden die Reaktionsdaten und die mit den Reaktionsdaten korrespondierenden weiteren in diesem Dokument beschrieben Daten, z.B. die (ersten) Datenabschnitte, Daten die das ein oder mehrere entsprechende virtuelle Objekt repräsentieren, etc. bereitgestellt. Diese können z.B. wenn eine jeweils hinreichend große Anzahl von Daten bzw. eine hinreichend große Datenbasis gesammelt wird, an das Backend bereitgestellt werden.For example, the reaction data and the further data described in this document corresponding to the reaction data, e.g. the (first) data sections, data representing the one or more corresponding virtual objects, etc. are provided. These can, for example, be made available to the backend if a sufficiently large amount of data or a sufficiently large database is collected.
Die bereitgestellten Daten können zu diversen Zwecken verwendet werden, wie beispielsweise zu einem (zumindest teilweise rechnergestützten) Auswerten. Das Auswerten kann ein insbesondere rechnergestütztes Analysieren, eine Aggregation und/oder eine oder mehrere z.B. statistische Auswertungen umfassen.The data provided can be used for various purposes, such as an (at least partially computer-aided) evaluation. The evaluation can include, in particular, computer-aided analysis, aggregation and/or one or more statistical evaluations, for example.
Beispielsweise können abhängig von der Auswertung der Reaktionsdaten Entscheidungen in der Entwicklung getroffen werden, Logik, Parameter und/oder Leistungsmerkmale des Fahrzeugs bzw. des Systems des Fahrzeugs gewählt oder verbessert bzw. zur Verbesserung der Performance verändert oder optimiert werden. Beispielsweiser können die Veränderungen oder Optimierungen auch bei einem oder mehreren bereits im Betrieb befindlichen (z.B. ausgelieferten) Fahrzeugen aktiviert, deaktiviert oder verändert werden.For example, depending on the evaluation of the reaction data, decisions can be made in development, logic, parameters and/or performance features of the vehicle or the system of the vehicle can be selected or improved or changed or optimized to improve performance. For example, the changes or optimizations can also be activated, deactivated or changed in one or more vehicles that are already in operation (eg delivered).
Das Bereitstellen der Reaktionsdaten des realen Systems des Fahrzeugs kann ein Speichern der Daten in einem mit dem Fahrzeug verbauten oder mitführbaren Speicher und/oder ein Übermitteln der Daten an ein Backend umfassen. Insbesondere können in einem Versuchsträger dort verwendbare Festplatten bzw. ROM verwendet werden. Der Speicher kann später aus den Fahrzeugen entnommen und/oder der Speicherinhalt ausgelesen werden. Zur Vereinfachung der vorliegenden Beschreibung wird im Rahmen dieses Dokuments auch ein Bereitstellen und/oder Verwenden der Reaktionsdaten (auch zu verstehen als: der von den Reaktionsdaten abhängigen Daten bzw. der Daten auf Basis der Reaktionsdaten) an ein Backend beschrieben, ohne eine Einschränkung, in welcher Weise, in welchem Format oder nach welchen Verarbeitungsschritten dies erfolgt.The provision of the reaction data of the real system of the vehicle can include storing the data in a memory that is built into or can be carried along with the vehicle and/or transmitting the data to a backend. In particular, hard disks or ROMs that can be used there can be used in a test vehicle. The memory can later be removed from the vehicles and/or the memory content can be read out. To simplify the present description, this document also describes the provision and/or use of the reaction data (also to be understood as: the data dependent on the reaction data or the data based on the reaction data) to a backend, without restriction, in how, in which format or after which processing steps this is done.
Das Verfahren kann diverse Varianten des Verwendens der Reaktionsdaten (darunter zu verstehen sind auch von Reaktionsdaten abhängige Daten) zum Entwickeln, Absichern und/oder Trainieren eines Fahrzeugsystems umfassen. Beispielsweise kann ein dem System des Fahrzeugs entsprechendes, einen Teil davon umfassendes oder auf diesem basierendes Fahrzeugsystem unter Berücksichtigung der Daten entwickelt, abgesichert und/oder trainiert werden. Das Fahrzeugsystem kann z.B. anhand eines entsprechenden Entwicklungsstands entwickelt, abgesichert bzw. trainiert werden. Zu der Erfindung gehören ferner die Daten auf Basis der Reaktionsdaten, z.B. eine Datenbasis mit einer Vielzahl der Daten oder Datensätze auf Basis diverser, insbesondere eine Vielzahl unterschiedlicher Reaktionsdaten. Beispielsweise kann mit dem Verfahren eine Entwicklungsdatenbasis oder Absicherungsdatenbasis geschaffen werden, die ebenfalls zur Erfindung gehört. Ferner gehören zur Erfindung Systeme oder Funktionalitäten von Fahrzeugen bzw. zum Betreiben von Fahrzeugen die abhängig von den Reaktionsdaten, z.B. von einer Vielzahl von von R den Reaktionsdaten abhängigen Daten, entwickelt, abgesichert und/oder trainiert sind.The method can include various variants of using the reaction data (this also includes data dependent on reaction data) for developing, securing and/or training a vehicle system. For example, a vehicle system that corresponds to the system of the vehicle, includes a part of it, or is based on it can be developed, validated, and/or trained, taking the data into account. The vehicle system can, for example, be developed, validated or trained based on a corresponding development status. The invention also includes the data based on the reaction data, e.g. a database with a large number of data or data sets based on diverse, in particular a large number of different, reaction data. For example, a development database or validation database can be created with the method, which also belongs to the invention. The invention also includes systems or functionalities of vehicles or for operating vehicles that are developed, validated and/or trained depending on the reaction data, e.g. on a large number of data dependent on R the reaction data.
Unter dem Begriff „Entwicklungsstand“ ist ein Entwicklungsstand eines Systems des Fahrzeugs, z.B. umfassend eine Version einer Software und/oder einer Hardware des Systems des Fahrzeugs oder des Fahrzeugs, zu verstehen. Insbesondere können zu dem Entwicklungsstand eine sogenannte Middleware und/oder ein oder mehrere neuronale Netze und/oder Daten, insbesondere ein Zwischenstand z.B. ein Checkpoint eines neuronalen Netzes gezählt werden. Unter dem Begriff Entwicklungsstand kann aber auch ein entsprechender Stand des Fahrzeugsystems, wie z.B. ein Stand zur Auslieferung des Fahrzeugs oder eines Updates bzw. Upgrades oder ein Weiterentwicklungsstand im Rahmen dieses Dokuments als der Entwicklungsstand aufgefasst werden. Beispielsweise kann darunter auch ein (auch der letzte, zur Auslieferung bzw. zum Update an Fahrzeuge bestimmte) Stand des entwickelten, abgesicherten, trainierter Entwicklungsstand für ein Systems des Fahrzeugs verstanden werden.The term "development status" means a development status of a system of the vehicle, e.g. comprising a version of software and/or hardware of the system of the vehicle or of the vehicle. In particular, what is known as middleware and/or one or more neural networks and/or data, in particular an intermediate status, e.g. a checkpoint of a neural network, can be counted as part of the development status. However, the term development status can also be understood as a corresponding status of the vehicle system, such as a status at the time of delivery of the vehicle or an update or upgrade or a further development status in the context of this document as the development status. For example, this can also be understood as a status (also the last one intended for delivery or update to vehicles) of the developed, secured, trained development status for a system of the vehicle.
Unter dem Begriff „Fahren“ kann im Rahmen dieses Dokuments alternativ oder zusätzlich das (z.B. automatisierte) Parken bzw. Rangieren verstanden werden.In the context of this document, the term "driving" can be understood as alternative or additional (e.g. automated) parking or manoeuvring.
Als „real“ sind im Rahmen dieses Dokuments physikalisch, insbesondere mechanisch wirksame Gegebenheiten, wie z.B. Objekte, Objektmerkmale etc., zu verstehen.In the context of this document, “real” means physical, in particular mechanically effective conditions, such as objects, object features, etc.
Als „virtuell“ sind im Rahmen dieses Dokuments auf Daten basierte bzw. durch Daten repräsentierte bzw. ausgedrückte Gegebenheiten, die insbesondere keine entsprechende physikalisch bzw. mechanisch wirksame Komponente nach sich ziehen, zu verstehen.In the context of this document, “virtual” is to be understood as data-based or data-represented or expressed conditions that, in particular, do not entail any corresponding physically or mechanically effective components.
Der Begriff „Reaktion“ ist im Rahmen dieses Dokuments alternativ oder zusätzlich als eine „Interaktion“ zu verstehen.In the context of this document, the term "reaction" is to be understood alternatively or additionally as an "interaction".
Der Begriff „Repräsentieren“ ist im Rahmen des vorliegenden Dokuments insbesondere als „Kennzeichnen“ zu verstehen. Beispielsweise können, müssen aber nicht, ein oder mehrere der Datenabschnitte absolute oder relative Koordinaten und/oder Bewegungen des Fahrzeugs und/oder von Objekten aus seiner Umgebung (mehr oder minder explizit) repräsentieren. Diese können z.B. mittels erkannter Muster erkannt und/oder in den Datenabschnitten (z.B. durch stellvertretene Zahlen, Codes, Muster) repräsentiert, insbesondere gekennzeichnet, sein.In the context of the present document, the term "represent" is to be understood in particular as "identification". For example, one or more of the data sections may, but need not, represent (more or less explicitly) absolute or relative coordinates and/or movements of the vehicle and/or objects in its surroundings. These can be recognized, for example, by means of recognized patterns and/or represented, in particular marked, in the data sections (e.g. by means of representative numbers, codes, patterns).
Beispielsweise handelt es sich bei dem System des Fahrzeugs um ein Fahrerassistenzsystem oder ein System zur Ausführung oder Unterstützung einer zumindest teilweise automatisierten Längsführung, Querführung und/oder Manöverausführung des Fahrzeugs, wie z.B. ein System zum zumindest teilweise automatisierten Fahren und/oder Parken. Beispielsweise kann das System des Fahrzeugs ein automatisches Bremssystem, ein Bremsassistent bzw. ein AEB(Autonomous Emergency Braking)-System oder ein System zum präventiven Fußgängerschutz umfassen oder sein.For example, the vehicle system is a driver assistance system or a system for executing or supporting at least partially automated longitudinal guidance, lateral guidance and/or maneuver execution of the vehicle, such as a system for at least partially automated driving and/or parking. For example, the system of the vehicle can include or be an automatic braking system, a braking assistant or an AEB (Autonomous Emergency Braking) system or a system for preventive pedestrian protection.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der Level SAE-5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.In the context of the document, the term "automated driving" can be understood as driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. The term "automated driving" includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication "Research compact", issue 11/2012). With assisted driving, the driver constantly performs longitudinal or lateral guidance, while the system takes over the other function within certain limits. With semi-automated driving (TAF), the system takes over longitudinal and lateral guidance for a certain period of time and/or in specific situations, whereby the driver has to constantly monitor the system, as with assisted driving. With highly automated driving (HAD), the system takes over longitudinal and lateral guidance for a certain period of time without the driver having to constantly monitor the system; however, the driver must be able to take control of the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically handle driving in all situations for a specific application; a driver is no longer required for this application. The four levels of automation mentioned above, as defined by BASt, correspond to
Die im Rahmen des vorliegenden Dokuments diskutierte Größe repräsentierend den Automatisierungsgrad der Fahrt des Fahrzeugs kann etwa abhängig von derartigen Standards definiert werden. Bevorzugt kennzeichnet diese allerdings eine feinere bzw. differenziertere Unterscheidung, insbesondere hinsichtlich konkreter Funktionalitäten, z.B. bei Längsführung und/oder Querführung des Fahrzeugs.The variable discussed in the context of the present document, representing the degree of automation of the vehicle's journey, can be defined as a function of such standards. However, this preferably indicates a finer or more differentiated distinction, in particular with regard to specific functionalities, e.g. in the case of longitudinal guidance and/or lateral guidance of the vehicle.
Durch die Erfindung ergibt sich die Möglichkeit den Entwicklungsstand eines (bzw. des bestimmten) Systems des Fahrzeugs bzw. für ein Fahrzeug mittels des Verfahrens (sozusagen mit einem „Sicherheitsnetz“) zu testen, abzusichern und/oder zu trainieren.The invention makes it possible to test, secure and/or train the development status of a (or the specific) system of the vehicle or for a vehicle using the method (so to speak with a “safety net”).
Dennoch kann das Verfahren bzw. das System (ggf. in einer zweckmäßig angepasster Form) auf beliebige andere Systeme und/oder Funktionalitäten des Fahrzeugs angewandt werden.Nevertheless, the method or the system (possibly in an appropriately adapted form) can be applied to any other systems and/or functionalities of the vehicle.
Dabei können auch (z.B. für einen Performancenachweis, eine Zulassung und/oder eine Markteinführung des Fahrzeugs relevante) Reaktionsdaten des Entwicklungsstands für bestimmte (gewünschte oder notwendige), z.B. in einem realen Fahrbetrieb bzw. im Versuchsbetrieb äußerst selten vorkommende Situationen gewonnen werden. Beispielsweise kann dies zum Zweck einer Identifizierung von Fehlern oder Performanceschwächen oder eines Nachweises einer (z.B. zu einer Markteinführung des Systems des Fahrzeugs erforderlichen bzw. erwünschten) Performance, Sicherheit und/oder Verlässlichkeit erfolgen.It is also possible to obtain reaction data on the development status (e.g. relevant for performance verification, approval and/or market launch of the vehicle) for certain (desired or necessary) situations that occur extremely rarely, e.g. in real driving or in test operation. For example, this can be done for the purpose of identifying errors or performance weaknesses or proving performance, safety and/or reliability (e.g. required or desired for a market launch of the vehicle system).
Ferner kann das Verfahren diverse Schritte der Entwicklung, zur Absicherung, zum Trainieren, und/oder zum Betreiben eines Fahrzeugsystems (z.B. des realen Systems des Fahrzeugs bzw. einer nächsten Version oder Generation für das System des Fahrzeugs) abhängig von, insbesondere auf Basis der ermittelten bzw. erzeugten Daten umfassen. Darunter ist auch zu verstehen, dass eine Weiterentwicklung des Systems des Fahrzeugs abhängig von, insbesondere auf Basis der im Verfahren ermittelten bzw. erzeugten Daten, insbesondere der Reaktionsdaten, erfolgen kann.Furthermore, the method can include various steps in the development, validation, training and/or operation of a vehicle system (e.g. the real system of the vehicle or a next version or generation for the system of the vehicle) depending on, in particular on the basis of the determined or generated data include. This also means that the system of the vehicle can be further developed as a function of, in particular on the basis of, the data determined or generated in the method, in particular the reaction data.
Beispielsweise kann ein im Fahrzeug verbautes bzw. mitgeführtes System des Fahrzeugs abhängig von den Reaktionsdaten getestet, weiterentwickelt, abgesichert und/oder trainiert werden. Dabei kann eine nächste Version bzw. Generation des Systems des Fahrzeugs (insbesondere auch zu verstehen als Software, Parameter bzw. Daten eines neuronalen Netzes zum Einrichten bzw. Aktualisieren der nächsten Version bzw. Generation des Systems des Fahrzeugs) abhängig von den Reaktionsdaten getestet, weiterentwickelt, abgesichert und/oder trainiert werden.For example, a system of the vehicle installed or carried in the vehicle can be tested, further developed, secured and/or trained depending on the reaction data. A next version or generation of the vehicle system (also to be understood in particular as software, parameters or data of a neural network for setting up or updating the next version or generation of the vehicle system) can be tested and further developed depending on the reaction data , secured and/or trained.
Gemäß einer weiteren Ausgestaltung sind die Reaktionsdaten des Systems des Fahrzeugs kennzeichnend für eine Planung der Führung des Fahrzeugs, insbesondere zur Ausführung eines Manövers und/oder für Steuerungssignale zum Ansteuern eines Aktors des Fahrzeugs, insbesondere eines Aktors des Fahrwerks des Fahrzeugs.According to a further embodiment, the reaction data of the vehicle's system are indicative of a planning of the guidance of the vehicle, in particular for the execution of a maneuver and/or for control signals for Controlling an actuator of the vehicle, in particular an actuator of the chassis of the vehicle.
Besonders bevorzugt sind die Reaktionsdaten kennzeichnend, insbesondere repräsentierend, für eine Planung der Führung des Fahrzeugs, insbesondere zur Ausführung eines Manövers, z.B. eines Fahrmanövers bzw. eines Park- oder Rangiermanövers. Insbesondere kennzeichnen bzw. repräsentieren die Reaktionsdaten einen Ablauf der Führung des Fahrzeugs innerhalb einer gewissen Zeit, wie z.B. 5, 10, 15, 30, 40 oder 60 Sekunden und/oder einer gewissen Fahrstrecke, wie z.B. 5, 10, 50, 100 oder 150 Meter. Insbesondere können die Reaktionsdaten eine Bahnplanung, eine Manöverplanung und/oder einen Teil einer (z.B. durch das System des Fahrzeugs bzw. abhängig von dem System des Fahrzeugs) geplanten Trajektorie des Fahrzeugs kennzeichnen, insbesondere repräsentieren.The reaction data are particularly preferably indicative, in particular representative, for planning the guidance of the vehicle, in particular for carrying out a maneuver, e.g. a driving maneuver or a parking or maneuvering maneuver. In particular, the reaction data characterize or represent a course of driving the vehicle within a certain time, such as 5, 10, 15, 30, 40 or 60 seconds and/or a certain driving distance, such as 5, 10, 50, 100 or 150 Meter. In particular, the reaction data can characterize, in particular represent, a path plan, a maneuver plan and/or part of a trajectory of the vehicle planned (e.g. by the vehicle system or depending on the vehicle system).
Die Reaktionsdaten, insbesondere die Planung der Führung des Fahrzeugs, kann in Bezug auf das Fahrzeug, in Bezug auf ein reales Objekt in der Umgebung des Fahrzeugs, in Bezug auf eine Geo-Position und/oder in Bezug auf das virtuelle Objekt ermittelt werden. Beispielsweise können Reaktionsdaten als Datenabschnitte repräsentierend einen oder mehrere Parameter eines Manövers, z.B. in Bezug auf das virtuelle Objekt erzeugt werden. Die Reaktionsdaten können repräsentierend für eine Reaktion des Systems des Fahrzeugs sein, die in der Realität eintreten würde, wenn das virtuelle Objekt real wäre.The reaction data, in particular the planning of the guidance of the vehicle, can be determined in relation to the vehicle, in relation to a real object in the area surrounding the vehicle, in relation to a geo-position and/or in relation to the virtual object. For example, response data may be generated as portions of data representing one or more parameters of a maneuver, e.g., related to the virtual object. The reaction data can be representative of a reaction of the vehicle's system that would occur in reality if the virtual object were real.
Ein besonderer Vorteil ist dabei, dass die Reaktionsdaten auch diverse reale Gegebenheiten sowie ihre Kombinationen mit berücksichtigen können, die für einen Betrieb der Fahrzeuge (z.B. Kundenfahrzeuge, die abhängig von Reaktionsdaten entwickelt werden) sehr relevant sein können.A particular advantage is that the reaction data can also take into account various real circumstances and their combinations, which can be very relevant for the operation of the vehicles (e.g. customer vehicles that are developed depending on the reaction data).
Bevorzugt berücksichtigen die Reaktionsdaten eine weitere Interaktion, wie z.B. eine Reibung (z.B. einen oder mehrere Reibungsvorgänge bzw. Reibungskoeffizienten bzw. typischerweise komplexe Verläufe von Reibungskräften zwischen einem Fahrzeug bzw. einem realen Objekt in der Umgebung des Fahrzeugs und der Fahrbahn), einen Wettereinfluss, einen oder mehrere aerodynamische Effekte, Eigenschaften des (realen) Fahrwerks des Fahrzeugs und/oder eine Trägheit beweglicher Teile im Fahrzeug und/oder eines oder mehrerer realen Objekte in der Umgebung des Fahrzeugs.The reaction data preferably take into account a further interaction, such as friction (e.g. one or more friction processes or friction coefficients or typically complex courses of friction forces between a vehicle or a real object in the environment of the vehicle and the road), a weather influence, a or multiple aerodynamic effects, properties of the (real) chassis of the vehicle and/or an inertia of moving parts in the vehicle and/or one or more real objects in the environment of the vehicle.
Gemäß einer weiteren Ausgestaltung handelt es sich bei der Reaktion des Systems des Fahrzeugs um eine Wirkung des Systems des Fahrzeugs auf eine weitere Vorrichtung des Fahrzeugs und/oder um eine Wechselwirkung des Systems des Fahrzeugs mit einer weiteren Vorrichtung des Fahrzeugs.According to a further embodiment, the reaction of the vehicle system is an effect of the vehicle system on a further device in the vehicle and/or an interaction of the vehicle system with a further device in the vehicle.
Eine solche Vorrichtung kann z.B. ein Teil eines Fahrwerks des Fahrzeugs oder eine mit dem Fahrwerk des Fahrzeugs in Verbindung bzw. Wirkverbindung stehende Vorrichtung (z.B. Komponente) des Fahrzeugs sein.Such a device can, for example, be part of a chassis of the vehicle or a device (e.g. component) of the vehicle that is connected or operatively connected to the chassis of the vehicle.
Dabei kann es sich um eine physikalische, regelungstechnische und/oder informationstechnische Wirkung, insbesondere Einwirkung oder Wechselwirkung handeln.This can be a physical, control-technical and/or information-technical effect, in particular an action or interaction.
Mit anderen Worten kann es sich um eine physikalische und/oder informationstechnische Reaktion des Systems des Fahrzeugs eine (in Reaktion auf das eine oder die mehreren virtuellen Objekte auftretende) Wirkung bzw. Wechselwirkung des Systems des Fahrzeugs handeln.In other words, it can be a physical and/or IT reaction of the vehicle's system, an effect or interaction (occurring in response to the one or more virtual objects) of the vehicle's system.
Gemäß einer weiteren Ausgestaltung sind die Reaktionsdaten kennzeichnend für und/oder umfassen: Daten zur Ansteuerung zumindest eines Aktors des Fahrzeugs, insbesondere Signale für eine Steuerung oder Regelung eines Aktors des Fahrzeugs; und/oder Daten kennzeichnend ein Feedback zumindest eines Aktors des Fahrzeugs auf eine Ansteuerung durch das System des Fahrzeugs.According to a further embodiment, the reaction data are characteristic of and/or include: data for controlling at least one actuator of the vehicle, in particular signals for controlling or regulating an actuator of the vehicle; and/or data characterizing feedback from at least one actuator of the vehicle to activation by the system of the vehicle.
Die Reaktionsdaten können z.B. Daten sein, die innerhalb oder außerhalb des Systems des Fahrzeugs erfasst werden. Beispielsweise können diese ein an dem Bordnetz des Fahrzeugs ankommendes (z.B. von dem System des Fahrzeugs versendete) Steuerungssignal, ein Feedbacksignal auf eine Ansteuerung durch das System des Fahrzeugs und/oder ein Signal einer weiteren, durch die Reaktion des Systems des Fahrzeugs beeinflussten Komponente des Fahrzeugs umfassen. Die Daten können z.B. explizit und/oder implizit einen Verlauf eines Lenkwinkels eines Vorderrads und/oder Hinterrads, eines Bremsdrucks etc. kennzeichnen. Insbesondere können die Reaktionsdaten eine durch die ein oder mehreren virtuellen Objekte (bzw. die diese repräsentierende Datenabschnitte) bedingte (z.B. dadurch verursachte oder damit in einem statistischen und/oder kausalen Zusammenhang stehende) Veränderungen repräsentieren.For example, the response data may be data collected inside or outside the vehicle's system. For example, these can be a control signal arriving at the vehicle's electrical system (e.g. sent by the vehicle's system), a feedback signal for activation by the vehicle's system and/or a signal from another component of the vehicle that is influenced by the reaction of the vehicle's system include. The data can, for example, explicitly and/or implicitly characterize a progression of a steering angle of a front wheel and/or rear wheel, a brake pressure, etc. In particular, the reaction data can represent a change caused by the one or more virtual objects (or the data sections representing them) (e.g. caused by them or being statistically and/or causally related to them).
In einem weiteren Beispiel wird zwischen Reaktionsdaten, die eine physikalische Wirkung, Steuerungssignale und/oder ein Feedback einer weiteren Vorrichtung des Fahrzeugs kennzeichnen, unterschieden. Beispielsweise können zu den Reaktionsdaten des Systems des Fahrzeugs Daten kennzeichnend ein Feedback einer Vorrichtung innerhalb oder außerhalb des Systems des Fahrzeugs zugeordnet werden. Beispielsweise werden entsprechende Mitschnitte der Daten zueinander zugeordnet.In a further example, a distinction is made between reaction data characterizing a physical effect, control signals and/or feedback from another device of the vehicle. For example, data indicating feedback from a device inside or outside the vehicle's system can be assigned to the reaction data of the vehicle's system. For example, corresponding Corresponding recordings of the data are assigned to each other.
Im Ergebnis können Reaktionsdaten ermittelt werden, die ein reales, insbesondere physikalisches und/oder dynamisches, Verhalten des Systems des Fahrzeugs und/oder einer zum System gehörenden oder von dem System gesteuerten oder geregelten Vorrichtung, z.B. eines Teil des Fahrwerks des Fahrzeugs, repräsentieren oder berücksichtigen. Derartige Daten sind besonders wertvoll. Sie können z.B. einen Rückschlüsse auf Ereignisse oder Situationen erlauben, die in der Realität nicht oder nur äußerst schwer für die in diesem Dokument aufgezählte oder andere Zwecke gewinnbar sind.As a result, reaction data can be determined that represent or take into account a real, in particular physical and/or dynamic, behavior of the system of the vehicle and/or a device belonging to the system or controlled or regulated by the system, e.g. a part of the chassis of the vehicle . Such data is particularly valuable. For example, they can allow conclusions to be drawn about events or situations that in reality are not or only extremely difficult to obtain for the purposes listed in this document or for other purposes.
Gemäß einer weiteren Ausgestaltung werden erste Datenabschnitte repräsentierend einen Teil der reale Umgebung des Fahrzeugs, insbesondere abhängig von Sensordaten und/oder Kartendaten, ermittelt. Daraufhin kann ein Verarbeiten der ersten Datenabschnitte abhängig von den Datenabschnitten repräsentierend das virtuelle Objekt ausgeführt werden. Alternativ oder zusätzlich kann ein Verarbeiten der Datenabschnitte repräsentierend das virtuelle Objekt abhängig von den ersten Datenabschnitten ausgeführt werden.According to a further refinement, first data sections representing part of the real environment of the vehicle are ascertained, in particular as a function of sensor data and/or map data. Processing of the first data sections can then be carried out depending on the data sections representing the virtual object. Alternatively or additionally, the data sections representing the virtual object can be processed depending on the first data sections.
Beispielsweise werden (auch) ein oder mehrere erste Datenabschnitten ermittelt und bei der Verarbeitung der Datenabschnitte repräsentierend das zumindest ein virtuelles Objekt verwendet, die jeweils zumindest einen Teil einer realen Umgebung eines realen Fahrzeugs repräsentieren, insbesondere abbilden oder qualitativ und/oder quantitativ charakterisieren.For example, one or more first data sections are (also) determined and used when processing the data sections representing at least one virtual object, each of which represents at least part of a real environment of a real vehicle, in particular depicting it or characterizing it qualitatively and/or quantitatively.
Der zumindest eine erste Datenabschnitt kann Daten auf Basis eines oder mehrerer Sensoren des jeweiligen Fahrzeugs umfassen. Beispielsweise kann ein solcher Datenabschnitt auf Basis von einem Mitschnitt (auch zu verstehen als ein Mitschnitt korrespondierender Signal-Traces) der Daten auf Basis eines oder mehreren Sensoren des Fahrzeugs ermittelt werden.The at least one first data section may include data based on one or more sensors of the respective vehicle. For example, such a data section can be determined on the basis of a recording (also to be understood as a recording of corresponding signal traces) of the data on the basis of one or more sensors in the vehicle.
Die ersten Datenabschnitte können beispielsweise ein oder mehrere Einträge aus der folgenden Auflistung repräsentieren:
- - zumindest einen Raumteil, der insbesondere nach bestimmten (z.B. dynamischen) Kriterien gewählt wird, z.B. in Bezug auf das jeweilige reale Fahrzeug (z.B. aus BlindSpot-Bereichen);
- - zumindest ein reales Objekt in der Umgebung des realen Fahrzeugs bzw. einen Teil der Umgebung des realen Fahrzeugs mit diesem Objekt;
- - eine bestimmte Situation, z.B. Fahrsituation, in der sich das reale Fahrzeug befindet;
- - eine oder mehrere Anordnungen, Aktionen oder Interaktionen zwischen einem Objekt in der Umgebung des realen Fahrzeugs und dem realen Fahrzeug und/oder den Objekten in der Umgebung; und/oder
- - Daten, insbesondere Eingangsdatendaten, kennzeichnend einen (mit der Umgebung, der Fahrsituation etc. korrespondierenden) Zustand und/oder Ausgangsdaten eines Systems des realen Fahrzeugs.
- - at least one part of the room, which is selected in particular according to specific (eg dynamic) criteria, eg in relation to the respective real vehicle (eg from blind spot areas);
- - at least one real object in the vicinity of the real vehicle or part of the surroundings of the real vehicle with this object;
- - A specific situation, eg driving situation, in which the real vehicle is located;
- - one or more arrangements, actions or interactions between an object in the environment of the real vehicle and the real vehicle and/or the objects in the environment; and or
- - Data, in particular input data, characterizing a state (corresponding to the environment, the driving situation, etc.) and/or output data of a system of the real vehicle.
Bevorzugt repräsentiert der zumindest eine erste Datenabschnitt einen dynamischen Vorgang und/oder einen zeitlich und/oder räumlich ausgedehnten Vorgang. Der Vorgang kann sich auf nahezu alle, einzelne oder bestimmte Objekte innerhalb der Umgebung des Fahrzeugs beziehen. Ein oder mehrere der ersten Datenabschnitte können eine Fahrsituation, insbesondere ein Manöver (z.B. Fahrmanöver, Parkmanöver), z.B. betreffend das reale Fahrzeug und/oder einen oder mehrere Verkehrsteilnehmer in der Umgebung, repräsentieren.The at least one first data section preferably represents a dynamic process and/or a process that extends in terms of time and/or space. The process can relate to almost all, individual or specific objects within the environment of the vehicle. One or more of the first data sections can represent a driving situation, in particular a maneuver (e.g. driving maneuver, parking maneuver), e.g. relating to the real vehicle and/or one or more road users in the area.
Beispielsweise können ein oder mehrere der ersten Datenabschnitte eine sich in der Umgebung des realen Fahrzeugs ereignende Fahrsituation kennzeichnen, z.B. ein Manöver des Fahrzeugs, insbesondere in Bezug auf ein Objekt in der Umgebung und/oder ein Manöver eines Verkehrsteilnehmers aus der Umgebung des Fahrzeugs, insbesondere in Bezug auf das Fahrzeug. Dabei können sich die ersten Datenabschnitte nur, überwiegend oder im Wesentlichen nur auf relevante, z.B. an einem Manöver beteiligte Objekte beziehen.For example, one or more of the first data sections can identify a driving situation occurring in the area surrounding the real vehicle, e.g. a maneuver by the vehicle, in particular in relation to an object in the area and/or a maneuver by a road user from the area surrounding the vehicle, in particular in relation to the vehicle. The first data sections can relate only, mainly or essentially only to relevant objects, e.g. objects involved in a maneuver.
Ein Manöver kann z.B. ein Spurwechselmanöver, ein Einfädelmanöver, ein Ausweichmanöver, ein Überholmanöver, ein Einparkmanöver, ein Ausparkmanöver, ein Rangiermanöver oder dergleichen sein.A maneuver can be, for example, a lane change maneuver, a merging maneuver, an avoidance maneuver, an overtaking maneuver, a parking maneuver, a parking maneuver, a maneuvering maneuver or the like.
Alternativ oder zusätzlich können die ersten Datenabschnitte einen bestimmten von dem realen Fahrzeug ausgeführten Vorgang repräsentieren. Dabei kann es sich um einen dynamischen Vorgang und/oder um einen zeitlich und/oder räumlich ausgedehnten Vorgang handeln. Beispielsweise repräsentieren die ersten Datenabschnitte eine Interaktion des jeweiligen Fahrzeugs mit einem Objekt.Alternatively or additionally, the first data sections may represent a specific process performed by the real vehicle. This can be a dynamic process and/or a process that extends in terms of time and/or space. For example, the first data sections represent an interaction of the respective vehicle with an object.
Beispielsweise können die ersten Datenabschnitte z.B. durch eine Kombination von Codes repräsentiert werden, die die Umgebung des Fahrzeugs und/oder eine Fahrsituation in der Umgebung des Fahrzeugs charakterisieren. Alternativ oder zusätzlich können die ersten Datenabschnitte bzw. ein Satz der ersten Datenabschnitte unterschiedliche Daten, wie z.B. Kartenausschnitte, Sensordaten oder Fahrwerkdaten, kennzeichnen, die z.B. zum Betreiben des realen Systems des Fahrzeugs relevant sind.For example, the first data sections can be represented, for example, by a combination of codes that characterize the surroundings of the vehicle and/or a driving situation in the surroundings of the vehicle. Alternatively or additionally, the first data sections or a set of the first data sections can identify different data, such as map sections, sensor data or chassis data, which, for example, Operating the real system of the vehicle are relevant.
Beispielsweise können die besagten Datenabschnitte jeweils ein oder mehrere Objekte, Anordnungen (statische oder dynamische Konstellationen) von Objekten oder eine bestimmte Relation eines Objekts zu dem realen Fahrzeug repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen bestimmten Verkehrsteilnehmer oder einen Verkehrsteilnehmer einer bestimmten Art, z.B. ein Motorrad, einen PKW oder einen LKW in der Umgebung des Fahrzeugs. Dieser kann in dem jeweiligen Datenabschnitt etwa als eine Kennung einer Klasse des Objekts, einer Abmessung bzw. Form, einer relativen Position, eines Winkels, einer Ausrichtung, einer absoluten oder relativen Geschwindigkeit, einer Beschleunigung, einer erkannten Absicht und/oder einer bestimmten Aktion oder einer Aktion einer bestimmten Art repräsentiert werden.For example, said data sections can each represent one or more objects, arrangements (static or dynamic constellations) of objects or a specific relation of an object to the real vehicle. For example, a chunk of data represents a particular road user or a road user of a particular type, such as a motorcycle, car, or truck, in the vicinity of the vehicle. This can be in the respective data section as an identifier of a class of the object, a dimension or shape, a relative position, an angle, an orientation, an absolute or relative speed, an acceleration, a recognized intention and/or a specific action or be represented by an action of a certain kind.
Beispielsweise können die Datenabschnitte jeweils einen, insbesondere bestimmten und/oder wählbaren, Teil, wie z.B. einen Raumteil, einen Winkel und/oder einen Entfernungsbereich von dem realen Fahrzeug, repräsentieren. Beispielsweise repräsentiert ein Datenabschnitt einen Verkehrsteilnehmer der ein das reale Fahrzeug betreffende Manöver ausführt (z.B. es überholt) oder einen Parameter, insbesondere Veränderung des Parameters, während des Manövers.For example, the data sections can each represent a specific and/or selectable part, such as a spatial part, an angle and/or a distance range from the real vehicle. For example, a data section represents a road user who executes a maneuver relating to the real vehicle (e.g. overtakes it) or a parameter, in particular a change in the parameter during the manoeuvre.
Beispielsweise können die Datenabschnitte jeweils bestimmte Anordnungen, Aktionen oder Interaktionen zwischen einem Objekt in der Umgebung und dem realen Fahrzeug und/oder den Objekten in der Umgebung, insbesondere hinsichtlich ihrer Dynamik, z.B. durch eine Veränderung bzw. einen Verlauf der jeweiligen Parameter, repräsentieren.For example, the data sections can each represent specific arrangements, actions or interactions between an object in the environment and the real vehicle and/or the objects in the environment, in particular with regard to their dynamics, e.g. through a change or a course of the respective parameters.
Beispielsweise repräsentiert ein erster Datenabschnitt einen Teil der Umgebung der sich hinter dem realen Fahrzeug, seitlich von dem realen Fahrzeug, in einem Blindspot des realen Fahrzeugs und/oder auf der geplanten Trajektorie des realen Fahrzeugs befindet.For example, a first data section represents part of the environment behind the real vehicle, to the side of the real vehicle, in a blind spot of the real vehicle and/or on the planned trajectory of the real vehicle.
In einem Beispiel des Verfahrens kann sich das Ermitteln der ersten Datenabschnitte zumindest vorrangig auf eine reale Umgebung beziehen, zu welcher ermittelt bzw. erkannt wurde, dass diese besonders selten vorkommt und/oder von einer oder mehreren häufig, insbesondere typisch vorkommenden Umgebungen, z.B. Fahrsituationen, unterscheidet.In one example of the method, the determination of the first data sections can relate at least primarily to a real environment for which it has been determined or recognized that this occurs particularly rarely and/or from one or more frequently occurring, particularly typically occurring environments, e.g. differs.
Beispielsweise können die Datenabschnitte, insbesondere jeweils betreffende und ausgewählte, Mitschnitte der Daten einer Datenschnittstelle, z.B. im Rahmen einer Bordnetzkommunikation, umfassen. Die Datenabschnitte können z.B. einen (z.B. zeitlichen und/oder räumlichen) Verlauf eines internen Parameters im Fahrzeug, insbesondere betreffend das System des Fahrzeugs umfassen.For example, the data sections can include, in particular relevant and selected recordings of the data from a data interface, e.g. as part of on-board network communication. The data sections can, for example, include a (e.g. temporal and/or spatial) course of an internal parameter in the vehicle, in particular relating to the system of the vehicle.
Unter Kartendaten sind im Rahmen des vorliegenden Dokument insbesondere zu verstehen:
- - Daten einer digitalen Karte, z.B. betreffend die Umgebung des Fahrzeugs (etwa betreffend einen Umkreis von 5, 10, 30, 50, 100 oder 180 Metern); und/oder
- - Daten, die mit einem Abschnitt der digitalen Karte verbunden (z.B. mit diesem verlinkt und/oder diesem zugeordnet) sind.
- - Data from a digital map, for example relating to the area surrounding the vehicle (e.g. relating to a radius of 5, 10, 30, 50, 100 or 180 metres); and or
- - Data associated with (e.g. linked to and/or associated with) a portion of the digital map.
Insbesondere ergibt sich ein Vorteil, dass ein Verarbeiten der Datenabschnitte repräsentierend das virtuelle Objekt (etwa in Echtzeit) abhängig von den ersten Datenabschnitten ermöglicht wird.In particular, there is an advantage that processing of the data sections representing the virtual object (for example in real time) is made possible as a function of the first data sections.
Bevorzugt kann ein Verarbeiten der ersten Datenabschnitte abhängig von den Datenabschnitten repräsentierend das virtuelle Objekt, und ein Verarbeiten der Datenabschnitte repräsentierend das virtuelle Objekt abhängig von den ersten Datenabschnitten ausgeführt werden.Preferably, the first data sections can be processed depending on the data sections representing the virtual object, and the data sections representing the virtual object can be processed depending on the first data sections.
Gemäß einer weiteren Ausgestaltung wird eine Größe, die einen aktuellen und/oder geplanten Automatisierungsgrad der Fahrt (d.h. des Fahrbetriebs) des Fahrzeugs kennzeichnet, ermittelt, und das Erzeugen der Datenabschnitte repräsentierend das virtuelle Objekt wird abhängig von der Größe, die den aktuellen und/oder geplanten Automatisierungsgrad der Fahrt des Fahrzeugs kennzeichnet, ausgeführt.According to a further embodiment, a variable that characterizes a current and/or planned degree of automation of the journey (i.e. driving operation) of the vehicle is determined, and the generation of the data sections representing the virtual object is dependent on the variable that represents the current and/or planned degree of automation of driving the vehicle indicates executed.
Alternativ oder zusätzlich kann auch das Erzeugen des einen oder der mehreren virtuellen Objekte (an sich) abhängig von der vorgenannten Größe erfolgen. Alternativ oder zusätzlich kann das Verarbeiten der Datenabschnitte repräsentierend ein oder mehrere virtuelle Objekte und/oder das Erzeugen der Reaktionsdaten des Systems des Fahrzeugs auf die verarbeiteten Datenabschnitte abhängig von der vorgenannten Größe, insbesondere gemäß einer hierfür vorgesehenen Abhängigkeit, erfolgen.As an alternative or in addition, the one or more virtual objects can also be generated (per se) as a function of the aforementioned size. Alternatively or additionally, the processing of the data sections representing one or more virtual objects and/or the generation of the reaction data of the vehicle system to the processed data sections can take place depending on the aforementioned size, in particular according to a dependency provided for this purpose.
Gemäß einer weiteren Ausgestaltung repräsentieren die Datenabschnitte repräsentierend das virtuelle Objekt eine (bestimmte bzw. nach einer bestimmten Abhängigkeit ermittelte) Bewegung und/oder ein (bestimmtes bzw. nach einer bestimmten Abhängigkeit ermitteltes) Verhalten des virtuellen Objekts. Die Bewegung und/oder das Verhalten des virtuellen Objekts können z.B. in Bezug auf die Daten betreffend die reale Umgebung des Fahrzeugs repräsentiert werden.According to a further refinement, the data sections representing the virtual object represent a (specific or determined according to a specific dependency) movement and/or a (specific or determined according to a specific dependency) behavior of the virtual object. The movement and/or the behavior of the virtual object can, for example, be represented in relation to the data relating to the real environment of the vehicle.
Bei der Bewegung und/oder dem Verhalten des virtuellen Objekts kann es sich im Rahmen dieses Dokuments um eine virtuelle Bewegung und/oder ein virtuelles Verhalten (des virtuellen Objekts) handeln.Within the scope of this document, the movement and/or the behavior of the virtual object can be a virtual movement and/or a virtual behavior (of the virtual object).
Die Bewegung des virtuellen Objekts kann innerhalb eines Teils der realen Umgebung repräsentiert und/oder virtuell ausgeführt werden. Beispielsweise wird die Bewegung des virtuellen Objekts in (z.B. globalen und/oder lokalen) Koordinaten oder in Bezug auf Koordinaten, in welchen auch das reale Fahrzeug in seiner Umgebung und/oder reale Objekte in der Umgebung des Fahrzeugs repräsentiert sind, repräsentiert. Bevorzugt werden die Bewegung und/oder das Verhalten des virtuellen Objekts in Bezug auf das reale Fahrzeug und/oder in Bezug auf die reale Umgebung des realen Fahrzeugs repräsentiert.The movement of the virtual object can be represented within a part of the real environment and/or executed virtually. For example, the movement of the virtual object is represented in (e.g. global and/or local) coordinates or in relation to coordinates in which the real vehicle in its environment and/or real objects in the environment of the vehicle are also represented. The movement and/or the behavior of the virtual object in relation to the real vehicle and/or in relation to the real environment of the real vehicle are preferably represented.
Das virtuelle Objekt kann ein virtuell bewegliches Objekt und/oder ein Objekt mit einem virtuellen Verhalten sein. Die Bewegung und/oder das Verhalten des virtuellen Objekts kann in Bezug auf das reale Fahrzeug und/oder in Bezug auf die reale Umgebung des realen Fahrzeugs ausgeführt und/oder repräsentiert werden.The virtual object can be a virtual moving object and/or an object with a virtual behavior. The movement and/or the behavior of the virtual object can be performed and/or represented in relation to the real vehicle and/or in relation to the real environment of the real vehicle.
Beispielsweise können virtuelle Objekte eine bestimmte virtuelle Bewegung und/oder ein bestimmtes Verhalten in Bezug auf das reale Fahrzeug und/oder in Bezug auf die reale Umgebung des realen Fahrzeugs aufweisen. Bevorzugt können die Bewegung und/oder das Verhalten Parameter aufweisen, die zumindest teilweise nach einer bestimmten Abhängigkeit (z.B. gemäß einem oder mehreren bestimmten Muster) und/oder zumindest teilweise nach einem Zufallsprinzip bestimmt und/oder verändert werden.For example, virtual objects can have a certain virtual movement and/or a certain behavior in relation to the real vehicle and/or in relation to the real environment of the real vehicle. The movement and/or the behavior can preferably have parameters that are determined and/or changed at least partially according to a specific dependency (e.g. according to one or more specific patterns) and/or at least partially according to a random principle.
Beispielsweise kann das virtuelle Objekt eine Bewegung und/oder ein Manöver, gemäß einer bestimmten Abhängigkeit, z.B. gemäß einem Muster, und/oder mit variablen Parametern ausführen.For example, the virtual object can perform a movement and/or maneuver according to a certain dependency, e.g., according to a pattern, and/or with variable parameters.
Ein Manöver kann z.B. ein Fahrmanöver, ein Parkmanöver oder ein Rangiermanöver sein oder umfassen. Ein Manöver kann z.B. durch ein bestimmtes Muster (z.B. ein Datenmuster, welches bestimmte Merkmale des Manövers, Proportionen zwischen seinen Parameter, etc. repräsentiert) gekennzeichnet sein. Dabei müssen mehrere virtuelle Objekte, die ein bestimmtes Manöver ausführen, nicht notwendigerweise dieselben Parameter aufweisen. Vielmehr können die Parameter kennzeichnend seine Bewegung, sein Verhalten, etc. gemäß einem Muster ermittelt werden. Vielmehr können die Parameter abhängig von Parametern der Umgebung und/oder von einer Veränderung der Parameter der Umgebung bestimmt oder angepasst werden. Mit anderen Worten kann das virtuelle Objekt - nahezu als ein eigenständig agierendes virtuelle Wesen - in die Umgebung des virtuellen Fahrzeugs platziert und ggf. für eine weitere Bewegung bzw. Aktivität befähigt (sozusagen „ausgewildert“) werden. Dabei kann das zumindest ein virtuelles Objekt zu einer zumindest teilweise (von außerhalb des Objekts) gesteuerten und/oder zumindest teilweise zu einer (innerhalb des Objekts) selbstgesteuerten (quasi selbstbestimmter) Aktivität, z.B. einer Bewegung, Aktion, Interaktion, befähigt bzw. aktiviert werden.A maneuver can be or include a driving maneuver, a parking maneuver or a maneuvering maneuver, for example. For example, a maneuver may be characterized by a particular pattern (e.g., a data pattern representing certain features of the maneuver, proportions between its parameters, etc.). In this case, several virtual objects that perform a specific maneuver do not necessarily have to have the same parameters. Rather, the parameters characterizing its movement, its behavior, etc. can be determined according to a pattern. Rather, the parameters can be determined or adjusted as a function of parameters of the environment and/or of a change in the parameters of the environment. In other words, the virtual object—almost as an independently acting virtual being—can be placed in the environment of the virtual vehicle and possibly enabled for further movement or activity (so to speak, “released”). The at least one virtual object can be enabled or activated for an at least partially (from outside the object) controlled and/or at least partially (within the object) self-controlled (quasi self-determined) activity, e.g. a movement, action, interaction .
Das Muster und/oder die Parameter der Bewegung und/oder des Verhaltens des virtuellen Objekts können dabei bei unterschiedlichen virtuellen Objekten und/oder im Verlauf der Zeit bei einem virtuellen Objekt variiert werden. Das Variieren kann zumindest teilweise gemäß einer vorausbestimmten Abhängigkeit (z.B. nach einer Funktion) und/oder zumindest teilweise zufällig erfolgen.The pattern and/or the parameters of the movement and/or the behavior of the virtual object can be varied for different virtual objects and/or for one virtual object over time. The varying may be at least partly according to a predetermined dependency (e.g. according to a function) and/or at least partly random.
Gemäß einer weiteren Ausgestaltung reagiert, insbesondere interagiert das (durch die Datenabschnitte repräsentierte) virtuelle Objekt auf bzw. mit einer realen Gegebenheit in der Umgebung des realen Fahrzeugs.According to a further refinement, the virtual object (represented by the data sections) reacts, in particular interacts, to or with a real situation in the area surrounding the real vehicle.
Beispielsweise kann sich mit der Erfindung der Vorteil ergeben, dass eine (in beide Richtungen wirksame, in den verarbeiteten Datenabschnitten und ggf. in weiteren Schritten des Verfahrens bzw. den entsprechenden Daten, insbesondere in Reaktionsdaten repräsentierte) Interaktivität zwischen dem realen Fahrzeug und dem virtuellen Objekt realisiert werden kann.For example, the invention can result in the advantage that interactivity (effective in both directions, represented in the processed data sections and possibly in further steps of the method or the corresponding data, in particular in reaction data) between the real vehicle and the virtual object can be realized.
Insbesondere kann das virtuelle Objekt auf eine Bewegung, ein Verhalten und/oder eine Signalisierung (z.B. mittels Blinker, Hupe, Lichtsignal) des realen Fahrzeugs und/oder einer weiteren Gegebenheit, wie z.B. eines weiteren Verkehrsteilnehmers in der Umgebung des Fahrzeugs, reagieren. Zum Beispiel kann ein virtueller Hund durch das reale Fahrzeug oder von einem weiteren realen Verkehrsteilnehmer „angehupt“ oder geblendet werden. Daraufhin kann der virtuelle Hund etwa entsprechend einem realen Hund reagieren, z.B. wegrennen.In particular, the virtual object can react to a movement, behavior and/or signaling (e.g. by means of indicators, horn, light signal) of the real vehicle and/or another situation, such as another road user in the vicinity of the vehicle. For example, a virtual dog can be "horned at" or blinded by the real vehicle or by another real road user. The virtual dog can then react like a real dog, e.g. run away.
Beispielsweise kann das Objekt eine Reaktion zumindest teilweise gemäß einer vorausbestimmten Abhängigkeit und/oder zumindest teilweise gemäß einem Zufallsprinzip aufweisen. Beispielsweise kann eine Zufallsvariable, ein Wertebereich einer Zufallsvariable oder ein Maß der Wirksamkeit einer Zufallsvariable bzw. des Zufallsprinzips abhängig von den Merkmalen, insbesondere einer statistischen Verteilung der Parameter der entsprechenden realen Objekte gewählt werden.For example, the object may have a response at least partially according to a predetermined dependency and/or at least partially according to a random principle. For example, a random variable, a range of values of a random variable or a measure of the effectiveness of a random variable or of the random principle can be selected depending on the characteristics, in particular a statistical distribution of the parameters of the corresponding real objects.
In einem mit allen in diesem Dokument beschriebenen Merkmalen kombinierbaren Beispiel reagiert das eine oder die mehreren virtuellen Objekte, insbesondere in Echtzeit, auf die Umgebung (z.B. auf bestimmte reale Objekte und/oder Veränderungen der Fahrsituation).In an example that can be combined with all of the features described in this document, the one or more virtual objects reacts, in particular in real time, to the environment (eg to specific real objects and/or changes in the driving situation).
Dabei kann eine, sozusagen in beide Richtungen wirksame, Abhängigkeit hergestellt werden, die insbesondere eine virtuelle Kausalität und/oder Interaktion zwischen realen und virtuellen Objekten repräsentiert.In this way, a dependency that is effective in both directions, so to speak, can be established, which in particular represents a virtual causality and/or interaction between real and virtual objects.
Dabei können Reaktionsdaten erzeugt werden, die eine Interaktion (auch zu verstehen als: einen Teil einer Interaktion) zwischen dem realen Fahrzeug und einem virtuellen Objekt repräsentieren.Reaction data can be generated that represent an interaction (also to be understood as: a part of an interaction) between the real vehicle and a virtual object.
Gemäß einer weiteren Ausgestaltung reagiert, insbesondere interagiert, das virtuelle Objekt auf bzw. mit einer realen Gegebenheit in der Umgebung des realen Fahrzeugs, wobei die reale Gegebenheit ein weiterer (beweglicher) realer Verkehrsteilnehmer in der Umgebung des realen Fahrzeugs ist oder einen solchen umfasst.According to a further refinement, the virtual object reacts, in particular interacts, to or with a real condition in the area surrounding the real vehicle, the real condition being or comprising a further (moving) real road user in the area surrounding the real vehicle.
Insbesondere kann ein virtuelles Objekt repräsentieren:
- - einen Anhänger eines weiteren realen Verkehrsteilnehmers;
- - einen Vordermann oder Hintermann eines weiteren Verkehrsteilnehmers oder ein seitlich von einem weiteren Verkehrsteilnehmer fahrendes Fahrzeug;
- - ein Fahrzeug, das ein bestimmtes Fahrmanöver in Bezug auf den weiteren Verkehrsteilnehmer ausführt.
- - a follower of another real road user;
- - a person in front or behind of another road user or a vehicle driving to the side of another road user;
- - a vehicle that performs a specific driving maneuver in relation to the other road user.
Insbesondere kann das virtuelle Objekt ein virtuelles Manöver in Bezug auf das reale Fahrzeug und/oder einen weiteren Verkehrsteilnehmer ausführen.In particular, the virtual object can perform a virtual maneuver in relation to the real vehicle and/or another road user.
Dadurch ergibt sich ein besonderer Vorteil, denn das virtuelle Objekt kann, insbesondere in Kombination mit der realen Umgebung, Daten für in der Praxis besonders relevante Fälle zum Entwickeln, Testen, Absichern und/oder Trainieren des Fahrzeugsystems erzeugen.This results in a particular advantage, because the virtual object can, in particular in combination with the real environment, generate data for cases that are particularly relevant in practice for developing, testing, securing and/or training the vehicle system.
Auch können Fahrsituationen erzeugt werden, die bei einer z.B. durch eine Entscheidung eines Menschen oder lediglich nach einer bestimmten Regel erfolgenden Platzierung von virtuellen Objekten on der Umgebung des Fahrzeugs nicht erzeugt werden könnten bzw. höchstwahrscheinlich nicht berücksichtigt würden.Driving situations can also be generated that could not be generated or would most likely not be taken into account if virtual objects were placed in the area surrounding the vehicle, e.g. by a human decision or merely according to a specific rule.
Ferner können Daten zu Fahrsituationen erzeugt werden, die noch keine bestimmte Präzedenz hatten bzw. bei welchen keine Daten über eine etwaige Präzedenz aus dem realen Verkehr vorliegen.Furthermore, data on driving situations can be generated that have not yet had a specific precedence or in which there is no data on any precedence from real traffic.
Gemäß einer weiteren Ausgestaltung werden die bereitgestellten Reaktionsdaten des Systems des Fahrzeugs zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems, insbesondere eines Entwicklungsstandes eines Fahrzeugsystems, verarbeitet und/oder verwendet.According to a further refinement, the response data provided by the vehicle system are processed and/or used to develop, validate, train and/or operate a vehicle system, in particular a development status of a vehicle system.
Es folgt die Beschreibung von Ausgestaltungen bzw. Beispielen die mit allen weiteren in diesem Dokument beschriebenen Merkmalen kombinierbar sind.The following is a description of configurations and examples that can be combined with all other features described in this document.
In weiteren mit alle Aspekten der Erfindung kombinierbaren Beispielen werden die Reaktionsdaten des Systems des Fahrzeugs mit den Reaktionsdaten eines (ggf. im Fahrzeug verbauten oder mitgeführten) Referenzsystems des Fahrzeugs verglichen. Daraufhin können bestimmten Unterschiede, insbesondere eine Regel, insbesondere kennzeichnend eine z.B. statistische Gesetzmäßigkeit, ermittelt (abgeleitet) werden. Beispielsweise kann ein Rückschluss auf eine erste Regel gemacht werden, nach der Vorkommen eines bestimmten Verhaltens, eines Fehlers, ein Performanceindikators etc. z.B. von einer vorherrschenden Situation und/oder Randbedingung abhängt.In further examples that can be combined with all aspects of the invention, the reaction data of the vehicle's system are compared with the reaction data of a reference system of the vehicle (possibly built into or carried in the vehicle). Specific differences, in particular a rule, in particular characterizing a statistical law, for example, can then be determined (derived). For example, a conclusion can be drawn about a first rule, according to which the occurrence of a certain behavior, an error, a performance indicator, etc. depends, for example, on a prevailing situation and/or boundary condition.
Daraufhin kann abhängig von den Reaktionsdaten (zumindest teilweise rechnergestützt und/oder zumindest teilweise durch eine menschliche Entscheidung) eine zweite Regel abgeleitet werden. Die zweite Regel kann in der Datenverarbeitung des Systems des Fahrzeugs, insbesondere in dem Entwicklungsstand des Fahrzeugs, abgebildet bzw. berücksichtigt werden. Die zweite Regel kann zu einer Korrektur und/oder Verbesserung einer (unerwünschten) Gesetzmäßigkeit aus der ersten Regel eingerichtet werden. Beispielsweise kann die zweite Regel ein bestimmtes, z.B. statistisch gehäuftes, Verhalten und/oder Fehler in den Reaktionsdaten zumindest teilweise korrigieren und/oder durch ein gewünschtes und/oder fehlerarmes Verhalten ersetzen.A second rule can then be derived depending on the response data (at least in part computer-aided and/or at least in part by human decision). The second rule can be mapped or taken into account in the data processing of the vehicle system, in particular in the development status of the vehicle. The second rule can be set up to correct and/or improve an (undesirable) regularity from the first rule. For example, the second rule can at least partially correct a specific, e.g. statistically accumulated, behavior and/or error in the reaction data and/or replace it with a desired and/or error-free behavior.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs eine datengestützte Entwicklung, z.B. betreffend einen Entwicklungsstand zu dem System des Fahrzeugs, zu einer nächsten Generation des Systems des Fahrzeugs bzw. zu einem weiteren System des Fahrzeugs erfolgen.Alternatively or additionally, depending on the reaction data provided by the vehicle system, a data-supported development, e.g. relating to a development status of the vehicle system, of a next generation of the vehicle system or of another vehicle system, can take place.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs ein Rückschluss auf eine Auftrittswahrscheinlichkeit und/oder auf eine Konsequenz eines bestimmten, insbesondere aufgrund einer bestimmten Reaktion des Systems des Fahrzeugs möglichen, wahrscheinlichen und/oder nicht verhinderten Ereignisses gemacht werden. Beispielsweise kann ein Rückschluss auf eine Auftrittswahrscheinlichkeit und/oder Konsequenz eines bestimmten aufgrund der Reaktion des Systems des Fahrzeugs (für ein zumindest teilweise automatisiertes Fahren) möglichen, wahrscheinlichen und/oder nicht verhinderten Ereignisses gemacht werden, für den Fall, dass in einem realen Fahrbetrieb anstatt des virtuellen Objekts ein reales Objekt mit vergleichbaren Merkmalen bzw. Verhalten vorkommen würde.Alternatively or additionally, depending on the reaction data provided by the vehicle system, a conclusion can be drawn about the probability of occurrence and/or a consequence of a specific event that is possible, probable and/or not prevented, in particular due to a specific reaction of the vehicle system. For example, a conclusion can be drawn about a probability of occurrence and/or consequence of a specific event that is possible, probable and/or not prevented due to the reaction of the vehicle system (for at least partially automated driving), in the event that in real driving instead of the virtual object a real object with comparable characteristics or behavior would occur.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs ein Systemtest, Sicherheitstest und/oder ein Homologationstest (z.B. mit einer Vielzahl von zumindest teilweise standardisierten virtuellen Objekten) ausgeführt werden.Alternatively or additionally, a system test, safety test and/or homologation test (e.g. with a large number of at least partially standardized virtual objects) can be carried out depending on the response data provided by the vehicle system.
Gemäß einer weiteren Ausgestaltung werden abhängig von Reaktionsdaten des Systems des Fahrzeugs auf die verarbeitete Datenabschnitte an einer oder mehreren Geo-Positionen, eine mehrere Fahrbahnabschnitte ausgewählt, die für die Nutzung des Systems des Fahrzeugs, insbesondere für eine bestimmte Ausführung des Systems des Fahrzeugs, freigegeben, eingeschränkt oder gesperrt werden.According to a further embodiment, depending on reaction data of the vehicle's system to the processed data sections at one or more geo-positions, a number of roadway sections are selected which are released for the use of the vehicle's system, in particular for a specific version of the vehicle's system, be restricted or blocked.
Das Auswählen der Fahrbahnabschnitte kann ein Zuordnen der Fahrbahnabschnitte zu einer oder mehreren Kategorien sein oder umfassen. Die Kategorien können z.B. unterschiedliche Grade einer Freigabe, Einschränkung oder Sperrung für bestimmte Ausführungen des Systems des Fahrzeugs oder gleiche oder ähnliche Systeme von weiteren Fahrzeugen betreffen.The selection of the roadway sections can be or include an assignment of the roadway sections to one or more categories. The categories can, for example, relate to different degrees of release, restriction or blocking for certain versions of the vehicle's system or the same or similar systems in other vehicles.
Beispielsweise werden die virtuelle Objekte (virtuell, gemäß ihren Parametern) an Positionen (z.B. Geo-Positionen bzw. lokalen oder globalen Koordinaten) vorgesehen, z.B. platziert und/oder bewegt. Daraufhin können Reaktionsdaten des Systems des Fahrzeugs (beispielsweise von mehreren realen Fahrzeugen) an realen Fahrbahnabschnitten auf die (in den entsprechenden Umgebungen vorgesehenen) virtuellen Objekte ermittelt werden.For example, the virtual objects (virtually, according to their parameters) are provided, e.g. placed and/or moved, at positions (e.g. geo positions or local or global coordinates). Thereupon reaction data of the system of the vehicle (for example from several real vehicles) can be determined on real sections of the road to the virtual objects (provided in the corresponding surroundings).
Abhängig von einer (z.B. automatisierten, rechnergestützten) Verarbeitung der Reaktionsdaten können Fahrbahnabschnitte, z.B. Straßenabschnitte, Kreuzungen, Kreisverkehre, Einfahrten, Ausfahrten, Unterfahrten, Überfahrten etc. ausgewählt bzw. in eine, zwei oder mehr als zwei unterschiedliche Kategorien eingeteilt werden. Beispielsweise kann dies abhängig von einer anhand der Reaktionsdaten geschätzten Performance eines realen Systems auf bestimmte reale Objekte erfolgen. Abhängig von den ausgewählten Fahrbahnabschnitten bzw. einer Kategorie, der diese zugeordnet wurden, kann das Ausführen bestimmter Funktionalitäten des (realen) Systems des Fahrzeugs freigegeben, gesperrt und/oder eingeschränkt werden.Depending on (e.g. automated, computer-aided) processing of the reaction data, road sections, e.g. road sections, intersections, roundabouts, entrances, exits, underpasses, crossings, etc. can be selected or divided into one, two or more than two different categories. For example, this can be done as a function of a real system's performance, estimated on the basis of the reaction data, on specific real objects. Depending on the selected roadway sections or a category to which they have been assigned, the execution of specific functionalities of the (real) system of the vehicle can be released, blocked and/or restricted.
Beispielsweise kann abhängig von den Reaktionsdaten ein automatisiertes Fahren, insbesondere eine Ausführung eines bestimmten Automatisierungsgrads, wie z.B. Level 2, 2+, 3, 3+, 4, 4+ oder 5, auf den ausgewählten bzw. zu bestimmten Kategorien zugeordneten Fahrbahnabschnitten freigegeben, gesperrt und/oder eingeschränkt werden.For example, depending on the reaction data, automated driving, in particular an execution of a certain degree of automation, such as Level 2, 2+, 3, 3+, 4, 4+ or 5, can be enabled or blocked on the road sections selected or assigned to certain categories and/or restricted.
Beispielsweise ist dies derart zu verstehen, dass aufgrund der Reaktionsdaten des Systems des Fahrzeugs (z.B. eines Entwicklungsstands für ein System des Fahrzeugs) ein oder mehrere Fahrbahnabschnitte ausgewählt werden, die für die Nutzung des auf dem System des Fahrzeugs bzw. dem Entwicklungsstand basierenden Systems des Fahrzeugs, insbesondere für eine bestimmte Funktionalität des Systems des Fahrzeugs, freigegeben, eingeschränkt oder gesperrt werden.For example, this is to be understood in such a way that, based on the reaction data of the vehicle system (e.g. a development status for a vehicle system), one or more road sections are selected which are suitable for the use of the vehicle system based on the vehicle system or the development status , in particular for a specific functionality of the vehicle's system, can be released, restricted or blocked.
Die Information über die (gewählten bzw. ermittelten) Fahrbahnabschnitte kann einer digitalen Karte zugeordnet werden. Abhängig von der digitalen Karten kann ein (typgleiches, ähnliches oderweiterentwickeltes) System des Fahrzeugs betrieben, insbesondere für bestimmte Betriebsmodi oder Automatisierungsgrade freigegeben, gesperrt und/oder eingeschränkt werden.The information about the (selected or determined) road sections can be assigned to a digital map. Depending on the digital map, a vehicle system (of the same type, similar or developed) can be operated, in particular released, blocked and/or restricted for certain operating modes or degrees of automation.
Durch die Erfindung können diverse Vorteile hinsichtlich Kosten und Aufwand bei der Entwicklung und Markteinführung von modernen Fahrzeugen erreicht werden. Beispielsweise können eine Funktionalität, eine Performance und/oder eine Sicherheit des jeweiligen Entwicklungsstands sowie des auf dem Entwicklungsstand basierenden System des Fahrzeugs erhöht werden.Various advantages in terms of costs and effort in the development and market introduction of modern vehicles can be achieved through the invention. For example, functionality, performance and/or safety of the respective development status and of the vehicle system based on the development status can be increased.
Das Entwickeln, Erproben, Absichern und Trainieren von Fahrzeugen kann schnell erfolgen und mit weniger Kosten und Risiken verbunden sein.Developing, testing, validating and training vehicles can be done quickly and with less cost and risk.
Es können Reaktionsdaten des Systems des Fahrzeugs auf Fahrsituationen gewonnen werden, die (unter normalen Umständen) nicht oder extrem selten passieren oder lediglich mit einem sehr hohen Aufwand bzw. Risiko nachgestellt werden können.Reaction data of the vehicle's system can be obtained for driving situations that (under normal circumstances) do not happen or occur extremely rarely or can only be simulated with a great deal of effort or risk.
Dabei kann ein Rückschluss auf eine Performance des Systems des Fahrzeugs auch für ein bestimmtes Verhalten und/oder eine bestimmte Reaktion von (virtuellen) Objekten vorgenommen werden. Dabei kann auch ein (für bestimmte Lebewesen ggf. spezifisches) irrationales Verhalten, insbesondere in einer kritischen Situation, nachgebildet werden.In this way, conclusions about the performance of the vehicle's system can also be drawn for a certain behavior and/or a certain reaction of (virtual) objects. In this way, irrational behavior (possibly specific to certain living beings), particularly in a critical situation, can be simulated.
Ferner können die Reaktionsdaten im Gegensatz zu einem durch Menschen geplante bzw. nachgestellte Test und/oder einer durch Menschen geplanten Absicherung des Systems des Fahrzeugs von möglichen menschlichen Fehlern weitgehend unabhängig sein. Daher bieten die Daten auf Basis der Reaktionsdaten einen reduzierten Einfluss menschlicher Fehler auf das endgültige Produkt, z.B. eine zur Auslieferung bestimmte Version des Fahrzeugsystems.Furthermore, in contrast to a human-planned or simulated test and/or a human-planned safeguarding of the vehicle's system, the reaction data can be largely independent of possible human errors. Therefore, the data based on the response data offers a reduced impact of human error on the final product, e.g. a delivery version of the vehicle system.
Nachteile sowie Schäden (durch die Entwicklung, Absicherung und Betrieb) der Fahrzeuge können stark reduziert werden, z.B. durch:
- - Weniger Risiko für Dritte bzw. für die Gesellschaft;
- - weniger Kosten bzw. Verbrauch von Fahrzeugen; und/oder
- - eine Absicherung und/oder Trainieren der Fahrzeuge mit weniger Fahrleistung.
- - Less risk for third parties or for society;
- - lower costs and consumption of vehicles; and or
- - securing and/or training vehicles with less mileage.
Es kann ferner eine Verkürzung der Entwicklungszyklen, insbesondere bei der Entwicklung des automatisierten Fahrens, erreicht werden.Furthermore, the development cycles can be shortened, particularly in the development of automated driving.
Außerdem kann sich ein erheblicher Vorteil betreffend die Umweltverträglichkeit der Entwicklung, Absicherung und Markteinführung der Fahrzeuge ergeben, da eine extrem große, sonst erforderliche Laufleistung von Versuchsfahrzeugen zumindest teilweise entfallen bzw. ersetzt werden kann.In addition, there can be a considerable advantage with regard to the environmental compatibility of the development, validation and market launch of the vehicles, since an extremely high mileage of test vehicles that would otherwise be required can be at least partially eliminated or replaced.
Ferner können sich auf Basis der in diesem Dokument beschriebenen Merkmale weitere zahlreiche Vorteile ergeben.Furthermore, numerous other advantages can result on the basis of the features described in this document.
Gemäß einem weiteren Aspekt umfasst die Erfindung ein (reales) Fahrzeug. Das (reale) Fahrzeug kann eingerichtet sein, eine Trigger-Bedingung, insbesondere die Trigger-Bedingung nach einem oder mehreren in diesem Dokument beschriebenen Merkmalen, zu empfangen, auszuführen und/oder abhängig von der Trigger-Bedingung ermittelte Datenabschnitte repräsentierend das zumindest eine virtuelle Objekt, verarbeitete Datenabschnitte und/oder Reaktionsdaten an ein Backend zu übermitteln. Ferner kann das Fahrzeug einen oder mehrere Merkmale zum Ausführen bzw. Unterstützen des Verfahrens aufweisen.According to a further aspect, the invention includes a (real) vehicle. The (real) vehicle can be set up to receive a trigger condition, in particular the trigger condition according to one or more features described in this document, to execute and/or data sections determined as a function of the trigger condition representing the at least one virtual object , transmit processed data chunks and/or response data to a backend. Furthermore, the vehicle can have one or more features for executing or supporting the method.
Gemäß einem zweiten Aspekt umfasst die Erfindung ein System zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems eines Fahrzeugsystems. Das System eingerichtet ist zum: Erzeugen von Datenabschnitten repräsentierend ein virtuelles Objekt in einer Umgebung eines Fahrzeugs während eines Fahrbetriebs des Fahrzeugs; Verarbeiten der Datenabschnitte repräsentierend das virtuelle Objekt, insbesondere im Fahrzeug, zusammen mit Daten des Fahrzeugs; Dies erfolgt bevorzugt mittels eines Systems des Fahrzeugs; Erzeugen von Reaktionsdaten des Systems des Fahrzeugs auf die verarbeitete Datenabschnitte repräsentierend das virtuelle Objekt; und Bereitstellen der Reaktionsdaten des Systems des Fahrzeugs, insbesondere an ein Backend, wobei die Reaktionsdaten zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems, insbesondere eines Entwicklungsstandes eines Fahrzeugsystems, verarbeitbar und/oder verwendbar sind.According to a second aspect, the invention includes a system for developing, validating, training and/or operating a vehicle system of a vehicle system. The system is set up to: generate data sections representing a virtual object in an environment of a vehicle during a driving operation of the vehicle; Processing of the data sections representing the virtual object, in particular in the vehicle, together with data of the vehicle; This is preferably done using a system of the vehicle; generating response data of the vehicle's system to the processed data portions representing the virtual object; and providing the reaction data of the vehicle system, in particular to a backend, wherein the reaction data can be processed and/or used for developing, securing, training and/or operating a vehicle system, in particular a development status of a vehicle system.
Dabei kann das System zum Entwickeln, Absichern, Trainieren und/oder Betreiben eines Fahrzeugsystems gemäß dem zweiten Erfindungsaspekt das System des Fahrzeugs umfassen bzw. ein diesem übergeordnetes bzw. ein sich mit diesem zumindest teilweise überschneidendes System sein.The system for developing, validating, training and/or operating a vehicle system according to the second aspect of the invention can include the system of the vehicle or be a superordinate or at least partially overlapping system.
Beispielsweise kann das System ein oder mehrere reale Fahrzeuge, insbesondere Fahrzeuge aus einer sogenannten Kundenflotte und/oder einer Versuchsflotte, umfassen. Optional kann das System ein (gemeinsames) Backend umfassen, an welches die Daten bereitgestellt werden.For example, the system can include one or more real vehicles, in particular vehicles from a so-called customer fleet and/or a test fleet. Optionally, the system can include a (common) backend to which the data is provided.
Gemäß einem weiteren Aspekt umfasst die Erfindung zumindest ein Computerprogramm, insbesondere ein Computerprogrammprodukt umfassend ein Computerprogramm. Das Computerprogramm oder die mehreren Computerprogramme sind ausgebildet ist, bei ihrer Ausführung auf zumindest einer Recheneinheit das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, the invention comprises at least one computer program, in particular a computer program product comprising a computer program. The computer program or the several computer programs are designed to carry out the method described in this document when they are executed on at least one computing unit.
Das Computerprogrammprodukt kann als ein Update eines bisherigen Computerprogramms ausgebildet sein, welches beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“, das Teile des Computerprogramms bzw. des entsprechenden Programmcodes umfasst, bereitgestellt wird. Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist, oder zumindest eine verschlüsselte Datei. Gemäß einem weiteren Aspekt wird ein Programmprodukt vorgeschlagen, das ein autorisiertes Zugriffsrecht auf abgelegte Daten des Computerprogrammprodukts umfasst.The computer program product can be embodied as an update of a previous computer program, which is provided, for example, as part of a functional expansion, for example as part of a so-called “remote software update” that includes parts of the computer program or the corresponding program code. The computer program product includes in particular a medium that can be read by the data processing device and on which the program code is stored, or at least one encrypted file. According to a further aspect, a program product is proposed which includes an authorized right of access to stored data of the computer program product.
Der Begriff „Fahrzeug“ kann im Rahmen dieses Dokuments insbesondere als ein Kraftfahrzeug zu verstehen sein, insbesondere ein PKW, ein LKW, ein Zweirad, wie z.B. ein Motorrad oder ein Fahrrad. Beispielsweise können ein oder mehrere reale Fahrzeuge Kraftfahrzeuge, insbesondere Kraftfahrzeuge für ein bzw. während eines für diese typischen Fahrbetriebs (z.B. während eines Kundenbetriebs auf öffentlichen Straßen) sein.In the context of this document, the term “vehicle” can be understood in particular as a motor vehicle, in particular a passenger car, a truck, a two-wheeler, such as a motorcycle or a bicycle. For example, one or more real vehicles can be motor vehicles, in particular motor vehicles for or during a typical driving operation (eg during customer operation on public roads).
Alternativ oder zusätzlich kann es sich bei dem Fahrzeug um ein Spezialfahrzeug, ein von einem Kraftfahrzeug abweichendes Fahrzeug, ein Wasserfahrzeug, ein Luftfahrzeug, ein landwirtschaftliches Fahrzeug, eine Baumaschine oder eine Maschine zum Ausführen von Erdbewegungen und/oder zur Förderung von (z.B. fossilen) Rohstoffen handeln.Alternatively or additionally, the vehicle can be a special vehicle, a vehicle other than a motor vehicle, a watercraft, an aircraft, an agricultural vehicle, construction machinery or a machine for moving earth and/or for extracting (e.g. fossil) raw materials act.
Gemäß einem weiteren Aspekt umfasst die Erfindung einen Entwicklungsstand eines, insbesondere zumindest teilweise automatisiert fahrbaren, Fahrzeugsystems, welcher gemäß den Merkmalen der Erfindung entwickelt, abgesichert, trainiert und/oder betrieben wird bzw. wurde.According to a further aspect, the invention includes a development status of a vehicle system, in particular one that can be driven at least partially automatically, which is or was developed, secured, trained and/or operated according to the features of the invention.
Insbesondere gehört hierzu ein Stand eines trainierten neuronalen Netzes, z.B. in Form von Daten eines Checkpoints und/oder eines Bias-Terms des Entwicklungstandes. Ein solcher Entwicklungsstand kann z.B. als ein Update bzw. Upgrade (auch nachträglich) an Fahrzeuge übermittelt (ausgerollt) bzw. in den Fahrzeugen verwendet werden.In particular, this includes a status of a trained neural network, e.g. in the form of data from a checkpoint and/or a bias term of the development status. Such a development status can, for example, be transmitted (rolled out) to vehicles as an update or upgrade (also subsequently) or used in the vehicles.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei sind die vorstehend oder nachfolgend in der Beschreibung genannten und/oder in den Zeichnungen alleine gezeigten Merkmale und Merkmalskombinationen nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
1 veranschaulicht schematisch und beispielhaft ein System zur Entwicklung, zur Absicherung, zum Trainieren und/oder zum Betreiben eines Fahrzeugsystems. -
2(a) illustriert beispielhaft und schematisch eine Fahrsituation mit einem realen Fahrzeug und realen Objekten. -
2(b) illustriert beispielhaft und schematisch eine Fahrsituation mit dem realen Fahrzeug aus2(a) , die durch ein virtuelles Objekt verändert wird. -
3 illustriert beispielhaft und schematisch zwei Varianten der Entwicklung einer Fahrsituation in der Umgebung eines realen Fahrzeugs, die durch ein virtuelles Objekt verändert wird.
-
1 FIG. 12 illustrates, schematically and by way of example, a system for developing, validating, training and/or operating a vehicle system. -
2(a) illustrates a driving situation with a real vehicle and real objects by way of example and schematically. -
2 B) illustrates a driving situation with the real vehicle as an example and schematically2(a) , which is modified by a virtual object. -
3 Illustrates two variants of the development of a driving situation in the environment of a real vehicle, which is changed by a virtual object, by way of example and schematically.
Das System 1 umfasst die im Folgenden beispielhaft definierten Komponenten, z.B. Vorrichtungen, als Hardware und/oder Software ausgestaltete Module bzw. Sensoren. Diese sind beispielhaft gemäß ihrer Funktion im Verfahren genannt.The
Das System 1 umfasst eine Komponente DVO zum Ermitteln von Datenabschnitten repräsentierend ein virtuelles Objekt oder mehrere virtuelle Objekte.The
Das System umfasst ferner eine Komponente VDA, die zur Verarbeitung der Datenabschnitte eingerichtet ist. Die Verarbeitung umfasst bevorzugt eine Fusion der Datenabschnitte repräsentierend ein oder mehrere virtuelle Objekte mit weiteren Daten, z.B. mit Datenabschnitten, die einen Teil der realen Umgebung eines Fahrzeugs RF1 und/oder eine Fahrsituation in der Umgebung des Fahrzeugs RF1, wie z.B. reale Objekte oder Verkehrsteilnehmer, repräsentieren. Die letztgenannten Datenabschnitte können erste Datenabschnitte sein (bzw. so bezeichnet werden). Dies können Datenabschnitte eines Umfeldmodells UFM, z.B. repräsentierend einen oder mehrere Parameter der Umgebung und/oder der Fahrsituation, repräsentieren, sein bzw. umfassen.The system also includes a VDA component set up to process the data sections. The processing preferably includes a fusion of the data sections representing one or more virtual objects with further data, e.g. represent. The latter data sections may be (or be referred to as) first data sections. This can represent, be or include data sections of an environment model UFM, e.g. representing one or more parameters of the environment and/or the driving situation.
In einem (weiteren vereinfachten) Beispiel werden die Datenabschnitte repräsentierend ein oder mehrere virtuelle Objekte bei der Verarbeitung der Datenabschnitte mittels der Komponente VDA nicht oder nicht wesentlich verändert. Beispielsweise kann das Verarbeiten der Datenabschnitte umfassen oder darin bestehen, dass Datenabschnitte repräsentierend ein oder mehrere virtuelle Objekte zu den ersten Datenabschnitten repräsentierend reale Objekte zugeordnet und/oder mit diesen synchronisiert werden.In a (further simplified) example, the data sections representing one or more virtual objects are not changed or not significantly changed when the data sections are processed using the VDA component. For example, the processing of the data sections can include or consist in the fact that data sections representing one or more virtual objects are assigned to and/or synchronized with the first data sections representing real objects.
Bevorzugt erfolgt beim Verarbeiten der Datenabschnitte ein zeitliches und/oder räumliches Zuordnen und/oder eine Fusion der Datenabschnitte repräsentierend ein oder mehrere virtuelle Objekte zu den (ersten) Datenabschnitten repräsentierend reale Objekte.When processing the data sections, a temporal and/or spatial assignment and/or a fusion of the data sections representing one or more virtual objects to the (first) data sections representing real objects preferably takes place.
Das Resultat des Verarbeitens wird an das System SYSF des Fahrzeugs RF1 bereitgestellt.The result of the processing is made available to the system SYSF of the vehicle RF1.
Das System SYSF des Fahrzeugs RF1 kann einem serienmäßigen System des Fahrzeugs oder einem Entwicklungsstand ES für ein solches System entsprechen bzw. mit einem solchen System korrespondieren;The system SYSF of the vehicle RF1 can be a standard system of the vehicle or correspond to a development status ES for such a system or correspond to such a system;
Das Umfeldmodell UFM kann z.B. als Modul zur (mathematischen) Modellierung der Umgebung des Fahrzeugs, z.B. in einem Koordinatensystem, implementiert sein. Dieses kann auch Kartendaten (insbesondere zu verstehen als alle Arten von Daten die in der digitalen Karte enthalten oder mit dieser verknüpft sind) umfassen.The UFM environment model can, for example, be implemented as a module for (mathematical) modeling of the vehicle's environment, e.g. in a coordinate system. This can also include map data (to be understood in particular as all types of data contained in the digital map or linked to it).
Mittels einer Komponente AUF, die zur Analyse der Umgebung des Fahrzeugs RF1 eingerichtet ist, können Merkmale bzw. Parameter einer Fahrsituation in der Umgebung des Fahrzeugs RF1 ermittelt und verarbeitet, z.B. analysiert, werden.Features or parameters of a driving situation in the vicinity of the vehicle RF1 can be determined and processed, e.g. analyzed, by means of a component AUF, which is set up to analyze the surroundings of the vehicle RF1.
Es können ferner ein oder mehrere Aktoren AKT des Fahrzeugs RF1, insbesondere Aktoren AKT des Fahrwerks des Fahrzeugs RF1, vorgesehen sein.Furthermore, one or more actuators AKT of the vehicle RF1, in particular actuators AKT of the chassis of the vehicle RF1, can be provided.
Des Weiteren können über eine Datenschnittstelle INF Daten von dem System SYSF des Fahrzeugs RF1 an weitere Vorrichtungen des Fahrzeugs RF1 bereitgestellt werden und/oder an einen Nutzer, insbesondere an den Fahrer des Fahrzeugs RF1 ausgegeben werden. Dies kann z.B. Daten betreffe, die relevant sind für die an den Fahrer auszugebende Fahrerinformation.Furthermore, data from the system SYSF of the vehicle RF1 can be made available to other devices of the vehicle RF1 via a data interface INF and/or can be output to a user, in particular to the driver of the vehicle RF1. This can, for example, relate to data that is relevant to the driver information to be output to the driver.
In Abhängigkeit des Vorliegens einer Trigger-Bedingung TB kann ein Veranlassen und/oder Steuern zumindest eines Schritts des Verfahrens erfolgen. Ferner kann eine Vorrichtung zu einem drahtlosen Empfang der (z.B. von einem Backend BE übermittelten) Trigger-Bedingung TB im Fahrzeug RF1 vorgesehen sein. Darüber hinaus können auch weitere Komponenten des Systems 1 abhängig von der Trigger-Bedingung TB im Rahmen des Verfahrens gesteuert werden.Depending on the presence of a trigger condition TB, at least one step of the method can be initiated and/or controlled. Furthermore, a device for wireless reception of the trigger condition TB (e.g. transmitted by a backend BE) can be provided in the vehicle RF1. In addition, other components of the
Das System 1 muss nicht alle der beispielhaft dargestellten Komponenten umfassen. Es kann aber auch weitere, nicht in der
Besonders bevorzugt wird das Ermitteln der Datenabschnitte repräsentierend ein virtuelles Objekt abhängig von der Trigger-Bedingung TB (auch zu verstehen als: abhängig von dem Zutreffen der Trigger-Bedingung TB) veranlasst und/oder gesteuert.The determination of the data sections representing a virtual object is particularly preferably initiated and/or controlled as a function of the trigger condition TB (also to be understood as: as a function of whether the trigger condition TB applies).
Ferner kann das System SYSF des Fahrzeugs RF1 von dem einen oder mehreren Aktoren AKT des Fahrzeugs RF1 und/oder einer von dem System SYSF des Fahrzeugs RF1 bereitgestellten Information, z.B. von der Ausgabe einer Fahrerinformation INF, entkoppelt sein.Furthermore, the system SYSF of the vehicle RF1 can be decoupled from the one or more actuators AKT of the vehicle RF1 and/or information provided by the system SYSF of the vehicle RF1, e.g. from the output of driver information INF.
Das System SYSF wird (insbesondere lediglich zeitweise und/oder abhängig vom Zutreffen der Trigger-Bedingung TB) mit den Datenabschnitten repräsentierend das zumindest eine virtuelles Objekt oder Datenabschnitte, die mit den Datenabschnitten repräsentierend das zumindest eine virtuelles Objekt fusioniert (z.B. gemeinsam und/oder abhängig voneinander verarbeitet) sind, betrieben.The system SYSF is (in particular only temporarily and/or depending on the occurrence of the trigger condition TB) with the data sections representing the at least one virtual object or data sections that are merged with the data sections representing the at least one virtual object (e.g. jointly and/or dependently processed by each other) are operated.
Dabei erzeugte Reaktionsdaten kennzeichnen oder repräsentieren einen Verlauf der Reaktion des Systems SYSF des Fahrzeugs RF1 (z.B. innerhalb eines gewissen Zeitintervalls und/oder einer gewissen Distanz). Bevorzugt können dies Daten sein, die eine Reaktion des Fahrzeugs RF1 auf ein Erscheinen, ein Verhalten, eine Bewegung, eine Aktion oder eine Interaktion eines virtuellen Objekts repräsentieren.Reaction data generated in this way characterize or represent a course of the reaction of the system SYSF of the vehicle RF1 (e.g. within a certain time interval and/or a certain distance). This can preferably be data that represents a reaction of the vehicle RF1 to an appearance, a behavior, a movement, an action or an interaction of a virtual object.
Bevorzugt können die Reaktionsdaten einen Abschnitt einer Planung der Führung des Fahrzeugs RF1 und/oder einen Abschnitt von Steuerungssignalen zum Steuern der Längsführung, Querführung, oder Manöverausführung und/oder einen Abschnitt von Fahrerinformation repräsentieren. Dabei können die Reaktionsdaten von dem zumindest einem virtuellen Objekt abhängig sein.The reaction data can preferably represent a section of planning the guidance of the vehicle RF1 and/or a section of control signals for controlling the longitudinal guidance, lateral guidance or maneuver execution and/or a section of driver information. The reaction data can be dependent on the at least one virtual object.
Ferner ist in der
Die
Die
In diesem Fall werden Datenabschnitte repräsentierend das zumindest ein virtuelles Objekt VO1, VO2, ... anhängig von den Daten der realen Fahrsituation erzeugt. Dies erfolgt in diesem Beispiel derart, dass die Datenabschnitte abhängig von den Parametern der Fahrsituation, insbesondere laufend und abhängig von den laufenden Parametern des realen Objekts RO2, ermittelt werden.In this case, data sections representing the at least one virtual object VO1, VO2, . . . are generated depending on the data of the real driving situation. In this example, this is done in such a way that the data sections are determined as a function of the parameters of the driving situation, in particular continuously and as a function of the current parameters of the real object RO2.
Dabei wird zu dem realen Fahrzeug RO2 (bzw. den entsprechenden Datenabschnitten) virtuell ein Anhänger VO2 hinzugefügt. Im vorliegenden Beispiel erfolgt dies derart, dass mittels der Komponente AUF eine Auswertung der Umgebung des Fahrzeugs RF1 ausgeführt wird. Dabei wird in der Umgebung des Fahrzeugs RF ein Verkehrsteilnehmer RF2 detektiert. Merkmale und/oder Bewegungsdaten des Verkehrsteilnehmers RF2 werden ausgewertet. Ferner kann (abhängig von den Merkmalen der Fahrsituation) entschieden werden, ein virtuelles Objekt VO2 zu erzeugen.In this case, a trailer VO2 is virtually added to the real vehicle RO2 (or the corresponding data sections). In the present example, this is done in such a way that an evaluation of the surroundings of the vehicle RF1 is carried out using the component AUF. A road user RF2 is detected in the vicinity of the vehicle RF. Characteristics and/or movement data of the road user RF2 are evaluated. Furthermore, it can be decided (depending on the characteristics of the driving situation) to generate a virtual object VO2.
Ein oder mehrere Parameter des virtuellen Objekts VO2 können abhängig von der Position des Verkehrsteilnehmers RF2 und/oder von Merkmalen und/oder Bewegungsdaten des Verkehrsteilnehmers RF2 und/oder von einem oder mehreren Merkmalen, insbesondere einem oder mehreren Mustern, der Fahrsituation, ermittelt werden. Der eine oder die mehreren Parameter des virtuellen Objekts VO2 werden abhängig von einer Veränderung der vorgenannten Parameter der Umgebung bzw. des Verkehrsteilnehmers RF2 ermittelt. Dies kann z.B. zumindest teilweise in der Komponente DVO beim Ermitteln von Datenabschnitten repräsentierend ein virtuelles Objekt erfolgen.One or more parameters of the virtual object VO2 can be determined depending on the position of the road user RF2 and/or characteristics and/or movement data of the road user RF2 and/or one or more characteristics, in particular one or more patterns, of the driving situation. The one or more parameters of the virtual object VO2 are determined as a function of a change in the aforementioned parameters of the environment or of the road user RF2. This can be done, for example, at least partially in the DVO component when determining data sections representing a virtual object.
Ferner wird, insbesondere abhängig von einer Auswertung der realen Fahrsituation (d.h. des realen Teils der Fahrsituation) ein virtuelles Objekt V01 erzeugt. Dieses befindet sich initial in einer kreuzenden Straße bzw. fährt virtuell aus der kreuzenden Straße heraus. Dabei können zwei Varianten V1, V2 der Trajektorie des Objekts VO1 generiert (jeweilige Parameter ermittelt) werden. Eine erste Trajektorie (auch zu verstehen als eine Planung der Bewegung) TVO1(V1) des virtuellen Objekt VO1 führt es nach links, die zweite Trajektorie TV01(V2) des virtuellen Objekt V01 führt es nach rechts. Dabei sind zu einem besseren Verständnis der dynamischen Entwicklung der Fahrsituation die Positionen der (realen bzw. virtuellen) Objekte zu Zeitpunkten t1 und t2 dargestellt, wo bei der Zeitpunkt t2 nach dem Zeitpunkt t1 liegt.Furthermore, a virtual object V01 is generated, in particular depending on an evaluation of the real driving situation (i.e. the real part of the driving situation). This is initially located in an intersecting street or virtually drives out of the intersecting street. Two variants V1, V2 of the trajectory of the object VO1 can be generated (respective parameters determined). A first trajectory (also to be understood as planning the movement) TVO1(V1) of the virtual object VO1 leads it to the left, the second trajectory TV01(V2) of the virtual object VO1 leads it to the right. For a better understanding of the dynamic development of the driving situation, the positions of the (real or virtual) objects at times t1 and t2 are shown, where time t2 is after time t1.
Ferner kann eine Planung der Führung des Fahrzeugs RF1 in den unterschiedlichen Varianten TRF1(V1) und TRF1(V2), z.B. mit und ohne virtuelle Objekte oder mit unterschiedlichen virtuellen Objekten ermittelt werden. Dabei handelt es sich um Varianten der Planungen der Bewegung des Fahrzeugs RF1, die von dem System des Fahrzeugs SYSF als Reaktionsdaten erzeugt werden. Beispielsweise stellen die jeweiligen Varianten der Planung zur Führung des Fahrzeugs TRF1(V1) und TRF1(V2) jeweilige Reaktionen auf die Trajektorien TVO1(V1) bzw. Furthermore, a planning of the guidance of the vehicle RF1 can be determined in the different variants TRF1(V1) and TRF1(V2), e.g. with and without virtual objects or with different virtual objects. These are variants of the plans for the movement of the vehicle RF1, which are generated by the vehicle's system SYSF as reaction data. For example, the respective variants of the planning for guiding the vehicle TRF1(V1) and TRF1(V2) represent respective reactions to the trajectories TVO1(V1) and
TV01(V2) des virtuellen Objekts V01 dar. Diese können erzeugt werden, ohne, dass das Fahrzeug RF1 in Realität gemäß den entsprechenden Trajektorien TRF1(V1), TRF1(V2) geführt wird. Die unterschiedlichen Varianten TVO1(V1) und TV01(V2) können einem Abgleich unterzogen werden. Dies gilt analog auch für die in
Alternativ oder zusätzlich kann das Fahrzeug RF1 (zumindest zeitweise) abhängig von den Reaktionsdaten gesteuert, insbesondere geführt, werden. Beispielsweise kann das Fahrzeug RF1 auf ein virtuelles Objekt VO1, VO2, ... reagieren, indem zumindest ein Aktor AKT und/oder Informationsausgabevorrichtung INF abhängig von dem einen oder mehreren Parametern des virtuellen Objekts VO1, VO2, ... gesteuert wird. Beispielsweise kann das reale Fahrzeug RF1 abhängig von dem Erzeugen eines virtuellen Objekts VO1, VO2 und/oder von einen oder mehreren Parametern des virtuellen Objekts VO1, VO2, ... bremsen, lenken, ein Manöver ausführen oder verändern und/oder eine Fahrerinformation ausgeben.Alternatively or additionally, the vehicle RF1 can (at least temporarily) be controlled, in particular guided, depending on the reaction data. For example, the vehicle RF1 can react to a virtual object VO1, VO2, . For example, depending on the generation of a virtual object VO1, VO2 and/or one or more parameters of the virtual object VO1, VO2, the real vehicle RF1 can brake, steer, execute or change a maneuver and/or output driver information.
Nachstehend wird ein Ablauf des erfindungsgemäßen Verfahrens in Form beispielhafter Schritte veranschaulicht. Die darin beschriebenen Merkmale sind mit allen weiteren im vorliegenden Dokument beschriebenen Merkmalen kombinierbar.A sequence of the method according to the invention is illustrated below in the form of exemplary steps. The features described therein can be combined with all other features described in the present document.
(1)(1)
Das beispielhafte Verfahren umfasst eine (z.B. zyklische und/oder eventabhängige) Überprüfung einer Trigger-Bedingung. Die Trigger-Bedingungen kann im Fahrzeug bzw. in dem Entwicklungsstand vorgesehen, zum Fahrzeug versendet und/oder per Fernsteuerung aktiviert, deaktiviert, verändert oder umgeschaltet werden.The exemplary method includes a (eg cyclical and/or event-dependent) check of a trigger condition. The trigger condition Gen can be provided in the vehicle or in the development status, sent to the vehicle and/or activated, deactivated, changed or switched over by remote control.
Diese Trigger-Bedingung kann z.B. einen Parameter, insbesondere ein Muster, repräsentieren von:
- - einer Situation, z.B. Fahrsituation in der sich das Fahrzeug befindet; und/oder
- - einer Aktion des Nutzers, insbesondere des Fahrers des Fahrzeugs; und/oder
- - einem Betriebszustand eines oder mehrerer Systeme des Fahrzeugs.
- - A situation, eg driving situation, in which the vehicle is located; and or
- - an action of the user, in particular the driver of the vehicle; and or
- - an operating state of one or more systems of the vehicle.
Es kann sich z.B. um eine Trigger-Bedingung handeln, die eine oder mehrere der obigen Parameter, insbesondere Muster, miteinander verknüpft.For example, it can be a trigger condition that links one or more of the above parameters, in particular patterns.
Insbesondere kann die zumindest eine Trigger-Bedingung ein Kriterium in Bezug auf eine (z.B. statistische) Häufigkeit betreffend ein Vorkommen von bestimmten Parametern der Umgebungen realer Fahrzeuge umfassen. Beispielsweise kann die zumindest eine Trigger-Bedingung einen Abgleich von Daten einer Umgebung eines realen Fahrzeugs mit bestimmten, insbesondere häufigen und/oder typisch vorkommenden realen Umgebungen umfassen. Insbesondere können abhängig vom Ergebnis des Abgleichs zumindest vorrangig überwiegend seltene und/oder untypische Umgebungen ausgewählt werden und die Datenabschnitte repräsentierend diese erfasst und/oder weiterverarbeitet werden.In particular, the at least one trigger condition can include a criterion relating to a (e.g. statistical) frequency relating to the occurrence of specific parameters in the surroundings of real vehicles. For example, the at least one trigger condition can include a comparison of data from an environment of a real vehicle with specific, particularly frequent and/or typically occurring real environments. In particular, depending on the result of the comparison, at least predominantly rare and/or atypical environments can be selected and the data sections representing them can be recorded and/or further processed.
In einem weiteren Beispiel des Verfahrens kann die Trigger-Bedingungen eine Abweichung von einem oder mehreren vorausbestimmten Bedingungen, z.B. Wertebereichen, Kombinationen von Wertebereichen und/oder Datenmustern, kennzeichnen. Beispielsweise können die ersten Datenabschnitte dann gezielt in der Weise ermittelt werden, dass sie eine Umgebung des Fahrzeugs repräsentieren, die von einer Norm oder von bekannten und/oder typischen Anordnung von Objekten, Fahrsituation, etc. abweicht.In another example of the method, the trigger conditions may indicate a deviation from one or more predetermined conditions, e.g., ranges of values, combinations of ranges of values, and/or data patterns. For example, the first data sections can then be specifically determined in such a way that they represent an environment of the vehicle that deviates from a norm or from a known and/or typical arrangement of objects, driving situation, etc.
Die Trigger-Bedingung wird beispielsweise zum Fahrzeug versendet und/oder im Fahrzeug (z.B. nach einer vorausbestimmten Bedingung mit oder ohne einen zum Fahrzeug gesendeten Parameter zu der Trigger-Bedingung) ermittelt. Mit der Trigger-Bedingung wird definiert und/oder gesteuert, bei welchen Bedingungen ein Datenabschnitt zu ermitteln ist. Alternativ oder zusätzlich wird mit der Trigger-Bedingung die Zusammensetzung des Datenabschnitts definiert und/oder gesteuert.The trigger condition is, for example, sent to the vehicle and/or determined in the vehicle (e.g. according to a predetermined condition with or without a parameter sent to the vehicle relating to the trigger condition). The trigger condition defines and/or controls under which conditions a data section is to be determined. Alternatively or additionally, the composition of the data section is defined and/or controlled with the trigger condition.
Diese Trigger-Bedingung kann einen Parameter, insbesondere ein Muster, kennzeichnen von einem Vorkommen eines oder mehrerer bestimmter Objekte in der Umgebung des Fahrzeugs, einer bestimmten Situation, z.B. Fahrsituation, in der sich das Fahrzeug befindet, eine oder mehrere Anordnungen, Aktionen, Interaktionen zwischen einem Objekt in der Umgebung und dem Fahrzeug und/oder den Objekten in der Umgebung, und/oder Daten, insbesondere Eingangs-, Zustand- und/oder Ausgangsdaten eines Systems des Fahrzeugs. Es sich um eine intelligente Trigger-Bedingung handeln, die z.B. eine oder mehrere der obigen Parameter, insbesondere Muster, miteinander verknüpft. Insbesondere kennzeichnet die Trigger-Bedingung eine Vorschrift, nach der ein erster Datenabschnitt (z.B. aus einem bestimmten Fahrzeug oder von einem nach einer bestimmten Bedingung ausgewählten Fahrzeug) ermittelt wird.This trigger condition can be a parameter, in particular a pattern, of an occurrence of one or more specific objects in the area surrounding the vehicle, a specific situation, e.g. driving situation in which the vehicle is located, one or more arrangements, actions, interactions between an object in the environment and the vehicle and/or the objects in the environment, and/or data, in particular input, status and/or output data of a system of the vehicle. It is an intelligent trigger condition that, for example, links one or more of the above parameters, in particular patterns. In particular, the trigger condition identifies a rule according to which a first data section (e.g. from a specific vehicle or from a vehicle selected according to a specific condition) is determined.
(2)(2)
Es kann ein Erzeugen der Datenabschnitte repräsentierend das ein oder mehrere virtuelle Objekte erfolgen, wobei eine Auswahl, ein Abruf und/oder ein Abspielen von (z.B. zumindest teilweise vorgespeicherten) Datenabschnitten repräsentierend das zumindest eine virtuelle Objekt, die z.B. das virtuelle Objekt einschließlich seiner Bewegung und/oder Verhalten repräsentieren, erfolgen.The data sections representing the one or more virtual objects can be generated, with a selection, retrieval and/or playback of (e.g. at least partially pre-stored) data sections representing the at least one virtual object, which e.g. the virtual object including its movement and /or represent behavior.
Die Datenabschnitte repräsentierend das eine oder die mehreren virtuellen Objekte können Bilder (z.B. Kameradaten), Wärmebilder, Bildsequenzen, Punktewolken, sogenannte Radar-Objekte und/oder LIDAR-Objekte umfassen, die auch ein reales Fahrzeug bei einem entsprechenden realen Objekt erfassen würde, oder ähnlich beschaffen sein. Insbesondere können die Datenabschnitte repräsentierend virtuelle Objekte etwa dieselben oder entsprechende Merkmale, Format(e) und/oder Qualität(en) aufweisen, wie Bilder (z.B. Kameradaten), Wärmebilder, Bildsequenzen, Punktewolken, sogenannte Radar-Objekte und/oder LIDAR-Objekte, die ein reales Fahrzeug (z.B. mit seinen Sensoren) erfasst. Die Datenabschnitte können die Daten eines realen Sensors des Fahrzeugs beim Auftreten eines dem virtuellen Objekt ähnlichen bzw. entsprechenden realen Objekts simulieren bzw. modelhaft nachbilden.The data sections representing the one or more virtual objects can include images (e.g. camera data), thermal images, image sequences, point clouds, so-called radar objects and/or LIDAR objects, which a real vehicle would also capture with a corresponding real object, or similar be constituted. In particular, the data sections representing virtual objects can have approximately the same or corresponding characteristics, format(s) and/or quality(s), such as images (e.g. camera data), thermal images, image sequences, point clouds, so-called radar objects and/or LIDAR objects, which a real vehicle (e.g. with its sensors) records. The data sections can simulate or model the data of a real sensor of the vehicle when a real object similar to or corresponding to the virtual object occurs.
Ein virtuelles Objekt kann einem bestimmten realen Objekt, z.B. einem Verkehrsteilnehmer einer bestimmten Klasse, wie z.B. Fußgänger, Radfahrer, Motorradfahrer, Rollerfahrer, Kind, Tier (Katze, Hund, Pferd, Schaf, Kuh, Straus, Känguru, Wolpertinger, etc.), hinsichtlich einer Eigenschaft nachempfunden werden bzw. die Eigenschaft, insbesondere dynamisch, simulieren.A virtual object can correspond to a specific real object, e.g. a road user of a specific class, such as pedestrians, cyclists, motorcyclists, scooter riders, children, animals (cat, dog, horse, sheep, cow, ostrich, kangaroo, wolpertinger, etc.), be modeled with regard to a property or the property, in particular dynamically, simulate.
Ein virtuelles Objekt kann ein bestimmtes bzw. ihm zugeordnetes Verhalten und/oder eine bestimme Reaktionsfähigkeit auf andere (reale und/oder virtuelle) Objekte aufweisen.A virtual object may have specific or associated behavior and/or responsiveness to other (real and/or virtual) objects.
Beispielsweise kann das virtuelle Objekt ausgestaltet sein, sich auf eine bestimmte Art und Weise zu bewegen, zu verhalten, zu agieren und/oder zu reagieren. Es können, müssen aber nicht alle, Bewegungen, Aktionen und/oder Reaktionen des Objekts vorausbestimmt (bzw. einprogrammiert) sein. Vielmehr können eine Eigenschaft und/oder ein bestimmtes Verhalten des Objekts (z.B. in Bezug auf seine Umgebung, andere reale Objekte und/oder das Fahrzeug) vorgegeben sein. Dies kann erfolgen, ohne dass bestimmte Bewegungen oder Aktionen vorgegeben bzw. vorgesehen werden (müssen).For example, the virtual object can be designed to move, behave, act and/or react in a certain way. The movements, actions and/or reactions of the object can, but not all, have to be predetermined (or programmed). Rather, a property and/or a specific behavior of the object (e.g. in relation to its environment, other real objects and/or the vehicle) can be specified. This can be done without specific movements or actions being specified or provided for (or having to be).
Die Bewegungen, Aktionen und/oder Reaktionen des Objekts können zumindest teilweise abhängig von einem Parameter der Umgebung, einem Parameter eines realen Objekts in seiner Umgebung, und/oder zumindest teilweise abhängig von einer Zufallsgröße ermittelt werden.The movements, actions and/or reactions of the object can be determined at least partially as a function of a parameter of the environment, a parameter of a real object in its environment, and/or at least partially as a function of a random variable.
Beispielweise kann sich ein virtuelles Objekt derart bewegen, agieren und/oder reagieren, wie es ein durchschnittliches (z.B. typisches), einer bestimmten Klasse entsprechendes Objekt und/oder ein Objekt von einer (z.B. für seine Klasse) durchschnittlichen Gestalt mit einem durchschnittlichen (z.B. typischen bzw. statistisch normalen) Verhalten oder vom einem durchschnittlichen Verhalten (z.B. um einen Abweichungswert bzw. Toleranzwert) abweichenden Verhalten tun würde.For example, a virtual object may move, act and/or react as an average (e.g. typical) object of a certain class and/or an object of average shape (e.g. for its class) with an average (e.g. typical or statistically normal) behavior or behavior that deviates from average behavior (e.g. by a deviation value or tolerance value).
Beispielsweise kann ein virtuelles Objekt, das einem virtuellen Tier, z.B. einer Katze, entspricht, sich (z.B. als eine entsprechende Simulation bzw. entsprechende Datenabschnitte) etwa entsprechend einem virtuellen Tier, z.B. entsprechend einer Katze, verhalten und auf die reale Umgebung einschließlich anderer Verkehrsteilnehmer reagieren bzw. mit dieser interagieren. Die virtuelle Katze kann sozusagen „zum Spazieren herausgelassen“ werden und dabei insbesondere in die (virtuelle) Umgebung des Fahrzeugs gelangen bzw. an eine Rolle in der Fahrsimulation spielen. Auch kann z.B. ein virtuelles Tier ausrutschen und/oder einen (virtuellen) Tod erleiden, z.B. wenn ein Fahrbahnreibwert als ein Parameter der Umgebung angibt, dass die Fahrbahn bzw. ein Bürgersteig derzeit glatt ist.For example, a virtual object that corresponds to a virtual animal, e.g. a cat, can behave (e.g. as a corresponding simulation or corresponding data sections) somewhat like a virtual animal, e.g. corresponding to a cat, and react to the real environment including other road users or interact with it. The virtual cat can, so to speak, be “let out for a walk” and, in particular, enter the (virtual) environment of the vehicle or play a role in the driving simulation. A virtual animal, for example, can also slip and/or suffer a (virtual) death, for example if a road surface friction value indicates as a parameter of the environment that the road surface or a sidewalk is currently slippery.
Alternativ oder zusätzlich kann ein virtuelles Objekt gültig werden (d.h. in Form entsprechender Daten erscheinen bzw. aktiviert werden), wenn eine Situation, z.B. eine mit einem bestimmten Muster von Parametern gekennzeichnete Situation, wie z.B. eine Fahrsituation, erkannt wird. Das Verfahren kann dadurch Gegebenheiten, Situationen, Zustände und die entsprechenden Reaktionsdaten erzeugen bzw. verwendbar machen, die besonders praxisrelevant und/oder für die Praxis und/oder gewünschte Sonderfälle in einem bestimmten, gewünschten (auch hohem) Maße repräsentativ sind. Diese können von einem (sonst typischerweise durch Menschen geplanten bzw. nachgestellten) Test des Systems des Fahrzeugs weitgehend unabhängig sein. Daher kann ein Einfluss möglicher menschlicher Fehler auf das endgültige Produkt, z.B. eine zur Auslieferung bestimmte Version des Fahrzeugsystems, wesentlich reduziert werden.Alternatively or additionally, a virtual object can become valid (i.e. appear or be activated in the form of corresponding data) when a situation, e.g. a situation marked with a certain pattern of parameters, such as a driving situation, is recognized. The method can thereby generate or make usable circumstances, situations, states and the corresponding reaction data that are particularly practice-relevant and/or representative of practice and/or desired special cases to a specific, desired (also high) level. These can be largely independent of a test (otherwise typically planned or simulated by humans) of the vehicle's system. Therefore, an influence of possible human errors on the final product, e.g., a version of the vehicle system intended for delivery, can be significantly reduced.
Der eine oder die mehreren Parameter des virtuellen Objekts können z.B. kennzeichnend sein für einen oder mehrere Einträge aus der folgenden Auflistung:
- - Seine aktuelle Eigenschaft und/oder sein aktuelles Verhalten;
- - seine Position, seine Abmessungen, und/oder seine Bewegung;
- - seine Wahrnehmung (z.B. für einen von dem Objekt einsehbarer Raumbereich und/oder für das, was das Objekt aus seiner Perspektive wahrnehmen kann);
- - eine Aktion und/oder Einwirkung des virtuellen Objekts gegenüber dem Fahrzeug bzw. auf das Fahrzeug und/oder gegenüber einem weiteren realen Objekt bzw. auf das weitere reale Objekt;
- - eine Aktion des Fahrzeugs und/oder eines weiteren realen Objekts mit Bezug auf das virtuelle Objekt;
- - eine Einwirkung eines weiteren realen Objekts und/oder des Fahrzeugs auf das virtuelle Objekt.
- - Its current property and/or behavior;
- - its position, dimensions, and/or movement;
- - its perception (e.g. for a spatial area that can be seen by the object and/or for what the object can perceive from its perspective);
- - an action and/or influence of the virtual object in relation to the vehicle or on the vehicle and/or in relation to a further real object or on the further real object;
- - an action of the vehicle and/or another real object with respect to the virtual object;
- - an effect of another real object and/or the vehicle on the virtual object.
(3)(3)
Die im Verfahren optional vorgesehenen ersten Datenabschnitte können (auch) abhängig von der zumindest einen (zutreffenden) Trigger-Bedingung ermittelt werden.The first data sections optionally provided in the method can (also) be determined as a function of the at least one (applicable) trigger condition.
Beispielsweise beziehen sich die ersten Datenabschnitte (auch zu verstehen als ein Satz der ersten Datenabschnitte) auf ein Manöver des Fahrzeugs und/oder eines Verkehrsteilnehmers in der Umgebung und/oder auf ein entsprechendes Zeitintervall (in der Praxis etwa 5, 20, 40 oder 60 Sekunden). Das Manöver kann z.B. auf Basis der unterschiedlichen Sensoren, Kartendaten etc. als ein oder mehrere Traces ermittelt bzw. verarbeitet werden.For example, the first data sections (also to be understood as a set of the first data sections) relate to a maneuver of the vehicle and/or a road user in the environment and/or to a corresponding time interval (in practice approximately 5, 20, 40 or 60 seconds ). The maneuver can, for example, be determined or processed as one or more traces on the basis of the different sensors, map data, etc.
(4)(4)
Es erfolgt ein Verarbeiten der ersten Datenabschnitte abhängig von den Datenabschnitten repräsentierend das virtuelle Objekt und/oder ein Verarbeiten der Datenabschnitte repräsentierend das virtuelle Objekt abhängig von den ersten Datenabschnitten.The first data sections are processed depending on the data sections representing the virtual object and/or the data sections representing the virtual object are processed depending on the first data sections.
Die verarbeiteten Datenabschnitte können verstanden werden als ein Satz von (mehreren) verarbeiteten Datenabschnitten, die sich etwa auf dieselbe Umgebung des Fahrzeugs, etwa dieselbe Fahrsituation, etwa dasselbe Zeitintervall und/oder etwa dieselben Objekte oder Anordnungen von Objekten, z.B. von Verkehrsteilnehmern, beziehen.The processed data sections can be understood as a set of (several) processed data sections that relate to approximately the same surroundings of the vehicle, approximately the same driving situation, approximately the same time interval and/or approximately the same objects or arrangements of objects, e.g. of road users.
In einem bevorzugten Beispiel wird das Erzeugen der verarbeiteten Datenabschnitte durch (insbesondere auch zu verstehen als „mittels“ oder „umfassend“) Einfügen, insbesondere Integrieren, eines oder mehrerer virtuellen Objekten zu den ersten Datenabschnitten (bzw. in die ersten Datenabschnitte), und/oder durch ein Modifizieren der ersten Datenabschnitte abhängig von dem einen oder mehreren virtuellen Objekten ausgeführt.In a preferred example, the generated data sections are generated by (in particular also to be understood as “by means” or “comprehensive”) inserting, in particular integrating, one or more virtual objects to the first data sections (or into the first data sections) and/or or performed by modifying the first data sections depending on the one or more virtual objects.
Insbesondere ist das Erzeugen von zweiten Datenabschnitten durch Einfügen eines oder mehrerer virtuellen Objekten zu den ersten Datenabschnitten derart zu verstehen (bzw. erfolgt derart), dass die verarbeiteten Datenabschnitte sowohl reale (durch die ersten Datenabschnitte repräsentierte) Objekte als auch das ein oder mehrere virtuelle Objekte umfassen bzw. repräsentieren.In particular, the generation of second data sections by inserting one or more virtual objects to the first data sections is to be understood (or takes place in such a way) that the processed data sections are both real objects (represented by the first data sections) and the one or more virtual objects include or represent.
Alterativ oder zusätzlich erfolgt ein Verarbeiten der ersten Datenabschnitte abhängig von dem einen oder mehreren virtuellen Objekten, insbesondere abhängig von den Parametern des einen oder mehrerer virtueller Objekte. Dies kann gemäß einem vorausbestimmten mathematischen Zusammenhang (z.B. einer Regel, einer Formel, einem Koeffizienten einer vorausbestimmten Formel oder dergleichen) ausgeführt werden. Bevorzugt umfasst das Verarbeiten eine Veränderung des einen oder der mehreren in den ersten Datenabschnitten repräsentierten Objekte bzw. der ersten Datenabschnitte, wobei in den verarbeiteten Datenabschnitten veränderte reale (bzw. vormals auf realen Objekten basierte) Objekte repräsentiert werden.Alternatively or additionally, the first data sections are processed depending on the one or more virtual objects, in particular depending on the parameters of the one or more virtual objects. This can be performed according to a predetermined mathematical context (e.g., a rule, a formula, a coefficient of a predetermined formula, or the like). The processing preferably includes changing the one or more objects represented in the first data sections or the first data sections, with changed real objects (or objects formerly based on real objects) being represented in the processed data sections.
Beispielsweise können die verarbeiteten Datenabschnitte eine Anordnung (z.B. als eine oder mehrere zu unterschiedlichen Zeitpunkten geltende Anordnung oder eine dynamische Szene) von den einem oder mehreren realen Objekten aus der Umgebung des Fahrzeugs (z.B. aus dem aktuellen Geschehen bzw. der aktuellen Fahrsituation) und zumindest einem virtuelle Objekt repräsentieren.For example, the processed data sections can be an arrangement (e.g. as one or more arrangements valid at different times or a dynamic scene) of the one or more real objects from the environment of the vehicle (e.g. from the current events or the current driving situation) and at least one represent virtual objects.
Alternativ können die (weiteren) Daten des Fahrzeugs beliebige andere Daten sein. Diese müssen nicht notwendigerweise reale Objekte repräsentieren. Das Verfahren, insbesondere das Betreiben des Systems des Fahrzeugs kann z.B. auch nur auf Basis der Datenabschnitte, die das zumindest ein virtuelles Objekt repräsentieren, ausgeführt werden. Wie bereits beschrieben kann der Schritt des Verarbeitens lediglich ein, bevorzugt mehr oder minder gleichzeitiges bzw. synchronisiertes, Bereitstellen sowohl der Datenabschnitte des zumindest eines virtuellen Objekts als auch der weiteren Daten des Fahrzeugs an das System des Fahrzeugs, umfassen.Alternatively, the (further) data of the vehicle can be any other data. These do not necessarily have to represent real objects. The method, in particular the operation of the vehicle's system, can also be carried out, for example, only on the basis of the data sections that represent the at least one virtual object. As already described, the processing step can only include providing both the data sections of the at least one virtual object and the additional data of the vehicle to the system of the vehicle, preferably more or less simultaneously or synchronized.
(5)(5)
Die Reaktionsdaten werden erzeugt, indem das System des Fahrzeugs zumindest zeitweise mit den verarbeiteten Datenabschnitten als eine seiner Inputgrößen betrieben wird.The response data is generated by operating the vehicle's system, at least part of the time, with the processed data portions as one of its inputs.
Besonders bevorzugt können die Reaktionsdaten zumindest teilweise während der mit dem einen oder mehreren virtuellen Objekten gebildeten Fahrsituation (d.h. während der Präsenz, Aktivität, Gültigkeit, Bewegung des Fahrzeugs, der realen Objekte und/oder virtuellen Objekte, während des Geschehens) und/oder im Fahrbetrieb des Fahrzeugs erfolgen.The reaction data can particularly preferably be generated at least partially during the driving situation formed with the one or more virtual objects (i.e. during the presence, activity, validity, movement of the vehicle, the real objects and/or virtual objects, during the event) and/or while driving of the vehicle.
Daher können die Reaktionsdaten in diesem Beispiel zumindest überwiegend bzw. maßgeblich mittels einer Einheit des Fahrzeugs bzw. mittels des im Fahrzeug betriebenen Systems des Fahrzeugs, insbesondere dem Entwicklungsstand erzeugt werden.Therefore, the reaction data in this example can be generated at least predominantly or decisively by means of a unit of the vehicle or by means of the system of the vehicle operated in the vehicle, in particular the development status.
Alternativ können die Reaktionsdaten zumindest teilweise im Backend bzw. mit Mitteln des Backends (z.B. auch durch ein Versenden der Datenpakete) erzeugt (z.B. stückweise ermittelt) werden.Alternatively, the reaction data can be generated (e.g. determined piecemeal) at least partially in the backend or with means of the backend (e.g. also by sending the data packets).
Beispielsweise können die Reaktionsdaten eine Entscheidung kennzeichnen, dem virtuellen Objekt (virtuell) auszuweichen, auf das virtuelle Objekt zu bremsen, ein bestimmtes Manöver auszuführen oder eine Kollision mit dem Objekt (z.B. mit einem möglichst geringem Schaden) auszuführen. Die Reaktionsdaten können, z.B. Parameter einer entsprechenden Bahnplanung (Trajektorienplanung) bzw. einer Ausweichkurve, einer Bremskraft, einer Anzeige des Fahrzeugs für den Nutzer des Fahrzeugs etc. kennzeichnen. Die Reaktionsdaten können z.B. einen oder mehrere Betriebsparameter des Systems des Fahrzeugs (z.B. einer Sensorik, eines Steuergeräts etc.) kennzeichnen, die auf Basis der resultierenden (durch das zumindest ein virtuelles Objekt entstandenen) Fahrsituation ermittelt werden oder (z.B. im Wesentlichen nur) einen Unterschied zwischen der Reaktion des Systems des Fahrzeugs auf die aufgrund des einen oder der mehreren virtuellen Objekte entstandene Situation in der Umgebung des Fahrzeugs gegenüber der realen Situation des Fahrzeugs. Die Reaktionsdaten können eine Kombination der Reaktion des Fahrzeugs auf die reale Umgebung, reale Bedingungen oder eine reale Situation kennzeichnen, die mit dem virtuellen Objekt (d.h. sozusagen dem virtuell vorhandenen Teil einer „Gesamtrealität“, die die reale Umgebung und das virtuelle Objekt umfasst) ergänzt, verändert oder angereichert wird. Besonders kennzeichnen die Reaktionsdaten eine Reaktion des Systems des Fahrzeugs auf eine (virtuelle) Interaktion des Fahrzeugs mit dem virtuellen Objekt. Die Datenabschnitte repräsentierend das zumindest eine virtuelles Objekt können (laufend bzw. in Echtzeit) abhängig von der Reaktion des Systems des Fahrzeugs verändert werden.For example, the reaction data can identify a decision to (virtually) avoid the virtual object, to brake on the virtual object, to perform a specific maneuver, or to perform a collision with the object (eg with as little damage as possible). The reaction data can, for example, identify parameters of a corresponding path planning (trajectory planning) or an avoidance curve, a braking force, a display of the vehicle for the user of the vehicle, etc. The reaction data can, for example, identify one or more operating parameters of the vehicle system (e.g. a sensor system, a control unit, etc.) that are determined on the basis of the resulting driving situation (caused by the at least one virtual object) or (e.g. essentially only) a difference between the reaction of the vehicle's system to the situation in the surroundings of the vehicle that has arisen due to the one or more virtual objects compared to the real situation of the vehicle. The response data may indicate a combination of the vehicle's response to the real environment, real conditions, or a real situation that is supplemented with the virtual object (ie, the virtual portion of a "total reality" that includes the real environment and the virtual object, so to speak). , modified or enriched. In particular, the reaction data characterize a reaction of the vehicle's system to a (virtual) interaction of the vehicle with the virtual object. The data sections representing the at least one virtual object can be changed (continuously or in real time) depending on the reaction of the vehicle's system.
Der Begriff „Fahrsituation“ kann im Rahmen des vorliegenden Dokuments z.B. als eine durch eine bestimmte Anordnung, Aktion oder Interaktion von Verkehrsteilnehmern oder durch bestimmte Fahrparameter von Verkehrsteilnehmern gekennzeichnete Situation verstanden werden. Insbesondere kann eine Fahrsituation durch ein bestimmtes Muster (auch zu verstehen als ein Datenmuster), z.B. ein Muster kennzeichnend eine Anordnung oder Geschwindigkeit(en) der Objekte und/oder Muster der Parameter der Fahrsituation, gekennzeichnet sein. Auch kann die Fahrsituation durch ein räumliches Muster der sogenannten Freiräume in der Umgebung des Fahrzeugs gekennzeichnet sein. Beispielsweise kann sich eine Trigger-Bedingung auf derartige Merkmale bzw. entsprechende Parameter der Fahrsituation beziehen.In the context of the present document, the term "driving situation" can be understood, for example, as a situation characterized by a specific arrangement, action or interaction of road users or by specific driving parameters of road users. In particular, a driving situation can be characterized by a specific pattern (also to be understood as a data pattern), e.g. a pattern identifying an arrangement or speed(s) of the objects and/or patterns of the parameters of the driving situation. The driving situation can also be characterized by a spatial pattern of the so-called free spaces in the vicinity of the vehicle. For example, a trigger condition can relate to such features or corresponding parameters of the driving situation.
Bevorzugt kann die zumindest eine Fahrsituation gekennzeichnet sein durch einen oder mehrere der nachfolgend aufgezählten Merkmale:
- - Eine (bestimmte) räumliche Verteilung der Verkehrsteilnehmer und/oder der Bewegungsparameter der Verkehrsteilnehmer, insbesondere ein Anordnungsmuster der Verkehrsteilnehmer in der Umgebung des (realen) Fahrzeugs;
- - eine (bestimmte) räumliche Verteilung unbeweglicher Objekte in der Umgebung des Fahrzeugs;
- - eine relative Position und/oder Bewegungsparameter zu bestimmten Arten von Spurenmarkierungen, Verkehrszeichen, Ampeln (nicht notwendigerweise zu bestimmten Ampeln) etc.;
- - eine Information über eine Vorfahrt des Fahrzeugs, insbesondere gegenüber bestimmten Verkehrsteilnehmern und/oder Verkehrsteilnehmern, die tatsächlich oder zumindest potentiell aus bestimmten Richtungen, z.B. einer querenden Straße, von rechts oder von links kommen oder kommen können;
- - eine Information zu einer, z.B. einen Grenzwert überschreitenden, Handlung eines Verkehrsteilnehmers in der Umgebung des Fahrzeugs, wie z.B. ein Hupen, Lichthupen, Drängeln, Überholen des Fahrzeugs, einen Überholversuch oder dergleichen.
- - A (specific) spatial distribution of the road users and/or the movement parameters of the road users, in particular an arrangement pattern of the road users in the environment of the (real) vehicle;
- - a (certain) spatial distribution of immovable objects in the vicinity of the vehicle;
- - a relative position and/or movement parameters to certain types of lane markings, traffic signs, traffic lights (not necessarily to certain traffic lights), etc.;
- - Information about the right of way of the vehicle, in particular over certain road users and/or road users who are actually or at least potentially coming from certain directions, for example a crossing street, from the right or from the left or can come;
- - Information on an action, for example exceeding a limit value, by a road user in the vicinity of the vehicle, such as honking the horn, flashing the headlights, jostling, overtaking the vehicle, an attempt to overtake or the like.
Ferner kann die Fahrsituation durch einen oder mehrere Parameter der (im Zusammenhang mit der Fahrsituation relevanten) Verkehrsregeln, Verkehrszeichen, Vorfahrten, Ampeln und/oder Ampelphasen gekennzeichnet sein.Furthermore, the driving situation can be characterized by one or more parameters of the traffic rules (relevant in connection with the driving situation), traffic signs, right of way, traffic lights and/or traffic light phases.
Bevorzugt kann es sich bei der zumindest einen Fahrsituation um eine bestimmte Grenzwerte überschreitende Fahrsituation bzw. eine Fahrsituation, die durch bestimmte Grenzwerte überschreitende Parameter gekennzeichnet ist, handeln. Beispielsweise kann es sich bei der zumindest einen Fahrsituation um eine Fahrsituation mit einer unerwünschten bzw. gefährlichen Annäherung an ein Objekt oder einen Verkehrsteilnehmer, um eine einen Grenzwert überschreitende Beschleunig, eine unterwünschte Anordnung relativ zu weiteren Verkehrsteilnehmern etc. handeln.The at least one driving situation can preferably be a driving situation that exceeds specific limit values or a driving situation that is characterized by parameters that exceed specific limit values. For example, the at least one driving situation can be a driving situation with an undesired or dangerous approach to an object or a road user, an acceleration that exceeds a limit value, an undesired arrangement relative to other road users, etc.
(6)(6)
In einem optionalen Schritt werden die Reaktionsdaten des Systems des Fahrzeugs mit den Reaktionsdaten eines (ggf. im Fahrzeug verbauten oder mitgeführten) Referenzsystems des Fahrzeugs verglichen. Daraufhin können bestimmten Unterschiede, insbesondere eine Regel, insbesondere kennzeichnend eine z.B. statistische Gesetzmäßigkeit, ermittelt (abgeleitet) werden. Beispielsweise kann ein Rückschluss auf eine erste Regel gemacht werden, nach der das Vorkommen eines bestimmten Verhaltens, eines Fehlers, ein Performanceindikators etc. z.B. von einer vorherrschenden Situation und/oder Randbedingung abhängt.In an optional step, the reaction data of the vehicle's system are compared with the reaction data of a reference system of the vehicle (possibly built into or carried in the vehicle). Specific differences, in particular a rule, in particular characterizing a statistical law, for example, can then be determined (derived). For example, a conclusion can be drawn about a first rule, according to which the occurrence of a specific behavior, an error, a performance indicator, etc. depends on a prevailing situation and/or boundary condition, for example.
Daraufhin kann abhängig von den Reaktionsdaten (zumindest teilweise rechnergestützt und/oder zumindest teilweise durch eine menschliche Entscheidung) eine zweite Regel abgeleitet werden. Die zweite Regel kann in der Datenverarbeitung des Systems des Fahrzeugs, insbesondere in dem Entwicklungsstand des Fahrzeugs, abgebildet bzw. berücksichtigt werden. A second rule can then be derived depending on the response data (at least in part computer-aided and/or at least in part by human decision). The second rule can be mapped or taken into account in the data processing of the vehicle system, in particular in the development status of the vehicle.
Die zweite Regel kann zu einer Korrektur und/oder Verbesserung einer (unerwünschten) Gesetzmäßigkeit aus der ersten Regel eingerichtet werden. Beispielsweise kann die zweite Regel ein bestimmtes, z.B. statistisch gehäuftes, Verhalten und/oder einen Fehler in den Reaktionsdaten zumindest teilweise korrigieren und/oder durch ein gewünschtes und/oder fehlerarmes Verhalten ersetzen.The second rule can be set up to correct and/or improve an (undesirable) regularity from the first rule. For example, the second rule can at least partially correct a specific, eg statistically accumulated, behavior and/or an error in the reaction data and/or by a replace desired and/or low-error behavior.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs eine datengestützte Entwicklung, z.B. betreffend einen Entwicklungsstand zu dem System des Fahrzeugs, zu einer nächsten Generation des Systems des Fahrzeugs bzw. zu einem weiteren System des Fahrzeugs erfolgen.Alternatively or additionally, depending on the reaction data provided by the vehicle system, a data-supported development, e.g. relating to a development status of the vehicle system, of a next generation of the vehicle system or of another vehicle system, can take place.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs ein Rückschluss auf eine Auftrittswahrscheinlichkeit und/oder auf eine Konsequenz eines bestimmten, insbesondere aufgrund einer bestimmten Reaktion des Systems des Fahrzeugs möglichen, wahrscheinlichen und/oder nicht verhinderten Ereignisses gemacht werden. Beispielsweise kann ein Rückschluss auf eine Auftrittswahrscheinlichkeit und/oder Konsequenz eines bestimmten aufgrund der Reaktion des Systems des Fahrzeugs (für ein zumindest teilweise automatisiertes Fahren) möglichen, wahrscheinlichen und/oder nicht verhinderten Ereignisses gemacht werden, für den Fall, dass in einem realen Fahrbetrieb anstatt des virtuellen Objekts ein reales Objekt mit vergleichbaren Merkmalen bzw. mit vergleichbarem Verhalten vorkommen würde.Alternatively or additionally, depending on the reaction data provided by the vehicle system, a conclusion can be drawn about the probability of occurrence and/or a consequence of a specific event that is possible, probable and/or not prevented, in particular due to a specific reaction of the vehicle system. For example, a conclusion can be drawn about a probability of occurrence and/or consequence of a specific event that is possible, probable and/or not prevented due to the reaction of the vehicle system (for at least partially automated driving), in the event that in real driving instead of the virtual object a real object with comparable characteristics or with comparable behavior would occur.
Alternativ oder zusätzlich kann abhängig von den bereitgestellten Reaktionsdaten des Systems des Fahrzeugs ein Systemtest, Sicherheitstest und/oder ein Homologationstest (z.B. mit einer Vielzahl von zumindest teilweise standardisierten virtuellen Objekten) ausgeführt werden.Alternatively or additionally, a system test, safety test and/or homologation test (e.g. with a large number of at least partially standardized virtual objects) can be carried out depending on the response data provided by the vehicle system.
Abhängig von einer (z.B. automatisierten, rechnergestützten) Verarbeitung der Reaktionsdaten können Fahrbahnabschnitte, z.B. Straßenabschnitte, Kreuzungen, Kreisverkehre, Einfahrten, Ausfahrten, Unterfahrten, Überfahrten etc. ausgewählt bzw. in eine, zwei oder mehr als zwei unterschiedliche Kategorien eingeteilt werden. Beispielsweise kann dies abhängig von einer anhand der Reaktionsdaten geschätzten Performance eines realen Systems auf bestimmte reale Objekte erfolgen. Abhängig von den ausgewählten Fahrbahnabschnitten bzw. einer Kategorie, der diese zugeordnet wurden, kann das Ausführen bestimmter Funktionalitäten des (realen) Systems des Fahrzeugs freigegeben, gesperrt und/oder eingeschränkt werden.Depending on (e.g. automated, computer-aided) processing of the reaction data, road sections, e.g. road sections, intersections, roundabouts, entrances, exits, underpasses, crossings, etc. can be selected or divided into one, two or more than two different categories. For example, this can be done as a function of a real system's performance, estimated on the basis of the reaction data, on specific real objects. Depending on the selected roadway sections or a category to which they have been assigned, the execution of specific functionalities of the (real) system of the vehicle can be released, blocked and/or restricted.
Beispielsweise kann abhängig von den Reaktionsdaten ein automatisiertes Fahren, insbesondere eine Ausführung eines bestimmten Automatisierungsgrads, wie z.B. Level 2, 2+, 3, 3+, 4, 4+ oder 5, auf den ausgewählten bzw. zu bestimmten Kategorien zugeordneten Fahrbahnabschnitten freigegeben, gesperrt und/oder eingeschränkt werden.For example, depending on the reaction data, automated driving, in particular an execution of a certain degree of automation, such as Level 2, 2+, 3, 3+, 4, 4+ or 5, can be enabled or blocked on the road sections selected or assigned to certain categories and/or restricted.
Beispielsweise ist dies derart zu verstehen, dass aufgrund der Reaktionsdaten des Systems des Fahrzeugs (z.B. eines Entwicklungsstands für ein System des Fahrzeugs) ein oder mehrere Fahrbahnabschnitte ausgewählt werden, die für die Nutzung des auf dem System des Fahrzeugs bzw. dem Entwicklungsstand basierenden Systems des Fahrzeugs, insbesondere für eine bestimmte Funktionalität des Systems des Fahrzeugs, freigegeben, eingeschränkt oder gesperrt werden.For example, this is to be understood in such a way that, based on the reaction data of the vehicle system (e.g. a development status for a vehicle system), one or more road sections are selected which are suitable for the use of the vehicle system based on the vehicle system or the development status , in particular for a specific functionality of the vehicle's system, can be released, restricted or blocked.
Die Information über die (gewählten bzw. ermittelten) Fahrbahnabschnitte kann einer digitalen Karte zugeordnet werden. Abhängig von der digitalen Karten kann ein (typgleiches, ähnliches oder weiterentwickeltes) System des Fahrzeugs betrieben, insbesondere für bestimmte Betriebsmodi oder Automatisierungsgrade freigegeben, gesperrt und/oder eingeschränkt werden.The information about the (selected or determined) road sections can be assigned to a digital map. Depending on the digital map, a system (of the same type, similar or further developed) of the vehicle can be operated, in particular released, blocked and/or restricted for certain operating modes or degrees of automation.
(7)(7)
Die Reaktionsdaten auf die verarbeitete Datenabschnitte können z.B. für ein oder mehrere Elemente aus der nachfolgenden Auflistung bereitgestellt und/oder verwendet werden:
- - zum Test und/oder zur Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs;
- - zum Ermitteln zumindest eines Performanceindikators, wie z.B. eines KPI eines Entwicklungsstands, wobei insbesondere ein Rückschluss auf einen Performanceindikator eines realen Systems des Fahrzeugs (z.B. eines korrespondierenden Systems, z.B. mit gleichen oder ähnlichen Merkmalen) möglich ist;
- - zum Nachweis einer (positiven oder negativen) Risikobilanz des Systems des Fahrzeugs, insbesondere für einen Rückschluss auf die erwartete Performance in Bezug auf diverse Fahrsituationen;
- - zum Trainieren eines neuronalen Netzes, wobei die resultierenden Lerndaten (z.B. Gewichtsdaten, Bias Terms, Checkpoints) insbesondere zum Betreiben eines realen Fahrzeugs einsetzbar sind;
- - zum Freischalten und/oder Sperren von Leistungsmerkmalen zumindest eines Fahrzeugs, insbesondere mit dem gleichen oder ähnlichen Systemen wie der Entwicklungsstand. Dies kann auch nach der Auslieferung des Fahrzeugs, z.B. remote erfolgen;
- - zum Freischalten und/oder Sperren von (bestimmten) realen Reaktionen des Systems des Fahrzeugs an bestimmten bzw. bestimmten Kriterien entsprechenden Fahrbahnabschnitten;
- - zum Verändern einer digitalen Karte und/oder von Daten zur Interpretation einer digitalen Karte, insbesondere zur Freigabe oder Sperrung bestimmter Fahrbahnabschnitte für die Ausführung bestimmter Funktionalitäten, insbesondere bestimmter Reaktionen auf bestimmte reale Situationen, die der zumindest einen neuen Situation hinreichend ähnlich sind.
- - to test and/or to validate a development status of a vehicle system;
- - to determine at least one performance indicator, such as a KPI of a development status, in particular a conclusion on a performance indicator of a real system of the vehicle (eg a corresponding system, eg with the same or similar features) is possible;
- - to demonstrate a (positive or negative) risk assessment of the vehicle's system, in particular to draw conclusions about the expected performance in relation to various driving situations;
- - for training a neural network, the resulting learning data (e.g. weight data, bias terms, checkpoints) being usable in particular for operating a real vehicle;
- - to enable and/or block performance features of at least one vehicle, in particular with the same or similar systems as the development status. This can also be done remotely after delivery of the vehicle, for example;
- - to enable and/or block (certain) real reactions of the system of the vehicle on certain sections of road or sections of road that meet certain criteria;
- - for changing a digital map and/or data for interpreting a digital map, in particular for releasing or blocking certain road sections for the execution of certain functionalities, in particular certain reactions to certain real situations that are sufficiently similar to the at least one new situation.
Ferner umfasst die Erfindung die oben genannten oder weitere Systeme bzw. Funktionalitäten in Fahrzeugen oder Systemen bzw. Funktionalitäten zum Betreiben von Fahrzeugen, die abhängig von, insbesondere auf Basis der Reaktionsdaten entwickelt, abgesichert, trainiert, ausgeführt bzw. ausführbar gemacht werden.The invention also includes the above-mentioned or other systems or functionalities in vehicles or systems or functionalities for operating vehicles that are developed, secured, trained, executed or made executable depending on, in particular on the basis of, the reaction data.
Eine weitere vorteilhafte Ausführungsform der Erfindung ist die Verwendung, insbesondere das Betreiben, einer nach den Merkmalen der Erfindung erzeugten teilweise virtuellen Umgebung eines Fahrzeugs zum Test und/oder zur Absicherung eines Entwicklungsstands eines Systems eines Fahrzeugs. Das System des Fahrzeugs kann ein Fahrerassistenzsystem oder ein System zum zumindest teilautomatisierten Fahren bzw. Parken eines Fahrzeugs sein.A further advantageous embodiment of the invention is the use, in particular the operation, of a partially virtual environment of a vehicle generated according to the features of the invention for testing and/or for safeguarding a development status of a system of a vehicle. The vehicle system can be a driver assistance system or a system for at least partially automated driving or parking of a vehicle.
Claims (13)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021110810.1A DE102021110810A1 (en) | 2021-04-27 | 2021-04-27 | Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system |
| EP21212984.5A EP4083784A1 (en) | 2021-04-27 | 2021-12-07 | Method, system and computer program for developing, securing, training and / or operating a vehicle system or a vehicle functionality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021110810.1A DE102021110810A1 (en) | 2021-04-27 | 2021-04-27 | Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102021110810A1 true DE102021110810A1 (en) | 2022-10-27 |
Family
ID=83507805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102021110810.1A Pending DE102021110810A1 (en) | 2021-04-27 | 2021-04-27 | Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102021110810A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017204983A1 (en) | 2017-03-24 | 2018-09-27 | Audi Ag | A method for specifying a driving movement in a machine learning based autopilot device of a motor vehicle and control device, motor vehicle and training device for an autopilot device |
| DE102019203712A1 (en) | 2019-03-19 | 2020-09-24 | Psa Automobiles Sa | Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system |
| DE102019126713A1 (en) | 2019-10-02 | 2021-04-08 | Bayerische Motoren Werke Aktiengesellschaft | Method, system and computer program for operating an at least partially automated and / or remote-controlled vehicle |
-
2021
- 2021-04-27 DE DE102021110810.1A patent/DE102021110810A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017204983A1 (en) | 2017-03-24 | 2018-09-27 | Audi Ag | A method for specifying a driving movement in a machine learning based autopilot device of a motor vehicle and control device, motor vehicle and training device for an autopilot device |
| DE102019203712A1 (en) | 2019-03-19 | 2020-09-24 | Psa Automobiles Sa | Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system |
| DE102019126713A1 (en) | 2019-10-02 | 2021-04-08 | Bayerische Motoren Werke Aktiengesellschaft | Method, system and computer program for operating an at least partially automated and / or remote-controlled vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3970077B1 (en) | Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system | |
| EP3181422B1 (en) | Method and system for automatically guiding a follow vehicle with a scout vehicle | |
| DE102012222301B4 (en) | Method of controlling a host vehicle | |
| DE102016212195A1 (en) | Method for performing an automatic intervention in the vehicle guidance of a vehicle | |
| EP3543985A1 (en) | Simulation of different traffic situations for a test vehicle | |
| DE102013005362A1 (en) | Method for analyzing traffic conditions between vehicle and road user at e.g. road crossings, involves dynamically determining danger areas based on points of intersection of predicted movement trajectories | |
| DE102016007899B4 (en) | Method for operating a device for traffic situation analysis, motor vehicle and data processing device | |
| DE102019203712B4 (en) | Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system | |
| DE102016007563A1 (en) | Method for trajectory planning | |
| DE102019215657A1 (en) | Vehicle control system and method | |
| DE102017006338A1 (en) | Method for efficient validation and secure application of autonomous and semi-autonomous vehicles | |
| DE102019205892A1 (en) | Method for operating a motor vehicle and motor vehicle that is designed to carry out such a method | |
| DE102018211726A1 (en) | Method for automatic machine training of an electronic vehicle guidance system, and motor vehicle | |
| WO2022089800A1 (en) | Method for providing information about road users | |
| DE102021000792A1 (en) | Method for operating a vehicle | |
| DE102021110812A1 (en) | Method, system and computer program for developing, validating, training and/or operating a vehicle system | |
| DE102019101613A1 (en) | Simulate different traffic situations for a test vehicle | |
| WO2023099066A1 (en) | Simulation for validating an automating driving function for a vehicle | |
| DE102021110810A1 (en) | Method, system and computer program for generating data for developing, validating, training and/or operating a vehicle system | |
| DE102019215141B4 (en) | Method for predicting a future traffic situation in an environment of a motor vehicle by determining several internally consistent overall scenarios for different road users; motor vehicle | |
| DE102022102218A1 (en) | Validation of a vehicle before route use | |
| DE102020130748A1 (en) | Method, system and a computer program for generating a virtual environment of a vehicle | |
| WO2022184363A1 (en) | Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit, and motor vehicle | |
| DE102017204952A1 (en) | Method for operating an autonomous driving system and a central unit, autonomous driving system in a motor vehicle and central unit | |
| DE102020127253A1 (en) | QUANTIFYING PHOTOREALISM IN SIMULATED DATA WITH GAN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified |