WO2023227291A1 - Kollektive informationsbeschaffung für automatisierte fahrsteuerfunktionen - Google Patents

Kollektive informationsbeschaffung für automatisierte fahrsteuerfunktionen Download PDF

Info

Publication number
WO2023227291A1
WO2023227291A1 PCT/EP2023/059840 EP2023059840W WO2023227291A1 WO 2023227291 A1 WO2023227291 A1 WO 2023227291A1 EP 2023059840 W EP2023059840 W EP 2023059840W WO 2023227291 A1 WO2023227291 A1 WO 2023227291A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
road users
environment model
dynamic environment
Prior art date
Application number
PCT/EP2023/059840
Other languages
English (en)
French (fr)
Inventor
Ulrich Eberle
Sebastian Frank
Original Assignee
Stellantis Auto Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto Sas filed Critical Stellantis Auto Sas
Publication of WO2023227291A1 publication Critical patent/WO2023227291A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G06F11/0739—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796—Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair

Definitions

  • the invention relates to a method for monitoring an algorithm for executing an automated driving control function of an automated vehicle, as well as a system for supporting an automated vehicle.
  • Automated driving control functions are known in the prior art, not only to support a driver in manual vehicle guidance for greater comfort or a higher level of safety, but in particular to replace manual vehicle guidance with fully automated vehicle guidance in order to ideally enable autonomous ferry operation , which does not require the assistance of a manual driver.
  • the quality of such an algorithm used for the automated driving control function is largely dependent on the quality of sensor data and other information about the current situation and surroundings of the vehicle. If only the vehicle's own sensors are used, there is a natural limitation in the information received because the vehicle's own sensors share a common perspective on the surroundings and may not be able to detect visually obscured objects, other road users, etc. In order to increase the information quality and information density, it is known in the prior art to fuse sensor data from different sources.
  • US 2021/0063546 A1 relates to distributed sensor calibration and the sharing of sensor information using a V2X interface.
  • a corresponding interface on a vehicle receives calibration data from an external source.
  • Corresponding coordinate system transformations allow, in particular, the transfer of the position and orientation of a detected object from one vehicle to another vehicle.
  • a first aspect of the invention relates to a method for monitoring an algorithm for executing an automated driving control function of an automated vehicle, wherein data from other road users about their respective planned trajectories and self-determined positions can be transmitted to a communication interface of the automated vehicle, and simulated by a computing unit of the automated vehicle or real an automated driving control function with the help of a dynamic environment model is carried out and the environment model is continuously updated on the basis of information which is determined from data from the vehicle's own sensors and the possibly available data from other road users after fusion with the data from the vehicle's own sensors, and whereby a comparison of results is carried out to form a dissimilarity metric of the dynamic environment model with regard to the respective position and/or planned trajectory of the respective road users is carried out with the own positions and/or own planned trajectories transmitted by the other road users, and in the event that the dissimilarity metric is exceeded above a predetermined limit value, the vehicle control is taken over by one manually controlling driver is requested and / or a history of the journey section is saved with
  • the automated driving control function is used either in the sense of a driver assistance system to intervene in manual vehicle guidance, or for fully automated vehicle guidance if an automated driving mode or even fully autonomous vehicle guidance is desired. While a driver assistance system supports a driver of the vehicle in his manual vehicle guidance, for example by initiating emergency braking, corrections in lane guidance, or the like, an automated driving mode or autonomous vehicle guidance involves the takeover of driving control by the driving control function in such a way that at least for a certain amount Manual vehicle control is not necessary for a certain period of time or during the entire journey.
  • the driver assistance system also intervenes in the manual guidance of the vehicle or there is a period of time with automated vehicle guidance, ie the vehicle is guided mechanically. If, on the other hand, there is a simulated execution of an automated driving control function, the respective intervention of the driver assistance system or the completely automated vehicle control is not actually carried out, but only simulated. In such a simulated execution of the automated driving control function, it is preferable to check not so much a controller output of a setpoint sequencer in an open chain, as is used, for example, in a lane keeping assistant, but rather decisions and planned trajectories of higher levels, which typically first specify the commands to such a setpoint sequencer.
  • Decisions and planned trajectories for the vehicle are preferably formed by the computing unit based on observation of the surroundings and the actual and expected behavior of other road users.
  • the decision history can be compared in relation to the human driver's vehicle control and in relation to the automated driving control function.
  • the computing unit to both determine data for the dynamic environment model and to determine the dissimilarity metric. For example, if the automated vehicle is traveling in a barely developed hinterland without encountering other road users, it is dependent on the use of data from the vehicle's own sensors (assuming that no other data sources are available, such as unmanned aircraft or data). from satellites that observe the current location of the automated vehicle).
  • the relevant information for carrying out the first aspect of the invention is in particular the respective position of a vehicle, as determined by the vehicle's own sensors, as well as a planned trajectory of the respective vehicle (generally road users).
  • the automated vehicle While in the presence of other vehicles, the automated vehicle under consideration not only continuously estimates the positions of other road users using the dynamic environment model, but also projects their current behavior into the future and algorithmically the behavior of the respective others road users in the future, this information can also be transmitted by the other road users themselves to the automated vehicle in question through the above-mentioned V2X interface.
  • each of the vehicles manages and updates its own dynamic environment model, in the presence of other road users with appropriate capabilities and a V2X interface, it can support its own updated dynamic environment model and determine the corresponding confidences of the data from the vehicle's own sensors.
  • a central unit can be used in particular, which represents a server instead of the peer-to-peer connection between the individual road users in order to merge all positions and planned trajectories of the individual road users into a collective overall picture.
  • This collective overall picture can in turn be transmitted to each individual vehicle, so that each individual vehicle is able to form a respective dissimilarity metric and compare it with corresponding limit values.
  • the takeover of an automatically operated vehicle by a human driver can also be encouraged in real time in order to exploit the strengths of a human driver in particularly difficult situations to solve the driving situation.
  • Data from other road users about their planned trajectory and self-determined positions are transmitted to the communication interface of the automated vehicle, in particular if appropriately equipped vehicles are present in the immediate vicinity of the automated vehicle in question.
  • the other road users in particular other vehicles, transmit the trajectories determined according to their own trajectory planning as well as their own position determined for themselves. These are data on the position and the planned trajectory, which are determined from the first-person perspective of the other road users.
  • the trajectories are planned paths and, in a broader sense, part of the behavior of other road users.
  • this data is also determined and estimated from the first-person perspective of the automated vehicle under consideration with regard to other road users, and is therefore comparable to the data of other road users.
  • the dissimilarity metric is determined in such a way that it takes this difference into account and determines the quality of the assessment of the position and planned trajectories of the other road users by its own sensors through a comparison with the corresponding data of the other road users themselves.
  • the determination of the dissimilarity metric is preferably also carried out on the basis of these additional sources of data, which provide further data in order to ""groundtruth" and thus make the decisions of the algorithms for executing the automated driving control function more verifiable.
  • additional data can also come from other sources such as stationary Sensors, drones or satellite images can be used to adapt the algorithms to carry out the automated driving control function if values of the dissimilarity metric provide reason to do so.
  • the history is used after the end of the journey of the automated vehicle to analyze and/or adapt the algorithm for executing the automated driving control function in order to adapt the parameters of the dynamic environment model using the history for the input data of the dynamic environment model with predetermined output data.
  • a method for adapting an algorithm for executing an automated driving control function of an automated vehicle, with data from other road users about their respective planned ones being sent to a communication interface of the automated vehicle Trajectories and respective self-determined positions can be transmitted, and simulated by a computing unit of the automated vehicle or an automated driving control function is actually carried out using a dynamic environmental model and the environmental model is continuously updated on the basis of information obtained from data from the vehicle's own sensors and any existing ones Data from the other road users are determined after fusion with the data from the vehicle's own sensors, and in order to form a dissimilarity metric, a comparison of results of the dynamic environment model on the position and / or planned trajectories of the respective road users with the positions transmitted by the other road users and / or planned trajectories is carried out, and in the event that the dissimilarity metric is exceeded above a predetermined limit value, a history of the journey section with the information for the dynamic environment model is saved and, after the journey of the automated vehicle has ended
  • the data possibly transmitted by other road users to the communication interface of the system includes information about the surroundings of the other road users, as recorded by the respective other road users.
  • the other road users not only determine their own position and their planned trajectories, but also information about their surroundings and other road users, including the automated vehicle under consideration, from their own perspective.
  • the algorithms for executing the automated driving control function can therefore check whether their own planned trajectory and their own determined position correspond to the perspective of other road users. If there is no agreement, a dangerous situation can arise as this indicates a misjudgment of the automated vehicle being viewed by other road users.
  • the data transmitted by other road users and received at the communication interface are merged with the data from the vehicle's own sensors and statistically averaged.
  • the updating of the dynamic environment model is additionally carried out on the basis of information provided by a stationary environment detection unit and are fused with the data from the vehicle's own sensors, and in order to form the dissimilarity metric, a comparison of results of the dynamic environment model with the data of the environment detection unit is carried out.
  • the stationary environment detection unit is formed, for example, by one or more cameras on masts that monitor a traffic situation at least in a specific area.
  • Alternatives to cameras are of course possible, such as radar devices.
  • a stationary control center is used to collect respective data from vehicle-specific sensors and planned trajectories of a large number of vehicles, with the control center storing additional environmental information and/or traffic information of the situation and surroundings during which the dissimilarity metric has exceeded the predetermined limit value and provides as input data and/or output data of the dynamic environment model.
  • the data of the respective road users and vehicles can be collected centrally and distributed in a technically easy manner. This makes it easier to form a collective overall picture of the current traffic situation and to exchange information about the planned trajectories and positions of individual road users, especially vehicles; This makes checking inconsistencies in the situation detection of the individual units particularly easy.
  • the algorithm for executing an automated driving control function comprises an artificial neural network, the parameters comprising weights of the artificial neural network.
  • An artificial neural network is typically trained with sets of given input data and given output data. For example, machine object recognition can be carried out in camera images. However, if in reality there are deviations in the input data from the specified input data, completely different output data can be determined by the artificial neural network, but this does not seem justified to the human observer. In such a case, the artificial neural network must be adapted accordingly and an additional one to carry out the learning process. All data that could be obtained outside the first-person perspective of the automated vehicle being viewed can be used for this purpose, in particular from other road users in the vicinity of the automated vehicle, and under certain circumstances also from a stationary environment detection unit such as stationary cameras.
  • confidences of the data from the vehicle's own sensors are determined and compared with further determined confidences from the data of other road users obtained and merged with the data from the vehicle's own sensors.
  • a further aspect of the invention relates to a system for supporting an automated vehicle, having a communication interface for receiving data from other road users, and a computing unit which is designed to simulate or actually carry out an automated driving control function of the automated vehicle while driving, as well as to Execution of the automated driving control function to use a dynamic environment model and to continuously update it based on information that is determined by the computing unit from the data of the vehicle's own sensors and, in the case of availability, from data about planned trajectories and positions sent by other road users and received via the communication interface of the other road users, each as planned and determined by the other road users, are determined after fusion with the data from the vehicle's own sensors, and the computing unit is designed to compare results of the dynamic environment model to the position and / or to form the dissimilarity metric to carry out the planned trajectories of the road users based on the data from the vehicle's own sensors with the planned trajectories and/or positions transmitted by the other road users, and in the event that the dissimilarity metric is exceeded above
  • the computing unit is designed to merge the data transmitted by other road users and received at the communication interface with the data from the vehicle's own sensors and to statistically average them.
  • the computing unit is designed to update the dynamic environment model based on information that is determined by a stationary environment detection unit and is fused with the data from the vehicle's own sensors, and the computing unit is designed to form the dissimilarity metric to carry out a comparison of results of the dynamic environment model with regard to the respective position and / or planned trajectory of the respective road users with the own positions and / or own planned trajectories transmitted by the other road users, merged with the data of the environment detection unit and in the event of the dissimilarity metric being exceeded.
  • the takeover of vehicle control by a manually controlled driver is requested via a predetermined limit value and/or to save a history of the journey section with the information for the dynamic environment model for the later adjustment of parameters of the dynamic environment model.
  • the computing unit has an adaptation interface to which the history with the information for the dynamic environment model can be fed in in order to adapt parameters of the dynamic environment model with predetermined output data using the history for the input data of the dynamic environment model.
  • the system further has a stationary center for collecting respective data from on-vehicle sensors and planned trajectories of a large number of vehicles, the center being designed to provide additional environmental information and/or traffic information of the situation and surroundings during which the dissimilarity metric is used exceeded the specified limit value must be stored and made available as input data and / or output data of the dynamic environment model.
  • the dynamic environment model comprises an artificial neural network, wherein the parameters include weights of the artificial neural network.
  • the computing unit is designed to determine confidences of the data from the vehicle's own sensors and with further determined confidences from the data obtained and with the data from the vehicle's own sensors to compare merged data from other road users.
  • Another aspect of the invention relates to a vehicle with a system as described above and below.
  • Fig. 1 A traffic situation in which a method according to an exemplary embodiment of the invention is applied for monitoring an algorithm for executing an automated driving control function of an automated vehicle.
  • Fig. 2 A vehicle that implements the method described in Fig. 1.
  • FIG. 1 shows a traffic situation at an intersection in which the automated vehicle 3 under consideration is driving to the left in a turning lane, while other road users have also entered the intersection area or are just leaving it again.
  • the algorithm for executing the automated trip control function it is crucial to record the positions of other road users, their planned trajectories, and traffic signs.
  • a method for monitoring the algorithm is carried out in the vehicle 3.
  • Such a vehicle 3 with its corresponding components is shown in FIG. 2, which is why reference is made to both FIG. 1 and FIG. 2 in the following description, without using a separate description of FIG. 2.
  • the automated vehicle 3 under consideration has a large number of its own sensors, which, however, have in common the fact that they can only observe their environment from the first-person perspective of the automated vehicle 3. Not just for the correct execution of the algorithm for execution the driving control function, but also for strict monitoring of the algorithm, as much external data is used gradually as is available in the current situation. In most cases, this is achieved through the increasing establishment of V2X communication using data from other road users, but data from stationary sensor units can also be used if they are available. For this purpose, data from other road users about their respective planned trajectories and self-determined positions are transmitted to a communication interface 5 of the automated vehicle 3. An automated driving control function is also carried out by a computing unit 7 of the automated vehicle 3 using a dynamic environment model.
  • the dynamic environment model models in particular the position and behavior of other road users, especially their trajectories.
  • the environmental model is continuously updated based on information that is determined from data from the vehicle's own sensors and the available data from other road users after fusion with the data from the vehicle's own sensors.
  • a dissimilarity metric the results of the dynamic environment model with regard to the respective position and planned trajectory of the respective road users are then compared with the other road users' own positions and their own planned trajectories. If the dissimilarity metric is exceeded above a predetermined limit value, a history of the journey section with the information for the dynamic environment model is saved for the later adjustment of parameters of the dynamic environment model. After the journey of the automated vehicle 3 has ended, the history is used to analyze and then adapt the algorithm for executing the automated driving control function by adjusting parameters of the algorithm in order to better cope with such situations in the future.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen einer automatisierten Fahrsteuerfunktion, wobei an eine Kommunikationsschnittstelle (5) eines Fahrzeugs (3) Daten von anderen Verkehrsteilnehmern über deren geplante Trajektorien und Positionen übermittelt werden können, und von einer Recheneinheit (7) die automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird, welches mit Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der Positionen und/oder geplanten Trajektorien der Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien ausgeführt wird.

Description

KOLLEKTIVE INFORMATIONSBESCHAFFUNG FÜR AUTOMATISIERTE FAHRSTEUERFUNKTIONEN
Die Erfindung betrifft ein Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, sowie ein System zur Unterstützung eines automatisierten Fahrzeugs.
Im Stand der Technik sind automatisierte Fahrsteuerfunktionen bekannt, nicht nur zum Unterstützen eines Fahrers bei der manuellen Fahrzeugführung für einen höheren Komfort oder auch ein höheres Sicherheitsniveau, sondern insbesondere um die manuelle Fahrzeugführung durch eine vollautomatisierte Fahrzeugführung zu ersetzen, um im Idealfall einen autonomen Fährbetrieb zu ermöglichen, der die Unterstützung durch einen manuellen Fahrer nicht benötigt. Die Qualität eines solchen für die automatisierte Fahrsteuerfunktion herangezogenen Algorithmus unterliegt jedoch in hohem Maße der Qualität von Sensordaten und weiteren Informationen über die aktuelle Situation und Umgebung des Fahrzeugs. Werden nur die fahrzeugeigenen Sensoren verwendet, ergibt sich eine naturgemäße Limitierung der erhaltenen Informationen dadurch, dass die fahrzeugeigenen Sensoren eine gemeinsame Perspektive auf die Umgebung teilen und unter Umständen optisch verdeckte Objekte, weitere Verkehrsteilnehmer, o. ä. nicht erfassen können. Zur Erhöhung der Informationsqualität und Informationsdichte ist es im Stand der Technik bekannt, Sensordaten aus verschiedenen Quellen zu fusionieren.
Hierzu betrifft die US 2021/0063546 A1 eine verteilte Sensor-Kalibrierung und das Teilen von Sensorinformationen mittels einer V2X- Schnittstelle. Hierbei wird insbesondere vorgeschlagen, dass eine entsprechende Schnittstelle an einem Fahrzeug von einer externen Quelle Kalibrierungsdaten erhält. Entsprechende Koordinatensystemtransformationen erlauben insbesondere die Übertragung von Position und Orientierung eines erfassten Objekts von einem Fahrzeug auf ein anderes Fahrzeug.
Es ist eine Aufgabe der Erfindung, den Betrieb einer automatischen Fahrsteuerfunktion sicherer zu machen.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, wobei an eine Kommunikationsschnittstelle des automatisierten Fahrzeugs Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit des automatisierten Fahrzeugs simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert wird.
Die automatisierte Fahrsteuerfunktion dient entweder im Sinne eines Fahrerassistenzsystems zum Eingriff in eine manuelle Fahrzeugführung, oder zur vollständig automatisierten Fahrzeugführung wenn ein automatisierter Fahrmodus oder gar eine vollständig autonome Fahrzeugführung gewünscht ist. Während ein Fahrerassistenzsystem einen Fahrer des Fahrzeugs in seiner manuellen Fahrzeugführung unterstützt, beispielsweise durch die Einleitung einer Notbremsung, Korrekturen in der Spurführung, oder Ähnlichem, betrifft ein automatisierter Fahrmodus oder die autonome Fahrzeugführung die Übernahme der Fahrsteuerung durch die Fahrsteuerfunktion so, dass zumindest für eine gewisse Zeitdauer oder während der ganzen Fahrt eine manuelle Fahrzeugführung nicht notwendig ist.
Liegt eine reale Ausführung der automatisierten Fahrsteuerfunktion vor, erfolgt auch ein jeweiliger Eingriff des Fahrerassistenzsystems in die manuelle Führung des Fahrzeugs bzw. liegt eine Zeitdauer mit automatisierter Fahrzeugführung vor, d. h. das Fahrzeug wird maschinell geführt. Liegt dagegen eine simulierte Ausführung einer automatisierten Fahrsteuerfunktion vor, wird der jeweilige Eingriff des Fahrerassistenzsystems bzw. die vollständig automatisiert übernommene Fahrzeugführung nicht tatsächlich ausgeführt, sondern nur simuliert. Bei einer solchen simulierten Ausführung der automatisierten Fahrsteuerfunktion wird bevorzugt weniger ein Reglerausgang eines Sollwertfolgereglers in offener Kette überprüft, wie er beispielsweise bei einem Spurhalteassistenten verwendet wird, sondern vielmehr Entscheidungen und geplante Trajektorien höherer Ebenen, welche typischerweise die Kommandos an einen solchen Sollwertfolgeregler erst vorgeben. Entscheidungen und geplante Trajektorien für das Fahrzeug werden nämlich bevorzugt von der Recheneinheit auf Basis einer Umgebungsbeobachtung und dem tatsächlichen sowie erwarteten Verhalten anderer Verkehrsteilnehmer gebildet. So lässt sich im manuellen Betrieb des Fahrzeugs die Entscheidungshistorie im Bezug auf die Fahrzeugführung des menschlichen Fahrers sowie im Bezug auf die automatisierte Fahrsteuerfunktion vergleichen.
Es ergibt sich somit ein mehrstufiges Verfahren durch die Recheneinheit, um sowohl Daten für das dynamische Umgebungsmodell zu ermitteln, sowie um die Unähnlichkeitsmetrik zu ermitteln. Ist beispielsweise das automatisierte Fahrzeug im kaum erschlossenen Hinterland unterwegs, ohne dass es auf weitere Verkehrsteilnehmer trifft, so ist es auf die Verwendung der Daten aus den fahrzeugeigenen Sensoren angewiesen (gesetzt den Fall, dass auch keine weiteren Datenquellen zur Verfügung stehen wie unbemannte Flugzeuge oder Daten von Satelliten, die den aktuellen Ort des automatisierten Fahrzeugs beobachten).
Sind jedoch andere Verkehrsteilnehmer in der Nähe des automatisierten Fahrzeugs, so kann die Tatsache ausgenutzt werden, dass verschiedene und zum Teil verschiedenartige Sensorquellen bei der Beobachtung einer lokalen Situation grundsätzlich dazu in der Lage sind, zuverlässigere und zahlreichere Informationen über die Verkehrssituation und die Umgebung zu gewinnen, als die Sensoren eines einzelnen Fahrzeugs. Dieser Umstand wird dahingehend ausgenutzt, dass die Fahrzeuge untereinander vernetzt sind, d. h. eine sogenannte V2X- Schnittstelle aufweisen, um untereinander Informationen auszutauschen. Die relevanten Informationen zum Ausführen des ersten Aspekts der Erfindung sind insbesondere die jeweilige Position eines Fahrzeugs, wie sie von fahrzeugeigenen Sensoren ermittelt wird, sowie eine geplante Trajektorie des jeweiligen Fahrzeugs (i.A. Verkehrsteilnehmer).
Während also im Beisein von weiteren Fahrzeugen das betrachtete eigene automatisierte Fahrzeug mithilfe des dynamischen Umgebungsmodells nicht nur die Positionen der weiteren Verkehrsteilnehmer kontinuierlich abschätzt, sondern auch deren aktuelles Verhalten in die Zukunft projiziert und algorithmisch das Verhalten der jeweiligen anderen Verkehrsteilnehmer in der Zukunft abschätzt, können auch diese Informationen von den weiteren Verkehrsteilnehmern selbst durch die oben genannte V2X- Schnittstelle an das betrachtete automatisierte Fahrzeug übertragen werden.
Während jedes der Fahrzeuge damit sein eigenes dynamisches Umgebungsmodell verwaltet und aktualisiert, kann es im Beisein weiterer Verkehrsteilnehmer mit entsprechenden Fähigkeiten und einer V2X- Schnittstelle das eigens aktualisierte dynamische Umgebungsmodell stützen und entsprechende Konfidenzen der Daten der fahrzeugeigenen Sensoren ermitteln.
In diesem Zusammenhang kann insbesondere eine Zentrale zum Einsatz kommen, die anstelle der Peer-to-Peer Verbindung zwischen den einzelnen Verkehrsteilnehmern einen Server darstellt, um sämtliche Positionen und geplanten Trajektorien der einzelnen Verkehrsteilnehmer zu einem kollektiven Gesamtbild fusioniert. Dieses kollektive Gesamtbild kann wiederum an jedes einzelne der Fahrzeuge übertragen werden, sodass jedes einzelne der Fahrzeuge in der Lage dazu ist, eine jeweilige Unähnlichkeitsmetrik zu bilden und mit entsprechenden Grenzwerten zu vergleichen.
Liegen größere Abweichungen zwischen der eigenen Perzeption der Umgebung und des Verhaltens der Verkehrsteilnehmer mit dem kollektiven Gesamtbild vor, ist dies ein Hinweis darauf, dass ein Algorithmus zur Erstellung des dynamischen Umgebungsmodells angepasst werden muss, oder gar ein Sensor des eigenen Fahrzeugs defekt sein könnte. Weist die gebildete Unähnlichkeitsmetrik entsprechend darauf hin, so wird insbesondere die Gesamtheit aller verfügbaren Informationen als Annäherung der sogenannten "ground-truth" gesammelt, um das jeweilige dynamische Umgebungsmodell neu zu parametrisieren. Im Falle eines verwendeten künstlichen neuronalen Netzes zur Erfassung der Umgebung, Ausführung einer Bilderkennung, oder zum Treffen von Entscheidungen bezüglich der aktuellen Verkehrssituation auf Basis von abgeschätzten und erfassten Verhalten von anderen Verkehrsteilnehmern oder Objekten in der aktuellen Verkehrssituation (wie Verkehrsschilder, Warnbaken, Ampeln, Baustellen, etc.) werden hierbei insbesondere Gewichte des künstlichen neuronalen Netzes angepasst.
Somit erlaubt die Sensorfusion aus verschiedenartigen Quellen eine erleichterte Validierung und Anpassung von Algorithmen in der Verwendung zur Ausführung einer automatisierten Fahrsteuerfunktion, da wie oben erläutert das Ideal der "ground truth" mit der zunehmenden Anzahl von Quellen von Informationen angenähert wird und somit das sogenannte "supervised learning" von adaptiven Systemen vereinfacht werden kann, insbesondere durch strikte Analyse der verwendeten Algorithmen und der Ursache des Auftretens eines Fehlers.
Alternativ zum oben beschriebenen Validieren, Prüfen, Anpassen und/oder Testen der verwendeten Algorithmen zur Ausführung der automatischen Fahrsteuerfunktion kann auch in Echtzeit die Übernahme eines automatisch betriebenen Fahrzeugs durch einen menschlichen Fahrer angeregt werden, um in besonders schwierigen Situationen die Stärken eines menschlichen Fahrers auszunutzen und die Fahrsituation zu lösen.
An die Kommunikationsschnittstelle des automatisierten Fahrzeugs werden insbesondere dann die Daten von anderen Verkehrsteilnehmern über deren geplante Trajektorie und selbst ermittelte Positionen übermittelt, wenn entsprechend ausgestattete Fahrzeuge in einer näheren Umgebung um das betrachtete automatisierte Fahrzeug vorhanden sind. In diesem Fall übermitteln die weiteren Verkehrsteilnehmer, insbesondere weitere Fahrzeuge, die jeweils nach ihrer eigenen Trajektorienplanung ermittelten Trajektorien sowie ihre eigene, für sich selbst ermittelte, Position. Dies sind entsprechend Daten zur Position und zur geplanten Trajektorie, welche jeweils aus der Egoperspektive der weiteren Verkehrsteilnehmer ermittelt werden.
Während die jeweiligen ermittelten Positionen auf reiner Messung basieren, sind die Trajektorien jedoch geplante Bahnen und im weiteren Sinne Teil von Verhaltensweisen der weiteren Verkehrsteilnehmer. Genau diese Daten werden jedoch auch aus der Egoperspektive des betrachteten automatisierten Fahrzeugs bezüglich der anderen Verkehrsteilnehmer ermittelt und geschätzt, und somit vergleichbar mit den Daten der weiteren Verkehrsteilnehmer. Vor diesem Hintergrund wird die Unähnlichkeitsmetrik so ermittelt, dass sie diese Differenz berücksichtigt und eine Qualität der Einschätzung von Position und geplanten Trajektorien der weiteren Verkehrsteilnehmer durch die eigenen Sensoren durch einen Vergleich mit den entsprechenden Daten der weiteren Verkehrsteilnehmer selbst ermittelt.
Sind nicht nur Daten von weiteren Verkehrsteilnehmern verfügbar, sondern auch Umfelddaten von stationären Sensoren oder anderen Quellen wie Drohnen oder Satellitenbildern, wird bevorzugt die Ermittlung der Unähnlichkeitsmetrik auch auf Basis dieser zusätzlichen Quellen von Daten ausgeführt, die weitere Daten zur Verfügung stellen, um sich der "ground truth" anzunähern und so die Entscheidungen der Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion besser überprüfbar machen. In diesem Sinne können auch die zusätzlichen Daten aus weiteren Quellen wie stationären Sensoren, Drohnen oder Satellitenbildern zur Anpassung der Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion angewendet werden, wenn Werte der Unähnlichkeitsmetrik Anlass dazu bieten.
Es ist eine vorteilhafte Wirkung der Erfindung, dass nicht nur die Daten der fahrzeugeigenen Sensoren verwendet werden, um Inkonsistenzen in der Schätzung der Verkehrslage durch das dynamische aktualisierte Umgebungsmodell zu ermitteln, sondern stufenweise soviele Daten aus anderen Quellen wie möglich verwendet werden. Diese anderen Quellen sind insbesondere weitere Verkehrsteilnehmer wie andere Fahrzeuge, bei entsprechender Verfügbarkeit jedoch auch stationäre Sensoren, unbemannte Flugzeuge, Satelliteninformationen, etc.; während die fahrzeugeigenen Sensoren immer nur aus ein und derselben fahrzeugeigenen Perspektive die Umgebung erfassen können, liefern diese externen Quellen Daten über die selbe Situation jedoch aus anderer Perspektive, sodass mit zunehmender Anzahl und Qualität der externen Quellen im Gesamten ein Umgebungsbild ermittelt werden kann, welches der sogenannten "ground truth" am nächsten kommt, d. h. sich den objektiv und tatsächlich vorliegenden Eigenschaften der Verkehrssituation und der Umgebung um das betrachtete Fahrzeug immer weiter annähert. Somit ist es leichter möglich, ein unzureichendes Verhalten der Fahrsteuerfunktion zu ermitteln, welches insbesondere darauf beruht, dass eine Einschätzung im automatisierten Fahrzeug bezüglich der Umgebung und der Verkehrssituation nicht richtig war. Wird vom eigenen automatisierten Fahrzeug, insbesondere seiner Recheneinheit, eine Position oder ein erwartetes Verhalten eines Verkehrsteilnehmers nicht richtig eingeschätzt, kann der Fehler darin durch die Übermittlung der Position und der geplanten Trajektorie des Verkehrsteilnehmers identifiziert werden, während grundsätzlich die von einem Verkehrsteilnehmer ermittelten Daten zu seiner Umgebung und zu seiner Position wiederum an das betrachtete automatisierte Fahrzeuge übermittelt werden.
Gemäß einer vorteilhaften Ausführungsform wird die Historie nach Beendigung der Fahrt des automatisierten Fahrzeugs zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten die Parameter des dynamischen Umgebungsmodells anzupassen.
Gemäß einer vorteilhaften Ausführungsform wird demnach ein Verfahren bereitstellt zum Anpassen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, wobei an eine Kommunikationsschnittstelle des automatisierten Fahrzeugs Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit des automatisierten Fahrzeugs simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten Positionen und/oder geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell abgespeichert wird und nach Beendigung der Fahrt des automatisierten Fahrzeugs zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet wird.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die von anderen Verkehrsteilenehmern an die Kommunikationsschnittstelle des Systems gegebenenfalls übermittelten Daten Informationen über die Umgebung der anderen Verkehrsteilnehmer, wie sie von den jeweiligen anderen Verkehrsteilnehmern erfasst werden.
Nach dieser Ausführungsform ermitteln die weiteren Verkehrsteilnehmer nicht nur ihre eigene Position und ihre geplante Trajektorien, sondern auch Informationen über ihre Umgebung und andere Verkehrsteilnehmer einschließlich des betrachteten automatisierten Fahrzeugs aus ihrer eigenen Sicht. Die Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion können somit überprüfen, ob die eigene geplante Trajektorie und die eigene ermittelte Position mit der Sichtweise der anderen Verkehrsteilnehmer übereinstimmt. Liegt keine Übereinstimmung vor, kann eine Gefahrensituation entstehen, da dies auf eine Fehleinschätzung des eigenen betrachteten automatisierten Fahrzeugs durch die weiteren Verkehrsteilnehmer hindeutet.
Gemäß einer weiteren vorteilhaften Ausführungsform werden die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle empfangenen Daten mit den Daten fahrzeugeigener Sensoren fusioniert und statistisch gemittelt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird die Aktualisierung des dynamischen Umgebungsmodells zusätzlich auf Basis von Informationen ausgeführt, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei zur Bildung der Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells mit den Daten der Umgebungserfassungseinheit erfolgt.
Die stationäre Umgebungserfassungseinheit wird beispielsweise von einer oder mehreren Kameras auf Masten gebildet, die eine Verkehrssituation zumindest in einem bestimmten Bereich überwachen. Alternativen zu den Kameras sind selbstverständlich möglich, beispielsweise Radargeräte.
Gemäß einer weiteren vorteilhaften Ausführungsform wird eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen verwendet, wobei von der Zentrale zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert hält und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitstellt.
Indem eine solche Zentrale verwendet wird, können die Daten der jeweiligen Verkehrsteilnehmer und Fahrzeuge zentral gesammelt werden und entsprechend technisch leicht verteilt werden. Es kann somit die Bildung eines kollektiven Gesamtbildes zur aktuellen Verkehrssituation und zum Austausch über die jeweils geplanten Trajektorien und Positionen der einzelnen Verkehrsteilnehmer, insbesondere Fahrzeuge, vereinfacht werden; die Überprüfung von Inkonsistenzen in der Situationserfassung der einzelnen Einheiten kann damit besonders leicht erfolgen.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst der Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion ein künstliches neuronales Netz, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen.
Ein künstliches neuronales Netz wird typischerweise mit Sätzen von vorgegebenen Eingangsdaten und vorgegebenen Ausgangsdaten trainiert. So kann beispielsweise eine maschinelle Objekterkennung in Kamerabildern erfolgen. Treten jedoch in der Realität Abweichungen in den Eingangsdaten von den vorgegebenen Eingangsdaten auf, so können gänzlich andere Ausgangsdaten vom künstlichen neuronalen Netz ermittelt werden, ohne dass dies jedoch für den menschlichen Betrachter begründet scheint. In einem solchen Fall ist das künstliche neuronale Netze entsprechend anzupassen und ein zusätzlicher Lernvorgang durchzuführen. Hierfür können alle Daten dienen, die außerhalb der Egoperspektive des eigenen betrachteten automatisierten Fahrzeugs gewonnen werden konnten, insbesondere von den weiteren Verkehrsteilnehmern in der Nähe des automatisierten Fahrzeugs, und unter Umständen auch von einer stationären Umgebungserfassungseinheit wie stationären Kameras.
Gemäß einer weiteren vorteilhaften Ausführungsform werden Konfidenzen der Daten fahrzeugeigener Sensoren ermittelt und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer verglichen.
Ein weiterer Aspekt der Erfindung betrifft ein System zur Unterstützung eines automatisierten Fahrzeugs, aufweisend eine Kommunikationsschnittstelle zum Empfangen von Daten von anderen Verkehrsteilnehmern, und eine Recheneinheit, die dazu ausgeführt ist, simuliert oder real eine automatisierte Fahrsteuerfunktion des automatisierten Fahrzeugs während der Fahrt auszuführen, sowie zur Ausführung der automatisierten Fahrsteuerfunktion ein dynamisches Umgebungsmodell zu verwenden und auf Basis von Informationen kontinuierlich zu aktualisieren, die von der Recheneinheit aus den Daten fahrzeugeigener Sensoren ermittelt werden und im Falle der Verfügbarkeit aus von anderen Verkehrsteilnehmern gesendeten und über die Kommunikationsschnittstelle empfangenen Daten über geplante Trajektorien und Positionen der anderen Verkehrsteilnehmer, jeweils wie von den anderen Verkehrsteilnehmern geplant und ermittelt, nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei die Recheneinheit dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der Verkehrsteilnehmer auf Basis der Daten fahrzeugeigener Sensoren mit den von den anderen Verkehrsteilnehmern übermittelten geplanten Trajektorien und/oder Positionen von sich auszuführen, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer anzufordern und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle empfangenen Daten mit den Daten der fahrzeugeigenen Sensoren zu fusionieren und statistisch zu mitteln. Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Aktualisierung des dynamischen Umgebungsmodells auf Basis von Informationen auszuführen, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei die Recheneinheit dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien fusioniert mit den Daten der Umgebungserfassungseinheit auszuführen und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern.
Gemäß einer weiteren vorteilhaften Ausführungsform weist die Recheneinheit eine Anpassungsschnittstelle auf, an der die Historie mit den Informationen für das dynamische Umgebungsmodell eingespeist werden kann, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells Parameter des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten anzupassen.
Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen auf, wobei die Zentrale dazu ausgeführt ist, zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert zu halten und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitzustellen.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das dynamische Umgebungsmodell ein künstliches neuronales Netz, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, Konfidenzen der Daten fahrzeugeigener Sensoren zu ermitteln und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer zu vergleichen.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 : Eine Verkehrssituation, in der ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs angewendet wird.
Fig. 2: Ein Fahrzeug, welches das in Fig. 1 beschriebene Verfahren umsetzt.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
In der Fig. 1 ist eine Verkehrssituation an einer Kreuzung gezeigt, bei der das betrachtete automatisierte Fahrzeug 3 auf einer Abbiegespur nach links fährt, während weitere Verkehrsteilnehmer ebenfalls im Kreuzungsbereich eingefahren sind, oder gerade diesen wieder verlassen. Für die Ausführung des Algorithmus zur Ausführung der automatisierten Fahrtsteuerfunktion ist es entscheidend, die Positionen der weiteren Verkehrsteilnehmer, deren geplante Trajektorien, sowie Verkehrszeichen zu erfassen. Dafür wird im Fahrzeug 3 ein Verfahren zur Überwachung des Algorithmus ausgeführt. Ein solches Fahrzeug 3 mit seinen entsprechenden Komponenten ist in der Fig. 2 gezeigt, weshalb in der folgenden Beschreibung sowohl auf die Fig. 1 als auch auf die Fig. 2 verwiesen wird, ohne eine separate Beschreibung der Fig. 2 zu benutzen. Grundsätzlich weist das betrachtete automatisierte Fahrzeug 3 eine Vielzahl von eigenen Sensoren auf, denen jedoch gemeinsam ist, lediglich aus der Egoperspektive des automatisierten Fahrzeugs 3 ihre Umwelt beobachten zu können. Nicht nur zur korrekten Ausführung des Algorithmus zur Ausführung der Fahrsteuerfunktion, sondern auch für eine strikte Überwachung des Algorithmus werden stufenweise soviele externe Daten verwendet, wie in der vorliegenden Situation zur Verfügung stehen. In den meisten Fällen wird dies durch die zunehmende Etablierung von V2X- Kommunikation durch Daten von weiteren Verkehrsteilnehmern geleistet, es können jedoch auch Daten von stationären Sensoreinheiten dazu verwendet werden, falls diese verfügbar sind. Hierfür werden an eine Kommunikationsschnittstelle 5 des automatisierten Fahrzeugs 3 Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt. Von einer Recheneinheit 7 des automatisierten Fahrzeugs 3 wird ferner eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt. Das dynamische Umgebungsmodell modelliert insbesondere Position und Verhalten der weiteren Verkehrsteilenehmer, insbesondere deren Trajektorien. Das Umgebungsmodell wird auf Basis von Informationen kontinuierlich aktualisiert, die aus Daten fahrzeugeigener Sensoren und den vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden. Zur Bildung einer Unähnlichkeitsmetrik erfolgt dann ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und eigenen geplanten Trajektorien. Im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert wird eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert. Nach Beendigung der Fahrt des automatisierten Fahrzeugs 3 wird die Historie zur Analyse und anschließender Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet, indem Parameter des Algorithmus angepasst werden, um zukünftig solche Situationen besser zu meistern.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Be- Schreibung, definiert wird.
Bezugszeichenliste
1 System
3 Fahrzeug
5 Kommunikationsschnittstelle
7 Recheneinheit

Claims

Patentansprüche
1. Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs (3), wobei an eine Kommunikationsschnittstelle (5) des automatisierten Fahrzeugs (3) Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit (7) des automatisierten Fahrzeugs (3) simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert werden.
2. Verfahren nach Anspruch 1 , wobei die Historie nach Beendigung der Fahrt des automatisierten Fahrzeugs (3) zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet wird, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten die Parameter des dynamischen Umgebungsmodells anzupassen.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die von anderen Verkehrsteilenehmern an die Kommunikationsschnittstelle (5) des Systems (1) gegebenenfalls übermittelten Daten Informationen über die Umgebung der anderen Verkehrsteilnehmer umfassen, wie sie von den jeweiligen anderen Verkehrsteilnehmern erfasst werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle (5) empfangenen Daten mit den Daten fahrzeugeigener Sensoren fusioniert und statistisch gemittelt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Aktualisierung des dynamischen Umgebungsmodells zusätzlich auf Basis von Informationen ausgeführt wird, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei zur Bildung der Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells mit den Daten der Umgebungserfassungseinheit erfolgt. Verfahren nach Anspruch 5, wobei eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen verwendet wird, wobei von der Zentrale zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert hält und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitstellt. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion ein künstliches neuronales Netz umfasst, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen. Verfahren nach einem der vorhergehenden Ansprüche, wobei Konfidenzen der Daten fahrzeugeigener Sensoren ermitteln werden und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer verglichen werden. System (1) zur Unterstützung eines automatisierten Fahrzeugs (3), aufweisend eine Kommunikationsschnittstelle (5) zum Empfangen von Daten von anderen Verkehrsteilnehmern, und eine Recheneinheit (7), die dazu ausgeführt ist, simuliert oder real eine automatisierte Fahrsteuerfunktion des automatisierten Fahrzeugs (3) während der Fahrt auszuführen, sowie zur Ausführung der automatisierten Fahrsteuerfunktion ein dynamisches Umgebungsmodell zu verwenden und auf Basis von Informationen kontinuierlich zu aktualisieren, die von der Recheneinheit (7) aus den Daten fahrzeugeigener Sensoren ermittelt werden und im Falle der Verfügbarkeit aus von anderen Verkehrsteilnehmern gesendeten und über die Kommunikationsschnittstelle (5) empfangenen Daten über geplante Trajektorien und Positionen der anderen Verkehrsteilnehmer, jeweils wie von den anderen Verkehrsteilnehmern geplant und ermittelt, nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei die Recheneinheit (7) dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der Verkehrsteilnehmer auf Basis der Daten fahrzeugeigener Sensoren mit den von den anderen Verkehrsteilnehmern übermittelten geplanten Trajektorien und/oder Positionen von sich auszuführen, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer anzufordern und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern. Fahrzeug (3) mit einem System (1) nach Anspruch 9.
PCT/EP2023/059840 2022-05-24 2023-04-14 Kollektive informationsbeschaffung für automatisierte fahrsteuerfunktionen WO2023227291A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022205174.2A DE102022205174A1 (de) 2022-05-24 2022-05-24 Kollektive Informationsbeschaffung für automatisierte Fahrsteuerfunktionen
DE102022205174.2 2022-05-24

Publications (1)

Publication Number Publication Date
WO2023227291A1 true WO2023227291A1 (de) 2023-11-30

Family

ID=86184917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/059840 WO2023227291A1 (de) 2022-05-24 2023-04-14 Kollektive informationsbeschaffung für automatisierte fahrsteuerfunktionen

Country Status (2)

Country Link
DE (1) DE102022205174A1 (de)
WO (1) WO2023227291A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019002790A1 (de) * 2019-04-16 2020-08-06 Daimler Ag Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug
US20210063546A1 (en) 2019-09-04 2021-03-04 Qualcomm Incorporated Distributed sensor calibration and sensor sharing using cellular vehicle-to-everything (cv2x) communication

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013205392A1 (de) 2013-03-27 2014-10-02 Bayerische Motoren Werke Aktiengesellschaft Backend für Fahrerassistenzsysteme
DE102016212195A1 (de) 2016-07-05 2018-01-11 Robert Bosch Gmbh Verfahren zum Durchführen eines automatischen Eingriffs in die Fahrzeugführung eines Fahrzeugs
DE102020214188A1 (de) 2020-11-11 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Steuerung eines automatisiert betreibbaren Fahrzeugs in komplexen Streckenabschnitten

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019002790A1 (de) * 2019-04-16 2020-08-06 Daimler Ag Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug
US20210063546A1 (en) 2019-09-04 2021-03-04 Qualcomm Incorporated Distributed sensor calibration and sensor sharing using cellular vehicle-to-everything (cv2x) communication

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BALAGHIASEFI REZA ET AL: "Automatic fault detection and execution monitoring in cooperative maneuvering", 2015 14TH INTERNATIONAL CONFERENCE ON ITS TELECOMMUNICATIONS (ITST), IEEE, 2 December 2015 (2015-12-02), pages 37 - 44, XP032850075, DOI: 10.1109/ITST.2015.7377397 *

Also Published As

Publication number Publication date
DE102022205174A1 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102015203354B4 (de) Einstellungen von fahrzeugbedienerüberwachung und betriebsabläufen
DE102013019424B4 (de) Verfahren zum Betrieb eines Fahrzeugsystems zur Überwachung eines Fahrers und Kraftfahrzeug
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
DE102017217444B4 (de) Verfahren und System zum Aktualisieren eines Steuerungsmodells für eine automatische Steuerung zumindest einer mobilen Einheit
DE102015213743B4 (de) Verfahren und System zur automatischen Steuerung zumindest eines Folgefahrzeugs mit einem Scout-Fahrzeug
DE102018210885B4 (de) Verfahren und System zum Einleiten einer Sicherheitsvorkehrung eines Kraftfahrzeugs und Kraftfahrzeug
DE102016218277B4 (de) Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem
WO2016150590A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102017212908A1 (de) Verfahren zur Verbesserung der Quer- und/oder Längsführung eines Fahrzeugs
DE102019127974A1 (de) Verfahren und System zum Bewerten eines Fahrverhaltens
DE102019217346B4 (de) Verfahren zur Darstellung von Informationen auf einer Mensch-Maschine-Schnittstelle eines Kraftfahrzeugs, Computerprogrammprodukt, Mensch-Maschine-Schnittstelle sowie Kraftfahrzeug
DE102016117136A1 (de) Verfahren zum Bestimmen eines Fahrverhaltens eines Fahrers eines Kraftfahrzeugs zum Betrieb eines Fahrerassistenzsystems des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112016007335T5 (de) Autonome fahrzeugsteuerung durch komparative übergangsprognose
WO2020108839A1 (de) Situationsabhängige berechnung einer soll-fahrzeuggeschwindigkeit
DE102018222002B4 (de) Verfahren und elektronisches Fahrzeugführungssystem zur Fernsteuerung eines fahrerlos fahrenden Kraftfahrzeugs
WO2021037838A1 (de) Automatisierte erkennung eines anormalen verhaltens eines verkehrsteilnehmers
DE102018208207A1 (de) Steuerung eines Kraftfahrzeugs
WO2023227291A1 (de) Kollektive informationsbeschaffung für automatisierte fahrsteuerfunktionen
DE102020103754A1 (de) Hyper-assoziation im episodenspeicher
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102019212489A1 (de) Verfügbarkeits-Optimierungssystem für ein autonom fahrfähiges Fahrzeug
DE102018210367A1 (de) Fahrerassistenzsystem, Fahrzeug, Verfahren zum Betreiben des Fahrerassistenzsystems, Computerprogramm und computerlesbares Speichermedium
DE102017218932B4 (de) Verfahren zur Bewertung einer Trajektorie eines Fortbewegungsmittels
DE102015220356A1 (de) Verfahren zur Auswahl einer optimierten Fahrtrajektorie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23719387

Country of ref document: EP

Kind code of ref document: A1